Post

事件相机 event camera 简介

Posted Updated
By dawnlh 9 min read

简介

  • 与传统相机相比，Event Camera是完全不同的，它不是记录一个场景的，而是记录一个场景的变化。对于单个像素点，只有接收的光强产生变化时，该像素点才会输出。比如亮度增加并超过的一个阈值，那么对应像素点将输出一个亮度增加的事件（+1），反之输出亮度降低的事件（-1）。输出可以看作是一个一维二值信号，每个信号点包含了（x, y, t, p）四元信息，即横向纵向坐标、时间戳、事件极性（±1）。在一个没有物体移动的场景中架设一台Event Camera，它不会显示任何东西，也没有有效输出（会有噪声信号序列输出）。
  • 传感器对亮度变化的响应不是线性的，而是对数的，所以动态范围很大，对低光照也较为敏感
  • 一旦Event Camera检测到运动（像素级的光线发生了变化），它就会在每个像素的基础上以非常高的刷新率（1微秒）呈现出来——动态响应快。
  • 数据表示方式是Address-Event Representation（AER），也就是每一个数据都是由事件的地址（对应像素的位置），以及事件的性质（变亮还是变暗）等组成。

特性

  • 没有“帧率”的概念，响应特别快。如果说传统的摄像头是等时间间距采样的，那么DVS是等亮度变化值采样的，因此可以捕捉更快的动作，对于非常迅速的亮度变化十分敏感；event之间可以小于1微秒，基本不会产生传统相机（几十到几百帧率）的模糊
  • 对数响应使DVS动态范围很高；
  • 需要带宽小，减少了数据冗余，极大地减小了传输带宽；
  • 低功耗，
  • 无法获得单个像素点的亮度绝对值；
  • 由于DVS单个像素点的电路比较复杂，导致其填充因子较小，空间分辨率一般较低，典型的分辨率如640*320左右。
  • 事件相机生成的事件序列和传统的基于帧的图像序列具有形式和信息上的巨大差异，相应的视觉算法需要重新适应性修改，比较时候事件序列的神经网络模型可以考虑时序RNN、脉冲神经网络SNN
  • 早期产品噪声大，信号质量差

应用

  • 无人机自主导航（SLAM）：
    • 相机
      • 优点——成本低，技术成熟，具有较好的空间分辨率。
      • 缺点——当传感器的移动超过所能被相机帧率捕捉上限时，相机的图片就会变得模糊；相机和人眼一样对于光线非常讲究
    • event camera
      • 优点——因为这种相机只是在寻找像素的变化，所以对低光也很敏感，动态范围大； 响应时间特别低，动态响应快，event之间可以小于1微秒；只传输变化的像素点数据，带宽要求低
      • 缺点：目前成本较高；空间分辨率低
  • 高速目标检测与跟踪
  • 自动驾驶
  • 物联网边缘感知节点

前景

  • 优势
    • Visual odometry。Event-based camera不能等同于传统相机，因此在一些传统视觉应用上，比如语义理解上，并无优势。然而它的长处应该主要在于运动检测，尤其是高速条件下。在这方面基于Event-based camera数据的高速和高效，它的作用可能很难替代。
    • Sensor fusion. 2代的event camera: Dynamic and Active-pixel Vision Sensor在高速event的基础上同时集成了普通相机（黑白，30fps左右，dynamic range很不佳）、IMU。如果能将普通的亮度图像和event结合在一起，潜力还是很大的。
    • 其它方面应用。在许多需要光学传感的领域，比如检测、医疗等领域，对图像信号的质量要求并不高，但是对速度、适应性（是否在低光照环境或high dynamic range环境下依然能获得稳定信号）要求较高。对于他们来说，event-based camera所具有的特点非常有吸引力。
  • 缺点
    • 硬件限制。早期版本的event camera噪音挺大的，加上本身分辨率低，信号质量其实非常差。Sensor本身体积也较大，限制了许多应用。以及价格非常高。这些问题主要因为现有的版本基本还只是成熟的实验室版本，成本主要未必在硬件，而是在开发成本和小规模生产的成本。如果能将这个产品在工程上进行改良，大规模生产，这里的许多问题可以克服，也更有利于event sensor的普及；反之，如果没有企业的介入进行改良，现在的这个实验版本还是很难被大规模地开发，前景也很受限。
    • 适用性窄。这个观点是一个比较年长的教授提出的，他对于event camera并不热衷。他认为，现在技术发展非常快，各种硬件更新换代非常快，有可能随着技术的发展，几年后或者十几二十年后，传统的相机能克服许多现在的限制，比如成像速度，那时event camera的优势将不复存在。即需要考虑其可替代性。这样在event camera上做的大量开发工作都不再有意义。历史上也曾经有各种专用的视觉传感器存在过，但都随着技术整体的发展而成了昙花一现。（个人补充：在后摩尔时代，其实摩尔定律支撑的普通Sensor的性能提升也到了一个瓶颈。目前业界对于事件相机的关注度很高，还是有望在某些特定领域成功落地的。）

相关资料

  • event-based vision resources
    • https://github.com/uzh-rpg/event-based_vision_resources
    • 包括产品、算法、论文、数据集与模拟器、相关研究团队等等
  • 苏黎世大学（UZH）Robotics and Perception Group
Optics & Imaging, SciTech
sensor & camera
This post is licensed under CC BY 4.0 by the author.