阅读说明：本技术 从基于事件的传感器输出信号的方法和使用此方法的基于事件的传感器 (Method of outputting signal from event-based sensor and event-based sensor using the same ) 是由 斯泰凡·拉沃 克斯阿维埃·拉戈斯 于 2018-12-26 设计创作，主要内容包括：基于事件的传感器,其具有异步地产生事件的传感部分(12)。输出信号包含与产生的事件中的至少一些相关的信息。方法包括：估计所述传感部分(12)的事件产生速率；当估计速率小于阈值时,传输具有可变速率的信号；以及当所述估计速率高于所述阈值时,传输包含与所述产生的事件中的仅一些相关的信息的信号,使得信号中包含信息的事件的速率保持在所述阈值内。(An event based sensor has a sensing portion (12) that asynchronously generates events. The output signal contains information related to at least some of the generated events. The method comprises the following steps: estimating a rate of event generation of the sensing portion (12); transmitting a signal having a variable rate when the estimated rate is less than the threshold; and transmitting a signal containing information relating to only some of said generated events when said estimated rate is above said threshold, such that the rate of events in the signal containing information remains within said threshold.)

从基于事件的传感器输出信号的方法和使用此方法的基于事 件的传感器

本发明涉及对由异步基于事件的传感器生成的信号的处理。

背景技术

与在常规取样时刻记录连续图像的常规相机相反，生物视网膜并不传输关于待可视化的场景的冗余信息，并且呈异步方式。从对生物视网膜的观察中已经开发异步基于事件的视觉传感器。

异步基于事件的视觉传感器以事件的形式递送压缩数字数据。此类传感器的呈现可参见T.Delbrück等的“活动驱动的基于事件的视觉传感器(Activity-Driven,Event-Based Vision Sensors)”(2010IEEE电路和系统国际会议期刊(ISCAS)，第2426-2429页)。基于事件的视觉传感器的优点是相对于常规相机移除冗余，减少时延且增加动态范围。

此视觉传感器的输出可针对每一像素地址由一系列异步事件组成，所述异步事件表示在它们发生时的场景亮度的改变。传感器的每一像素是独立的且检测从上次事件的发射时起的大于阈值的强度改变(例如亮度的对数上的15％的对比度)。当强度的改变超过阈值时，像素生成事件。在一些传感器中，根据强度是增加还是减小，事件具有极性(例如，接通或断开)。一些异步传感器使检测到的事件与光强度的测量相关联。

由于传感器不像常规相机那样基于时钟来取样，它可以极大的时间精度(例如约1μs)考虑事件的定序。如果此传感器用以重构图像的序列，那么与常规相机的几十赫兹相比，可实现几千赫兹的图像帧速率。

基于事件的传感器具有前景，尤其在机器视觉和视界恢复的领域中。

基于事件的传感器的输出处的数据速率取决于场景的改变量。这是可取的特征，因为平均来说其带来要向下游发送的数据量的较大减少。然而，具有低平均数据速率是好的，但并不总是足够的。下游硬件(通信信道、处理元件)通常相对于最差情况来设定大小。如果没有完成特别的事情，那么最差情况可对应于极高数据速率。

基于事件的传感器通常其处理量受其接口限制。这意味着只要事件未输出，它就保留在像素中。如果新事件出现，那么它将被忽略。虽然此行为限定了数据速率，但是以输出的时序准确性和正确性为代价来实现。碰到传感器的新光子将被忽略，且重要事件将在途中丢失。

即使通信接口未造成处理量的限制，仍会在下游发生问题。在接收且处理异步生成的事件的处理器的输入处可能发生溢出。设计与基于事件的传感器介接的应用程序的软件开发者必须接着忙于提供一些输入处理来尝试处置溢出情形，或者以某种不可预测的方式丢失事件。

一些基于事件的传感器通过将事件群集于二进制框架中来限制速率。当在二进制框架中分组事件时，数据速率变得固定。虽然这具有限定数据速率的效果，但它消除了具有较低平均速率的优点。在传感器和接收其输出信号的处理单元的功率消耗方面，低平均速率是合意的特征。

期望提出处置基于事件的传感器的输出的有效方法。

发明内容

上述需要是通过将数据速率限定在给定水平而不牺牲平均速率来解决的。最大数据速率由配置系统的人根据可用的计算资源来确定。

因此，公开一种用于从基于事件的传感器输出信号的方法。基于事件的传感器具有异步地产生事件的传感部分，且信号包含与产生的事件中的至少一些相关的信息。所述方法包括：

-估计所述传感部分的事件产生速率；

-当估计速率小于阈值时，传输具有可变速率的信号；以及

-当所述估计速率高于所述阈值时，传输包含与所述产生的事件中的仅一些相关的信息的信号，使得信号中包含信息的事件的速率保持在所述阈值内。

所述方法的实施方案可具有合理低的计算复杂性，使得它可以与基于事件的传感器的传感部分在同一芯片上执行。为了配合于芯片上，所述方法不应缓冲数据超过约1ms。它还应当不对每个事件执行复杂操作，例如分类。所提出的方法不需要使用帧缓冲器，这是有利的，因为当布置在传感器芯片上时帧缓冲器会相当大且不利地影响制造产量。

作为实例，如果芯片连接到嵌入式处理器，那么数据速率将一般被设定为低于连接到服务器集群的情况。

所述方法不需要使传感器的空间子取样或时间分辨率适配于场景条件。

实际上，可取决于应用或取决于接收信号的处理单元或通信信道的能力来设定配置参数。在一个实施例中，所述方法可进一步包括接收阈值的值和/或用于估计事件产生速率的周期的值作为配置参数。给出此类值以满足接收信号的信道或处理器的需要。

为了实施方法，将至少一个滤波器应用于由基于事件的传感器产生的事件以响应所述估计速率超过所述阈值，以便丢弃用于输出的信号中的选定事件。此类滤波器可以包括时间滤波器和/或传感元件，在所述时间滤波器中选定事件根据时间模式发生，所述传感元件在基于事件的传感器具有多个空间分布，所述传感元件各自具有相应的地址且产生相应的事件序列的情况下，可以包括空间滤波器，在所述空间滤波器中选定事件由传感元件在对应于空间模式的地址处产生。确切地说，如果传感部分的传感元件被布置成二维矩阵，那么至少一个滤波器可以包含第一空间滤波器和第二空间滤波器，在所述第一空间滤波器中选定事件是由传感元件在对应于矩阵的行的地址处产生的事件，以及在所述第二空间滤波器中选定事件是由传感元件在对应于矩阵的列的地址处产生的事件。

本发明的另一方面涉及利用上文所提到的方法的基于事件的传感器。基于事件的传感器包括用于异步地产生事件的传感部分、输出端口，以及用于将信号提供到输出端口的控制器，所述信号包含与由传感部分产生的事件中的至少一些相关的信息。所述控制器被配置成：

-估计所述传感部分的事件产生速率；

-当估计速率小于阈值时，将具有可变速率的信号提供到所述输出端口；以及

-当所述估计速率高于所述阈值时，将包含与产生的事件中的仅一些相关的信息的信号提供到所述输出端口，使得信号中包含信息的事件的速率保持在所述阈值内。

本文公开的方法和基于事件的传感器的其它特征和优点将从参考附图的非限制性实施例的以下描述中变得显而易见。

附图说明

图1是使用基于事件的传感器的实施例实施本发明的系统的框图。

图2是在如图1所示的系统中可用的事件速率控制器的实例的框图。

具体实施方式

图1中示出的系统包括基于事件的异步视觉传感器10，其放置于场景前方且通过包括一个或多个透镜的光学采集器件11从场景接收光。传感器10包含放置于光学采集器件11的图像平面中的传感部分12。传感部分12可以包括被组织为像素矩阵的光敏元件阵列。对应于光敏元件p的每一像素随场景中的光变化而在时间t产生连续事件ev(p,t)。

处理器20处理源自传感器10的异步信息，包含从传感部分12的光敏元件p异步地接收的事件ev(p,t)。处理器20使用任何合适的编程技术或硬件布置对数字信号操作。由处理器20执行的处理类型是取决于应用的，且不是本发明的特征。

使用由在传感器的视界中出现的场景中的像素检测到的光的变化，传感器10的传感部分12生成矩阵的每一像素p的事件序列。来自像素的那些事件序列由与传感器10的输出接口相关联的控制器15聚合成信号。所述信号使用地址-事件表示(AER)，且通过传感器10的输出端口16和通信链路18供应到处理器20。输出信号中的每一事件包含至少一个尖峰，其时间位置指示由像素所见的与所述像素在矩阵中的地址相关联的亮度改变。一个或多个亮度属性，例如极性信息和/或亮度值，也可与事件相关联。通信链路18可以使用任何合适的通信介质和任何合适的通信协议。作为说明，其可以基于通用串行总线(USB)端口16。

举例来说，进行事件采集的传感部分12可实施为在P.Lichtsteiner等的论文“128×128 120dB 15μs延时异步时间对比度视觉传感器(A 128x128 120 dB 15μs LatencyAsynchronous Temporal Contrast Vision Sensor)”(IEEE固态电路期刊第43卷第2号，2008年2月，第566-576页)或专利申请US 2008/0135731A1中描述的类型的动态视觉传感器(DVS)。

可利用本发明的异步传感器的另一实例是异步基于时间的图像传感器(ATIS)，其描述在C.Posch等的论文“具有无损像素级视频压缩和时域CDS的QVGA 143 dB动态范围自由帧PWM图像传感器(A QVGA 143 dB Dynamic Range Frame-Free PWM Image SensorWith Lossless Pixel-Level Video Compression and Time-Domain CDS)”(IEEE固态电路期刊第46卷第1号，2011年1月，第259-275页)中给出。

控制器15在下文中称为事件速率控制器(ERC)。图2中示出ERC的可能的实施例。

在所述实施例中，ERC 15处理由传感部分12的读出电路连续提供的数据。ERC 15具有速率测量组件30，其接收由传感元件的阵列12生成的事件。组件30例如通过对给定时间周期T中由阵列12检测到的事件简单地进行计数来估计事件速率R_E。事件计数C_E(＝R_E×T)提供比较器31，比较器将它与阈值S进行比较。

在C_E≤S时，即当事件速率R_E在阈值S/T内时，由传感元件的阵列12产生的事件直接馈送到输出端口16用于传输到处理器20。这在图2中以开关32图解示出。在此情况下，通过输出端口16传输的信号保持由阵列12产生的事件的可变速率。

当比较器31显示C_E>S，即事件速率R_E超过阈值S/T时，来自阵列12的事件流经过ERC15的滤波器组，其在所说明的实施例中包含两个空间滤波器33、34和时间滤波器35(说明性开关32随后处于图2中示出的位置)。

滤波器33-35对来自阵列12的事件应用子取样，使得传输通过输出端口16的信号中的事件的速率保持在阈值S/T内。换句话说，每一滤波器33-35丢弃信号中的一些事件，由滤波器中的一个丢弃的事件是根据由ERC 15的配置模块40指示的相应模式H_P、V_P、T_P选择的。

在图2中示出的实施例中，滤波器组包含两个空间滤波器33-34，随后为时间滤波器35。

在空间滤波器33-34中，用于丢弃事件的模式H_P、V_P对应于传感元件阵列的区，即形成阵列12的矩阵中的传感元件的特定地址。存在水平滤波器33，其中将丢弃的事件来源于对应于矩阵的行的地址处的传感元件，随后是竖直滤波器34，其中选定事件来源于对应于矩阵的列的地址处的传感元件。在水平滤波器33丢弃事件的矩阵中的行可以密度D_H规则地隔开。在竖直滤波器34丢弃事件的矩阵中的列可以密度D_V规则地隔开。

在时间滤波器35中，用于丢弃事件的模式T_P对应于其中丢弃事件的某些时间间隔，具有丢弃占空比D_T。

当滤波器33-35级联时，如图2中所示，由滤波器组应用的总体丢弃率D'可以被计算为D'＝[1-(1-D_H)×(1-D_V)×(1-D_T)]。滤波器33、34、35的相应丢弃率D_H、D_V、D_T由配置模块40根据比较器31给定的目标丢弃率D来设定，使得D'＝D或D'≈D。

三个滤波器处理事件流的次序可以不同于图2中所示出的次序。另外，可存在少于三个滤波器或多于三个滤波器，当估计事件速率R_E超过阈值S/T时以受控方式丢弃事件。另外，事件的空间/时间滤波可具有不同于上文呈现的那些形式的形式。举例来说，空间滤波器可以应用丢弃模式，其中选定事件位于指定列和指定行中。

在ERC的实施例中，比较器31在每一周期T提供目标丢弃率D，其取决于估计事件速率R_E与阈值S/T进行比较的情况。举例来说，可以使用表示整数A＝0,1,2,...,2^N-1的位的数目N来量化目标丢弃率D以使得D＝A/2^N，其中

当C_E≤S时，A是零，即滤波器33-35不丢弃事件。否则，比较器31将事件计数C_E的值放入基于阈值S而确定的2^N-1个区间中的一个中。所述区间接收事件计数C_E，确定量化给出丢弃率D的整数A的N位。再次，此类处理不需要复杂计算。

配置模块40从比较器31接收丢弃率D，且通过如上所提到设定其相应事件丢弃率D_H、D_V、D_T而确定当R_E>S/T时将由滤波器33-35使用的模式H_P、V_P、T_P。配置模块40可以使用由表示目标丢弃率D的位形成的地址访问的预定义查找表来确定模式H_P、V_P、T_P。

目标丢弃率D如何分成三个事件丢弃率D_H、D_V、D_T可以取决于由配置模块的设计者提供的配置参数，或通过通信链路18从处理器20接收。取决于由处理器20运行的应用程序，在时间、竖直或水平丢弃模式上具有较多或较少重要性的滤波策略可能更合适。这可通过设定配置参数来指定。可存在默认策略，例如当未提供配置参数时，在三个速率D_H、D_V、D_T之间相等地划分目标丢弃率D。

其中对事件进行计数的参考周期T是可由提供于通信链路18上的用户界面设定的另一配置参数。假定当选择较长周期T时仍会存在事件的突发造成传感器10的输出处或处理器20的输入处的临时溢出的风险，处理器20可以根据其自身的动态行为选择参考周期T。通常，当使用基于事件的传感器10的上述实例时，参考周期T可以在10到500微秒的范围中。

主配置参数是事件计数C_E进行比较的阈值S的值。比率S/T直接联系到由传感器10发送到处理器20的信号的处理量。S的值也可由提供于通信链路18上的用户界面设定。

图2中图解示出的ERC 15不包含用于在滤波之前临时存储事件的缓冲器。实际上，可存在事件缓冲器，其尺寸当参考周期T增加时较大，使得针对周期T确定的目标丢弃率D应用于在同一周期T期间由阵列12生成的事件集合。然而，此缓冲器的存在并非在所有应用中的要求。也有可能在短于参考周期T的时间周期内缓冲事件。

应注意，由ERC 15运行的过程对于以受控方式实现移除过量事件的功能是相当简单的。这使得不需要具有使用CPU容量来分选事件的滤波器。

应了解，上述实施例说明本文所公开的本发明并且可以在不脱离如所附权利要求书所限定的范围的情况下进行各种修改。

举例来说，由阵列12产生的事件中的一些可以在传输到处理器20之前丢弃，原因在于在传感器10的层级实行的其它功能，例如移除运载极少信息的事件(例如，噪声、闪变效果、轨迹滤波器等)的功能。上文描述的ERC处理可在输出接口处使用，以确保基于事件的传感器的输出信号将满足所需数据速率。

在本发明的其它实施例中，事件丢弃率可以被设定成跨越传感部分12的视场变化。举例来说，空间滤波器可用以提供用于优先丢弃事件的区域的网格。由ERC 15应用哪些滤波器以及具有哪些参数可以被配置为由处理器20运行的应用程序的功能。

本发明可以用于多种装置中，包含但不限于自主车辆、假体装置、自主和机器人设备，例如制造机器人、军事或医疗机器人装置。

它还可以适用于广泛多种固定和便携式装置中，例如智能电话、便携式通信装置、笔记本、上网本和平板计算机、监控系统，以及实际上被配置成处理视觉数据的任何其它计算机化装置。

本发明的实施方案可以用于许多应用中，包含人机交互(例如，手势、语音、姿态、面部的辨识和/或其它应用)、控制过程(例如，工业机器人、自主和其它车辆)、一组关注点或对象(例如，车辆或人)在图像序列中和相对于图像平面的跟随移动、增强现实应用、虚拟现实应用、访问控制(例如，基于手势开门、基于被授权人的检测而打开进入的路)、检测事件(例如，用于可视监控或人或动物)、计数、跟踪等。普通所属领域的技术人员鉴于本公开将认识到存在大量的其它应用。