具体实施方式

下面，将参照附图详细描述用于实施根据本公开的技术的模式(以下称为“实施例”)。根据本公开的技术不限于实施例。在以下描述中，相同的元件或具有相同功能的元件由相同的附图标记表示，并且省略了多余的描述。应当注意，将按以下顺序给出描述。

1.本公开的成像系统的总体描述

2.本公开的第一实施例

2-1.根据第一实施例的成像系统的配置示例

2-2.事件检测传感器的配置示例

2-2-1.像素阵列部的配置示例

2-2-2.像素的配置示例

2-2-3.事件检测器的配置示例

2-2-3-1.电流电压转换部的配置示例

2-2-3-2.减法器和量化部的配置示例

2-2-4.芯片结构的配置示例

2-2-5.关于滤色器的必要性

2-2-6.四像素共享的像素电路的配置示例

2-3.示例1(第一实施例的最上位概念的处理的示例)

2-4.示例2(感测尾灯的示例)

2-5.示例3(识别车辆后感测尾灯的示例)

2-6.示例4(示例3的修改示例：检测相对速度的示例)

2-7.示例5(识别车辆后感测转向指示器的示例)

2-8.示例6(识别交通灯后感测红灯的示例)

2-9.示例7(示例6的修改示例：感测从红灯到绿灯的变化的示例)

3.本公开的第二实施例

3-1.根据第二实施例的成像系统的配置示例

3-2.图像传感器的配置示例

3-2-1.CMOS图像传感器的配置示例

3-2-2.像素的配置示例

3-2-3.芯片结构的配置示例

3-2-3-1.平置型芯片结构(所谓的平置结构)

3-2-3-2.堆叠型芯片结构(所谓的堆叠结构)

3-3.示例8(第二实施例的最上位概念的处理的示例)

3-4.示例9(识别车辆后感测尾灯的示例)

3-5.示例10(识别车辆后感测转向指示器的示例)

3-6.示例11(识别交通灯后感测红灯的示例)

3-7.示例12(示例11的修改示例：感测从红灯到绿灯的变化的示例)

4.修改示例

5.根据本公开的技术的应用示例(移动主体的示例)

6.本公开的可能配置

<本公开的成像系统的总体描述>

在本公开的成像系统中，事件检测传感器可以具有包括异步成像装置的配置，该异步成像装置将光电转换入射光的像素的亮度变化超过预定阈值检测为事件。本公开的成像系统优选地被配置为在移动主体上使用。

在包括上述优选配置的本公开的成像系统中，控制器可以被配置为在基于事件检测传感器的事件检测识别关注物体之后，基于关注物体执行信号处理。此外，控制器可以被配置为在将本车前方行驶的车辆的尾灯识别为关注物体时，将预定指令信号发送到移动主体的控制系统。

此外，在包括上述优选配置的本公开的成像系统中，控制器可以被配置为在识别出在本车前方行驶的车辆之后，将本车前方行驶的车辆的尾灯识别为关注物体。此外，控制器可以被配置为在将尾灯识别为关注物体之后，在本车和本车前方行驶的车辆的相对速度等于或高于预定阈值的情况下，将预定指令信号发送到移动主体的控制系统。

此外，在包括上述优选配置的本公开的成像系统中，控制器可以被配置为在识别到本车前方行驶的车辆之后，在将本车前方行驶的车辆的转向指示器识别为关注物体时，将预定指令信号发送到移动主体的控制系统。

此外，在包括上述优选配置的本公开的成像系统中，控制器可以被配置为在将交通灯识别为关注物体并感测到红灯时，或者在感测到处于红灯状态的交通灯已经从红灯变为绿灯时，将预定指令信号发送到移动主体的控制系统。

此外，包括上述优选配置的本公开的成像系统可以具有包括以预定帧速率执行成像的图像传感器的配置。另外，控制器可以被配置为在基于图像传感器的图像数据执行物体识别之后，在基于事件检测传感器的事件检测识别到关注物体时，基于关注物体执行信号处理。

此外，在本公开的成像系统中，控制器可以被配置为在识别到本车前方行驶的车辆之后，在将本车前方行驶的车辆的尾灯识别为关注物体时，或者在识别到本车前方行驶的车辆之后，将本车前方行驶的车辆的转向指示器识别为关注物体时，将预定指令信号发送到移动主体的控制系统。

此外，在包括上述优选配置的本公开的成像系统中，控制器可以被配置为在将交通灯识别为关注物体并感测到红灯时，将预定指令信号发送到移动主体的控制系统。或者，控制器可以被配置为在感测到红灯状态下的交通灯已经从红灯变为绿灯时，将预定指令信号发送到移动主体的控制系统。

<<本公开的第一实施例>>

<根据第一实施例的成像系统的配置示例>

图1是示出根据本公开第一实施例的成像系统的系统配置的示例的框图。

如图1所示，根据本公开第一实施例的成像系统1A具有这样的配置，该配置包括事件检测传感器10、运动识别器30、物体识别器40、控制器50、操作模式定义部60、图像记录部70和接口80。根据第一实施例的成像系统1A可在移动主体(例如，车辆)上使用。

例如，在车辆上使用的情况下，成像系统1A将被设置在车辆上的预定位置，以供使用，例如，车辆上的包括例如前鼻、侧视镜、后保险杠、后门和车辆内部的挡风玻璃的上部等这些位置中的至少一个。稍后将详细描述根据本公开的技术的应用示例(即，根据第一实施例的成像系统1A)。

作为事件检测传感器10，可以使用称为DVS的异步成像装置，其将光电转换入射光的像素的亮度变化超过预定检测阈值检测为事件。异步成像装置是与垂直同步信号异步地检测事件的成像装置，其和与垂直同步信号同步地执行成像的同步成像装置相反。稍后将描述包括异步成像装置的事件检测传感器10的细节。应当注意，尽管此处将DVS描述为异步成像装置，但是DVS可以适于与垂直同步信号同步地检测事件。

运动识别器30基于从事件检测传感器10输出并指示事件发生的事件信号(事件数据)来识别(检测)物体的运动。在图2A中示出运动识别器30的具体配置的示例。运动识别器30包括例如事件帧生成器31和运动检测器32。

基于从事件检测传感器10输出的事件信号，事件帧生成器31通过对在特定时间段内发生的多个事件成帧来生成事件帧。运动检测器32在由事件帧生成器31成帧产生的事件帧中执行运动检测。应当注意，可以通过使运动识别器30直接接收以异步方式输出的事件信号来执行运动检测，而不涉及事件帧生成器31的成帧。

基于从运动识别器30提供的运动检测的结果，物体识别器40对被检测为事件的物体执行识别处理。图2B中示出了物体识别器40的特定配置的示例。物体识别器40包括例如ROI提取器41和识别处理部42。

ROI提取器41执行特定区域的提取以用于执行物体识别，即，执行ROI的提取(感兴趣区域：ROI)。识别处理部42基于由ROI提取器41提取的区域的数据对物体执行识别处理。为了在识别处理部42处识别物体，可以采用通过诸如神经网络等机器学习的模式识别技术，即，例如，通过在作为训练数据提供的图像的特征点和捕获的被摄体图像的特征点之间进行比较来执行图像识别的技术。

控制器50包括例如处理器(CPU)，并且控制事件检测传感器10，具体地，基于从操作模式定义部60提供的信息来控制事件检测传感器10的分辨率。各种信息(例如，车速)经由接口80从稍后描述的车辆控制系统12000(见图29)提供给控制器50，车辆控制系统12000是根据本公开的技术可应用于的移动主体控制系统的示例。稍后将描述对事件检测传感器10的分辨率的控制的细节。

在控制器50的控制下，操作模式定义部60通过使用从运动识别器30提供的运动识别的结果和从物体识别器40提供的物体识别的结果，来感测作为移动主体的示例的车辆的行驶状态，例如，交通拥堵状态、高速公路上的行驶状态等。

从操作模式定义部60输出的信息作为用于控制事件检测传感器10的分辨率的信息而被提供给控制器50，并且根据需要存储在图像记录部70中。另外，从操作模式定义部60输出的信息经由接口80被提供给车辆控制系统12000(见图29)。

在根据具有上述配置的本公开的第一实施例的成像系统1A中，通过至少包括事件检测传感器10和控制器50来配置本公开的成像装置。在本公开的成像装置中，控制器50根据作为移动主体的示例的车辆的行驶状态来执行控制，以切换事件检测传感器10的分辨率。此外，还可以采用车辆控制系统12000设置有操作模式定义部60和图像记录部70的功能的成像系统配置。

<事件检测传感器的配置示例>

下面将描述事件检测传感器10的细节。图3是示出具有上述配置的本公开的成像系统1中的事件检测传感器10的配置的示例的框图。

如图3所示，事件检测传感器10包括像素阵列部12，该像素阵列部12包括以矩阵形式(阵列形式)二维布置的多个像素11。多个像素11均产生对应于光电流的电压的模拟信号作为像素信号，该光电流作为通过光电转换生成的电信号。此外，多个像素11均基于在与入射光的亮度相对应的光电流中是否发生了超过预定阈值的变化来检测事件的存在与否。换言之，多个像素11均将亮度变化超过预定阈值检测为事件。

除了像素阵列部12之外，事件检测传感器10还包括驱动部13、仲裁器部(仲裁部)14、列处理部15和信号处理部16，作为像素阵列部12的外围电路部分。

在检测到事件时，多个像素11均向仲裁器部14输出对指示事件发生的事件数据的输出的请求。然后，在从仲裁器部14接收到指示同意输出事件数据的响应的情况下，多个像素11均将事件数据输出到驱动部13和信号处理部16。此外，已经检测到事件的像素11向列处理部15输出通过光电转换生成的模拟像素信号。

驱动部13驱动像素阵列部12中的每个像素11。例如，驱动部13驱动已经检测到事件并输出事件数据的像素11，并且使得该像素11的模拟像素信号被输出到列处理部15。

仲裁器部14对从相应多个像素11提供的对输出事件数据的请求进行仲裁，并向每个像素11发送基于仲裁结果(事件数据的输出的批准/不批准)的响应和用于复位事件检测的复位信号。

列处理部15包括例如模数转换部，该模数转换部包括为像素阵列部12的每个像素列提供的模数转换器的组件。模数转换器的示例包括单斜率模数转换器。

在列处理部15，对像素阵列部12的每个像素列执行处理，以将从该列中的像素11输出的模拟像素信号转换成数字信号。列处理部15也可以对数字化的像素信号进行CDS(相关双采样)处理。

信号处理部16对从列处理部15提供的数字化像素信号和从像素阵列部12输出的事件数据执行预定的信号处理，并输出经过信号处理的事件数据和像素信号。

如上所述，在像素11处产生的光电流的变化可以被视为进入像素11的光的光量的变化(亮度的变化)。因此，事件也可以认为是像素11处的光量变化(亮度变化)超过预定阈值。指示事件发生的事件数据至少包括位置信息，例如，坐标，其指示作为事件的光量变化已经发生的像素11的位置。除了位置信息之外，事件数据可以包括光量变化的极性。

关于在事件发生的时间从像素11输出的事件数据的序列，可以认为事件数据隐含地包括指示发生事件的相对时间的时间信息，只要事件数据之间的间隔保持与发生事件时相同的状态。然而，如果由于诸如在存储器中记录事件数据等原因，事件数据之间的间隔不再保持与发生事件时相同的状态，则事件数据中隐含的时间信息丢失。为了解决这个问题，在事件数据之间的间隔不再保持与发生事件时相同的状态之前，信号处理部16向事件数据添加指示发生事件的相对时间的时间信息，例如，时间戳。

[像素阵列部的配置示例]

图4是示出事件检测传感器10中的像素阵列部12的配置示例的框图。

在多个像素11以矩阵形式二维排列的像素阵列部12中，多个像素11均包括光接收部61、像素信号生成器62和事件检测器63。

在具有上述配置的像素11中，光接收部61对入射光进行光电转换，以产生光电流。然后，根据驱动部13的控制，光接收部61将对应于通过对入射光进行光电转换而产生的光电流的电压信号提供给像素信号生成器62或事件检测器63(见图3)。

像素信号生成器62根据对应于光接收部61提供的光电流的电压信号生成模拟像素信号SIG。像素信号生成器62然后经由为像素阵列部12的每个像素列布线的垂直信号线VSL将生成的模拟像素信号SIG提供给列处理部15(见图3)。

事件检测器63基于从每个光接收部61提供的光电流的变化量是否超过预定阈值来检测事件的发生与否。这些事件包括例如指示光电流的变化量超过上限阈值的接通(on)事件和指示变化量低于下限阈值的断开(off)事件。此外，指示事件发生的事件数据包括表示接通事件的检测结果的一个比特和表示断开事件的检测结果的一个比特。应当注意，事件检测器63也可以被配置为仅检测接通事件。

当事件发生时，事件检测器63向仲裁器部14(见图3)输出对指示事件发生的事件数据的输出的请求。然后，在从仲裁器部14接收到对请求的响应的情况下，事件检测器63将事件数据输出到驱动部13和信号处理部16。

[像素的电路配置示例]

图5是示出事件检测传感器10中的像素阵列部12的像素11的电路配置的示例的电路图。

如上所述，多个像素11均具有包括光接收部61、像素信号生成器62和事件检测器63的配置。

在具有上述配置的像素11中，光接收部61具有包括光接收元件(光电转换元件)611、传输晶体管612和传输晶体管613的配置。例如，可以使用N型MOS(金属氧化物半导体)晶体管作为传输晶体管612和传输晶体管613。传输晶体管612和传输晶体管613彼此串联耦接。

光接收元件611耦接在传输晶体管612和传输晶体管613之间的公共连接节点N₁和地之间，并且光电转换入射光，以产生具有与入射光的光量对应的电荷量的电荷。

传输信号TRG从图3所示的驱动部13提供给传输晶体管612的栅电极。传输晶体管612响应于传输信号TRG而导通，从而向像素信号生成器62提供由在光接收元件611处执行的光电转换生成的电信号。

控制信号OFG从驱动部13提供至传输晶体管613的栅电极。传输晶体管613响应于控制信号OFG而导通，从而向事件检测器63提供由在光接收元件611处执行的光电转换生成的电信号。要提供给事件检测器63的电信号是包括电荷的光电流。

像素信号生成器62具有包括复位晶体管621、放大晶体管622、选择晶体管623和浮动扩散层624的配置。例如，可以使用N型MOS晶体管作为复位晶体管621、放大晶体管622和选择晶体管623。

由光接收部61的光接收元件611处的光电转换产生的电荷由传输晶体管612提供给像素信号生成器62。从光接收部61提供的电荷累积在浮动扩散层624中。浮动扩散层624转换累积的电荷，以产生具有对应于电荷量的电压值的电压信号。即，浮动扩散层624用作将电荷转换成电压的电荷电压转换部。

复位晶体管621耦接在电源电压V_DD的电源线和浮动扩散层624之间。复位信号RST从驱动部13提供给复位晶体管621的栅电极。复位晶体管621响应于复位信号RST而导通，从而初始化(复位)浮动扩散层624。

放大晶体管622在电源电压V_DD的电源线和垂直信号线VSL之间串联耦接到选择晶体管623。放大晶体管622放大由浮动扩散层624处的电荷电压转换产生的电压信号。

选择信号SEL从驱动部13提供给选择晶体管623的栅电极。选择晶体管623响应于选择信号SEL而导通，从而经由垂直信号线VSL将由放大晶体管622放大的电压信号作为模拟像素信号SIG输出到列处理部15(见图3)。

在包括具有上述配置的像素11二维地布置的像素阵列部12的事件检测传感器10中，驱动部13由图1所示的控制器50指示开始事件检测。当被指示开始事件检测时，驱动部13将控制信号OFG提供给光接收部61的传输晶体管613，从而驱动传输晶体管613，以使对应于光接收元件611处产生的电荷的光电流提供给事件检测器63。

然后，一旦在某个像素11处检测到事件，驱动部13关闭该像素11的传输晶体管613，以使得停止向事件检测器63提供光电流。接下来，驱动部13将传输信号TRG提供给传输晶体管612，从而驱动该传输晶体管612，以促使由光接收元件611处的光电转换产生的电荷传输到浮动扩散层624。

以这种方式，包括具有上述配置的像素11二维地布置的像素阵列部12的事件检测传感器10仅向列处理部15输出检测到事件的像素11的像素信号。与输出所有像素的像素信号而不管事件是否存在的情况相比，这使得可以降低事件检测传感器10的功耗和图像处理的处理量。

应当注意，此处例示的像素11的配置是一个示例，因此，这样的配置示例是非限制性的。例如，在不需要输出像素信号的情况下，可以采用没有像素信号生成器62的像素配置。在采用这种像素配置的情况下，从光接收部61省略传输晶体管612就足以。另外，图3的列处理部15也可以被配置为不具有模数转换功能。通过采用不输出像素信号的像素配置，可以抑制事件检测传感器10的规模增大。

[事件检测器的配置示例]

图6是示出事件检测传感器10的像素11中的事件检测器63的配置示例的框图。

如图6所示，根据本示例的事件检测器63具有包括电流电压转换部631、缓冲器632、减法器633、量化部634和传输部635的配置。

电流电压转换部631将从像素11的光接收部63提供的光电流转换成光电流的对数的电压信号(在某些情况下，在下文中可以称为“光电压”)，并将光电压提供给缓冲器632。缓冲器632对从电流电压转换部631提供的光电压进行缓冲，并将缓冲的光电压提供给减法器633。

减法器633计算当前时间的光电电压和与当前时间相差非常小的时间段的时间的光电电压之间的差异，并将对应于该差异的差分信号提供给量化部634。量化部634将从减法器633提供的差分信号量化成数字信号，并将差分信号的数字值提供给传输部635。

当从量化部634提供差分信号的数字值时，传输部635向仲裁部14提供传输事件数据的请求。然后，一旦从仲裁器部14接收到对请求的响应，即批准事件数据输出的响应，传输部635根据从量化部634提供的差分信号的数字值，将事件数据提供给驱动部13和信号处理部16。

接下来，将给出事件检测器63中的电流电压转换部631、减法器633和量化部634的配置示例的描述。

(电流电压转换部的配置示例)

图7是示出事件检测器63中的电流电压转换部631的配置示例的电路图。

如图7所示，根据本示例的电流电压转换部631具有包括晶体管6311、晶体管6312和晶体管6313的电路配置。可以使用N型MOS晶体管作为晶体管6311和晶体管6313。可以使用P型MOS晶体管作为晶体管6312。

晶体管6311耦接在电源电压V_DD的电源线和信号输入线6314之间。晶体管6312和晶体管6313串联耦接在电源电压V_DD的电源线和地之间。图6所示的晶体管6311的栅电极和缓冲器632的输入端耦接到晶体管6312和晶体管6313之间的公共连接节点N₂。

预定偏置电压V_bias被施加到晶体管6312的栅电极。晶体管6312由此向晶体管6313提供恒定电流。光电流从光接收部61经由信号输入线6314输入到晶体管6313的栅电极。

晶体管6311的漏电极耦接到电源电压V_DD的电源线，并且具有源极跟随器配置。晶体管6313的栅电极耦接到晶体管6311的源电极。来自光接收部61的光电流然后被具有源极跟随器配置的晶体管6311和晶体管6313转换成对应于光电流的对数的光电压。

(减法器和量化部的配置示例)

图8是示出事件检测器63中减法器633和量化部634的配置示例的电路图。

根据本示例的减法器633具有包括电容元件6331、运算放大器6332、电容元件6333和开关元件6334的配置。

电容元件6331的一端耦接到图6所示的缓冲器632的输出端，电容元件6331的另一端耦接到运算放大器6332的输入端。由此，从缓冲器632提供的光电压通过电容元件6331被提供给运算放大器6332的输入端。

电容元件6333并联耦接到运算放大器6332。开关元件6334耦接在电容元件6333的两端之间。作为用于断开和闭合开关元件6334的控制信号，复位信号从图3所示的仲裁器部14提供给开关元件6334。响应于复位信号，开关元件6334断开或闭合耦接电容元件6333的两端的路径。

在上述配置的减法器633中，当开关元件6334进入导通(闭合)状态时，要输入到电容元件6331的缓冲器632侧端子的光电压将被表示为V_init。当光电压V_init被输入到电容元件6331的缓冲器632侧端子时，相对侧的端子变成虚拟接地端子。为了方便起见，假设该虚拟接地端子的电势为零。此时，如果电容元件6331的电容值被表示为C₁，则累积在电容元件6331中的电荷Q_init由下面的等式(1)表示。

Q_init＝C₁×V_init ...(1)

此外，在开关元件6334处于导通状态的情况下，电容元件6333的两端短路，因此电容元件6333中累积的电荷为零。此后，开关元件6334进入切断(断开)状态。在开关元件6334处于断开状态的情况下，电容元件6331的缓冲器632侧端子处的光电压将被表示为V_after。在开关元件6334进入断开状态的情况下，要在电容元件6331中累积的电荷Q_after由下面的等式(2)表示。

Q_after＝C₁×V_after ...(2)

如果电容元件6333的电容值被表示为C₂，并且运算放大器6332的输出电压被表示为V_out，则要累积在电容元件6333中的电荷Q₂由下面的等式(3)表示。

Q₂＝-C₂×V_out ...(3)

因为电容元件6331的电荷量和电容元件6333的电荷量的总电荷量在开关元件6334断开前后不变，所以下面的等式(4)成立。

Q_init＝Q_after+Q₂ ...(4)

将等式(1)至(3)代入等式(4)，得到下面的等式(5)。

V_out＝-(C₁/C₂)×(V_after-V_init) ...(5)

根据等式(5)，在减法器633处执行光电压V_init和光电压V_after之间的减法，即，计算与光电压V_init和光电压V_after之间的差(V_init-V_after)相对应的差分信号V_out。另外，根据等式(5)，减法器633的减法增益是C₁/C₂。通常希望减法器633的减法增益最大化。因此，优选地，将电容元件6331的电容值C₁设计得大，并且将电容元件6333的电容值C₂设计得小。

另一方面，如果电容元件6333的电容值C₂过小，则kTC噪声会增加，而使得噪声特性劣化。因此，电容元件6333的电容值C₂的电容减小被限制在可以容忍噪声的范围内。另外，因为将针对每个像素11安装包括减法器633的事件检测器63，所以电容元件6331和电容元件6333受到面积限制。考虑这些因素来确定电容元件6331的电容值C₁和电容元件6333的电容值C₂。

在图8中，量化部634具有包括比较器6341的配置。比较器6341接收来自减法器633的差分信号(即，运算放大器6332的输出信号)，作为非反相(+)输入，并且接收预定阈值电压V_th，作为反相(-)输入。然后，比较器6341比较来自减法器633的差分信号V_out和预定阈值电压V_th，并将表示比较结果的高电平或低电平作为差分信号V_out的量化值输出到图6所示的传输部635。

在从来自量化部634的差分信号V_out的量化值可认识到已经发生作为事件的光量变化(亮度变化)的情况下，即，在差分信号V_out大于(或小于)预定阈值电压V_th的情况下，传输部635向图3的信号处理部16输出例如指示事件发生的高电平事件数据。即，阈值电压V_th是用于基于像素11的光量变化(亮度变化)来检测事件的阈值。

信号处理部16输出从传输部635提供的事件数据，将已经检测到事件数据指示的事件的像素11的位置信息、指示事件发生的时间的时间信息以及根据需要作为事件的光量变化的极性信息包含到事件数据中。

例如，称为AER(地址事件表示)的数据格式可用作事件数据的数据格式，该事件数据包括已经检测到事件的像素11的位置信息、指示事件发生的时间的时间信息以及作为事件的光量变化的极性信息。

应当注意，为像素11提供透射预定光的滤光器，例如，滤色器，使得像素11能够接收期望光作为入射光。例如，在像素11接收可见光作为入射光的情况下，事件数据指示发生例如在视觉上可识别的被摄体出现在其上的图像中的像素值的变化。此外，例如，在像素11接收用于距离测量的红外线、毫米波等作为入射光的情况下，事件数据指示到被摄体的距离发生变化。此外，例如，在像素11接收用于测量温度的红外线作为入射光的情况下，事件数据指示被摄体发生温度变化。在本实施例中，像素11接收可见光作为入射光。

[芯片结构的配置示例]

作为上述事件检测传感器10的芯片(半导体集成电路)结构，例如，可以采用堆叠型芯片结构。图9是示出事件检测传感器10的堆叠型芯片结构的概述的分解透视图。

如图9所示，堆叠型芯片结构或所谓的堆叠结构是包括作为第一芯片的光接收芯片101和作为第二芯片的检测芯片102的至少两个芯片彼此堆叠的结构。另外，在图5所示的像素11的电路配置中，每个光接收元件611设置在光接收芯片101上，而除了光接收元件611之外的所有元件和像素11的其他电路部分中的元件设置在检测芯片102上。光接收芯片101和检测芯片102通过诸如通孔(VIA)、Cu-Cu接合或凸块等连接部彼此电耦接。

应当注意，尽管此处作为示例已经给出了将光接收元件611设置在光接收芯片101上并且将除了光接收元件611之外的元件和像素11的其他电路部分中的元件设置在检测芯片102上的配置示例的描述，但是该配置示例是非限制性的。

例如，在图5所示的像素11的电路配置中，可以采用这样的配置，在该配置中，光接收部61的每个元件设置在光接收芯片101上，而除光接收部61之外的部的元件和像素11的其他电路部分中的元件设置在检测芯片102上。此外，可以采用这样的配置，在该配置中，光接收部61的每个元件以及像素信号生成器62的复位晶体管621和浮动扩散层624设置在光接收芯片101上，而其他元件设置在检测芯片102上。此外，可以采用这样的配置，在该配置中，包括在事件检测器63中的一些元件与光接收部61的每个元件一起设置在光接收芯片101上。

[关于滤色器的必要性]

顺便提及，当车辆行驶时，各种波长带的信息进入驾驶员的视线范围，各种波长带的信息包括在本车前方行驶的车辆的刹车灯或尾灯的点亮(闪烁)、转向指示器的闪烁、交通灯的颜色变化、电子标志等。基本上，驾驶员视觉上检测这些各种信息并确定其内容。然而，如果事件检测传感器10能够以与驾驶员相同的方式执行检测和确定，这将是非常方便的。

因此，在根据本实施例的成像系统1A中，为事件检测传感器10中的每个像素11提供作为波长选择元件的示例的滤色器，以使得能够通过在每个像素11处执行阈值检测来检测每个颜色的事件。然后，图1所示的运动识别器30针对每种颜色对被检测为事件的物体执行运动检测。这使得可以在检测(感测)车辆刹车灯或尾灯的点亮(闪烁)、转向指示器的闪烁、交通灯的颜色变化、电子标志等时，利用对应波长带中的每种颜色的事件信号。

此处，将水平方向(行方向)上的两个像素×垂直方向(列方向)上的两个像素的像素组，即所谓的2×2像素用作布置滤色器的单位的情况为示例描述。然而，2×2像素是一个示例，因此，作为滤色器的布置单位的像素组不限于2×2像素。

当采用2×2像素作为单位时，滤色器的布置的示例包括组合了R(红色)像素和C(透明，clear)像素的RCCC滤波器、组合了B(蓝色)像素与R像素和C像素的RCCB滤波器以及组合了R像素、G(绿色)像素和B像素的RGB拜耳布置的滤波器，如图10A所示。应当注意，C(透明)像素是没有设置滤色器或设置透明滤色器的像素，类似于W(白色)像素。

在上述三种类型的滤色器布置中，即使在相当于月夜的低亮度下，组合了R(红色)像素和C(透明)像素的RCCC滤波器尤其能够实现允许对远处的障碍物或人等进行成像的高灵敏度。此外，RCCC滤波器能够提高例如在车载感测等中重要的红色波长带中的光(例如，尾灯、红色交通灯等)的检测精度。

除了图10A所示的三个示例之外，滤色器的布置的示例还包括组合了R像素、C(透明)像素、G像素和B像素的RCGB滤色器；组合了R像素、IR(红外)像素、G像素和B像素的RIR(红外)GB滤色器以及组合了G像素、Mg(品红)像素、Cy(青色)像素和Ye(黄色)像素的GMgCyYe滤色器。然而，滤色器的布置不限于图10A和图10B中例示的布置。

[四像素共享的像素的电路配置示例]

此处，作为示例，将参考以RGB拜耳布置方式布置滤色器的情况来给出像素11的电路配置的描述。基本上，如图5所示，像素信号生成器62和事件检测器63针对每个像素11设置在光接收部61中。然而，也可以采用这样的电路配置，在该电路配置中，像素信号生成器62和事件检测器63在例如四个光接收部61之间共享，以2×2像素的四个像素为单位，类似于下面描述的电路的配置示例。

图11是示出四像素共享的像素的电路配置示例的电路图。图11示出了以2×2像素的四个像素为单位的像素块PB的电路配置示例。如图11所示，像素块PB具有包括例如光接收部61、像素信号生成器62、事件检测器63和逻辑电路64的配置。

应当注意，在图11中，像素信号生成器62和事件检测器63对应于图5中的像素信号生成器62和事件检测器63，并且在基本电路配置上与其类似。因此，将省略其详细描述。逻辑电路64包括图3中的驱动部13、信号处理部16和仲裁器部14。

在以RGB拜耳布置方式布置滤色器的情况下，用于四像素共享的光接收部61包括具有红色(R)滤色器的光接收元件611R、具有绿色(Gr)滤色器的光接收元件611Gr、具有绿色(GB)滤色器的光接收元件611Gb和具有蓝色(B)滤色器的光接收元件611B。光接收部61还包括分别为四个光接收元件611R、611Gr、611Gb和611B设置的四个传输晶体管612R、612Gr、612Gb和612B以及为四个光接收元件611R、611Gr、611Gb和611B共同设置的传输晶体管613。

传输信号TRG_R、TRG_Gr、TRG_Gb和TRG_B从逻辑电路64的驱动部13提供给四个传输晶体管612R、612Gr、612Gb和612B的相应栅电极。控制信号OFG从驱动部13提供给传输晶体管613的栅电极。从光接收元件611R、611Gr、611Gb和611B经由传输晶体管612R、612Gr、612Gb和612B输出的信号在节点N₆₁处结合。节点N₆₁经由传输晶体管613耦接到像素信号生成器62的输出端和事件检测器63的输入端。

在具有上述配置的四像素共享的像素的电路配置示例中，例如，在检测设置有红色(R)滤色器的光接收元件611R的亮度变化(检测到事件)的情况下，仅使传输晶体管612R导通就足以。此外，例如，通过在检测到红色(R)事件之后依次使所有传输晶体管612R、612Gr、612Gb和612B导通，可以以更高的精度检测检测到的事件的亮度值。因此，事件检测传感器10不仅可以执行事件检测，还可以执行图像采集。

根据上述电路的配置示例，例如，以2×2像素的四个像素为单位，在四个光接收部61之间共享像素信号生成器62和事件检测器63。因此，与不采用像素共享的情况相比，可以实现像素11的电路规模的减小。

在下文中，给出了具体示例的描述，其中，在根据第一实施例的成像系统1A中，从设置有滤色器的像素11的信息中的特定波长带中检测事件，并且基于检测结果执行预定的信号处理。应当注意，下面描述的每个示例中的处理基本上在图1所示的成像系统1A中的控制器50的控制下执行。

<示例1>

示例1是第一实施例的最上位概念的处理的示例。在图12的流程图中示出了根据示例1的最上位概念的处理流程。

在装设有根据第一实施例的成像系统1A的车辆行驶期间，控制器50基于像素11的信号在特定波长带中执行事件检测(步骤S11)，像素11设置有特定波长带的滤波器，并且随后在图1所示的运动识别器30处，对被检测为事件的物体执行运动检测(步骤S12)。

接下来，控制器50在图2所示的ROI提取器41处执行特定区域ROI的提取以在检测到运动的位置处执行物体识别(步骤S13)，并且随后在图2所示的识别处理部42处在所提取的ROI的部分中执行物体识别(步骤S14)。

接下来，控制器50通过物体识别来确定物体是否被识别为要关注的物体(步骤S15)。在物体未被识别为要关注的物体的情况下(S15中的否)，控制器50返回到步骤S11。在物体被识别为要关注的物体的情况下(S15中的是)，控制器50基于要关注的物体执行预定的信号处理(步骤S16)，并结束根据示例1的最上位概念的一系列处理。

如上所述，在示例1中，在特定波长带中执行事件检测，并且对被检测为事件的物体执行运动检测。在物体被识别为要关注的物体的情况下，执行基于该物体的预定信号处理。因此，可以将各种波长带的信息检测为事件。具体而言，当车辆行驶时，各种波长带的信息进入驾驶员的视线范围，各种波长带的信息包括在本车前方行驶的车辆的刹车灯或尾灯的点亮(闪烁)、转向指示器的闪烁、交通灯的颜色变化、电子标志等时，成像系统A能够以与驾驶员相同的方式对其进行检测和确定。

此处，例如，“预定信号处理”是指向图29所示的车辆控制系统12000的驱动系统控制单元12010发送用于各种自动控制等的命令信号的处理。当从事件检测传感器10接收到命令信号时，车辆控制系统12000自动执行各种控制，例如，通过自动控制来施加制动或者通过显示警报来引起驾驶员的注意。

<示例2>

示例2是感测在本车前方行驶的车辆的尾灯的示例。在图13的流程图中示出了根据示例2的尾灯感测的处理流程。在示例2中，例如，图10A所示的RCCC滤波器用作针对事件检测传感器10中的每个像素11所设置的滤色器。在RCCC滤波器的情况下，红色(R)用作特定的波长带。这同样适用于后面将要描述的示例。

在装设有根据第一实施例的成像系统1A的车辆行驶期间，控制器50在红色波长带中执行事件检测(步骤S21)，并且随后在运动识别器30处对被检测为事件的物体执行运动检测(步骤S22)。接下来，控制器50在ROI提取器41处对检测到运动的位置执行ROI的提取(步骤S23)，并且随后在识别处理部42处执行提取的ROI的部分中的物体识别(步骤S24)。

接下来，控制器50通过物体识别来确定物体是否被识别为在本车前方行驶的车辆的尾灯(步骤S25)。在物体没有被识别为尾灯的情况下(S25中的否)，控制器50返回到步骤S21。在物体被识别为尾灯的情况下(S25中的是)，控制器50经由图1中所示的接口80将用于制动控制、警报显示等的指令信号发送到图29中所示的车辆控制系统12000的驱动系统控制单元12010(步骤S26)。然后，根据示例2的用于尾灯感测的一系列处理结束。

当从根据第一实施例的成像系统1A接收到用于制动控制、警报显示等的指令信号时，车辆控制系统12000的驱动系统控制单元12010执行控制，例如，通过自动控制施加制动或者通过显示警报引起驾驶员的注意。

如上所述，在示例2中，在红色波长带中执行事件检测，并且对被检测为事件的物体执行运动检测。在物体被识别为在本车前方行驶的车辆的尾灯的情况下，确定本车和在本车前方行驶的其他车辆之间的车间距足够近到能够识别其他车辆的尾灯。然后，用于制动控制、警报显示等的指令信号被发送到车辆控制系统12000的驱动系统控制单元12010。车辆控制系统12000因此能够执行控制，例如，通过自动控制来施加制动或者通过显示警报来引起驾驶员的注意，从而能够有助于安全行驶。

应当注意，在示例2中，在对尾灯进行识别处理时，通过物体识别将物体识别为尾灯；然而，尾灯的闪烁可以被检测并用作物体识别(物体感测)的信息。

<示例3>

示例3是在识别在本车前面行驶的车辆之后感测尾灯的示例。在图14的流程图中示出了根据示例3的车辆识别和尾灯感测的处理流程。

在装设有根据第一实施例的成像系统1A的车辆行驶期间，控制器50在所有波长带中执行事件检测(步骤S31)，并且随后在运动识别器30处对被检测为事件的物体执行运动检测(步骤S32)。接下来，控制器50在ROI提取器41处执行检测到运动的位置处的ROI的提取(步骤S33)，并且随后在识别处理部42处于提取的ROI的部分中执行物体识别(步骤S34)。

接下来，控制器50通过物体识别来确定物体是否被识别为前方行驶的车辆(步骤S35)。在物体没有被识别为车辆的情况下(S35中的否)，控制器50返回到步骤S31。在物体被识别为车辆的情况下(S35中的是)，控制器50提取物体被识别为车辆的区域内的红色事件信号区域(步骤S36)。

接下来，控制器50通过识别处理部42处的物体识别来确定物体是否被识别为尾灯(步骤S37)。在物体没有被识别为尾灯的情况下(S37中的否)，控制器50返回到步骤S36。在物体被识别为尾灯的情况下(S37中的是)，控制器50经由接口80向图29所示的车辆控制系统12000的驱动系统控制单元12010发送用于制动控制、警报显示等的指令信号(步骤S38)。然后，根据示例3的用于车辆识别和尾灯感测的一系列处理结束。

当从根据第一实施例的成像系统1A接收到用于制动控制、警报显示等的指令信号时，车辆控制系统12000的驱动系统控制单元12010执行控制，例如，通过自动控制施加制动或者通过显示警报引起驾驶员的注意。

如上所述，在示例3中，在所有波长带中执行事件检测，并且对被检测为事件的物体执行运动检测。在识别到在本车前方行驶的车辆之后，执行有关尾灯的识别处理。与直接识别在本车前方行驶的车辆的尾灯的示例2的情况相比，这使得能够提高尾灯的识别精度。

应当注意，在示例3中，在对尾灯进行识别处理时，通过物体识别将物体识别为尾灯；然而，尾灯的闪烁可以被检测并用作物体识别(物体感测)的信息。

<示例4>

示例4是示例3的修改示例，并且是在识别尾灯时检测本车和另一车辆(在本车前方行驶的车辆)的相对速度的示例。在图15的流程图中示出了根据示例4的车辆识别和尾灯感测的处理流程。

示例4包括图14所示的示例3的流程图中的处理，其中，步骤S41和步骤S42介于步骤S37和步骤S38之间。当在步骤S37中将物体识别为尾灯时(S37中的是)，控制器50检测/计算本车和其他车辆(在本车前方行驶的车辆)的相对速度(步骤S41)，并且随后确定相对速度是否等于或高于预定阈值(相对速度)(步骤S42)。

在相对速度小于预定阈值的情况下(S42中的否)，控制器50返回到步骤S41。在相对速度等于或高于预定阈值的情况下(S42中的是)，控制器50经由接口80向图29所示的车辆控制系统12000的驱动系统控制单元12010发送用于制动控制、警报显示等的指令信号(步骤S38)。然后，根据示例4的用于车辆识别和尾灯感测的一系列处理结束。

如上所述，在示例4中，在识别到在本车前方行驶的车辆(其他车辆)的尾灯时，检测/计算本车和其他车辆的相对速度。在相对速度等于或高于预定阈值的情况下，确定本车有可能快速接近前方行驶的车辆。与没有检测相对速度的示例3的情况相比，这更有助于安全行驶。

<示例5>

示例5是在识别到在本车前方行驶的车辆之后感测转向指示器(闪光灯)的示例。在图16的流程图中示出了根据示例5的用于车辆识别和转向指示器感测的处理流程。

在装设有根据第一实施例的成像系统1A的车辆行驶期间，控制器50在所有波长带中执行事件检测(步骤S51)，并且随后在运动识别器30处对被检测为事件的物体执行运动检测(步骤S52)。接下来，控制器50在ROI提取器41处执行检测到运动的位置处的ROI的提取(步骤S53)，并且随后在识别处理部42处执行提取的ROI的部分中的物体识别(步骤S54)。

接下来，控制器50通过物体识别来确定物体是否被识别为前方行驶的车辆(步骤S55)。在物体没有被识别为车辆的情况下(S55中的否)，控制器50返回到步骤S51。在物体被识别为车辆的情况下(S55中的是)，控制器50提取物体被识别为车辆的区域内的黄色或红色事件信号区域(步骤S56)。

接下来，控制器50通过识别处理部42处的物体识别来确定物体是否被识别为转向指示器(步骤S57)。在物体没有被识别为转向指示器的情况下(S57中的否)，控制器50返回到步骤S56。在物体被识别为转向指示器的情况下(S57中的是)，控制器50经由接口80将用于基于转向指示器的指示内容来执行对本车的控制的指令信号发送到图29所示的车辆控制系统12000的驱动系统控制单元12010(步骤S58)。然后，根据示例5的用于车辆识别和转向指示器感测的一系列处理结束。

如上所述，在示例5中，在所有波长带中执行事件检测，并且对被检测为事件的物体执行运动检测。在识别出在本车前方行驶的车辆之后，在已经识别出车辆的区域中对转向指示器执行识别处理。然后，用于基于转向指示器(右转、左转或危险)的指示内容来执行对本车的控制的指令信号被发送到车辆控制系统12000的驱动系统控制单元12010。

此处，例如，当前面的车辆提供右转的方向指示时，可以推断在本车前面行驶的车辆将由于右转而不再出现在前面。因此，控制车辆控制系统12000的驱动系统控制单元12010增加车辆速度，可理解为“基于转向指示器的指示内容控制本车”。或者，当前方车辆的方向指示灯指示危险(闪烁显示)时，前方行驶的车辆很有可能会停止。因此，例如，可以理解为控制车辆控制系统12000的驱动系统控制单元12010自动进行制动。

应当注意，在示例5中，在对转向指示器进行识别处理时，通过物体识别将物体识别为转向指示器；然而，转向指示器的闪烁可以被检测到并用作物体识别(物体感测)的信息。

<示例6>

示例6是识别交通灯并感测红灯的示例。在图17的流程图中示出了根据示例6的用于交通灯识别和红灯感测的处理流程。

在装设有根据第一实施例的成像系统1A的车辆行驶期间，控制器50在所有波长带中执行事件检测(步骤S61)，并且随后在运动识别器30处对被检测为事件的物体执行运动检测(步骤S62)。接下来，控制器50在ROI提取器41处执行检测到运动的位置处的ROI的提取(步骤S63)，并且随后在识别处理部42处执行提取的ROI的部分中的物体识别(步骤S64)。

接下来，控制器50确定物体识别是否被识别为交通灯(步骤S65)。在物体没有被识别为交通灯的情况下(S65中的否)，控制器50返回到步骤S61。在物体被识别为交通灯的情况下(S65中的是)，控制器50提取物体被识别为交通灯的区域内的红色事件信号区域(步骤S66)。

接下来，控制器50通过识别处理部42处的物体识别来确定交通灯的指示内容是否被识别为红灯(步骤S67)。在指示的内容没有被识别为红灯的情况下(S67中的否)，控制器50返回到步骤S66。在指示的内容被识别为红灯的情况下(S67中的是)，控制器50经由接口80向图29所示的车辆控制系统12000的驱动系统控制单元12010发送用于制动控制、警报显示等的指令信号(步骤S68)。然后，根据示例6的用于交通灯识别和红灯感测的一系列处理结束。

如上所述，在示例6中，在所有波长带中执行事件检测，并且对被检测为事件的物体执行运动检测。在物体是交通灯并且其指示内容是红灯的情况下，用于制动控制、警报显示等的指令信号被发送到车辆控制系统12000的驱动系统控制单元12010。车辆控制系统12000因此能够执行控制，例如，通过自动控制来施加制动或者通过显示警报来引起驾驶员的注意，从而能够有助于安全行驶。

应当注意，在示例6中，在对交通灯进行识别处理时，通过物体识别将物体识别为交通灯；然而，闪烁信息(例如，频率、占空比等)可以被检测并用作物体识别(物体感测)的信息。

<示例7>

示例7是示例6的修改示例，并且是感测交通灯从红灯变为绿灯的示例。在图18的流程图中示出了根据示例7的用于交通信号识别和感测从红灯到绿灯的变化的处理流程。

示例7包括图17所示的示例6的流程图中的处理，其中，引入步骤S71至步骤S73，作为步骤S78之后的处理。当识别为红灯并发送用于制动控制、警报显示等的指令信号之后(步骤S68)，控制器50在物体被识别为交通灯的区域中的绿光波长带中执行事件检测(步骤S71)，并且随后确定交通灯是否被识别为绿灯(步骤S72)。

在交通灯没有被识别为绿灯的情况下(S72中的否)，控制器50返回到步骤S61。在交通灯被识别为绿灯的情况下(S72中的是)，控制器50经由接口80向车辆控制系统12000的驱动系统控制单元12010发送用于指示启动发动机、启动等的指令信号(步骤S73)。然后，根据示例7的用于交通信号识别和感测从红灯到绿灯的变化的一系列处理结束。

如上所述，在示例7中，当红灯状态下的交通灯已经从红灯变为绿灯时，用于指示启动发动机、启动等的指令信号发送到车辆控制系统12000的驱动系统控制单元12010。车辆控制系统12000由此能够执行控制，以自动启动发动机并启动车辆，从而使得能够防止发生诸如由于远眺交通灯而导致的延迟启动等问题。

应当注意，当识别为交通灯从红灯变为绿灯时，蓝色或绿色的阈值可以在物体被识别为交通灯的区域设置为低值，而在其他区域设置为高值，从而仅允许检测到绿灯。

<<本公开的第二实施例>>

<根据第二实施例的成像系统的配置示例>

图19是示出根据本公开第二实施例的成像系统的系统配置的示例的框图。

如图19所示，根据本公开第二实施例的成像系统1B具有包括事件检测传感器10、图像传感器20、运动识别器30、物体识别器40、控制器50、操作模式定义部60和图像记录部70的配置。

事件检测传感器10、运动识别器30、物体识别器40、控制器50、操作模式定义部60和图像记录部70的功能等如在根据第一实施例的成像系统1A中描述的那样。应当注意，事件检测传感器10包括例如图10A或图10B所示的滤色器，如根据第一实施例的成像系统1A中那样。此外，类似于根据第一实施例的成像系统1A，根据第二实施例的成像系统1B可用于移动主体上，例如，车辆。

<图像传感器的配置示例>

将描述根据第二实施例的成像系统1B中的图像传感器20的基本配置。在此处，作为图像传感器20，将描述作为X-Y寻址方案的一种图像传感器的CMOS图像传感器作为示例。CMOS图像传感器是通过应用CMOS工艺或部分使用CMOS工艺制造的图像传感器。然而，图像传感器20不限于CMOS图像传感器。

[CMOS图像传感器的配置示例]

图20是示出作为根据第二实施例的成像系统1B中的图像传感器20的示例的CMOS图像传感器的配置概述的框图。

根据本示例的图像传感器20具有包括像素阵列部22和用于像素阵列部22的外围电路部分的配置，在像素阵列部22中，包括光接收部(光电转换部)的像素21在行方向和列方向上(以矩阵的形式)二维排列。此处，行方向是指像素行中像素21的排列方向，列方向是指像素列中像素21的排列方向。像素21执行光电转换，以生成和累积对应于接收光量的光电荷。

根据本示例的图像传感器20例如是RGB传感器，其中，像素阵列部22的像素21包含R(红)、G(绿)、B(蓝)相应颜色的滤光器。然而，图像传感器20不限于RGB传感器。

像素阵列部22的外围电路部分包括例如行选择器23、恒流源部24、模数转换部25、水平传输扫描仪26、信号处理部27、定时控制器28等。

在像素阵列部22中，像素驱动线31₁至31_m(在某些情况下，在下文中可以统称为“像素驱动线31”)沿着矩阵形式的像素排列中的各个像素行的行方向布线。此外，对于各个像素列，垂直信号线32₁至32_n(在某些情况下在下文中可以统称为“垂直信号线32”)沿着列方向布线。当从像素21读出信号时，像素驱动线31传输用于执行驱动的驱动信号。尽管像素驱动线31在图1中被示为单个布线，但是像素驱动线31的数量不限于一条。像素驱动线31的相应一端耦接到对应于相应行的行选择器23的输出端。

下面将描述像素阵列部22的外围电路部分的每个电路部分，即，行选择器23、恒流源部24、模数转换部25、水平传输扫描仪26、信号处理部27和定时控制器28。

行选择器23包括移位寄存器、地址解码器等，并且当选择像素阵列部22的每个像素21时，控制像素行的扫描和像素行的地址。尽管省略了行选择器23的具体配置的图示，但是行选择器23通常具有包括读出扫描系统和全面扫描系统的两个扫描系统的配置。

读出扫描系统逐行地选择性地依次扫描像素阵列部22的像素21，以从像素21读出像素信号。从像素21读出的像素信号是模拟信号。扫掠扫描系统以比读出扫描早于对应于快门速度的时间，对读出扫描系统执行读出扫描所针对的读出行执行扫描。

扫掠(sweep)扫描系统的扫掠扫描从读出行中的像素21的光接收部(光电转换部)扫出不必要的电荷，从而复位光接收部。因此，扫掠扫描系统对不必要电荷的扫掠(复位)使得能够执行所谓的电子快门操作。此处的电子快门操作是指用于扫出光接收部的光电荷并开始新的曝光(开始光电荷的累积)的操作。

恒流源部24包括多个电流源I(见图18)，包括例如耦接到每像素列的相应的垂直信号线32₁至32_n的MOS晶体管，并且通过垂直信号线32₁至32_n中的每一个向由行选择器23选择性扫描的像素行的每个像素21提供偏置电流。

模数转换部25包括对应于像素阵列部22的像素列而提供(例如，为各个像素列提供)的多个模数转换器的组件。模数转换部25是列并行模数转换部，其将通过相应的垂直信号线32₁至32_n以每像素列为基础输出的模拟像素信号转换成数字信号。

作为列并行模数转换部25中的模数转换器，例如，作为参考信号比较类型的模数转换器的示例的单斜率模数转换器是可使用的。然而，模数转换器不限于单斜率模数转换器，并且逐次逼近模数转换器、ΔΣ调制模数转换器等是可使用的。

列并行模数转换部25中的模数转换器的示例也适用于包括在前述事件检测传感器10的列处理部15(见图3)中的模数转换部中的模数转换器。

水平传输扫描仪26包括移位寄存器、地址解码器等，并且当从像素阵列部22的每个像素21读出信号时，控制像素列的扫描和像素列的地址。在水平传输扫描仪26的控制下，由模数转换部25转换成数字信号的像素信号以每像素列为基础被读出到水平传输线(水平输出线)29。

信号处理部27对通过水平传输线29提供的数字像素信号执行预定的信号处理，并生成二维图像数据。例如，信号处理部27执行线缺陷和点缺陷的校正或信号箝位，并执行包括并串转换、压缩、编码、加法、平均和间歇采样动作的数字信号处理。信号处理部27将生成的图像数据作为图像传感器20的输出信号输出到下游装置。

基于从外部提供的垂直同步信号VD和水平同步信号HD以及主时钟MCK(未示出)等，定时控制器28生成各种定时信号、时钟信号、控制信号等。基于这些生成的信号，定时控制器28然后对行选择器23、恒流源部24、模数转换部25、水平传输扫描仪26、信号处理部27等执行驱动控制。

在定时控制器28的控制下，在图像传感器20处与诸如垂直同步信号VD等同步信号同步地执行成像。即，图像传感器20是以预定帧速率执行成像的同步成像装置。

[像素的电路配置示例]

图21是示出图像传感器20中的像素阵列部22的像素21的电路配置的示例的电路图。

像素21包括例如作为光接收部(光电转换部)的光电二极管211。像素21具有除了光电二极管211之外还包括传输晶体管212、复位晶体管213、放大晶体管214和选择晶体管215的像素配置。

应当注意，虽然此处使用例如N型MOS晶体管作为包括传输晶体管212、复位晶体管213、放大晶体管214和选择晶体管215的四个晶体管，但是此处例示的四个晶体管212至215的导电类型的组合仅仅是一个示例，因此这种组合是非限制性的。

在像素21中，用作上述像素驱动线31的多条像素驱动线被布线为供同一像素行中的各个像素21共用。这些多条像素驱动线以每像素行为基础耦接到对应于各个像素行的行选择器23的输出端。行选择器23将传输信号TRG、复位信号RST和选择信号SEL适当地输出到多个像素驱动线。

光电二极管211具有耦接到低电位侧电源(例如，地)的阳极电极。光电二极管211将接收的光光电转换成具有对应于光量的电荷量的光电荷(在该示例中，光电子)，并累积光电荷。光电二极管211具有经由传输晶体管212电耦接到放大晶体管214的栅电极的阴极电极。在此处，放大晶体管214的栅电极被电耦接的区域是浮动扩散(浮动扩散区或杂质扩散区)FD。浮动扩散FD是将电荷转换成电压的电荷电压转换部。

处于高电平(例如，V_DD电平)的有效状态的传输信号TRG从行选择器23提供给传输晶体管212的栅电极。传输晶体管212响应于传输信号TRG而接通，从而将光电二极管211处的光电转换产生的并在光电二极管211中累积的光电荷发送到浮动扩散FD。

复位晶体管213耦接在电源电压V_DD的电源线和浮动扩散FD之间。处于高电平有效状态的复位信号RST从行选择器23提供给复位晶体管213的栅电极。复位晶体管213响应于复位信号RST而接通，并且通过将浮动扩散FD的电荷扫出到电压V_DD的节点来复位浮动扩散FD。

放大晶体管214具有耦接到浮动扩散FD的栅电极和耦接到电源电压V_DD的电源线的漏电极。放大晶体管214用作源极跟随器的输入部，该源极跟随器读出通过光电二极管211处的光电转换获得的信号。放大晶体管214具有经由选择晶体管215耦接到垂直信号线32的源极。此外，放大晶体管214和耦接到垂直信号线32一端的电流源I构成源极跟随器，该源极跟随器将浮动扩散FD的电压转换成垂直信号线32的电势。

选择晶体管215具有耦接到放大晶体管214的源极的漏极以及耦接到垂直信号线32的源极。处于高电平有效状态的选择信号SEL从行选择器23提供给选择晶体管215的栅电极。选择晶体管215响应于选择信号SEL而接通，从而使像素21进入选择状态，以允许从放大晶体管214输出的信号被传输到垂直信号线32。

应当注意，尽管此处描述了包括传输晶体管212、复位晶体管213、放大晶体管214和选择晶体管215(即，包括四个晶体管(Trs))的4-Tr配置，作为像素21的像素电路的示例，但是这不是限制性的。例如，可以省略选择晶体管215，以采用放大晶体管214具有选择晶体管215的功能的3-Tr配置，或者可以根据需要采用包括更多晶体管的5-Tr的配置。

[芯片结构的配置示例]

具有上述配置的图像传感器20的芯片(半导体集成电路)结构的示例包括平置型芯片结构和堆叠型芯片结构。平置型芯片结构和堆叠型芯片结构中的任一个的图像传感器20可以采用从正面侧捕获照明光的正面照明像素结构，或者采用从与正面侧相反的背面侧捕获照明光的背面照明像素结构，其中，在其上设置布线层的一侧的基板表面用作像素21的正面(前)。下面将描述平置型芯片结构和堆叠型芯片结构。

(平置型芯片结构)

图22是示出图像传感器20的平置型芯片结构的概述的平面图。

如图22所示，平置型芯片结构(所谓的平置结构)是这样的结构，其中，像素阵列部22的外围电路部分形成在半导体基板201上，半导体基板201与包括以矩阵形式排列的像素21的像素阵列部22的半导体基板相同。具体而言，行选择器23、恒流源部24、模数转换部25、水平传输扫描仪26、信号处理部27、定时控制器28等形成在与像素阵列部22相同的半导体基板201上。

(堆叠型芯片结构)

图23是示出图像传感器20的堆叠型芯片结构的概述的分解透视图。

如图23所示，堆叠型芯片结构(所谓的堆叠结构)是包括第一半导体基板202和第二半导体基板203的至少两个半导体基板彼此堆叠的结构。在堆叠结构中，像素阵列部22形成在用作第一层的第一半导体基板202上。此外，包括行选择器23、恒流源部24、模数转换部25、水平传输扫描仪26、信号处理部27、定时控制器28等的电路部分形成在用作第二层的第二半导体基板203上。此外，作为第一层的第一半导体基板202和作为第二层的第二半导体基板203通过连接部33A和33B(例如，通孔(VIA)或Cu-Cu接合)彼此电耦接。

使用具有堆叠结构的图像传感器20，使得可以将适于制造像素21的工艺应用到作为第一层的半导体基板202，并且将适于制造电路部分的工艺应用到作为第二层的半导体基板203。这使得能够在制造图像传感器20时实现工艺优化。特别地，在制造电路部分时，领先工艺的应用变得可能。

应当注意，尽管此处作为示例描述了第一半导体基板202和第二半导体基板203彼此堆叠的两层堆叠结构，但是堆叠结构不限于两层结构，并且可采用包括三层或更多层的结构。另外，在具有三层或更多层的堆叠结构的情况下，包括行选择器23、恒流源部24、模数转换部25、水平传输扫描仪26、信号处理部27等的电路部分可以以这些电路部分分布在第二和随后的半导体基板中的方式形成。

在根据具有上述配置的第二实施例的成像系统1B中，事件检测传感器10和图像传感器20在控制器50的控制下分别执行事件检测操作和成像操作。从事件检测传感器10输出的事件信号(事件数据)和从图像传感器20输出的图像数据被提供给运动识别器30。

运动识别器30基于从事件检测传感器10输出的事件信号来识别(检测)物体的运动。更具体地，运动识别器30通过对从事件检测传感器10输出的事件信号成帧来生成事件帧，并在事件帧中执行运动检测。在使用从事件检测传感器10输出的事件信号来执行事件的物体识别的情况下，物体识别器40将基于从运动识别器30提供的运动检测的结果来执行物体识别。

图像传感器20包括同步成像装置，并且以预定的帧速率(例如，固定的帧速率)执行成像。因此，没有必要像事件检测传感器10的情况那样生成事件帧。因此，从图像传感器20以每帧为基础输出的图像数据被直接提供给物体识别器40。物体识别器40然后基于帧中的图像数据执行物体识别。

顺便提及，因为包括异步成像装置的事件检测传感器10具有带有事件检测器63的像素配置，所以像素尺寸不可避免地大于包括同步成像装置的图像传感器20的像素尺寸。因此，事件检测传感器10的分辨率低于以固定帧速率执行成像的图像传感器20。相反，包括同步成像装置的图像传感器20在分辨率上优于异步成像装置。

在下文中，给出了具体示例的描述，其中，在根据第二实施例的成像系统1B中，设置有滤色器的事件检测传感器10和图像传感器20组合使用，以检测特定波长带中的事件，并且基于检测结果执行预定的信号处理。应当注意，下面描述的每个示例中的处理基本上在图1所示的成像系统1A中的控制器50的控制下执行。

<示例8>

示例8是第二实施例的最上位概念的处理的示例。在图24的流程图中示出了根据示例8的最上位概念的处理流程。

在装设有根据第二实施例的成像系统1B的车辆行驶期间，控制器50首先在图19所示的物体识别器40处使用图像传感器20的图像数据执行物体识别，将前方作为关注区域(步骤S101)。如上所述，图像传感器20在分辨率上优于事件检测传感器10。因此，与基于事件检测传感器10的输出执行物体识别的情况相比，基于图像传感器20的输出执行物体识别，使得能够提高识别的精度。

然而，因为图像传感器20以预定帧速率执行成像，所以事件检测传感器10在功耗方面优于图像传感器20。因此，使用事件检测传感器10来执行步骤S102和之后的处理。这同样适用于后面将要描述的示例。

接下来，控制器50基于事件检测传感器10的输出，在作为关注区域已经执行了物体识别的区域中执行ROI的提取(步骤S102)，随后在提取的ROI的区域中检测事件(步骤S103)，并且随后对检测为事件的物体执行运动检测(步骤S104)。

接下来，控制器50在特定波长带的事件检测区域中执行物体识别(步骤S105)，并且随后确定该物体是否被识别为要关注的物体(步骤S106)。在物体没有被识别为要关注的物体的情况下(S106中的否)，控制器50返回到步骤S101。在物体被识别为要关注的物体的情况下(S106中的是)，控制器50基于要关注的物体执行预定的信号处理(步骤S107)，并结束根据示例8的最上位概念的一系列处理。

如上所述，根据示例8，可以通过使用分辨率优于事件检测传感器10的图像传感器20的图像数据，在关注区域中执行物体识别。此外，在特定波长带中执行事件检测，对被检测为事件的物体执行运动检测，并且在物体被识别为要关注的物体的情况下，执行基于该物体的预定信号处理。因此，可以通过与驾驶员相同的方式检测和确定各种波长带的信息，包括在本车前面行驶的车辆的刹车灯或尾灯的点亮(闪烁)、转向指示器的闪烁、交通灯的颜色变化、电子标志等。

此处，例如，“预定信号处理”是指图29所示的车辆控制系统12000的驱动系统控制单元12010发送用于各种自动控制等的命令信号的处理。当从事件检测传感器10接收到命令信号时，车辆控制系统12000自动执行各种控制，例如，通过自动控制来施加制动或者通过显示警报来引起驾驶员的注意。

<示例9>

示例9是在识别出在本车前方行驶的车辆之后感测在本车前方行驶的车辆的尾灯的示例。在图25的流程图中示出了根据示例9的车辆识别和尾灯感测的处理流程。在示例9中，例如，图10A所示的RCCC滤波器用作为事件检测传感器10中的每个像素11提供的滤色器。在RCCC滤波器的情况下，红色(R)用作特定的波长带。这同样适用于后面将要描述的示例。

在装设有根据第二实施例的成像系统1B的车辆行驶期间，控制器50首先通过使用图像传感器20的图像数据在图19所示的物体识别器40处将物体识别为前方车辆(步骤S111)。随后，控制器50在物体被识别为车辆的区域中执行ROI的提取(步骤S112)，并且随后在提取的ROI的区域中执行红色波长带中的事件检测(步骤S113)。

接下来，控制器50对被检测为事件的物体执行运动检测(步骤S114)，随后在检测到运动的区域中执行物体识别(步骤S115)，并且随后确定该物体是否被识别为要关注的物体，即，被识别为尾灯(步骤S116)。

然后，在物体没有被识别为尾灯的情况下(S116中的否)，控制器50返回到步骤S111。在物体被识别为尾灯的情况下(S116中的是)，控制器50经由接口80向图29所示的车辆控制系统12000的驱动系统控制单元12010发送用于制动控制、警报显示等的指令信号(步骤S117)。然后，根据示例9的用于车辆识别和尾灯感测的一系列处理结束。

当从根据第二实施例的成像系统1B接收到用于制动控制、警报显示等的指令信号时，车辆控制系统12000的驱动系统控制单元12010执行控制，例如，通过自动控制施加制动或者通过显示警报引起驾驶员的注意。

如上所述，在示例9中，使用分辨率优于事件检测传感器10的图像传感器20的图像数据来执行物体识别，并且此后，执行红色波长带中的事件检测和对被检测为事件的物体的运动检测。然后，在物体被识别为在本车前方行驶的车辆的尾灯的情况下，确定本车和在本车前方行驶的其他车辆之间的车间距足够近到能够识别到其他车辆的尾灯，并且用于制动控制、警报显示等的指令信号被发送到车辆控制系统12000的驱动系统控制单元12010。车辆控制系统12000因此能够执行控制，例如，通过自动控制来施加制动或者通过显示警报来引起驾驶员的注意，从而能够有助于安全行驶。

应当注意，在示例9中，在对尾灯进行识别处理时，通过物体识别将物体识别为尾灯；然而，尾灯的闪烁可以被检测并用作物体识别(物体感测)中的信息。

<示例10>

示例10是在识别到在本车前方行驶的车辆之后感测转向指示器(闪烁灯)的示例。在图26的流程图中示出了根据示例10的用于车辆识别和转向指示器感测的处理流程。

在装设有根据第二实施例的成像系统1B的车辆行驶期间，控制器50首先通过使用图像传感器20的图像数据将前方物体识别为车辆(步骤S121)。随后，控制器50在物体被识别为车辆的区域中执行ROI的提取(步骤S122)，并且随后在提取的ROI的区域中检测红色波长带中的事件(步骤S123)。

接下来，控制器50对被检测为事件的物体执行运动检测(步骤S124)，随后在检测到运动的区域中执行物体识别(步骤S125)，并且随后确定该物体是否被识别为要关注的物体，即，被识别为转向指示器(闪光灯)(步骤S126)。在物体没有被识别为转向指示器的情况下(S126中的否)，控制器50返回到步骤S121。

此外，在物体被识别为转向指示器的情况下(S126中的是)，控制器50经由接口80向图29所示的车辆控制系统12000的驱动系统控制单元12010发送用于基于转向指示器的指示内容来执行对本车的控制的指令信号(步骤S127)。然后，根据示例10的用于车辆识别和转向指示器感测的一系列处理结束。

如上所述，在示例10中，使用分辨率优于事件检测传感器10的图像传感器20的图像数据来执行物体识别，并且此后，执行红色波长带中的事件检测和对被检测为事件的物体的运动检测。然后，在识别出在本车前方行驶的车辆之后，在已经识别出车辆的区域中执行转向指示器的识别处理，并且基于转向指示器的指示内容(右转、左转或危险)来执行本车控制的指令信号被发送到车辆控制系统12000的驱动系统控制单元12010。

在此处，例如，当前面的车辆提供右转的方向指示时，可以推断在本车前面行驶的车辆将由于右转而不再出现在前面。因此，控制车辆控制系统12000的驱动系统控制单元12010，以增加车辆速度，可理解为“基于转向指示器的指示内容控制本车”。或者，当前方车辆的方向指示灯指示危险(闪烁显示)时，前方行驶的车辆很有可能会停止。因此，例如，可以理解为控制车辆控制系统12000的驱动系统控制单元12010自动施加制动。

应当注意，在示例10中，在对转向指示器进行识别处理时，通过物体识别将物体识别为转向指示器；然而，转向指示器的闪烁可以被检测到并用作物体识别(物体感测)中的信息。

<示例11>

示例11是识别交通灯并感测红灯的示例。在图27的流程图中示出了根据示例11的用于交通灯识别和红灯感测的处理流程。

在装设有根据第二实施例的成像系统1B的车辆行驶期间，控制器50首先通过使用图像传感器20的图像数据来执行物体识别(步骤S131)，并且随后检测交通灯，作为要识别的物体(步骤S132)。

接下来，控制器50在检测到交通灯的区域中执行ROI的提取(步骤S133)，随后在提取的ROI的区域中检测红色波长带中的事件(步骤S134)，并且随后对检测为事件的物体执行运动检测(步骤S135)。

接下来，控制器50在检测到运动的区域中执行物体识别(步骤S136)，并且随后确定该物体是否被识别为要关注的物体，即，被识别为交通灯的红灯(步骤S137)。在物体没有被识别为红灯的情况下(S137中的否)，控制器50返回到步骤S131。

此外，在物体被识别为红灯的情况下(S137中的是)，控制器50经由接口80向图29所示的车辆控制系统12000的驱动系统控制单元12010发送用于制动控制、警报显示等的指令信号(步骤S138)。然后，根据示例11的用于交通灯识别和红灯感测的一系列处理结束。

如上所述，在示例11中，使用分辨率优于事件检测传感器10的图像传感器20的图像数据来执行物体识别，并且此后，在物体是交通灯并且其指示内容是红灯的情况下，用于制动控制、警报显示等的指令信号被发送到车辆控制系统12000的驱动系统控制单元12010。车辆控制系统12000因此能够执行控制，例如，通过自动控制来施加制动或者通过显示警报来引起驾驶员的注意，从而能够有助于安全行驶。

应当注意，在示例11中，在对交通灯进行识别处理时，通过物体识别将物体识别为交通灯；然而，闪烁信息(例如，频率、占空比等)可以被检测并用作物体识别(物体感测)中的信息。

<示例12>

示例12是示例11的修改示例，并且是感测交通灯从红灯变为绿灯的示例。在图28的流程图中示出了根据示例12的用于交通信号识别和感测从红灯到绿灯的变化的处理流程。

示例12包括图27所示的示例11的流程图中的处理，其中，引入步骤S141至步骤S143，作为步骤S138之后的处理。在识别为红灯并发送用于制动控制、警报显示等的指令信号之火(步骤S138)，在物体被识别为交通灯的区域中执行绿光波长带中的事件检测(步骤S141)，随后，确定交通灯是否被识别为绿灯(步骤S142)。

在交通灯未被识别为绿灯的情况下(S142中的否)，控制器50返回到步骤S131，并且在交通灯被识别为绿灯的情况下(S142中的是)，控制器50经由接口80向车辆控制系统12000的驱动系统控制单元12010发送用于指示启动发动机、启动等的指令信号(步骤S143)。然后，根据示例12的用于交通信号识别和感测从红灯到绿灯的变化的一系列处理结束。

如上所述，在示例12中，在车辆在红灯处处于停止状态并且交通灯从红灯变为绿灯时的情况下，用于指示启动发动机、启动等的指令信号被发送到车辆控制系统12000的驱动系统控制单元12010。车辆控制系统12000由此能够执行控制，以自动启动发动机并启动车辆，从而使得能够防止发生诸如由于远眺交通灯而导致的延迟启动等问题。

应当注意，当识别为交通灯从红灯变为绿灯时，蓝色或绿色的阈值可以在物体被识别为交通灯的区域设置为低值，而在其他区域设置为高值，从而仅允许检测到绿灯。

<<修改示例>>

上面已经基于优选实施例描述了根据本公开的技术；然而，根据本公开的技术不限于实施例。前述实施例中描述的成像系统的配置和结构是说明性的并且是可修改的。

<<根据本公开的技术的应用示例>>

根据本公开的技术适用于各种产品。下面将描述更具体的应用示例。例如，根据本公开的技术可以实现为安装在任何类型的移动主体上的成像装置或成像系统，移动主体例如，汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动设备、飞机、无人机、轮船、机器人、建筑机械、农业机械(拖拉机)等。

<移动主体>

根据本公开的技术(本技术)适用于各种产品。例如，根据本公开的技术可以实现为安装在任何类型的移动主体上的成像装置，移动主体例如，汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动设备、飞机、无人机、轮船、机器人、建筑机械、农业机械(拖拉机)等。

图29是示出车辆控制系统的示意性配置的示例的框图，该车辆控制系统是作为可应用根据本公开的实施方式的技术的移动主体控制系统的示例。

车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图29所示出的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，微型计算机12051、声音/图像输出部12052、车载网络接口(I/F)12053作为集成控制单元12050的功能配置而示出。

驱动系统控制单元12010根据各种程序对与车辆的驱动系统相关的设备的运行进行控制。例如，驱动系统控制单元12010用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等，用于将驱动力传递至车轮的驱动力传递机构，用于调节车辆的转向角的转向机构，以及用于生成车辆的制动力的制动设备等。

车身系统控制单元12020根据各种程序对车身所配置的各种类型的设备的操作进行控制。例如，车身系统控制单元12020用作控制设备来控制下列项：无钥匙进入系统、智能钥匙系统、电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，车身系统控制单元12020可接收来自替代钥匙的移动设备所传输的无线电波或者各种开关的信号作为输入。车身系统控制单元12020接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。

车外信息检测单元12030检测包括车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030连接有成像部12031。车外信息检测单元12030使成像部12031拍摄车辆外部的图像，并且接收所拍摄的图像。基于所接收的图像，车外信息检测单元12030可执行检测物体(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到物体的距离的处理。

成像部12031是接收光并且输出与所接收的光的光量相对应的电信号的光学传感器。成像部12031能够输出作为图像的电信号，或者能够输出作为关于所测量距离的信息的电信号。此外，由成像部12031接收的光可以是可见光，或者可以是诸如红外线等的不可见光。

车内信息检测单元12040检测关于车辆内部的信息。例如，车内信息检测单元12040可以连接于检测驾驶员的状态的驾驶员状态检测部12041。驾驶员状态检测部12041例如包括拍摄驾驶员的相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元12040可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。

微型计算机12051能够基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微型计算机12051能够执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞的警报、车辆偏离车道的警报等。

此外，微型计算机12051可通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆外部或内部的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在自主驾驶的协同控制，自主驾驶使车辆自主行驶而不依赖于驾驶员的操作。

此外，微型计算机12051能够基于由车外信息检测单元12030获得的关于车辆外部的信息向车身系统控制单元12020输出控制命令。例如，微型计算机12051可基于由车外信息检测单元12030检测的前方车辆或迎面车辆的位置来控制前照灯，将其从远光改变为近光，从而执行旨在通过控制前照灯来防止眩光的协同控制。

声音/图像输出部12052将声音和图像中的至少一者的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图29的示例中，音频扬声器12061、显示部12062和仪表面板12063作为输出设备而示出。显示部12062可例如包括车载显示器和平视显示器中的至少一个。

图30是示出成像部12031的安装位置的示例的示图。

在图30中，车辆12100包括成像部12101、12102、12103、12104和12105，作为成像部12031。

成像部12101、12102、12103、12104和12105可以被设置在车辆12100的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。设置在前鼻的成像部12101以及设置在车辆内部的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。设置在侧视镜的成像部12102和12103主要获得车辆12100的侧方的图像。设置在后保险杠或后门的成像部12104主要获得车辆12100的后方的图像。由成像部12101至12105获得的前部图像主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图30示出成像部12101～12104的拍摄范围的示例。成像范围12111表示设置在前鼻的成像部12101的成像范围。成像范围12112和12113分别表示设置在侧视镜的成像部12102和12103的成像范围。成像范围12114表示设置在后保险杠或后门的成像部12104的成像范围。例如，通过叠加由成像部12101～12104成像的图像数据能够获得从上方观察的车辆12100的鸟瞰图像。

成像部12101～12104中的至少一个可具有获得距离信息的功能。例如，成像部12101～12104中的至少一个可以是由多个成像元件组成的立体相机，或者可以是具有用于相位差检测的像素的成像元件。

例如，微型计算机12051能够基于从成像部12101～12104获得的距离信息，确定到成像范围12111～12114内的每个三维物体的距离以及该距离的时间变化(相对于车辆12100的相对速度)，并且由此提取最近三维物体作为前方车辆，该最近三维物体具体存在于车辆12100的行驶路径上并且以预定速度(例如，等于或大于0公里/小时)在与车辆12100基本相同的方向上行驶。此外，微型计算机12051能够预先设置要保持的距前方车辆的跟随距离，并且执行自动制动控制(包括跟随的停车控制)、自动加速度控制(包括跟随的起动控制)等。因此，能够执行旨在使车辆自主行驶而不依赖于驾驶员的操作的自主行驶等的协同控制。

例如，微型计算机12051能够基于从成像部12101～12104获得的距离信息，将关于三维物体的三维物体数据分类为二轮车辆、标准尺寸车辆、大型车辆、行人、电线杆以及其他三维物体的三维物体数据，提取所分类的三维物体数据，并且使用所提出的三维物体数据以用于障碍物的自动回避。例如，微型计算机12051识别作为车辆12100的驾驶员能视觉识别的障碍物的车辆12100周围的障碍物，和识别对于车辆12100的驾驶员难以视觉识别的障碍物。于是，微型计算机12051确定碰撞风险，该碰撞风险指示与每个障碍物发生碰撞的风险。在碰撞风险等于或高于设定值而因此存在碰撞的可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶员输出警报，并且经由驱动系统控制单元12010执行强制减速或回避转向。由此微型计算机12051能够协助驾驶以避免碰撞。

成像部12101～12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051能够通过确定在成像部12101～12104的成像图像中是否存在行人来识别行人。这种行人识别例如由下列程序执行：提取作为红外相机的成像部12101～12104的成像图像中的特征点的程序，以及通过对表示物体的轮廓的一系列特征点执行图案匹配处理来确定是否是行人的程序。当微型计算机12051确定在成像部12101～12104的成像图像中存在行人并且因此识别到行人时，声音/图像输出部12052控制显示部12062，以在所识别的行人上叠加显示用于强调的方形轮廓线。声音/图像输出部12052还可控制显示部12062，使其在期望的位置处显示表示行人的图标等。

上面已经给出了根据本公开的技术适用的车辆控制系统12000的示例的描述。根据本公开的技术适用于例如上述配置中的成像部12031等。即，第一实施例的成像系统1A或根据本公开第二实施例的成像系统1B可用作具有上述配置的车辆控制系统12000中的成像部12031等。将根据本公开的技术应用于成像部12031等，使得能够对相应波长带中的每种颜色执行事件检测，并且因此使得能够检测(感测)车辆的刹车灯或尾灯的点亮(闪烁)、转向指示器的闪烁、交通灯的颜色变化、电子标志等。因此，可以将检测结果馈送给自动驾驶等，从而有助于实现车辆的安全行驶。

<本公开的可能配置>

应当注意，本公开可以具有以下配置。

<<成像系统>>

[A-1]一种成像系统，包括：

事件检测传感器，所述事件检测传感器检测事件；以及

控制器，所述控制器控制事件检测传感器处的事件检测，其中，

所述事件检测传感器以每个像素为基础设置有滤色器，并且

所述控制器基于滤色器控制特定波长带中的事件检测。

[A-2]根据[A-1]所述的成像系统，其中，所述事件检测传感器包括异步成像装置，所述异步成像装置将光电转换入射光的像素的亮度变化超过预定阈值检测为事件。

[A-3]根据[A-2]所述的成像系统，所述成像系统被配置为在移动主体上使用。

[A-4]根据[A-3]所述的成像系统，其中，在基于所述事件检测传感器的事件检测识别到关注物体时，所述控制器基于所述关注物体来执行信号处理。

[A-5]根据[A-4]所述的成像系统，其中，在将在本车前方行驶的车辆的尾灯识别为关注物体时，所述控制器将预定指令信号发送到移动主体的控制系统。

[A-6]根据[A-5]所述的成像系统，其中，在识别到本车前方行驶的车辆之后，所述控制器将在本车前方行驶的车辆的尾灯识别为关注物体。

[A-7]根据[A-6]所述的成像系统，其中，在将尾灯识别为关注物体时，在本车和前方行驶的车辆的相对速度等于或高于预定阈值的情况下，所述控制器将预定指令信号发送到移动主体的控制系统。

[A-8]根据[A-4]所述的成像系统，其中，在识别到在本车前方行驶的车辆之后，作为关注物体而识别出在本车前方行驶的车辆的转向指示器时，所述控制器将预定指令信号发送到移动主体的控制系统。

[A-9]根据[A-4]所述的成像系统，其中，在将交通灯识别为关注物体并感测到红灯时，所述控制器将预定指令信号发送到移动主体的控制系统。

[A-10]根据[A-9]所述的成像系统，其中，当感测到处于红灯状态的交通灯已经从红灯变为绿灯时，所述控制器将预定指令信号发送到移动主体的控制系统。

[A-11]根据[A-1]至[A-3]中任一项所述的成像系统，包括以预定帧速率执行成像的图像传感器。

[A-12]根据[A-11]所述的成像系统，其中，在基于所述图像传感器的图像数据执行物体识别之后，所述控制器在基于所述事件检测传感器的事件检测识别到关注物体时，基于关注物体执行信号处理。

[A-13]根据[A-12]所述的成像系统，其中，在识别到在本车前方行驶的车辆之后，作为关注物体识别出在本车前方行驶的车辆的尾灯时，所述控制器将预定指令信号发送到移动主体的控制系统。

[A-14]根据[A-12]所述的成像系统，其中，在识别到在本车前方行驶的车辆之后，作为关注物体识别出本车前方行驶的车辆的转向指示器时，所述控制器将预定指令信号发送到移动主体的控制系统。

[A-15]根据[A-12]所述的成像系统，其中，在将交通灯识别为关注物体并感测到红灯时，所述控制器将预定指令信号发送到移动主体的控制系统。

[A-16]根据[A-15]所述的成像系统，其中，当感测到处于红灯状态的交通灯已经从红灯变为绿灯时，所述控制器将预定指令信号发送到移动主体的控制系统。

附图标记列表

1A 根据第一实施例的成像系统

1B 根据第二实施例的成像系统

10 事件检测传感器

11 像素

12 像素阵列部

13 驱动部

14 仲裁器部(仲裁部)

15 列处理部

16 信号处理部

20 图像传感器

21 像素

22 像素阵列部

23 行选择器

24 恒流源部

25 模数转换部

26 水平传输扫描仪

27 信号处理部

28 定时控制器

30 运动识别器

40 物体识别器

50 控制器

60 操作模式定义部

70 图像记录部

80 接口