具有多个超像素的图像传感器
阅读说明：本技术 具有多个超像素的图像传感器 (Image sensor with multiple superpixels ) 是由 T·费纳特 D·马托林 C·普斯奇 于 2019-06-27 设计创作，主要内容包括：本公开总体上涉及图像传感器和用于图像感测的方法。更具体地且非限制性地,本公开涉及用于提供超像素以及实现和使用具有超像素的图像传感器的系统和方法。在一种实施方式中,图像传感器包括多个超像素。每个超像素可以包括：第一光敏元件；检测器,其电连接至所述第一光敏元件,并且配置为当与入射在第一光敏元件上的光的亮度成比例的模拟信号与条件匹配时生成触发信号；第二光敏元件；曝光测量电路,其电连接至第二光敏元件,并且配置为将与入射在第二光敏元件上的光的亮度成比例的模拟信号转换为数字信号；以及逻辑电路,其电连接至检测器和曝光测量电路,并且配置为响应于触发信号而启用曝光测量电路,以及当从曝光测量电路中读出数字信号时禁用曝光测量电路。(The present disclosure relates generally to image sensors and methods for image sensing. More particularly, and not by way of limitation, the present disclosure relates to systems and methods for providing superpixels and implementing and using image sensors having superpixels. In one embodiment, an image sensor includes a plurality of super pixels. Each super-pixel may include: a first photosensitive element; a detector electrically connected to the first photosensitive element and configured to generate a trigger signal when an analog signal proportional to a brightness of light incident on the first photosensitive element matches a condition; a second photosensitive element; an exposure measurement circuit electrically connected to the second photosensor and configured to convert an analog signal proportional to a luminance of light incident on the second photosensor into a digital signal; and a logic circuit electrically connected to the detector and the exposure measurement circuit and configured to enable the exposure measurement circuit in response to the trigger signal and disable the exposure measurement circuit when the digital signal is read out from the exposure measurement circuit.)
技术领域
本公开总体上涉及图像感测领域。更具体地且非限制性地，本公开涉及用于提供超像素以及实现和使用具有超像素的图像传感器的系统和方法。本文中公开的图像传感器和技术可以用于各种应用和视觉系统中，例如安全系统、自动驾驶车辆以及从快速有效的运动检测和运动事件驱动的图像数据获取中受益的其他系统等。
背景技术
现有的图像传感器使用多个像素，这些像素包括半导体电荷耦合器件(Charge-coupled Device，CCD)、互补金属氧化物半导体(Complementary Metal-oxideSemiconductor，CMOS)传感器、N型金属氧化物半导体(N-type Metal-oxide-semiconductor，NMOS)传感器或其他传感器等，以捕获场景的数字图像。
这些传统的图像传感器可以以预定的帧速率获取时间量化的视觉信息。因此，每个典型帧都携带来自所有像素的信息，而不管自从获取到上一帧以来该信息是否发生了变化。取决于场景的动态内容地，该方法通常导致所记录的图像数据中或多或少的高度冗余，因为尽管所有未更改的像素值都是已知的，但是每次所有这些未更改的像素值也被重新获取并被重新发送。在传统的图像传感器中，这些像素通常无法确定它们测量的值没有改变。随着现代图像传感器发展到越来越高的空间和时间分辨率，该问题趋于恶化。而且，数据后处理所需的硬件通常会增加复杂性和成本，对传输带宽和数据存储容量的需求同样也会激增，且功耗也会增加，导致在从要求高速的工业视觉系统到移动的、电池供电的消费设备的许多种视觉应用中的局限性。
用于减少视频数据中的时间冗余的一种现有方法是帧间差分编码。这种形式的视频压缩通常包括在初始关键帧之后，逐帧仅传输超过定义的强度变化阈值的像素值。现有的帧间差分系统通常依赖于图像数据的完整帧的获取和处理，并且不能自洽地抑制时间冗余并无法提供来自传感器的实时压缩视频输出。
的确，许多视觉应用程序不需要完整的图像，而是受益于来自检测到变化或运动的场景部分的快速图像数据。例如，安全系统或其他视觉系统可能只对运动数据感兴趣，而不对图像中没有运动的部分感兴趣。在另一个示例中，无人驾驶车辆必须快速而有效率地处理捕获的数据，以便做出与人类感知时间(通常为毫秒级)相当的决策。当必须(例如，经由后处理)丢弃大量数据以便得到与情况相关的捕获数据部分时，这种效率是受限的。
其他现有的方案包括基于时间的异步图像传感器，其像素响应于由像素内的检测器确定的特定条件而产生检测。然而，此类像素仍输出模拟信号或从此类模拟信号衍生的基于时间的信号。当在场景中发生高活动性时，这些输出信号容易丢失图像质量，必须将其后处理为数字数据以供实际使用。相应地，随着空间和时间分辨率增加，后处理成本显着增加。
发明内容
本公开的实施例可以提供一种用于以高的时间分辨率连续获取被观察场景的视觉信息的方法和设备，从而通过减少冗余来生成更少的数据量。因此，所生成的数据并不是包括包含所有像素的图像信息的连续帧，而是可以包括各个像素的变化流和光强度信息，这些变化流和光强度信息在当已由单个像素本身检测到在该像素的视场中光强度的变化超过阈值时，被记录并被传输。相应地，本公开的实施例可以通过抑制传统图像传感器中典型的图片信息中的时间冗余来显着减少所生成的数据，同时仍然提供包含可比较的、或甚至更高的信息内容的数据。
由于如上所述地抑制了冗余数据而减少了从像素阵列输出的数据，可以允许增加每个像素处的曝光测量的速率，例如从每秒30次或每秒60次(为典型CMOS图像传感器的帧速率)至例如每秒1000次、每秒10000次及高于每秒10000次等的更高速率，每个像素的速率独立地取决于由像素的可以以这种速率来检测条件的状态检测器(如下所阐述的)检测到的在各个像素的视场中的活动。以这样的速率对来自各个像素的曝光测量结果进行条件读出和模拟转数字(Analog-to-Digital，AD)转换是一项具有挑战性的任务，这很难通过标准技术解决，在该标准技术中，AD转换是在像素阵列的外部(在列级或是在传感器级)执行的。
本公开的实施例可以使用像素独立地自动采样(自触发)超像素。如本文中所使用的，自动采样可以指每个独立像素自主地决定何时获取图像信息。例如，像素可以配备有(条件)检测器(Condition Detector，CD)，该检测器单独地并且独立于其他像素的检测器来检测该像素的输入光信号的条件(例如，特定大小的强度变化)并且在该像素的曝光测量(Exposure Measurement，EM)部件中发起曝光测量。这个功能可以允许当撞击在像素的光敏元件(例如，光电二极管)上的光满足定义的标准时(例如，由于自从前一次测量起已具有超出阈值的改变，该改变的事件由像素本身(例如，由其(条件)检测器)检测到)，对新的光曝光水平进行像素独立地测量和/或通信。
为了从光电二极管和CMOS像素技术的最新进展(例如，使用钉扎光电二极管(Pinned Photodiode，PPD)像素，全局快门像素等)中受益，本公开的实施例的超像素的EM部件可以基于标准(4T、5T)有源像素传感器(Active Pixel Sensor，APS)像素，并且可以不与CD共用光电二极管。例如，一个CD与一个EM组合成一个“超像素”就是一种可能的布置。
EM部件的曝光测量的结果通常需要在某些时刻转换为数字形式。一种灵活的方案是在每个超像素内包括一个完整的ADC。在每个像素中具有本地ADC的这种布置可以避免必须通过模拟信号来驱动长列读出线，这通常会花费时间并消耗功率。另外，像素级ADC可以允许单次多曝光，以用于高清分辨率(High-Definition Resolution，HDR)和/或红/绿/蓝(RGB)颜色获取，如下进一步所述。
鉴于前述内容，本公开的实施例提供了用于图像传感器中的超像素。如本文中所公开的，超像素可以包括模拟转数字转换器，以便直接输出数字数据或测量值。相应地，可以显着地减少对信号的后处理量，从而减小数据量并提高传感器的效率。此外，为了在不以指数方式增加功耗的情况下达到这种转换，可以通过每个超像素内的条件检测器对转换器进行功率循环。这允许在每个超像素中实际实现转换器。另外，每个超像素的模拟转数字转换器可以由外部控制信号触发。相应地，可以针对感兴趣和按需的区域而不是基于检测到的触发或条件来拉出读出值。
在一些实施例中，提供了超像素，所述超像素包括与单个条件检测器配对的多个曝光测量电路。通过以这种方式布置超像素，可以从结合有这种超像素的图像传感器中检测并读出高分辨率和/或彩色图像。图像直接作为数字数据被读取出，从而减少了由辅助电路进行模拟转数字转换的需要。
根据本公开的一示例性实施例，提供了图像传感器，所述图像传感器包括多个超像素。每个超像素可以包括第一光敏元件以及检测器，所述检测器电连接至所述第一光敏元件，并且配置为当与入射在所述第一光敏元件上的光的亮度成比例的模拟信号与条件匹配时生成触发信号。超像素还可以包括第二光敏元件以及曝光测量电路，所述曝光测量电路电连接至所述第二光敏元件，并且配置为将与入射在所述第二光敏元件上的光的亮度成比例的模拟信号转换为数字信号。进一步地，超像素可以包括逻辑电路，所述逻辑电路电连接至所述检测器和所述曝光测量电路，并且配置为响应于所述触发信号而启用所述曝光测量电路(或所述曝光测量电路的部件)，以及当从所述曝光测量电路中读出所述数字信号时禁用所述曝光测量电路(或所述曝光测量电路的部件)。
在一些实施例中，所述曝光测量电路可以包括模拟转数字电路，所述模拟转数字电路配置为将与入射在所述第二光敏元件上的所述光的所述亮度成比例的所述模拟信号转换为所述数字信号。例如，所述模拟转数字电路可以包括数字斜坡模拟转数字电路。在这样的实施例中，所述模拟转数字电路可以包括单斜率斜坡模拟转数字电路。
在以上任一实施例中，所述模拟转数字电路还可以配置为将所述数字信号输出到外部读出系统。在这样的实施例中，所述模拟转数字电路还可以配置为在输出之后被禁用。例如，所述模拟转数字电路还可以配置为响应于所述输出而发送信号以复位所述逻辑电路，以使得所述模拟转数字电路被禁用。
在以上任一实施例中，所述外部读出系统可以基于时钟电路请求来自所述模拟转数字电路的所述输出。
在以上任一实施例中，所述模拟转数字电路还可以配置为在其已经从所述逻辑电路接收到信号以发起将所述模拟信号转换为数字信号之后，发送信号以复位所述逻辑电路。附加地或替代地，所述逻辑电路还可以配置为响应于外部控制信号而启用所述曝光测量电路(或其部件)。
在以上任一实施例中，所述检测器还可以配置为将所述触发信号输出到外部读出系统。在这样的实施例中，所述外部读出系统可以配置为响应于所述触发信号而发送应答信号至所述检测器，并且所述检测器还可以配置为响应于所述应答信号而复位。
在以上任一实施例中，所述逻辑电路可以包括电连接至所述检测器的控制逻辑和由所述控制逻辑控制的开关。在以上任一实施例中，所述控制逻辑还可以电连接至所述曝光测量电路的模拟转数字转换器。
在以上任一实施例中，所述逻辑电路可以包括电连接至所述检测器的控制逻辑，以及连接至所述控制逻辑并连接至外部控制器的逻辑门。在以上任一实施例中，所述控制逻辑还可以电连接至所述曝光测量电路的模拟转数字转换器。
在以上任一实施例中，外部读出系统可以依据电路时钟来请求来自所述曝光测量电路的输出，并且所述曝光测量电路可以配置为响应于所述请求而输出数字信号。例如，所述数字信号可以指示自前次请求以来所述检测器尚未被触发的时间。在这样的实施例中，当接收到阈值数量的指示所述检测器尚未被触发的数字信号时，所述外部读出系统可以发送至少一个控制信号，以致使所述曝光测量电路将与入射在所述第二感光元件上的光的亮度成比例的模拟信号转换为数字数据。
根据本公开的另一示例性实施例，提供了图像传感器，所述图像传感器包括多个超像素。每个超像素可以包括：第一光敏元件；检测器，其电连接至所述第一光敏元件，并且配置为当与入射在所述第一光敏元件上的光的亮度成比例的模拟信号与条件匹配时生成触发信号；多个第二光敏元件；以及至少一个曝光测量电路，其电连接至所述多个第二光敏元件，并且配置为响应于所述触发信号而将与入射在所述多个第二光敏元件中的一个或多个第二光敏元件上的光的亮度成比例的模拟信号转换为数字信号。
在一些实施例中，所述多个第二光敏元件可以将各自的模拟信号输出到所述曝光测量电路的分离的电容器节点。在这样的实施例中，所述多个第二光敏元件中的至少两个第二光敏元件可以具有不同的增益。
附加地或替代地，所述多个第二光敏元件可以在不同时间将电荷积分到各个节点上。在这样的实施例中，所述多个第二光敏元件可以将各自的模拟信号输出到所述曝光测量电路的同一电容器节点。
在以上任一实施例中，所述多个第二光敏元件中的至少两个第二光敏元件可以包括不同的光滤波器(例如，密度滤波器或偏振滤波器等)。附加地或替代地，所述多个第二光敏元件中的至少两个第二光敏元件可以包括不同的彩色滤波器(或其他波长滤波器，例如红外截止滤波器或红外通过滤波器等)。
在以上任一实施例中，所述至少一个曝光测量电路可以包括模拟转数字电路，所述模拟转数字电路配置为将与入射在所述多个第二光敏元件中的一个或多个第二光敏元件上的所述光的所述亮度成比例的所述模拟信号转换为所述数字信号。在这样的实施例中，所述模拟转数字电路可以包括数字斜坡模拟转数字电路，例如单斜率斜坡模拟转数字电路。附加地或替代地，所述模拟转数字电路可以包括至少一个比较器。在这样的实施例中，所述比较器可以包括所述模拟转数字电路的第一晶体管，所述第一晶体管和与所述多个第二光敏元件中的每一个第二光敏元件相关联的至少一个晶体管相耦合。这样的实施例还可以包括与所述多个第二光敏元件中的每一个第二光敏元件相关联的至少一个复位晶体管，并且所述至少一个曝光测量电路还可以配置为在输出所述数字信号之前输出每个复位晶体管的复位电压。例如，所述至少一个曝光测量电路可以顺序地输出每个复位晶体管的所述复位电压。附加地或替代地，读出电路可以配置为使用输出的复位电压对所述数字信号上的噪声和失配执行相关双采样(Correlated Double Sampling，CDS)校正。
根据本公开的另一示例性实施例，提供用于图像传感器中的超像素。所述超像素可以包括异步单元，所述异步单元包括第一光敏元件以及检测器，所述检测器电连接至所述第一光敏元件，并且配置为当与入射在所述第一光敏元件上的光的亮度成比例的模拟信号与条件匹配时生成触发信号。所述超像素还可以包括同步单元，所述同步单元包括至少一个第二光敏元件以及曝光测量电路，所述曝光测量电路电连接至所述至少一个第二光敏元件，并且配置为将与入射在所述至少一个第二光敏元件上的光的亮度成比例的模拟信号转换为数字信号。所述超像素还可以包括逻辑电路，所述逻辑电路电连接至所述异步单元，并且其配置为响应于所述触发信号而启用所述同步单元，以及当从所述同步单元中读出数字信号时禁用所述同步单元。
根据本公开的另一示例性实施例，提供了用于控制具有多个超像素的图像传感器的方法。所述方法可以包括：接收与入射在第一光敏元件上的光成比例的第一模拟信号；当所述第一模拟信号与条件匹配时，生成触发信号；响应于所述触发信号，启用曝光测量电路；接收与入射在至少一个第二光敏元件上的光成比例的至少一个第二模拟信号；使用所述曝光测量电路，将所述至少一个第二模拟信号转换为数字信号；在将所述至少一个第二模拟信号转换为所述数字信号之后，禁用所述曝光测量电路；以及将所述数字信号输出到外部读出系统。
在一些实施例中，所述转换可以是使用所述曝光测量电路中所包括的模拟转数字电路来执行的。在这样的实施例中，所述模拟转数字电路可以包括数字斜坡模拟转数字电路。例如，所述模拟转数字电路可以包括单斜率斜坡模拟转数字电路。
在一些实施例中，所述方法还可以包括：使用所述模拟转数字电路，将所述数字信号输出到外部读出系统。在这样的实施例中，所述方法还可以包括：在输出之后，禁用所述模拟转数字电路。
在以上任一实施例中，所述方法还可以包括：基于时钟电路接收针对来自所述外部读出系统的输出的请求。
在以上任一实施例中，所述方法还可以包括：使用所述模拟转数字电路，响应于所述输出而发送信号以复位所述逻辑电路，以使得所述模拟转数字电路被禁用。附加地或替代地，所述方法还可以包括：在完成所述模拟信号至所述数字信号的转换之后，使用所述模拟转数字电路发送信号以复位所述逻辑电路。
在以上任一实施例中，所述方法还可以包括：使用所述模拟转数字电路，响应于外部控制信号而启用所述曝光测量电路。
在以上任一实施例中，所述方法还可以包括：使用所述检测器，将所述触发信号输出到外部读出系统。在这样的实施例中，所述方法还可以包括：使用所述检测器，从所述外部读出系统接收响应于所述触发信号的应答信号；以及响应于所述应答信号，复位所述检测器。
在以上任一实施例中，所述逻辑电路可以包括电连接至所述检测器的控制逻辑和由所述控制逻辑控制的开关。在以上任一实施例中，所述控制逻辑还可以电连接至所述曝光测量电路的模拟转数字转换器。
在以上任一实施例中，所述逻辑电路可以包括电连接至所述检测器的控制逻辑以及连接至所述控制逻辑并连接至外部控制器的逻辑门。在以上任一实施例中，所述控制逻辑还可以电连接至所述曝光测量电路的模拟转数字转换器。
在这样的实施例中，所述方法还可以包括：从外部读出系统接收依据电路时钟输出的针对所述曝光测量电路的请求，以及响应于所述请求而输出数字信号。例如，所述数字信号可以指示自前次请求以来所述检测器尚未被触发的时间。在这样的实施例中，所述方法还可以包括：当接收到阈值数量的指示所述检测器尚未被触发的数字信号时，从所述外部读出系统接收至少一个控制信号，以致使所述曝光测量电路将与入射在所述第二感光元件上的光的亮度成比例的模拟信号转换为数字数据。
根据本公开的另一示例性实施例，提供了图像传感器，所述图像传感器包括多个超像素。每个超像素可以包括第一光敏元件以及检测器，所述检测器电连接至所述第一光敏元件，并且配置为当与入射在所述第一光敏元件上的光的亮度成比例的第一模拟信号与条件匹配时生成触发信号。每个超像素还可以包括第二光敏元件以及曝光测量电路，所述曝光测量电路电连接至所述第二光敏元件，并且配置为将与入射在所述第二光敏元件上的光的亮度成比例的第二模拟信号转换为数字信号。所述超像素还可以包括至少一个锁存器，所述至少一个锁存器配置为在将第二模拟信号转换为数字信号期间，当与入射在第一光敏元件上的光的亮度成比例的第三模拟信号的值满足所述条件时被启用。所述曝光测量电路可以配置为响应于所述触发信号而在第一周期中转换所述第二模拟信号，并且响应于所述至少一个锁存器的启用而在第二周期中将与入射在所述第二光敏元件上的光的亮度成比例的第四模拟信号转换为数字信号。在一些实施例中，所述曝光测量电路可以包括模拟转数字电路，所述模拟转数字电路配置为将与入射在所述第二光敏元件上的所述光的所述亮度成比例的所述第二模拟信号和所述第四模拟信号转换为所述数字信号。
在这样的实施例中，所述至少一个锁存器可以包括逻辑电路，所述逻辑电路具有第一锁存器和第二锁存器，所述第一锁存器配置为响应于所述触发信号而激活所述模拟转数字电路的所述第一周期，所述第二锁存器配置为响应于来自所述模拟转数字电路的信号而激活和清零；并且所述模拟转数字电路可以配置为当开始所述第一周期时置位所述第二锁存器并清零所述第一锁存器。此外，当所述第二锁存器被置位时，外部读出系统可以利用所述模拟转数字电路来发起读出。附加地或替代地，所述模拟转数字电路可以配置为响应于在所述第一周期期间所述第一锁存器的激活而开始所述第二周期。附加地或替代地，所述模拟转数字电路还可以配置为当所述第一锁存器未被激活时，在所述第一周期之后禁用。
在一些实施例中，所述至少一个锁存器可以配置为响应于所述触发信号而激活并且响应于来自所述模拟转数字电路的信号而清零；所述模拟转数字电路可以配置为在每个周期的开始处轮询所述至少一个锁存器以确定是否开始转换；并且所述模拟转数字电路可以配置为当开始转换时置位内部锁存器并清零所述至少一个锁存器。在这样的实施例中，当所述内部锁存器被置位时，外部读出系统可以利用所述模拟转数字电路来发起读出。附加地或替代地，所述内部锁存器可以包括在所述转换中使用的多个锁存器中的单个锁存器。附加地或替代地，所述模拟转数字电路还可以配置为在一周期期间被禁用，在所述周期的开始处，所述至少一个锁存器未被激活。
在一些实施例中，所述至少一个锁存器可以在所述第一光敏元件、所述检测器、所述第二光敏元件、所述曝光测量电路和所述逻辑电路的外部。在这样的实施例中，每个超像素的所述至少一个锁存器可以形成在所述多个超像素外部的存储器阵列。在这样的实施例中，使用以下中的至少一者将所述至少一个锁存器连接至所述曝光测量电路：直接布线连接，或者将所述至少一个锁存器的存储器地址与对应的超像素的地址相关联的一个或多个仲裁器。附加地或替代地，所述至少一个锁存器可以配置为响应于所述触发信号而激活并且响应于来自外部读出器的信号而清零；所述模拟转数字电路可以配置为在每个周期执行转换；并且所述外部读出器可以配置为仅当所述至少一个锁存器被激活时才从所述模拟转数字电路读出转换。
在以上任一实施例中，所述至少一个锁存器可以包括静态随机存取存储器(Static Random Access Memory，SRAM)的至少一位。
根据本公开的另一示例性实施例，提供了用于图像传感器的读出系统。所述读出系统可以包括：测量读出器的第一阵列，其配置为输出数字信号；以及锁存器的第二阵列，其与所述测量读出器相关联，并且配置为在从相关联的所述测量读出器接收到触发信号时激活。所述读出系统还可以包括时钟电路，所述时钟电路配置为基于所述第二阵列中被激活的锁存器来对所述测量读出器的第一阵列中的一个或多个测量读出器进行时钟控制。所述锁存器的第二阵列可以配置为在被时钟控制时解除激活。
在一些实施例中，所述读出系统还可以包括多个开关，所述多个开关配置为当相应的锁存器被激活时将所述时钟电路连接至所述第一阵列的测量读出器。附加地或替代地，所述第二阵列可以在所述第一阵列的外部。例如，所述第二阵列包括一位或更大单元的静态随机存取存储器(Static Random Access Memory，SRAM)阵列。
在以上任一实施例中，所述第二阵列可以与所述第一阵列形成在同一芯片上。附加地或替代地，所述时钟电路还可以配置为当所述第二阵列中没有锁存器被激活时，跳过一时钟周期。
本公开的其他目的和优点将部分地在下面的详细描述中阐述，并且部分将从描述中变得明显，或者可以通过本公开的实践而了解。本公开的目的和优点将通过所附权利要求中具体指出的要素和组合来实现和获得。
应当理解，以上一般描述和以下详细描述仅是示例性和解释性的，并非对所公开的实施例的限制。
附图说明
构成本说明书的一部分的附图示出了各种实施例，并且与描述一起用于解释所公开的实施例的原理和特征。在附图中：
图1A是根据本公开的实施例的一示例性超像素的示意图。
图1B是根据本公开的实施例的另一示例性超像素的示意图。
图1C是根据本公开的实施例的又一示例性超像素的示意图。
图1D是根据本公开的实施例的再一示例性超像素的示意图。
图2A是根据本公开的实施例的一示例性曝光测量子电路的示意图。
图2B是根据本公开的实施例的具有用于同步曝光的分离节点的三个曝光测量子电路的示意图。
图2C是根据本公开的实施例的具有用于分离曝光的分离节点的三个曝光测量子电路的示意图。
图2D是根据本公开的实施例的具有共用节点的三个曝光测量子电路的示意图。
图2E是根据本公开的实施例的共用列级模拟转数字转换器的三个曝光测量子电路的示意图。
图2F是根据本公开的实施例的共用列级模拟转数字转换器的三个曝光测量子电路以及浮置扩散、复位晶体管、源极跟随器晶体管和像素选择晶体管的示意图。
图2G是根据本公开的实施例的共用列级模拟转数字转换器并且在滚动快门模式下工作的三个曝光测量子电路的示意图。
图2H是根据本公开的实施例的共用列级模拟转数字转换器并且在滚动快门模式下工作的三个曝光测量子电路以及浮置扩散、复位晶体管、源极跟随器晶体管和像素选择晶体管的示意图。
图3A是根据本公开的实施例的示例性模拟转数字转换器的示意图。
图3B是根据本公开的实施例的示例性电压比较器的示意图，该电压比较器是与曝光测量子电路共用至少一个晶体管的示例性模拟转数字转换器的一部分。
图4是根据本公开的实施例的用于控制具有多个超像素的图像传感器的示例性方法的流程图。
图5A是根据本公开的实施例的在如图2A中所示的单个曝光测量子像素情况下对子像素和超像素ADC的曝光测量中，控制光强度测量以及光强度测量结果的模拟转数字转换的信号的可能时序的示意图。
图5B是根据本公开的实施例的在如图2B(图2B示出了三个曝光测量子像素)中所示的相连的两个曝光测量子像素情况下对子像素和超像素ADC的曝光测量中，控制光强度测量以及光强度测量结果的模拟转数字转换的信号的可能时序的示意图。
图5C是根据本公开的实施例的在如图2C(图2C示出了三个曝光测量子像素)中所示的相连的两个曝光测量子像素情况下对子像素和超像素ADC的曝光测量中，控制光强度测量以及光强度测量结果的模拟转数字转换的信号的可能时序的示意图。
图5D是根据本公开的实施例的在如图2D(图2D示出了三个曝光测量子像素)中所示的相连的两个曝光测量子像素情况下对子像素和超像素ADC的曝光测量中，控制光强度测量以及光强度测量结果的模拟转数字转换的信号的可能时序的示意图。
图5E是根据本公开的实施例的在如图3B中所示的比较器和曝光测量子像素情况下对子像素和超像素ADC的曝光测量中，控制光强度测量以及光强度测量结果的模数转换的信号的可能时序的示意图。
图6A是根据本公开的实施例的一示例性条件检测器的示意图。
图6B是根据本公开的实施例的另一示例性条件检测器的示意图。
图7是根据本公开的实施例的由图6B的检测器产生的触发的图解。
图8是根据本公开的实施例的条件检测器的光电二极管和曝光测量子电路的不同可能的几何布置的示意图，以及从光电二极管到相关电路的连接的示意图。
图9是根据本公开的实施例的为高动态范围(High-Dynamic Range，HDR)成像和/或红绿蓝(Red-Green-Blue，RGB)成像提供的示例性超像素的示意图。
图10A是根据本公开的实施例的时钟受控读出电路的示意图。
图10B是根据本公开的实施例的用启用锁存器实现的时钟受控读出电路的示意图。
图11是使用列级模拟转数字转换器的图像传感器的示意图。
图12是根据本公开的实施例的在连续的控制周期N中的任意异步检测事件(CD)和相关的(触发的)曝光测量(Exposure Measurement，EM)之间的一般时间关系的示意图。
具体实施方式
所公开的实施例涉及用于提供超像素以及实现和使用具有超像素的图像传感器的系统和方法。有利地，这些示例性实施例能够提供直接以数字格式输出的快速和有效的图像和事件感测。本公开的实施例可以实现和使用于各种应用和视觉系统中，例如安全系统、自动驾驶车辆以及从快速有效的运动检测和运动事件驱动的图像数据获取中受益的其他系统等。
尽管一般参考成像系统描述了本公开的实施例，但是应当理解，这样的系统可以是照相机、LIDAR或其他成像系统的一部分。
图1A是依据本公开的实施例的一示例性超像素100的示意图。如本文中所使用的，“超像素”是指图像传感器的最小元件，该最小元件基于入射在超像素上的光来输出数字数据。在一些实施例中，超像素可以比传统“像素”更大或包括更多的部件，因为它可以包括两个或更多个光敏元件，例如，元件101和元件103，以及条件检测器105、ADC 109以及控制和通信逻辑，例如111、113。
光敏元件可以包括光电二极管(例如，p-n结或PIN结构)或配置为将光转换成电信号的任何其他元件。每个光电二极管(例如，元件101或元件103)可以产生与入射在光电二极管上的光的强度成比例的电流(例如，Iph)。
如在图1A的示例中所示，超像素包括同步单元100a和异步单元100b。异步单元100b可以包括光敏元件101(PDCD，例如，光电二极管)，而同步单元100a可以包括至少一个光敏元件103(PDEM，例如，光电二极管)。
异步单元100b可以进一步包括条件检测器105(Condition Detector，CD)。如在图1A的示例中所示，检测器105电连接至第一光敏元件101(PDCD)，并且配置为当与入射到第一光敏元件101上的光的亮度成比例的模拟信号与条件匹配时，生成触发信号(在图1A的示例中被标记为“置位”)。例如，该条件可以包括模拟信号是否超过阈值(例如，电压水平或电流水平)。该模拟信号可以包括电压信号或电流信号。
同步单元100a可以包括曝光测量子像素107。曝光测量子像素107可以配置为生成与入射在第二光敏元件103(PDEM)上的光的亮度成比例的模拟测量值。尽管在图1A中被描绘为电压信号VFD，但是，模拟测量值可以替代地包括电流信号。同步单元100a还可以包括用于将模拟测量值转换为数字数据(在图1A的示例中被标记为“数字像素数据”)的模拟转数字转换器(Analog-to-Digital Converter，ADC)109。曝光测量子像素107和ADC 109的组合可以称为“曝光测量电路”。相应地，曝光测量电路可以电连接至第二光敏元件103(PDEM)，并且配置为将与入射在第二光敏元件103上的光的亮度成比例的模拟信号转换为数字信号。与基于由条件检测器CD检测到的条件进行输出的异步单元100b不同地，同步单元100a可以例如是时钟受控的，以使得仅根据时钟周期从ADC输出数字数据。在一些实施例中，曝光测量子像素107也可以是时钟受控的，以使得仅根据时钟周期将来自第二光敏元件103(PDEM)的信号转换为模拟信号。
如图1A中进一步所示，在检测到条件时，条件检测器105(CD)可以将信号(在图1A的示例中被标记为“置位”)发送到形成异步单元100b的一部分的控制逻辑111。控制逻辑111可以触发开关(未图示)和/或逻辑门113(在图1A的示例中被描绘为“或”门)以启用(或如图1A的示例中所描绘的“上电”)ADC 109。如本文中所使用的，“启用”可以指的是对使得ADC 109可以使用输入的ADC控制信号、斜坡代码等来执行转换的激活。相应地，可以将ADC控制信号、斜坡代码等连续地输入到ADC 109中以在启用时使用。
控制逻辑111与开关(未图示)和/或逻辑门113的组合可以称为“逻辑电路”。相应地，逻辑电路可以电连接至检测器105和曝光测量电路，并且配置为响应于触发信号(在图1A的示例中被标记为“置位”)而启用曝光测量电路(或者，特别地是，曝光测量电路的ADC109)，以及当从曝光测量电路读出数字信号(被标记为“数字像素数据”)时禁用曝光测量电路(或者，特别地是，曝光测量电路的ADC 109)。在一些实施例中，逻辑电路可以暂时地启用曝光测量电路(或者，特别地是，曝光测量电路的ADC 109)，以使得曝光测量电路(或者，特别地是，曝光测量电路的ADC 109)在输出数字信号后自动禁用。
相应地，在将数字数据读出到外部读出系统(未图示)之后，ADC 109可以生成复位信号(在图1A的示例中标记为“清零”)，该复位信号被发送到控制逻辑111。控制逻辑111可以因此触发开关(未图示)和/或逻辑门113以使ADC 109禁用(或者如图1A的示例中所描绘的“掉电”)。如本文中所使用的，“禁用”可以指的是解除对使得ADC 109使用输入的ADC控制信号、斜坡代码等来执行转换的激活。然而，在禁用之后，仍可以将ADC控制信号、斜坡代码等输入到ADC 109中。
在一些实施例中，控制逻辑111的逻辑电路可以暂时地启用同步单元100a(或者，特别地是，同步单元100a的ADC 109)以使得同步单元100a(或者，特别地是，同步单元100a的ADC 109)在输出数字信号之后自动禁用。例如，在响应于触发信号(在图1A的示例中被标记为“置位”)而被逻辑电路启用之后，复位信号(在图1A的示例中被标记为“清零”)可以被从ADC 109发送到控制逻辑111的逻辑电路，以使得逻辑电路准备好从条件检测器105接收新的“置位”信号。
如图1A中进一步所示，条件检测器105(CD)可以将触发信号传送到外部读出系统(在图1A的示例中被示出为“请求”)。条件检测器105(CD)可以接收应答信号(在图1A的示例中被示出为“应答”)，然后该应答信号用于复位条件检测器105(CD)以使得可以再次检测到条件并产生触发。在一些实施例中，外部读出系统还可以将控制信号发送到曝光测量子像素107和/或ADC 109。与外部读出系统的所有通信可以由例如地址事件代表(Address-Event Representation，AER)协议等的协议控制和/或可以由时钟周期控制。相应地，外部读出系统可以包括事件读出系统，该事件读出系统配置为异步地从超像素读取数据，和/或，可以包括时钟受控读出系统，该时钟受控读出系统配置为在预定的时钟周期期间从超像素读取数据。
如图1A中进一步所示，还可以向开关(未图示)和/或逻辑门113(或者向控制逻辑111)提供外部控制，以便激活读出。例如，如果超像素100在阈值数量的时钟周期之后没有返回读出值(例如，如果在阈值数量的时钟周期之后没有满足条件)，则外部读出系统可以发送控制信号以强制读出。附加地或替代地，外部读出系统可以在标准帧模式下运行，以使得超像素或至少一组超像素(例如，超像素100)被触发以便捕获完整帧或部分帧，而不管是否检测到条件。
图1B是依据本公开的实施例的另一示例性超像素100′。图1B的超像素100′的功能类似于图1A的超像素100，但是还在控制电路中包括与“或”门113一起的开关115(SEM)。相应地，通过使用施加到开关115的外部控制信号，图1B的超像素100′也可以在每当ADC 109被禁用时抑制曝光测量子像素107。
图1C描绘了依据本公开的实施例的又一示例性超像素100″。图1C的超像素100″的功能类似于图1A的超像素100，但是进一步包括多个曝光测量子像素，例如，子像素107a、107b和107c。尽管描绘了三个曝光测量子像素，但是图1C中描绘的实施例可以用与ADC 109配对的任意数量的子像素来实现。相应地，图1C的实施例可以允许例如，通过对来自多个曝光测量子像素的测量值进行平均、求和或以其他方式进行组合来捕获更准确的数据，然后将组合的测量值转换为数字信号。附加地或替代地，来自多个曝光测量子像素的测量值可以顺序地转换为数字信号以实现更高的分辨率。
图1D描绘了依据本公开的实施例的又一示例性超像素100″′。图1D的超像素100″′的功能类似于图1C的超像素100″，但是还包括锁存器115。锁存器115可以例如包括开关(例如，配置为用作开关的一个或多个晶体管)、静态随机存取存储器(Static Random AccessMemory，SRAM)的一个或多个位等。尽管被描绘为与ADC 109分开，但是在一些实施例中，锁存器115可以包括设置在ADC 109中的n位锁存器中的至少一个锁存器(例如，如下面关于图3A的ADC 300所描绘的)。
在一个实施例中，触发信号(在图1D的示例中标记为“置位”)可以致使控制逻辑111在第一周期N-1期间激活。作为响应，控制逻辑111可以将启用信号(在图1D的示例中被标记为“上电”)发送到ADC 109。作为响应，ADC 109可以在第二周期N中开始对来自一个或多个曝光测量子像素(例如，子像素107a、107b和107c)的模拟信号的转换。另外，ADC 109可以置位锁存器115并在初始周期N或之前向控制逻辑111发送信号(在图1D的示例中被标记为“清零”)，以便控制逻辑111准备好在周期N期间的任何时刻生成新的触发信号。相应地，如图12的示例中所描绘的以及下面将进一步解释的那样，在第三周期N+1中已经可以进行新的曝光/转换。锁存器115进一步连接至读出系统(例如，通过图1D中所描绘的“数字像素数据”总线)，以便在周期N结束时发信号通知读出系统执行读出。相应地，当读出系统在周期N结束时从ADC 109拉出数字信号时，则锁存器115可以被ADC 109清零。
在另一个实施例中，控制逻辑111可以激活锁存器115，而不是将“上电”信号发送到ADC 109。在这样的实施例中，在每个周期的开始，ADC 109可以轮询锁存器115的状态以确定是否在该周期中执行转换。在ADC 109禁用而不是连续地运行的实施例中，如果锁存器115在所述周期的开始没有被激活，则ADC 109可以禁用一个周期。如果ADC 109轮询锁存器115并且锁存器115被启用，则ADC 109可以清零锁存器115并且开始对来自一个或多个曝光测量子像素(例如，子像素107a、107b和107c)的模拟信号进行转换。在这样的实施例中，ADC109可以进一步置位内部状态位，以通知读出系统在周期结束时执行读出。在读出之后，ADC109可以禁用其自身，并且在下一个周期的开始，再次轮询锁存器115以确定是否重新启用另一个周期。替代地，ADC 109可以在禁用之前轮询锁存器115以确定是保持启用以用于另一次转换还是禁用。
在另一实施例中(图1D中未描绘)，锁存器115可以在超像素100″′的外部。在这样的实施例中，超像素100″′可以排除控制逻辑111。替代地，检测器105可以响应于满足条件而激活锁存器115，并且ADC 109可以连续地在每个周期执行转换。相应地，读出系统可以使用锁存器115来确定是否在每个周期结束时执行读出。否则，由ADC 109执行的转换可以被删除而不被读出。尽管这样的实施例可以为每个ADC周期使用额外的功率，但是通过消除控制逻辑111并使用更小的外部锁存器阵列(例如锁存器115)，可以使超像素100″′更小。
在锁存器115在超像素100″′的外部的实施例中，可以使用以下中的至少一者将锁存器115连接至超像素100″′：直接布线连接，或者一个或多个仲裁器。例如，锁存器115可以形成外部锁存器阵列的一部分，以使得一个或多个仲裁器可以将锁存器115的存储器地址与对应的超像素(例如，超像素100″′)的地址相关联。
尽管描绘了三个曝光测量子像素(例如，子像素107a、107b和107c)，但是在图1D中所描绘的实施例可以用与ADC 109配对的任意数量的子像素来实现，例如，一个子像素、两个子像素、四个子像素等。
图1A、图1B、图1C和图1D的示例性超像素100、100′、100″和100″′分别可以布置成一个或多个阵列以形成图像或事件传感器。例如，超像素可以布置成具有相应的行和列时钟电路的一行或多行和一列或多列，以用于将数字数据从ADC读出到外部读出系统。在另一个示例中，可以将超像素布置成具有针对星形的每个节点的时钟电路的星形图案，以用于将数字数据从ADC读出到外部读出系统。
图2A是用于超像素(例如，图1A的超像素100或图1B至图1D的其他超像素中的任何超像素)中的曝光测量子像素200的示意图。如图2A中所示，子像素200可以包括光敏元件201(PDEM)，该光敏元件201产生与入射在元件201上的光成比例的信号(例如，Iph)。该信号可以被积分到节点203(FD)上。例如，该信号可以被以预定时间积分到元件201的节点(例如，光电二极管节点PDEM的阴极)的寄生电容上。积分电荷可以被从元件201的寄生电容通过晶体管205(TG)传输到节点203(FD)。晶体管205(TG)的栅极可以由图2A中被标记为“传输”的信号控制。相应地，晶体管205(TG)通过将积分信号传输到节点203(FD)来产生电压输出信号VFD。如图2A中所描绘的，由于电容器207和/或节点处的寄生电容，节点203可具有电容。例如在信号VFD通过开关211(和/或配置为用作开关的一个或多个晶体管)被传输到ADC(未图示)之后，第二晶体管209(RS)可以复位节点203以用于新的测量。晶体管211(RS)的栅极可以由图2A中被标记为“复位”的信号控制。
图2B是系统250的示意图，其包括三个曝光测量子像素，该三个曝光测量子像素具有分离的感测节点并且具有共用的传输和复位信号，以允许同时曝光(即，积分的共同开始和结束)。不同的感测节点可以配置为具有不同的电容，以允许不同的电荷转电压转换增益。例如，这对于高动态范围操作可能是有益的。系统250可以用于超像素(例如，图1C的超像素100″)中。如图2B中所示，每个光敏元件(例如，元件251(PDEM1)、元件253(PDEM2)和元件255(PDEM3))可具有其对应的信号(例如，如图2B的示例中所示的Iph1、Iph2和Iph3)，该对应的信号被积分到各个元件的节点(例如，对应的光电二极管节点(例如，PDEM1、PDEM2和PDEM3)的阴极)的不同寄生电容上。相应地，晶体管257a、257b和257c(分别为TG1、TG2和TG3)通过分别将积分信号传输到节点259a、259b和259c(分别为FD1、FD2和FD3)来生成电压输出信号VFD。如图2B中所示，由于电容器261a和/或节点处的寄生电容，节点259a可具有电容；由于电容器S261b和/或节点处的寄生电容，节点259b可具有电容；并且由于电容器261c和/或节点处的寄生电容，节点259c可具有电容。此外，在图2B的示例中，所有晶体管均由相同的信号(标记为“传输”)来控制。例如，在信号VFD被传输到ADC(未图示)之后，第二组晶体管263a、263b和263c(分别为RS1、RS2和RS3)可以分别复位节点259a、259b和259c，以用于新的测量。晶体管263a、263b和263c(分别为RS1，RS2和RS3)的栅极可以由图2B中被标记为“复位”的相同的信号来控制。每个节点可以被连接至不同的路径组成，例如开关(例如，分别是开关265a(SFD1)、开关265b(SFD2)和开关265c(SFD3)和/或配置为用作开关的一个或多个晶体管)，以允许同时曝光和到ADC(未图示)的顺序传输。
图2C是系统270的示意图，系统270包括三个曝光测量子像素，该三个曝光测量子像素具有分离的感测节点并且具有分离的传输信号，以允许不同的曝光时间(即，用于积分的共同的开始时间但是不同的结束时间)。不同感测节点的转换增益可以配置为相同，以使得可以通过不同的积分时间得到高动态范围。替代地，类似于图2B的系统250，不同感测节点的转换增益可以配置为不同。系统270可以用于超像素(例如，图1C的超像素100″)中。如图2C中所示，每个光敏元件(例如，元件271(PDEM1)、元件273(PDEM2)和元件275(PDEM3))可具有其对应的信号(例如，如图2C的示例中所示的Iph1、Iph2和Iph3)，该对应的信号被积分到各个元件的节点(例如，对应的光电二极管节点(例如，PDEM1、PDEM2和PDEM3)的阴极)的不同寄生电容上。相应地，晶体管277a、277b和277c(分别为TG1、TG2和TG3)通过分别将积分信号传输到节点279a、279b和279c(分别为FD1、FD2和FD3)来生成电压输出信号VFD。如图2C中所描绘的，由于电容器281a和/或节点处的寄生电容，节点279a可具有电容；由于电容器S281b和/或节点处的寄生电容，节点279b可具有电容；并且由于电容器281c和/或节点处的寄生电容，节点279c可具有电容。此外，在图2C的示例中，每个晶体管由相应的信号(例如，标记为“传输1”、“传输2”和“传输3”)来控制。例如，在信号VFD被传输到ADC(未图示)之后，第二组晶体管283a、283b和283c(分别为RS1、RS2和RS3)可以分别复位节点279a、279b和279c，以用于新的测量。晶体管283a、283b和283c(分别为RS1、RS2和RS3)的栅极可以由图2B中被标记为“复位”的相应信号来控制。每个节点可以被连接至不同的路径组成，例如开关(例如，分别是开关285a(SFD1)、开关285b(SFD2)和开关285c(SFD3)和/或配置为用作开关的一个或多个晶体管)，以允许到ADC(未图示)的顺序传输。
图2D是系统290的示意图，系统290包括三个曝光测量子像素，该三个曝光测量子像素共用相同的感测节点并且具有分离的传输信号，以允许不同的曝光时间(即，用于积分的共同的开始时间但是不同的结束时间)。系统290可以用于超像素(例如，图1C的超像素100″)中。如图2D中所示，每个光敏元件(例如，元件291(PDEM1)、元件293(PDEM2)和元件295(PDEM3))可具有其相应的信号(例如，Iph1、Iph2和Iph3)，该相应的信号被积分到各个元件的节点(例如，对应的光电二极管节点(例如，PDEM1、PDEM2和PDEM3)的阴极)的寄生电容上。相应地，晶体管277a、277b和277c(分别为TG1、TG2和TG3)通过分别将积分信号传输到节点297(FD)来生成电压输出信号VFD。如图2D中所描绘的，由于电容器298和/或节点处的寄生电容，节点297可具有电容。此外，在图2D的示例中，每个晶体管由相应的信号(例如，标记为“传输1”、“传输2”和“传输3”)来控制。第二晶体管299(RS1)可以例如在将积分信号顺序地传输到ADC(未图示)之后复位节点297以用于新的测量。晶体管299(RS1)的栅极可以由图2D中被标记为“复位”的相应信号来控制。
图2E是系统270′的示意图，系统270′包括三个曝光测量子像素，该三个曝光测量子像素具有分离的感测节点并且具有分离的传输信号，以允许不同的曝光时间(即，用于积分的共同的开始时间但是不同的结束时间)。系统270′可以与列级ADC和外部锁存器操作一起使用。读出触发器仍由超像素的条件检测器来控制。
相应地，在图2E中，不同感测节点的转换增益可以配置为相同，以使得可以通过不同的积分时间得到高动态范围。替代地，类似于图2B的系统250，不同感测节点的转换增益可以配置为不同。系统270′可以用于本公开的超像素(例如，图1C的超像素100″)中。更进一步，系统270′可以用于具有条件检测器的超像素中，该条件检测器输出触发信号但是不控制曝光测量电路，而是由外部读出触发器(例如，实现读出全像素阵列的标准帧模式)来控制曝光测量电路。
如图2E中所示，每个光敏元件(例如，元件271(PDEM1)、元件273(PDEM2)和元件275(PDEM3))可具有其相应的信号(例如，Iph1、Iph2和Iph3)，该相应的信号被积分到各个元件的节点(例如，对应的光电二极管节点(例如，PDEM1、PDEM2和PDEM3)的阴极)的不同寄生电容上。相应地，晶体管277a、277b和277c(分别为TGX1、TGX2和TGX3)通过分别将积分信号传输到节点279d、279e和279f(分别为MEM1、MEM2和MEM3)来生成电压输出信号VFD。如图2E中所描绘的，由于电容器281d和/或节点处的寄生电容，节点279d可具有电容；由于电容器S281e和/或节点处的寄生电容，节点279e可具有电容；并且由于电容器281f和/或节点处的寄生电容，节点279f可具有电容。此外，在图2E的示例中，每个晶体管由来自全局快门的信号(例如，在图2E的示例中被标记为“传输X”)来控制。例如，当选择包括系统270′的行时，全局周期性外部信号可以激活信号“传输X”。相应地，这种电荷传输可以在第一固定时钟周期上发生。
在第二固定周期，如图2E中所示，晶体管277d、277e和277f(分别为TGY1、TGY2和TGY3)通过分别将积分信号传输到节点279a、279b和279c(分别为FD1、FD2和FD3)来生成电压输出信号VFD。如图2E中所描绘的，由于电容器281a和/或节点处的寄生电容，节点279a可具有电容；由于电容器S281b和/或节点处的寄生电容，节点279b可具有电容；并且由于电容器281c和/或节点处的寄生电容，节点279c可具有电容。此外，在图2E的示例中，每个晶体管由第二全局周期性外部信号(例如，分别被标记为“传输Y1”、“传输Y2”和“传输Y3”)来控制。
第三组晶体管287a、287b和287c(分别为TOV1、TOV2和TOV3)可以用作溢流门，以复位光电二极管，并确保传输的电压VFD在输出之前不反转符号。
第四组晶体管289a、289b和289c(分别为SF1、SF2和SF3)以及291a、291b和291c(分别为SEL1、SEL2和SEL3)可以控制对曝光测量电路的选择和读出。例如，在由条件检测器触发曝光测量的实施例中，晶体管291a、291b和291c(分别为SEL1，SEL2和SEL3)可以响应于触发信号(分别被标记为“选择1”、“选择2”和“选择3”)来激活来自与条件检测器相对应的曝光测量电路的测量。作为响应，晶体管289a、289b和289c(分别为SF1、SF2和SF3)可以分别用作节点279a、279b和279c(分别为FD1、FD2和FD3)的源极跟随器。附加地或替代地，例如，当曝光测量电路未在阈值数量的时钟周期中被触发时，外部读出系统(未图示)可以选择曝光测量电路而不管其对应的条件检测器如何。在这样的实施例中，条件检测器还可以激活外部锁存器，以使得读出系统可以使用该外部锁存器来确定应当对哪些曝光测量电路进行时钟控制(例如，使用相应的行传输信号和列传输信号)。替代地，读出系统可以对所有的曝光测量电路进行时钟控制，然后使用后处理扔掉来自具有未启用的相应外部锁存器的曝光测量电路的任何测量值。
最终，与图2C的系统270类似的，例如，在信号VFD被传输到ADC之后(未图示)，一组晶体管283a、283b和283c(分别为RS1、RS2和RS3)可以分别复位节点279a、279b和279c，以用于新的测量。晶体管283a、283b和283c(分别为RS1，RS2和RS3)的栅极可以由在图2E中分别标记为“复位1”、“复位2”和“复位3”的相应的信号来控制。
图2F是系统290′的示意图，系统290′包括三个曝光测量子像素，该三个曝光测量子像素共用相同的感测节点并且具有分离的传输信号，以允许不同的曝光时间(即，用于积分的共同的开始时间但是不同的结束时间)。系统290′可以与列级ADC和外部锁存器操作一起使用。读出触发器仍由超像素的条件检测器来控制。
替代地，系统290′可以用于本公开的超像素(例如，图1C的超像素100″)中。更进一步，系统290′可以用于具有条件检测器的超像素中，该条件检测器输出触发信号但是不控制曝光测量电路，而是由外部读出触发器(例如，实现读出完整的像素阵列的标准帧模式)来控制曝光测量电路。
如图2F中所示，每个光敏元件(例如，元件271(PDEM1)、元件273(PDEM2)和元件275(PDEM3))可具有其相应的信号(例如，Iph1、Iph2和Iph3)，该相应的信号被积分到各个元件的节点(例如，对应的光电二极管节点(例如，PDEM1、PDEM2和PDEM3)的阴极)的寄生电容上。相应地，晶体管277a、277b和277c(分别为TGX1、TGX2和TGX3)通过分别将积分信号同时传输到节点279d、279e和279f(分别为MEM1、MEM2和MEM3)来生成电压输出信号VFD。如图2F中所描绘的，由于电容器281a和/或节点处的寄生电容，节点279d可具有电容；由于电容器S281b和/或节点处的寄生电容，节点279e可具有电容；并且由于电容器281c和/或节点处的寄生电容，节点279f可具有电容。此外，在图2F的示例中，每个晶体管由来自全局快门的信号(例如，在图2F的示例中被标记为“传输X”)来控制。例如，当选择包括系统290′的行时，全局周期性外部信号可以激活信号“传输X”。相应地，这种电荷传输可以在第一固定时钟周期上发生。
在第二固定周期，如图2F中所示，晶体管277d、277e和277f(分别为TGY1、TGY2和TGY3)通过将积分信号传输到节点297(FD)来生成电压输出信号VFD。如图2F中所描绘的，由于电容器298和/或节点处的寄生电容，节点297可具有电容。此外，在图2F的示例中，每个晶体管由顺序地触发三个传输的第二周期性外部信号(例如，分别被标记为“传输Y1”、“传输Y2”和“传输Y3”)来控制。
第三组晶体管287a、287b和287c(分别为TOV1、TOV2和TOV3)可以用作溢流门，以复位光电二极管，并确保传输的电压VFD在输出之前不反转符号。
第四组晶体管289(SF)和291(SEL)可以控制对曝光测量电路的选择和读出。例如，在由条件检测器触发曝光测量的实施例中，晶体管291(SEL)可以响应于触发信号(被标记为“选择”)来激活来自与条件检测器相对应的曝光测量电路的测量。作为响应，晶体管289(SF)可以用作节点297(FD)的源极跟随器。附加地或替代地，例如，当曝光测量电路未在阈值数量的时钟周期中被触发时，外部读出系统(未图示)可以选择曝光测量电路而不管其对应的条件检测器如何。在这样的实施例中，条件检测器还可以激活外部锁存器，以使得读出系统可以使用该外部锁存器来确定应当对哪些曝光测量电路进行时钟控制(例如，使用相应的行传输信号和列传输信号)。替代地，读出系统可以对所有的曝光测量电路进行时钟控制，然后使用后处理扔掉来自具有未启用的相应外部锁存器的曝光测量电路的任何测量值。
第二晶体管299(RS1)可以例如在将积分信号顺序地传输到ADC(未图示)之后复位节点297(FD)以用于新的测量。晶体管299(RS1)的栅极可以由图2F中被标记为“复位”的相应信号来控制。
图2G是系统250′的示意图，系统250′包括三个具有分离的感测节点并且具有分离的传输信号的曝光测量子像素。不同的感测节点可以配置为具有不同的电容，以允许不同的电荷转电压转换增益。这样的布置对于高动态范围操作可能是有益的。系统250′可以与列级ADC和外部锁存器操作一起使用。读出触发器仍由超像素的条件检测器来控制。
系统250′可以用于本公开的超像素(例如，图1C的超像素100″)中。更进一步，系统250′可以用于具有条件检测器的超像素中，该条件检测器输出触发信号但是不控制曝光测量电路，而是由外部读出触发器(例如，实现读出完整的像素阵列的标准帧模式)来控制曝光测量电路。
如图2G中所示，每个光敏元件(例如，元件251(PDEM1)、元件253(PDEM2)和元件255(PDEM3))可具有其相应的信号(例如，Iph1、Iph2和Iph3)，该相应的信号被积分到各个元件的节点(例如，对应的光电二极管节点(例如，PDEM1、PDEM2和PDEM3)的阴极)的不同寄生电容上。相应地，晶体管257a、257b和257c(分别为TG1、TG2和TG3)通过分别将积分信号传输到节点259a、259b和259c(分别为FD1、FD2和FD3)来生成电压输出信号VFD。如图2G中所描绘的，由于电容器261a和/或节点处的寄生电容，节点259a可具有电容；由于电容器S261b和/或节点处的寄生电容，节点259b可具有电容；并且由于电容器261c和/或节点处的寄生电容，节点259c可具有电容。感测节点复位后，传输由第一周期性外部信号来控制。
在新的读出之前，例如在信号VFD被传输到ADC(未图示)之前以及新的测量之前，第二组晶体管263a、263b和263c(分别为RS1、RS2和RS3)可以分别复位节点259a、259b和259c。晶体管263a、263b和263c(分别为RS1，RS2和RS3)的栅极可以由在图2G中分别被标记为“复位1”、“复位2”和“复位3”的第二周期性外部信号来控制。
第三组晶体管289a、289b和289c(分别为SF1、SF2和SF3)以及291a、291b和291c(分别为SEL1、SEL2和SEL3)可以控制对曝光测量电路的选择和读出。例如，在由条件检测器触发曝光测量的实施例中，晶体管291a、291b和291c(分别为SEL1，SEL2和SEL3)可以响应于触发信号(分别被标记为“选择1”、“选择2”和“选择3”)来激活来自与条件检测器相对应的曝光测量电路的测量。作为响应，晶体管289a、289b和289c(分别为SF1、SF2和SF3)可以分别用作节点279a、279b和279c(分别为FD1、FD2和FD3)的源极跟随器。附加地或替代地，例如，当曝光测量电路未在阈值数量的时钟周期中被触发时，外部读出系统可以选择曝光测量电路而不管其对应的条件检测器如何。在这样的实施例中，条件检测器还可以激活外部锁存器，以使得读出系统可以使用该外部锁存器来确定应当对哪些曝光测量电路进行时钟控制(例如，使用相应的行传输信号和列传输信号)。替代地，读出系统可以对所有的曝光测量电路进行时钟控制，然后使用后处理扔掉来自具有未启用的相应外部锁存器的曝光测量电路的任何测量值。
图2H是系统290″的示意图，系统290″包括三个曝光测量子像素，该三个曝光测量子像素共用相同的感测节点并且具有分离的传输信号，以允许不同的曝光时间(即，用于积分的共同的开始时间但是不同的结束时间)。
系统290″可以与列级ADC和外部锁存器操作一起使用。读出触发器仍由超像素的条件检测器来控制。可选地，系统290″可以用于本公开的超像素(例如，图1C的超像素100″)中。更进一步，系统290″可以用于具有条件检测器的超像素中，该条件检测器输出触发信号但是不控制曝光测量电路，而是由外部读出触发器(例如，实现读出完整的像素阵列的标准帧模式)来控制曝光测量电路。
如图2H中所示，每个光敏元件(例如，元件271(PDEM1)、元件273(PDEM2)和元件275(PDEM3))可具有其相应的信号(例如，Iph1、Iph2和Iph3)，该相应的信号被积分到各个元件的节点(例如，对应的光电二极管节点(例如，PDEM1、PDEM2和PDEM3)的阴极)的寄生电容上。相应地，晶体管277a、277b和277c(分别为TG1、TG2和TG3)通过顺序地将积分信号传输到节点297(FD)来生成电压输出信号VFD。如图2H中所描绘的，由于电容器298和/或节点处的寄生电容，节点297可具有电容。此外，在图2H的示例中，晶体管由第一周期性外部信号(例如，经由分别被标记为“传输1”、“传输2”和“传输3”的信号)来控制。第二晶体管299(RS1)可以例如在信号VFD被传输到ADC(未图示)之前以及新的测量之前复位节点297以用于新的测量。晶体管299(RS1)的栅极可以由图2H中被标记为“复位”的第二周期性外部信号来控制。
尽管描绘了三个曝光测量子像素，但是图2B至图2H中描绘的结构可以针对任意数量的曝光测量子像素来实现。例如，可以使用两个曝光测量子像素，或者可以使用超过三个的曝光测量子像素。
图3A是用于超像素(例如，图1A的超像素100或图1B至图1D的其他超像素中的任何超像素)中的模拟转数字转换器300的示意图。如图3A中所示，ADC 300可以包括n位斜坡模拟转数字转换器。因此，ADC可以是数字斜坡模拟转数字转换器，例如单斜率斜坡或多斜率斜坡类型的模拟转数字转换器。普通技术人员将理解，可以在依据本公开的超像素中使用其他ADC。
如图3A中进一步所示，超像素的控制电路的控制逻辑控制ADC，以使得仅当ADC被启用时才从ADC输出数字数据。此外，例如通过向ADC 300的比较器303供电，由超像素的条件检测器引起的启用(或“上电”)可以致使ADC 300激活。在外部，可以将斜坡电压(Vramp)与来自超像素的曝光测量子像素的输出信号(VFD)一起从外部控制电路馈送到ADC 300的比较器303。也可以从外部馈送斜坡代码(例如，控制斜坡增加之间的时序)以控制ADC。也可以从外部输入其他斜坡控制(被标记为“控制”)到ADC。相应地，使用来自比较器303的数据和基于斜坡代码的读写控制来置位若干个锁存器305(由位的数量确定)。锁存器305的内容可以被(例如，被外部读出系统(未图示))读出，并且ADC控制逻辑301可以将“清零”信号发送到超像素的控制电路的控制逻辑(未图示)。
图3B描绘了用于超像素(例如，图1C的超像素100″)中的替代的模拟转数字转换器350。在图3B的示例中，图3B的比较器360可以包括一对晶体管，以使得第一晶体管361a与多个子像素的至少一个第二晶体管(例如，子像素370的第二晶体管361b或者子像素380的第二晶体管361c等)协作。
图3B的多个子像素可以配置为类似于以上在图2A至图2H中所描绘的任一示例。在图3B的示例中，子像素370包括光敏元件PDEM1，该光敏元件PDEM1产生通过晶体管375(TGT1)积分到节点379(FD)上的信号。此外，第二晶体管373(RST1)可以例如在信号被传输到ADC的比较器360之后，复位节点379(FD)以用于新的测量。第三晶体管377(OVGT1)可以用作溢流门，以确保当被ADC的比较器360使用时，所传输的电压VFD不会反转符号，第四晶体管371(SEL1)可以控制对子像素370的选择和读出。类似地，在图3B的示例中，子像素380包括光敏元件PDEM2，该光敏元件PDEM2产生通过晶体管385(TGT2)积分到节点389(FD)上的信号。此外，第二晶体管383(RST2)可以例如在信号被传输到ADC的比较器360之后，复位节点389(FD)以用于新的测量。第三晶体管387(OVGT2)可以用作溢流门，以确保当被ADC的比较器360使用时，所传输的电压VFD不会反转符号，第四晶体管381(SEL2)可以控制对子像素370的选择和读出。
图4是依据本公开的实施例的用于控制具有多个超像素的图像传感器的示例性方法400的流程图。图4的方法400可以使用本文中公开的任何超像素(例如图1A的超像素100或图1B至图1D的其他超像素中的任何超像素)来执行。
在步骤401，超像素可以接收与入射在第一光敏元件上的光成比例的第一模拟信号。例如，如上所阐释的，光敏元件101可以产生与入射在其上的光成比例的第一模拟信号(例如，Iph或电压信号)。
在步骤403，当第一模拟信号与条件匹配时，超像素可以生成触发信号。例如，如上所阐释的，当第一模拟信号超过阈值时，条件检测器105(CD)可以生成触发信号(例如，上述示例中的“置位”)。在一些实施例中，超像素的条件检测器(CD)可以与系统时钟异步地检测条件。
在步骤405，响应于触发信号，超像素可以启用曝光测量电路。例如，如上所阐释的，控制逻辑111可以响应于触发信号(“置位”)启用ADC 109。在一些实施例中，曝光测量子像素107(或曝光测量子像素107a、107b或107c等)不受系统时钟控制(例如，不接收如上面关于图2的示例所阐释的例如“复位”和“传输”等的周期性控制信号)，控制逻辑111也可以响应于触发信号(“置位”)而启用曝光测量子像素107(或曝光测量子像素107a、107b或107c等)。例如，控制逻辑111可以通过启用子像素来启用曝光测量子像素107(或曝光测量子像素107a、107b或107c等)以接收周期性控制信号，从而对来自光敏元件的信号进行积分(如以上关于图2的示例所阐释的)。
在步骤407，超像素可以接收与入射在至少一个第二光敏元件上的光成比例的至少一个第二模拟信号。例如，如上关于图1的示例所阐释的，光敏元件103可以产生与入射在其上的光成比例的第二模拟信号(例如，Iph或电压信号)。如以上关于步骤405所阐释的，在一些实施例中，曝光测量子像素107(或曝光测量子像素107a、107b或107c等)可以接收第二模拟信号，但是不对其进行积分，直到接收到响应于来自条件检测器105的触发信号的周期性控制信号为止。在其他实施例中，曝光测量子像素107(或曝光测量子像素107a、107b或107c等)可以根据系统时钟接收周期性控制信号，从而依据该周期性控制信号对接收的第二模拟信号进行积分。
在步骤409，利用曝光测量电路，超像素可以将至少一个第二模拟信号转换为数字信号。例如，如以上关于图1的示例所阐释的，在启用ADC 109之后，ADC 109可以将来自曝光测量子像素107(或曝光测量子像素107a、107b或107c等)的第二模拟信号(例如，VFD)转换为数字数据(例如“数字像素数据”)并将其输出到外部读出系统。
在步骤411，在将至少一个第二模拟信号转换为数字信号之后，超像素可以禁用曝光测量电路。例如，如以上关于图1的示例所阐释的，ADC 109可以响应于转换和/或输出而生成“清零”信号，控制逻辑111可以使用该“清零”信号来禁用ADC 109。附加地或替代地，在转换和/或输出之后，ADC 109可以自动停止对外部控制信号(例如，Vramp或斜坡代码等)的响应。
图5A是说明控制图1A或图1B的超像素的信号以及由图1A或图1B的超像素产生的信号的时序的图，该超像素使用图2A的曝光测量子像素系统。如图5A中所描绘的，可以由外部读出系统，例如依据系统时钟，将复位信号发送到曝光测量子像素107。此外，可以由外部读出系统，例如依据系统时钟，将传输信号发送到曝光测量子像素107。曝光测量子像素107因此可以开始将来自曝光测量子像素的光敏元件103的模拟信号积分到提供给ADC 109的模拟信号VFD。另外，尽管在图5A中未描绘，但是，可以例如响应于检测到来自条件检测器105的光敏元件101的模拟信号与条件匹配，将来自条件检测器105的信号发送至ADC。相应地，ADC 109可以例如使用斜坡化程序开始将VFD转换为数字数据。
在使用斜坡ADC的实施例中，可以将斜坡代码从外部读出系统提供至ADC 109。ADC109的相应锁存器可以使用斜坡码将模拟信号VFD转换为n位数据(由ADC 109的架构确定的位的数量)。然后，ADC 109可以使用读出外围来输出数据，并且将ADC 109的锁存器复位以用于另一次转换。尽管在图5A中未示出，ADC 109此后可以在转换模拟信号/输出数字数据之后自动禁用。
图5B是控制图1C的超像素的信号以及由图1C的超像素产生的信号的时序的图，该超像素使用图2B的曝光测量子像素系统。图5B的信号与图5A的信号类似，但是包括来自配对到单个ADC 109的两个曝光测量子像素107a和107b的两个模拟信号VFD1和VFD2。如图5B中所示，积分是同时的，而读出值是顺序的。相应地，顺序读出值包括在同一时间获得的互补测量值。因此，曝光测量子像素的增益和/或彩色滤波器可以不同，以便得到互补数据。
图5C是控制图1C的超像素的信号以及由图1C的超像素产生的信号的时序的图，该超像素使用图2C的曝光测量子像素系统。图5C的信号与图5A的信号类似，但是包括来自配对到单个ADC 109的两个曝光测量子像素107a和107b的两个模拟信号VFD1和VFD2。如图5C中所示，积分是同时的，但是经过不同的时间(即，“曝光时间1”和“曝光时间2”)。相应地，顺序读出值包括在不同时间上得到的互补测量值。因此，互补数据可以用于高动态范围成像。
图5D是控制图1C的超像素的信号以及由图1C的超像素产生的信号的时序的图，该超像素使用图2D的曝光测量子像素系统。图5D的信号与图5A的信号类似，但是模拟信号VFD是基于被配对到单个ADC 109并且被顺序地传输到相同的感测节点的两个曝光测量子像素107a和107b。如图5D中所示，积分是同时的，但是经过不同的时间(即，“曝光时间1”和“曝光时间2”)。相应地，顺序读出值包括在不同时间上得到的互补但是重叠(在时间上)的测量值。因此，补充数据可以用于高动态范围成像。
图5E是控制超像素的信号以及由超像素产生的信号的时序的图，该超像素使用图3B的曝光测量子像素系统。如图5E中所描绘的，可以由外部读出系统，例如依据系统时钟，将复位信号发送到曝光测量子像素370和380。此外，可以由外部读出系统，例如依据系统时钟，将传输信号发送到曝光测量子像素370和380。曝光测量子像素370和380因此可以开始将来自曝光测量子像素的光敏元件的模拟信号积分到提供给ADC的比较器360的模拟信号。另外，尽管在图5E中未描绘，但是，可以例如响应于检测到来自条件检测器105的光敏元件的模拟信号与条件匹配，将来自条件检测器105的信号发送至ADC。相应地，ADC可以例如使用斜坡程序开始将来自子像素370和380的模拟信号转换为数字数据。
如图5E中进一步描绘的，在对来自子像素370和380的模拟信号进行积分期间，可以将来自子像素370和380的复位电压输出到读出系统。在一些实施例中，ADC可以在输出之前将复位电压转换成数字信号。此后，可以输出与入射在子像素370和380的光敏元件上的光成比例的模拟信号。相应地，在图5E的实施例中，可以使用输出模拟信号和复位电压来执行一次或多次噪声抑制和/或失配校正。
图6A是用于本公开的超像素(例如图1A的超像素100或图1B至图1D的其他超像素中的任何超像素等)中的示例性条件检测器600的示意图。如图6A中所示，晶体管603的阵列(例如，Mp11、Mp12、Mp13、Mp14、Mp21、Mp22、Mp23、Mp24、Mp31、Mp32、Mp33和Mp34)可以放大与感光元件601的输出Iph成比例的模拟信号Vph(PDCD)(例如，Vph可以与Iph成对数)，并输出放大的信号Vgp1。阵列603除了具有接收Vph的输入端子和输出Vgp1的输出端子之外，还可以具有一个或多个控制端子，例如VqDC。控制端子可以例如通过对输入(和/或输出)的偏移量进行移位来控制对Vph的放大。附加端子Vq和VDD可以控制阵列603的放大水平。
条件检测器600可以进一步包括一对具有迟滞的比较器605。该一对比较器605可以输出VO +和VO -，这可以分别激活电流源607a(Vpch)和607b(Vnch)。电流源607a和607b可以产生固定值的电流并且可以对电容器609充电(或放电)。电容器609的电压经由电压跟随器例如经由控制端子VqDC被馈送到阵列603。相应地，随着入射到光敏元件601上的光的增加，来自源607a的电流增加，从而增加了由阵列603形成的放大器的偏移量。相应地，向该一对比较器605的输入将减小直到其达到零为止，并且逻辑611将输出“置位”信号。类似地，随着入射到光敏元件601上的光的减少，来自源607b的电流增加，从而减小了由阵列603形成的放大器的偏移量。相应地，向该一对比较器605的输入将增加直到其达到零为止，并且逻辑611将输出“置位”信号。在一些实施例中，逻辑611也将参与((与外部读出系统的)握手(被标记为“请求”和“应答”)。
图6B是用于本公开的超像素(例如图1A的超像素100等)中的另一示例性条件检测器650的示意图。如图6B中所示，条件检测器650包括连接到感光元件601(PDCD)的放大器651(-A1)。放大器651(-A1)可以是单位增益放大器。在一些实施例中，放大器651(-A1)可以是反相的。电容器653(C1)可以连接到放大器651(-A1)。
条件检测器650可以进一步包括放大器655(-A2)、电容器657(C2)以及与电容器653(C1)并联连接到公共节点的复位开关659。相应地，每当条件检测器650接收到控制信号(例如，来自外部读出系统的应答信号)时，复位开关659就可以关闭以使检测器短路并为新的检测做准备。替代地，如下所述，条件检测器650可以配置为在输出置位信号之后自动复位。
放大器651(-A1)(可以是反相放大器)放大来自电容器653(C1)的电压的变化，以使这些变化偏离在Vdiff定义的电压电平(即在前一复位信号处的电容器651(C1)的电压电平)。在一些实施例中，放大器651可以由晶体管661控制，以使得放大器651仅响应于控制(例如来自超像素的逻辑电路的置位信号等)而放大。每当Vdiff在负方向上超过阈值，“-事件”触发信号就被发送到逻辑和AER握手电路，并且置位信号被下发到超像素的控制逻辑。类似地，每当Vdiff在正方向上超过阈值(可能与上面的阈值相同或不同)，“+事件”触发信号就被发送到逻辑和AER握手电路，并且置位信号被下发到超像素的控制逻辑。相应地，检测器可以检测到在一个阈值之上的强度的增加以及在相同或不同阈值之下的强度的降低。
尽管使用6A或图6B的架构进行了描述，任何合适的检测器都适于执行将与入射到光敏元件(例如PDCD)上的光成比例的信号(例如电压或电流)与一个或多个预定条件(例如一个或多个阈值)的比较。相应地，可以在本公开的图像传感器中使用布置为执行这种比较的晶体管、电容器、开关和/或其他电路部件的任何组合。
图7是由图6B的检测器产生的触发的图解。在图7中，Vp代表检测器650的电容器651(C1)处的电压，并且因此是与入射在光敏元件601(PDCD)上的光成比例的电压。此外，Vdiff是检测器650的电压信号，其是Vp的反相和放大版本，因此与来自光敏元件601(PDCD)的输出成比例。如图7中进一步描绘的，Vp的增加(被描绘为“+事件”)和Vp的减少(被描绘为“-事件”)都可能导致置位信号的产生。由于Vdiff是Vp的反相和放大版本，因此Vp的增加会随着Vdiff的减少而出现，反之亦然。另外，图7示出了如何将“+阈值”设定为与“-阈值”相同(在大小上)，但是也可以设定为不同。最后，图7示出了在每次触发(例如，通过关闭复位开关659)之后，Vdiff如何被复位到基线(被描绘为“复位电平”)。
图8是条件检测器(例如，CD 101)的光电二极管和曝光测量子像素(例如，EM 107)的不同可能的几何布置810、820和830的示意图，以及从光电二极管到相关电路(例如CD105)和(例如107)的连接的示意图。如图8中所示，可以将多个曝光测量子像素(EM)(例如，用于超像素810的三个EM、用于超像素820的八个EM或用于超像素830的五个EM等)与超像素中的单个条件检测器(CD)配对。此外，如图8的超像素810中所示，该多个EM可以都连接到超像素中的同一模数转换器(ADC)，导致对来自EM的测量值的顺序读出。尽管针对超像素810进行了描绘，但是相同的连接方案可以用于图8中所描绘的超像素820和超像素830。如以上关于图2B至图2D所阐释的，EM可以分离地或重叠地积分，并且可以在相同时间或不同时间积分。相应地，如下所阐释的，可以改变单个超像素中的EM的各种特性。
图9是为高动态范围(High-Dynamic Range，HDR)成像和/或红绿蓝(Red-Green-Blue，RGB)成像提供的示例性超像素的示意图。如图9中所示，可以将不同的范围用于超像素上的不同EM(例如，如图9的示例性超像素910所示，通过改变跨EM的积分时间)。替代地，可以将彩色滤波器应用于超像素上的不同EM，以自动导致从传感器读取出着色的数字数据。以不同范围使用的彩色滤波器的组合示例被示出为图9的超像素920和超像素930。
此外，尽管在图9中未示出，但是，如以上关于图2B至图2D所阐释的，超像素中的多个EM的转换增益也可以变化以增加从单个超像素提取的数据的多样性。除了彩色滤波器之外或者代替彩色滤波器，转换增益也可以变化。
来自使用本公开的超像素构建的图像传感器的输出可以基于异步模拟数据而不是像许多现有图像传感器那样基于同步模拟数据来提供同步数字数据。而且，可以在本公开的图像传感器的像素级而不是像许多现有图像传感器那样在芯片级上将模拟数据转换为数字数据。相应地，数字数据可以直接用于构造差分图像(例如，最适合用于编码视频)，而不需要像现有图像传感器那样的后处理。此外，通过至少时钟周期地仅读出满足特定条件的像素而不是从所有像素读出，可以显着减少从图像传感器输出的数字数据。
为了制造依据本公开而构造的像素的不同部分，控制检测器、曝光测量子像素和其他与光电二极管相关的电路可能需要一个特定的电压范围，而其他电路(例如控制逻辑和ADC等)可能需要不同的电压范围，例如以执行制造的小型化和/或可扩展性。相应地，向光电二极管相关的电路的供应电压可以不同于并且高于向其他电路供应的供应电压。
相应地，在一些实施例中，可以使用不同的半导体技术来分别实现与光电二极管相关的电路和图像传感器的其他电路。例如，可以针对两种电路类型分别优化两种半导体工艺流程(其可以基于不同的基础技术、具有不同的最小特征尺寸或具有不同的供应电压等)。然后，可以使用晶圆间堆叠技术来整合这些工艺流程的结果。
图10A示出了依据本公开的实施例的示例读出系统1000。读出系统1000可以与超像素的阵列一起使用，该超像素例如是本文中所描述的任意超像素(例如，图1A的超像素100、图1B的超像素100′、图1C的超像素100″或图1D的超像素100″′)。在图10A的示例中，多个外部锁存器1001(例如，类似于图1D中描述的锁存器115)可以存储在当前时钟周期之前各种超像素的条件检测器是否被触发了的指示。读出系统1000还可以包括用于实现时钟受控读出的逻辑电路1003和用于存储来自多个超像素的数字值的存储器阵列，例如静态随机存取存储器(Static Random Access Memory，SRAM)1005。尽管被描述为SRAM阵列，但是用于存储数字值的存储器阵列(以及这里描述的和参照图1D的启用锁存器阵列)可以包括任何非暂态存储器，例如动态随机存取存储器(Dynamic Random Access Memory，DRAM)、只读存储器(Read-Only Memory，ROM)、硬盘驱动器或闪存等。读出系统1000可以包括多个n位寄存器(例如寄存器1009-1、1009-2、1009-3、……、1009-m)的移位寄存器链，每个寄存器从相应的超像素的ADC的n位锁存器(例如锁存器1007-1、1007-2、1007-3、……、1007-m)接收输出。相应地，在图10A的示例中，有m个超像素将输出发送到m个寄存器。然而，在替代的实施例中，一个或多个ADC可以共用一个或多个寄存器。
如图10A中所示，逻辑1003可以在每个时钟周期致使n位寄存器(例如寄存器1009-1、1009-2、1009-3、……、1009-m)将存储在其中的内容传输到存储器1005。在一些实施例中，寄存器1009-1、1009-2、1009-3、……、1009-m可以首先执行相关双采样(CorrelatedDouble Sampling，CDS)操作，例如通过从从其输出的数字信号中减去从相应的超像素输出的复位电压。此外，在图10A的示例中，例如，如由启用锁存器1001所指示的那样，如果寄存器1009-1、1009-2、1009-3、……、1009-m中的任何一者都没有任何新信息，则逻辑1003可以跳过一个时钟周期。
图10B描绘了依据本公开的实施例的另一读出系统1000′的示例。系统1000′类似于图10A的系统1000，但是包括多个位1011-1、1011-2、……、1009-(m-1)、1009-m。例如，每个位可以包括用于每个相应的超像素的启用锁存器。替代地，每个位可以从每个相应的超像素的锁存器115复制状态(例如，“开启”状态或“关闭”状态或来自条件检测器的模拟信号的存储)。如图10B中所描绘的，该多个位可以在从相应的超像素接收到触发信号时激活相应的开关(或配置为充当开关的至少一个晶体管)，以使得在每个时钟周期期间，仅具有对应的被激活的位的寄存器被传输到存储器1005。
图11描绘了在每个超像素(例如，超像素1101a、1101b等)中实现列级ADC 1107而不是ADC的示例性图像阵列1100。在一些实施例中，图2E的曝光测量系统270′、图2F的290′、图2G的250′和/或图2H的290″可用于阵列1100中。附加地或替代地，ADC 1107可以使用图3B的系统350。
如图11中所描绘的，超像素(例如，超像素1101a、1101b等)的条件检测器可以激活并与条件检测器读出1105通信，以传输相应的触发信号以启用锁存器1109。此外，在超像素(例如，超像素1101a、1101b等)的曝光测量电路执行积分并且列级ADC 1107基于启用锁存器1109将相应的积分电荷转换成数字信号之后，曝光测量控制1103可以使相应的启用锁存器1109解除激活，以为另一触发信号做准备。
图12是例如在图1D的超像素中，在连续的控制周期N中的任意异步检测事件(CD)和相关的(触发的)曝光测量(Exposure Measurement，EM)之间的一般时间关系的图。“CD事件”中的每个峰值代表条件检测器105检测到来自光敏元件101的模拟信号与条件相匹配的时间，而“EM测量”的每个倾斜部分代表由ADC 109执行的从来自子像素107a、107b和107c的一个或多个光敏元件的模拟信号到数字信号的转换。如图12中所描绘的，通过使用锁存器，例如图1D的锁存器115，在数字信号的转换和输出期间的正状态检测可能导致在下一时钟周期期间的另一次转换和输出。例如，在图12的N+2转换周期期间的第二检测导致在图12的下一周期的第二转换。但是，因为锁存器已被激活/启用，所以在前次的状态检测等待转换时的正状态检测将被忽略。例如，因为第一检测已经在N+2周期中触发了转换周期，所以在图12的N+1周期期间的第二检测将不会导致转换周期。
前面的描述是为了说明的目的而呈现。这不是详尽的，并且不限于所公开的精确形式或实施例。通过考虑说明书和所公开的实施例的实践，实施例的修改和调整将是明显的。例如，所描述的实施方式包括硬件，但是依据本公开的系统和方法可以用硬件和软件来实施。另外，尽管已将某些部件描述为彼此耦合，但是这些部件可以以任何合适的方式彼此集成或分布。
此外，虽然本文已经描述了说明性的实施例，但是范围包括基于本公开的等同要素、修改、省略、组合(例如，各实施例中各方面的组合)、适配和/或改变的任何和所有实施例。权利要求中的要素将基于权利要求书中使用的语言而被广义地解释，并且不限于本说明书中或在本申请进行期间描述的示例，这些示例应被解释为非排他性的。此外，所公开的方法的步骤可以以包括重新排序步骤和/或插入或删除步骤的任何方式进行修改。
根据详细的说明书，本公开的特征和优点是明显的，因此，所附权利要求旨在覆盖落入本公开的真实精神和范围内的所有系统和方法。如本文中所使用的，不定冠词“一个”和“一”意味着“一个或多个”。类似地，除非在给定的上下文中明确为复数，否则使用复数形式并不必然表示复数。除非另外明确指出，否则例如“和”或“或”等的词语表示“和/或”。此外，由于通过研究本公开将容易发生许多修改和变型，因此不希望将本公开限制为示出和描述的确切构造和操作，相应地，可能采用的所有合适的修改形式和等同形式均落入本公开的范围之内。
通过考虑说明书和本文中公开的实施例的实践，其他实施例将是明显的。说明书和示例旨在仅被视为示例，所公开的实施例的真实范围和精神由所附权利要求指示。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：光电传感器、图像传感器以及光电传感器的驱动方法