阅读说明：本技术 一种同时捕获深度及灰度信息的ToF像素结构 (ToF pixel structure capable of simultaneously capturing depth and gray scale information ) 是由 徐江涛 史晓琳 于 2019-08-26 设计创作，主要内容包括：一种同时捕获深度及灰度信息的TOF像素结构,由PMOS管P1~P2,光电二极管Photo-detector,差分比较器DDA,透明锁存器Latch,高速模数转换器ADC,与非门NAND和与门AND组成；该像素结构中的感光部分采用三FD结构,其中两个FD用于收集深度信息信号,这两个FD与像素内部集成双端差分比较器相连。双端差分比较器可以有效过滤可见光信息并将深度信息转换成脉冲数量通过像素外的计数器进行信号读出。另一个FD用于感知可见光信息,并通过像素外的模数转换器进行读出。本发明可以同时捕获深度信息和灰度信息,并进行实时融合处理,有利于提升基于ToF的3D图像传感器的探测性能,拓宽使用场合。(A TOF pixel structure capable of simultaneously capturing depth AND gray scale information comprises PMOS tubes P1-P2, a photodiode Photo-detector, a differential comparator DDA, a transparent Latch Latch, a high-speed analog-to-digital converter ADC, a NAND gate AND an AND gate AND; the light sensing part in the pixel structure adopts a three-FD structure, wherein two FD is used for collecting depth information signals, and the two FD is connected with the pixel internal integrated double-end differential comparator. The double-ended differential comparator can effectively filter visible light information and convert depth information into pulse number to read out signals through a counter outside the pixel. The other FD is used to sense visible light information and is read out by an analog-to-digital converter outside the pixel. The invention can simultaneously capture depth information and gray information and perform real-time fusion processing, is favorable for improving the detection performance of the 3D image sensor based on the ToF and widens the application occasions.)

一种同时捕获深度及灰度信息的ToF像素结构

技术领域

本发明属于图像传感器领域，特别涉及一种同时捕获深度及灰度信息的三维图像传感器(TOF)像素结构。

背景技术

传感器作为人类感官的延伸，实现了对外界信息准确可靠的获取和转换。CMOS图像传感器更是在各种领域发挥着重要作用。近年来，对三维图像传感器的需求有所增加，图1展示了二维成像与三维成像效果示意图。三维图像传感器在工业领域可用于三维重建、自动加工、高度测量等；在军事领域可用于无人机侦查、潜艇水下领航、星际遥测成像等；在汽车领域可用于无人驾驶，辅助驾驶；在消费电子中，应用于体感游戏、手势识别等。基于飞行时间(Time of Flight，ToF)的三维图像传感器由于成像系统较为简单，具有更为广阔的应用前景。基于方波调制光信号的3D图像传感器原理如图2所示，光源发生器发射经调制的光信号，经过往返距离延迟后，到达探测器的相位发生改变，通过测量调制光飞行时间T_flight的变化，从而计算得到目标距离信息L，即

为了提高3D图像传感器的性能以及增加可以应用的场景，增加背景光抑制电路，使其可以适用于室外的环境。增加了背景光抑制机制的3D图像传感器常应用于室外环境，并与普通2D图像传感器配合使用。具有深度信息的3D图像与包含灰度信息的2D图像具有很好的互补性，可以有效地展示目标物体的表征特性。因此对2D与3D图像的精准融合则显得尤为重要。

图3展示了一般性图像融合过程：首先需要对图像进行预处理，包括图像配准、降噪和增强；之后对不同图像进行特征提取；最后将不同图像根据其提取特征进行匹配融合。并且对于不同类型的图像传感器，其像素尺寸，阵列分辨率等性能参数也有所不同。同时，不同传感器所捕获的目标物体图像所在视场位置也有所不同，也为后期的图像融合增加了难度。综合上述原因，灰度图像和深度图像的实时融合处理对后端电路的性能提出了更高的要求。

发明内容

针对现有技术存在的问题，本发明一种同时捕获深度及灰度信息的TOF像素结构，本发明所提出像素中的感光部分采用三FD结构，其中两个FD用于收集深度信息信号，这两个FD与像素内部集成双端差分比较器相连。双端差分比较器可以有效过滤可见光信息并将深度信息转换成脉冲数量通过像素外的计数器进行信号读出。另一个FD用于感知可见光信息，并通过像素外的模数转换器进行读出。本发明可以同时捕获深度信息和灰度信息，并进行实时融合处理，有利于提升基于ToF的3D图像传感器的探测性能，拓宽使用场合。

一种同时捕获深度及灰度信息的TOF像素结构，如图4虚线框中所示，其主要由PMOS管P1~P2，光电二极管Photo-detector，差分比较器DDA，透明锁存器Latch，高速模数转换器ADC，与非门NAND和与门AND组成；该像素中各个组件的连接关系如下：PMOS管P1源极接电源VDD，漏级接光电二极管Photo-detector的FD1；PMOS管P2源极接电源VDD，漏级接光电二极管Photo-detector的FD2；光电二极管中的FD与高速模数转换器ADC的输入端Vin相连，光电二极管中的FD1与FD2分别于差分比较器的Vin-和Vin+端口相连接；差分比较器DDA中的Vref-端口和Vref+端口分别接参考电压，差分比较器的输出端口Vout与透明锁存器Latch的输入端口D相连接；透明锁存器Latch的clk端口接时钟clk+，clkb端口接时钟clk-，输出端口Q接与非门B输入端；与非门A输入端接时钟clk+，输出端接与门AND的B输入端；与门AND的A端口接全局复位信号，输出端接PMOS管P1,P2的栅极，用于像素复位。

一种同时捕获深度及灰度信息的TOF像素结构，具有同时捕获二维和三维图像的能力，在有、无滤光片的情况下均可以大幅抑制背景光影响，从而使3D图像传感器具有更优秀的成像和探测性能，进而扩大3D图像传感器的使用场合，免除后端图像融合的复杂过程。

附图说明

图1是二维成像与三维成像效果示意图；

图2是基于ToF的方波调制间接3D图像传感器原理；

图3是一般性图像融合层次示意图；

图4是本发明提出的具有同时捕获二维和三维图像的3D图像传感器像素及外围电路示意图；

图5是像素控制时序示意图；

图6是传感器输出图像时序图。

具体实施方式

为使本发明的目的、技术方案和优点更加清晰，下面将结合实例给出本发明实施方式的具体描述。

三维图像获取原理：像素控制时序如图5所示，发射光脉冲是一个周期为Tmod占空比为1/4的方波，通过Tx1、Tx2控制三个相位处的积分。奇数帧Tx1和Tx2分别在第一相位和第三相位处积分，积分电荷为Q1和Q3。偶数帧Tx1和Tx2分别在第二相位和第三相位处积分，积分电荷为Q2和Q3。则最终输出的发射光飞行时间信息为：

本发明采用像素内部自复位的方式对背景光进行自抑制。像素的复位采用异步复位的方式，在一个曝光周期Tint中，由于流入像素中FD1节点的电子总量总是多于流入FD2节点的电子总量，即V_FD1的下降速度更快，因此FD1节点的电压总是低于FD2节点电压：

因此DDA的Vin-端的电压较Vin+端下降的更快，当Vin+与Vin-的电压差刚刚高于两参考电压Vrefp与Vrefn之差时，

比较器将翻转。通过外部的控制信号clk+和clk-将DDA的输出锁入随后的锁存器Latch中，锁存器采取低传、高锁的结构。之后将锁存器的输出信号和clk+信号做与非操作，用于像素中FD节点复位，即节点Vx产生一个脉冲。通过计算一个曝光周期内的脉冲频率，从而可以计算出两个FD节点的信号差值。

二维图像获取原理：根据像素控制时序图5，TxD在所有帧均在第四相位处积分，积分电荷Q4仅为可见光产生电荷。积分信号随后输入后端模数转换器ADC进行量化并输出灰度图像。

在该实例中，读出时序如图5所示，调制光为周期为250ns，占空比为1:4的方波信号。3D图像信息读取过程为：每列像素共用一套累加计数系统，采用滚筒计数方式，整个计数过程为100us，整个累加过程为36ms。2D图像读取过程为：每列像素共用一套读出电路，采用滚筒读出方式，该读出电路每36ms输出一帧完整2D图像。采用该像素可以实时输出2D和3D图像并进行实施融合，具体操作时序如图6所示，输出帧频可达到30帧每秒。