阅读说明：本技术 一种基于差异复位的去除固定模式噪声方法 (Fixed pattern noise removing method based on difference reset ) 是由 曾夕 周璞 严慧婕 罗颖 何学红 于 2019-09-16 设计创作，主要内容包括：本发明公开了一种基于差异复位的去除固定模式噪声方法,包括如下步骤：S01：对像素阵列进行单帧分段曝光；S02：进行像素阵列的信号读取,具体包括：S021：进行软复位：将像素单元中复位信号设置为中间电压,进行差异复位信号读取；S022：进行硬复位：将像素单元中复位信号设置为高电压；S023：打开传输MOS管,使得光电二极管中曝光信号传输至悬浮扩散区,进行差异像素传输信号读取；S03：将差异像素传输信号和差异复位信号相减,得到去除固定模式噪声的曝光信号。本发明提供的一种基于差异复位的去除固定模式噪声方法,通过在读取复位信号时引入和曝光信号相同的固定模式噪声,通过相减处理,消除图像中固定模式噪声。(The invention discloses a method for removing fixed pattern noise based on difference reset, which comprises the following steps: s01: carrying out single-frame segmented exposure on the pixel array; s02: the method for reading signals of the pixel array specifically comprises the following steps: s021: carrying out soft reset: setting a reset signal in a pixel unit as an intermediate voltage, and reading a differential reset signal; s022: and (3) carrying out hard reset: setting a reset signal in a pixel unit to a high voltage; s023: opening the transmission MOS tube to enable an exposure signal in the photodiode to be transmitted to the suspended diffusion region, and reading a differential pixel transmission signal; s03: and subtracting the difference pixel transmission signal and the difference reset signal to obtain an exposure signal with the fixed pattern noise removed. The invention provides a fixed pattern noise removing method based on difference reset, which eliminates the fixed pattern noise in an image by introducing the fixed pattern noise identical to an exposure signal when a reset signal is read and by subtraction processing.)

一种基于差异复位的去除固定模式噪声方法

技术领域

本发明涉及图像传感器领域，具体涉及一种基于差异复位的去除固定模式噪声方法。

背景技术

CMOS图像传感器由于其高集成度、低功耗和低成本等优势，在日常生活和工艺中应用广泛。对于CMOS图像传感器来说，高动态范围和高帧率都是衡量CMOS图像传感器的重要指标。对于小动态范围的CMOS图像传感器，如果要捕捉小信号就需要采用长曝光时间，但这样大信号饱和，无法得到大信号数据；反之，如果要捕捉大信号就需要缩短曝光时间，但这样小信号无法分辨，得到不小信号有效数据。因此高动态范围是CMOS图像传感器的重要指标。

目前提高动态范围的常用办法主要是多帧曝光融合、不同转换增益以及分段曝光这三种办法，但是多帧曝光融合需要通过多帧曝光数据得到一幅图像的大小完整信号，需要牺牲帧率；增益转换的方式要么通过两帧不同增益转换得到图像，要么在一帧内通过对每个像素(也称像素单元)读取不同转换增益的数据，这两种方式也会使得帧率减半。多帧曝光融合和不同转换增益这两种办法都需要额外的ISP(数字信号处理器)的算法处理。单帧内通过分段曝光的方式，将大信号中多余的信号溢出到电源，使得原本饱和的大信号不饱和，而小信号不受影响，通过这种方式，只需要一帧即可读出所有信号，在得到高动态范围的同时不牺牲帧率。

但是单帧分段曝光HDR(High-Dynamic Range高动态范围)的方式的光敏感曲线会形成一个拐点，而由于每个像素的分段曝光控制管的阈值电压不同导致每个像素的拐点不同，即形成了拐点差异；使得图像的FPN(Fixed Pattern Noise固定模式噪声)增大。现有技术之一是通过每行预曝光，再采集包含拐点差异的参考输出信号，对每行输出信号的拐点差异进行消除，达到优化FPN的效果。但这种消除FPN的办法会使得每行的处理时间加倍，降低图像传感器帧率。

发明内容

本发明的目的是提供一种基于差异复位的去除固定模式噪声方法，通过在读取复位信号时引入和曝光信号相同的固定模式噪声，通过相减处理，消除图像中固定模式噪声。

为了实现上述目的，本发明采用如下技术方案：一种基于差异复位的去除固定模式噪声方法，包括如下步骤：

S01：对像素阵列进行单帧分段曝光，所述单帧分段曝光包括在同一帧中分别进行低满阱量曝光和高满阱量曝光；所述像素阵列中包括像素单元，所述像素单元包括传输MOS管、光电二极管、复位MOS管和悬浮扩散区，且所述光电二极管和悬浮扩散区通过传输MOS管连接，所述悬浮扩散区还通过复位MOS管连接复位信号；

S02：进行像素阵列的信号读取，具体包括：

S021：进行软复位：将像素单元中复位信号设置为小于电源电压大于接地电压的中间电压，进行差异复位信号读取；

S022：进行硬复位：将像素单元中复位信号设置为大于等于电源电压和复位MOS管阈值电压之和的高电压；

S023：打开传输MOS管，使得光电二极管中曝光信号传输至悬浮扩散区，进行差异像素传输信号读取；

S03：将差异像素传输信号和差异复位信号相减，得到去除固定模式噪声的曝光信号。

进一步地，所述步骤S01中通过复位MOS管控制像素单元进行单帧分段曝光。

进一步地，所述复位MOS管控制像素单元先进行低满阱量曝光，再进行高满阱量曝光。

进一步地，所述像素阵列中不同像素单元的复位MOS管的阈值电压不同，导致不同像素单元在同一帧曝光中积累的总电荷不同，且像素单元在曝光中积累的总电荷与该像素单元中复位MOS管的阈值电压正相关。

进一步地，所述步骤S01中对像素阵列进行单帧A次低满阱量曝光和B次高满阱量曝光，A和B均为大于0的正整数，且A次低满阱量曝光对应的满阱电荷量均不相同，B次高满阱曝光对应的满阱电荷量均不相同。

进一步地，所述像素阵列中各个像素单元的复位MOS管的阈值电压不同，所述步骤S021中各个像素单元中复位MOS管源漏两端电压不相等，且悬浮扩散区的复位电压也不相等，像素单元中悬浮扩散区的复位电压与该像素单元中的复位MOS管阈值电压负相关。

进一步地，所述步骤S022中各个像素单元中复位MOS管源漏两端电压相等，且悬浮扩散区的复位电压也相等，各个像素单元的悬浮扩散区的复位电压均与电源电压相等。

进一步地，所述步骤S023中各个像素单元的差异像素传输信号与该像素单元中的复位MOS管阈值电压负相关。

进一步地，所述步骤S022中进行硬复位的时候，不进行复位信号读取。

本发明的有益效果为：在一次曝光以后的完整信号读取周期内，本发明使得悬浮扩散区进行两次复位和两次信号读取。两次复位分别为软复位和硬复位，软复位产生的差异复位信号是图像传感器读取的有效复位信号，而硬复位只是为了像素信号传输之前悬浮扩散区的电位相等，图像传感器并不读取此时的复位信号，最终像素信号传输之后读取的差异像素传输信号包含曝光阶段产生的电荷量的差异。由于两次读取的差异复位信号和差异像素传输信号都和复位MOS管的阈值电压呈负相关，则通过差异复位信号和差异像素传输信号相减，得到去除固定模式噪声的曝光信号。本发明通过在信号读取过程中引入和曝光信号相同的差异，通过相减处理，简单有效地消除图像中固定模式噪声，而且不会降低图像传感器帧率。

附图说明

图1为现有技术中的基于单帧分段曝光的HDR图像传感器工作周期；

图2为常规的基于4T像素单元满阱电荷量变化的HDR图像传感器工作时序示意图；

图3为4T像素单元结构示意图；

图4为本发明基于差异复位的HDR FPN优化的工作模式示意图；

图5为本发明基于4T像素单元的差异复位的HDR FPN优化的工作时序示意图；

图6为发明基于4T像素单元的低满阱量曝光过程中势垒变化图；

图7为发明基于4T像素单元的高满阱量曝光过程中势垒变化图；

图8为发明基于4T像素单元的软复位过程中势垒变化图；

图9为发明基于4T像素单元的硬复位光过程中势垒变化图；

图10为发明基于4T像素单元的差异像素传输信号读取过程中势垒变化图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式做进一步的详细说明。

请参阅附图1-3，图1为常规的基于单帧分段曝光的HDR图像传感器工作模式示意图，在一帧时间内，像素经过两个阶段的曝光：一次低满阱量曝光EXP_LFWC和一次高满阱量曝光EXP_HFWC，两次曝光结束后经过两次信号读取READ读出曝光信号，两次信号读取包括复位信号读取和曝光信号读取，且现有技术中不进行软复位，仅读出不包含拐点差异的硬复位信号，由于曝光信号包含拐点差异，因此现有技术中含有差异的曝光信号和不含拐点差异的硬复位信号相减，无法去除拐点差异，导致最终图像FPN大。而在低满阱量曝光阶段，由于不同像素单元的控制满阱电荷量变化的MOS管的阈值电压Vth差异，导致每个像素最终的信号输出曲线上的拐点不同，使得最终图像的FPN较大。以附图3中常规的4T像素单元为例，结合附图2中时序图可知，现有技术中4T像素单元通常采用传输MOS管TX控制像素单元中光电二极管与电源之间的势垒高度，实现低满阱量曝光和高满阱量曝光。由于每个像素的分段曝光控制管的阈值电压不同导致每个像素的拐点不同，即形成了拐点差异；使得图像的FPN增大。

如附图4所示，本发明提供了一种基于差异复位的去除固定模式噪声方法，包括如下步骤：

S01：对像素阵列进行单帧分段曝光，所述单帧分段曝光包括在同一帧中分别进行低满阱量曝光和高满阱量曝光；像素阵列中包括像素单元，像素单元包括传输MOS管、光电二极管、复位MOS管和悬浮扩散区，且光电二极管和悬浮扩散区通过传输MOS管连接，悬浮扩散区还通过复位MOS管连接复位信号。

本发明提供的方法适用于可以受复位MOS管控制的像素单元，通过复位MOS管控制像素单元进行低满阱量曝光EXP_LFWC和高满阱量曝光EXP_HFWC，即通过调整复位MOS管的相关时序和电压实现低满阱量曝光和高满阱量曝光，因此曝光信号的差异是由复位MOS管引起的，这样在复位阶段引入软复位中引入复位MOS管差异后，才能消除FPN。本发明中低满阱量曝光指的是低满阱电荷量曝光，高满阱量曝光指的是高满阱电荷量曝光。像素阵列中所有的像素单元在分段曝光阶段都会进行曝光积累电荷，分段曝光的顺序一定是先低满阱量曝光再高满阱量曝光。

在分段曝光过程中，像素阵列中不同像素的满阱电荷量和复位MOS管的阈值电压有关。在相同的控制条件下，不同像素单元复位MOS管阈值电压不同，导致不同像素单元的满阱电荷量不同，因此对于不同像素单元在相同的总曝光时间内积累的总电荷量也不同，也就是说在相同曝光时间内，不同像素单元积累的总电荷量和复位MOS管的阈值电压有关，且积累曝光总电荷和复位MOS管的阈值电压正相关。

本发明中分段曝光也可以是大于2次的多次分段曝光，但每次分段曝光的满阱电荷量均不同，本发明中单帧曝光中的分段次数并不会影响本发明的方法。既可以对本步骤对像素阵列进行单帧A次低满阱量曝光和B次高满阱量曝光，A和B均为大于0的正整数，且A次低满阱量曝光对应的满阱电荷量均不相同，B次高满阱曝光对应的满阱电荷量均不相同。

S02：进行像素阵列的信号读取READ，具体包括：

S021：进行软复位：将像素单元中复位信号设置为小于电源电压大于接地电压的中间电压，进行差异复位信号Vrst读取，此时的差异复位信号Vrst包含拐点。

在本步骤中，复位信号处于中间电压，中间电压指的是小于电源电压大于接地电压的电压值，此时，复位MOS管源漏两端电压不相等，与复位MOS管相连的悬浮扩散区的复位电压与该像素单元中的复位MOS管的阈值电压有关。由于工艺的偏差，不同像素单元的复位MOS管的阈值电压不同，则此时不同像素单元中悬浮扩散区的复位电压值不同，此时图像传感器读取的各个像素单元的复位信号也不同。而且复位MOS管的阈值电压越高，则其对应的像素单元中悬浮扩散区的复位电压值越低，此时图像传感器读取的对应像素单元中的复位信号电压值越小，像素单元中悬浮扩散区的复位电压与该像素单元中的复位MOS管阈值电压负相关。

S022：进行硬复位：将像素单元中复位信号设置为大于等于电源电压的高电压。硬复位只是为了像素信号传输之前悬浮扩散区的电位相等，图像传感器并不读取此时的复位信号。

本步骤中复位信号为高电压，这里高电压指的是不小于与复位MOS管相连的电源电压和复位MOS管的阈值电压之和，在硬复位的时候，复位MOS管的源漏两端的电压值会相等，即悬浮扩散区的电压值与和复位MOS管相连的电源电压值相等，可以认为此时所有像素单元的悬浮扩散区电压均与电源电压相等。

S023：打开传输MOS管，使得光电二极管中曝光信号传输至悬浮扩散区，进行差异像素传输信号Vsig读取，此时的差异像素传输信号Vsig包含拐点。

本步骤中，当光电二极管与悬浮扩散区之间的传输MOS管开启之后，光电二极管曝光产生的电荷传输到悬浮扩散区，使得悬浮扩散区电压降低，降低的电压大小由曝光阶段光电二极管产生的电荷量决定。由于在曝光信号传输之前悬浮扩散区是硬复位，在曝光信号传输之后，悬浮扩散区电压降低，且降低后的电压信号大小只由曝光电荷量决定。而对于基于复位MOS管进行分段曝光的HDR图像传感器，曝光产生的电荷与复位MOS管的阈值电压有关，由于工艺的偏差，不同像素单元的复位MOS管的阈值电压不同，则在同样的光强和曝光时间下，不同像素单元中曝光产生电荷量不同。复位MOS管的阈值电压越大，其对应的像素单元在整个曝光阶段能产生的电荷量越多，读取的差异像素传输信号电压值越小，即差异像素传输信号与对应的像素单元中的复位MOS管的阈值电压呈负相关。

S03：将差异像素传输信号和差异复位信号相减，得到去除固定模式噪声的曝光信号Vpf，此时的曝光信号Vpf不包含拐点。

最终像素信号传输之后读取的差异像素传输信号包含曝光阶段产生的电荷量的差异。由于两次读取的差异复位信号和差异像素传输信号都和复位MOS管的阈值电压呈负相关，则通过差异复位信号和差异像素传输信号相减，得到去除固定模式噪声的曝光信号。

以下通过4T像素单元结合附图5-10对本发明方法做进一步解释，本发明中的方法可以适用于所有结构的像素单元，并不限于4T像素单元。

如附图5所示，本发明单帧分段曝光采用现有技术中低满阱量曝光和高满阱量曝光，且曝光阶段和常规基于满阱电荷量调整的HDR图像传感器相同。

如附图5和6所示，低满阱量曝光是通过将复位MOS管RST电压降低至中间电压实现的，在低满阱量曝光时，像素单元中电荷势垒示意图如图6所示。由于复位MOS管RST的阈值电压不同，不同像素单元中低满阱量曝光阶段的满阱势垒不同，在该曝光阶段光电二极管PD处能存储的最大电荷量不同。

如附图5和7所示，当像素阵列进入高满阱量曝光阶段时，传输MOS管TX栅极电压降低，传输MOS管TX关断，此时光电二极管PD处继续积累电荷，如附图7所示。不考虑像素单元光电感应噪声的情况下，此阶段各个像素单元感应的电荷相同，但由于低满阱量曝光阶段的电荷不同，此时光电二极管PD处的总电荷不同。

如附图5所示，曝光之后像素阵列进入信号读取READ阶段时，每个像素单元有两次信号读取：差异复位信号Vrst和差异像素传输信号Vsig。

如附图5和8所示，在软复位阶段进行差异复位信号读取，复位MOS管RST电压为中间电压值，此时各个像素单元中悬浮扩散区FD复位电压不同，各个像素单元中悬浮扩散区FD势垒不同，此时读取不同像素单元的差异复位信号Vrst。

如附图5和9所示，差异复位信号读取结束后，复位MOS管RST拉高，此时FD点硬复位，像素阵列中所有像素单元的悬浮扩散区FD点势垒与电源相同，如附图9所示，即此时所有像素单元的悬浮扩散区FD点势垒高度相同。此时不进行数据读取。

如附图5和10所示，在差异像素传输信号读取阶段，复位MOS管RST关断，传输MOS管TX打开，光电二极管PD处电荷都传输到悬浮扩散区FD处。由于曝光产生的电荷量不同，此时悬浮扩散区FD点的势垒不同(，如附图10所示，此时读取不同像素单元的差异像素传输信号Vsig。

差异复位信号Vrst和差异像素传输信号Vsig都与复位MOS管RST的阈值电压Vth有关，硬复位时的电压V1与复位MOS管RST的阈值电压无关，V1＝VDD。不考虑增益放大，则Vrst＝VDD–Vth，Vsig＝V1–Q/C。Q为曝光阶段PD处的总电荷量，C为悬浮扩散区FD的电容。Q与复位MOS管RST的阈值电压Vth有关，Vth越大，Q越大，Vsig越小，即Vsig与Vth负相关。同时，Vth越大，Vrst也越小，即Vrst与Vth负相关。最终像素曝光信号Vpd＝Vrst–Vsig与Vth无关。

本发明在一次曝光以后的完整信号读取周期内，本发明使得悬浮扩散区进行两次复位和两次信号读取。两次复位分别为软复位和硬复位，软复位产生的差异复位信号是图像传感器读取的有效复位信号，而硬复位只是为了像素信号传输之前悬浮扩散区的电位相等，图像传感器并不读取此时的复位信号，最终像素信号传输之后读取的差异像素传输信号包含曝光阶段产生的电荷量的差异。由于两次读取的差异复位信号和差异像素传输信号都和复位MOS管的阈值电压呈负相关，则通过差异复位信号和差异像素传输信号相减，得到去除固定模式噪声的曝光信号。本发明通过在信号读取过程中引入和曝光信号相同的差异，通过相减处理，简单有效地消除图像中固定模式噪声，而且不会降低图像传感器帧率。

以上所述仅为本发明的优选实施例，所述实施例并非用于限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明所附权利要求的保护范围内。