阅读说明：本技术 一种去除图像暗电流的装置和方法 (Device and method for removing image dark current ) 是由 叶红磊 温建新 叶红波 张悦强 蒋亮亮 姚清志 于 2019-08-28 设计创作，主要内容包括：本发明公开的一种去除图像暗电流的装置,现场可编程门阵列同时连接图像传感器和同步动态随机存储器；图像传感器拍摄图像,并逐行输出图像数据至现场可编程门阵列,同时,现场可编程门阵列从同步动态随机存储器调取暗电流图像的对应行数据；现场可编程门阵列将该行图像数据减去暗电流图像的对应行数据,并输出去除暗电流之后的该行图像数据；依次对图像行数据进行处理,直至输出去除暗电流之后的完整图像。本发明提供的一种去除图像暗电流的装置和方法,通过同步动态随机存储器和现场可编程门阵列的配合,能够高帧率去除暗电流,并且具有实时性高的优点。(The invention discloses a device for removing image dark current.A field programmable gate array is simultaneously connected with an image sensor and a synchronous dynamic random access memory; the image sensor shoots an image, and outputs image data to the field programmable gate array line by line, and meanwhile, the field programmable gate array transfers corresponding line data of the dark current image from the synchronous dynamic random access memory; the field programmable gate array subtracts the corresponding line data of the dark current image from the line image data and outputs the line image data after the dark current is removed; and sequentially processing image line data until a complete image with the dark current removed is output. The device and the method for removing the image dark current provided by the invention can remove the dark current at a high frame rate through the cooperation of the synchronous dynamic random access memory and the field programmable gate array, and have the advantage of high real-time property.)

一种去除图像暗电流的装置和方法

技术领域

本发明涉及图像处理领域，具体涉及一种去除图像暗电流的装置和方法。

背景技术

图像传感器在拍摄图像过程中由于杂质、受热等其他原因的影响，即使没有光照射到像素单元，像素单元也会产生电荷，这些电荷产生了暗电流。暗电流与光照产生的电荷很难进行区分。暗电流在像素阵列各处也不完全相同，它会导致固定图形噪声。

现有技术中消除暗电流的方法为：在上位机中获得一张暗光下的图像，即暗电流图像，通过正常光拍摄获得待处理图像，获取暗电流图像和待处理图像之后，再将正常光下获取的图像数据和暗电流图像数据进行相减，从而获得去除暗电流之后的图像。由于这种相减计算需要一一对图像中各个像素值进行计算，并且需要在获取完整的图像和暗电流图像的基础上才能进行处理；这种去除暗电流方法需要先获取整幅暗电流图像和待处理图像，再通过减法去除待处理图像中的暗电流，整个过程繁琐，并且耗时较长，实时性差。

在此基础上为了提高图像处理的速率，本领域技术人员将上述方法改进为如下方法；在暗光下获得暗电流图像，然后计算暗电流图像的均值，然后将正常光下获取的图像减去暗电流图像的均值，从而获得去除暗电流之后的图像。改进之后的方法计算虽然简单，但由于减去的是暗电流均值，而图像传感器中不同像素单元产生的暗电流并不一定相同，这种简化的去除暗电流方法去除效果并不理想。

发明内容

本发明的目的是提供一种去除图像暗电流的装置和方法，通过同步动态随机存储器和现场可编程门阵列的配合，能够高帧率去除暗电流，并且具有实时性高的优点。

为了实现上述目的，本发明采用如下技术方案：一种去除图像暗电流的装置，包括图像传感器、现场可编程门阵列和同步动态随机存储器；所述现场可编程门阵列同时连接所述图像传感器和同步动态随机存储器；

图像传感器在暗光下拍摄得到暗电流图像，并将暗电流图像数据传输至现场可编程门阵列，所述现场可编程门阵列将暗电流图像数据缓存至同步动态随机存储器；

图像传感器拍摄图像，并逐行输出图像数据至所述现场可编程门阵列，同时，所述现场可编程门阵列从同步动态随机存储器调取暗电流图像的对应行数据；所述现场可编程门阵列将该行图像数据减去暗电流图像的对应行数据，并输出去除暗电流之后的该行图像数据；依次对图像行数据进行处理，直至输出去除暗电流之后的完整图像。

进一步地，所述装置还包括flash存储器，所述flash存储器连接现场可编程门阵列，所述现场可编程门阵列从同步动态随机存储器调取暗电流图像数据，并将调取的暗电流图像数据存储在flash存储器，所述flash存储器中存储M帧暗电流图像数据，分别对应图像传感器不同的工作场景；M为大于0的整数。

进一步地，所述flash存储器在断电时保存暗电流图像数据，当所述图像传感器在下次开机后的工作场景对应flash存储器中其中一帧暗电流图像数据时，所述现场可编程门阵列从flash存储器中调取与图像传感器工作场景对应的暗电流图像数据，并将其缓存至同步动态随机存储器中。

进一步地，所述flash存储器在断电时保存暗电流图像数据，当所述图像传感器在下次开机后的工作场景与flash存储器中M帧暗电流图像数据均不对应时，所述图像传感器重新拍摄暗电流图像，并将新的暗电流图像数据缓存至同步动态随机存储器中，通过新的暗电流图像数据进行暗电流去除。

进一步地，所述同步动态随机存储器为DDR2SDRAM或者DDR3SDRAM。

一种去除图像暗电流的方法，包括如下步骤：

S01：图像传感器在暗光下拍摄得到暗电流图像，并将暗电流图像数据传输至现场可编程门阵列，所述现场可编程门阵列将暗电流图像数据缓存至同步动态随机存储器；

S02：图像传感器拍摄图像，并逐行输出图像数据至所述现场可编程门阵列，同时，所述现场可编程门阵列从同步动态随机存储器调取暗电流图像的对应行数据；所述现场可编程门阵列将该行图像数据减去暗电流图像的对应行数据，并输出去除暗电流之后的该行图像数据；

S03：重复步骤S02，直至输出去除暗电流之后的完整图像。

进一步地，所述步骤S01中图像传感器将暗电流图像数据逐行输出至现场可编程门阵列。

进一步地，所述现场可编程门阵列还连接flash存储器，所述步骤S01中现场可编程门阵列从同步动态随机存储器调取暗电流图像数据，并将调取的暗电流图像数据存储在flash存储器，所述flash存储器中存储M帧暗电流图像数据，分别对应图像传感器不同的工作场景；M为大于0的整数。

进一步地，所述flash存储器在断电时继续保存暗电流图像数据当所述图像传感器在下次开机后的工作场景对应flash存储器中其中一帧暗电流图像数据时，所述现场可编程门阵列从flash存储器中调取与图像传感器工作场景对应的暗电流图像数据，并将其缓存至同步动态随机存储器中。

进一步地，所述flash存储器在断电时继续保存暗电流图像数据，当所述图像传感器在下次开机后的工作场景与flash存储器中M帧暗电流图像数据均不对应时，所述图像传感器重新拍摄暗电流图像，并将新的暗电流图像数据缓存至同步动态随机存储器中，通过新的暗电流图像数据进行暗电流去除。

本发明的有益效果为：本发明去除暗电流方法简单，通过同步动态随机存储器和现场可编程门阵列的配合，利用逐行处理的方式能够高帧率去除暗电流，能够实现对图像的实时处理，即在获取整幅图像之间即可对已获取的单行图像数据进行处理，实时性高，且不需要采用现有技术中上位机进行处理。同时flash存储器中存储的暗电流图像在掉电之后仍能够被保存，在下次开机使用时，可以直接将flash存储器中存储的暗电流图像传输至同步动态随机存储器中，避免每次开机均需要重新获取暗电流图像。

附图说明

图1为本发明一种图像传感器装置的框架示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式做进一步的详细说明。

如图1所示，本发明提供的一种去除图像暗电流的装置，包括图像传感器、现场可编程门阵列和同步动态随机存储器；现场可编程门阵列同时连接图像传感器和同步动态随机存储器。

本发明装置还包括flash存储器，本发明中现场可编程门阵列同时连接同步动态随机存储器和flash存储器，图像传感器在暗光下拍摄得到暗电流图像，并将暗电流图像数据传输至现场可编程门阵列，现场可编程门阵列将暗电流图像数据缓存至同步动态随机存储器；之后，现场可编程门阵列从同步动态随机存储器调取暗电流图像数据，并将调取的暗电流图像数据存储在flash存储器。由于flash存储器的存储速度比图像传感器的传输速度慢很多(图像传感器传输至现场可编程门阵列的速度约为100M/s，flash存储器的接收速度约为10M/s)，如果不将暗电流图像数据先缓存至同步动态随机存储器中，暗电流图像数据就不能正确存储在flash存储器中。因此，鉴于传输速率匹配的问题，而现场可编程门阵列的传输速率和接收速率可以自由调整，现场可编程门阵列作为处理器把暗电流图像数据从同步动态随机存储器中读取后，再降低速率将暗电流图像数据写入到flash存储器。由于flash存储器在没有电流供应的条件下也能够长久地保持数据，其存储特性相当于硬盘，flash存储器中存储的暗电流图像数据在掉电之后仍能够被保存，在下次开机使用时，可以直接将flash存储器中存储的暗电流图像数据传输至现场可编程门阵列中，再被现场可编程门阵列缓存至同步动态随机存储器中，避免每次开机均需要重新获取暗电流图像。同步动态随机存储器访问速度较快，适合在现场可编程门阵列处理图像数据时直接调用，可以大大提高现场可编程门阵列的图像处理速率。本发明中使用的同步动态随机存储器可以为DDR2SDRAM(Double-Data-Rate Two Synchronous Dynamic Random Access Memory)或者DDR3SDRAM(Double-Data-Rate Three Synchronous Dynamic Random Access Memory)。

本发明装置还包括PC机，当现场可编程门阵列处理完图像数据之后，将去除暗电流的图像传输至PC机中进行下一步的操作。PC机通过USB接口连接现场可编程门阵列。

本发明装置去除暗电流的原理为：首先，图像传感器在暗光下拍摄得到暗电流图像，并将获得的暗电流图像数据传输至现场可编程门阵列，现场可编程门阵列将暗电流图像缓存至同步动态随机存储器中；其次，图像传感器拍摄图像，并逐行输出图像数据至所述现场可编程门阵列，同时，现场可编程门阵列从同步动态随机存储器中调取暗电流图像的对应行数据；现场可编程门阵列将该行图像数据减去暗电流图像的对应行数据，并输出去除暗电流之后的该行图像数据；依次对图像的行数据进行去除暗电流处理，直至输出去除暗电流之后的完整图像。在现场可编程门阵列逐行进行图像数据处理时，图像数据直接在现场可编程门阵列被处理输出，并不需要如暗电流图像数据一样被存储至同步动态随机存储器，即现场可编程门阵列实时获取图像传感器中的行数据，调取同步动态随机存储器中对应行的暗电流图像数据，实时逐行处理正常光图像并输出。本发明与现有技术的区别主要体现在：本发明通过同步动态随机存储器和现场可编程门阵列的配合，能够高帧率去除暗电流；并且本发明中通过现场可编程门阵列实时处理图像传感器生成的行数据，不同于现有技术中需要先获取整幅暗电流图像和待处理图像，才能进行暗电流去除，本发明逐行处理的方式具有实时性高的优点，并且能够实现高帧率去除暗电流的效果；本发明中图像数据与暗电流图像数据一一对应进行相减来去除暗电流，而不是通过减去暗电流的平均值，提高了暗电流去除的准确性；本发明在现场可编程门阵列中实现暗电流的去除，而不是如现有技术方法中需要使用电脑或者上位机进行暗电流相减处理，简化了去除暗电流的硬件的装置。

一种去除图像暗电流的方法，包括如下步骤：

S01：图像传感器在暗光下拍摄得到暗电流图像，或者也可以把曝光值设置为0进行拍摄，得到暗电流图像；图像传感器将暗电流图像数据传输至现场可编程门阵列，现场可编程门阵列将暗电流图像数据缓存至同步动态随机存储器；之后，现场可编程门阵列从同步动态随机存储器调取暗电流图像数据，并将调取的暗电流图像数据存储在flash存储器。

本步骤中，图像传感器可以在图像传感器完全获取暗电流图像数据之后，将整幅暗电流图像数据传输至现场可编程门阵列，现场可编程门阵列将暗电流图像数据整体缓存至同步动态随机存储器；也可以将暗电流图像逐行输入至现场可编程门阵列，现场可编程门阵列将暗电流图像数据逐行缓存至同步动态随机存储器；而暗电流图像数据的缓存形式与现场可编程门阵列对正常图像的处理形式并无任何关系，两者是独立的；本发明只需要确保现场可编程门阵列对于正常图像进行逐行输入、去除暗电流、输出即可，对于暗电流图像数据的缓存形式并不做要求。之后，现场可编程门阵列从同步动态随机存储器调取完整暗电流图像数据，并将调取的完整暗电流图像数据存储在flash存储器。同步动态随机存储器访问速度较快，适合在现场可编程门阵列处理图像数据时直接调用，可以大大提高现场可编程门阵列的图像处理速率；本发明中使用的同步动态随机存储器可以为DDR2SDRAM或者DDR3SDRAM。flash存储器中存储的暗电流图像在掉电之后仍能够被保存，在下次开机使用时，可以直接将flash存储器中存储的暗电流图像传输至同步动态随机存储器中，避免每次开机均需要重新获取暗电流图像。

S02：图像传感器在正常光下拍摄图像，并逐行输出图像数据至现场可编程门阵列，同时，现场可编程门阵列从同步动态随机存储器中调取暗电流图像的对应行数据；现场可编程门阵列将该行图像数据减去暗电流图像的对应行数据，并输出去除暗电流之后的该行图像数据。输出之后的图像行数据可以通过USB接口传输至PC机中，等待下一步操作。

图像传感器收到现场可编程门阵列发送的时钟命令，通过行驱动信号和列驱动信号，使得获取的图像数据逐行输入至现场可编程门阵列。

在图像暗电流的去除过程中，flash存储器存储的暗电流图像保持不变，并且不会对现场可编程门阵列的处理造成影响，但可以在断电情况下继续保存该暗电流图像；在下次开机之后，若图像传感器还在相同的温度及环境中进行拍摄，则现场可编程门阵列可以直接从flash存储器中调取该暗电流图像，并将其缓存至同步动态随机存储器中，无需图像传感器进行重新拍摄。若图像传感器所处的温度和环境发生变化，则图像传感器重新拍摄暗电流图像，并将新的暗电流图像缓存至同步动态随机存储器，此时同步动态随机存储器和flash存储器中的暗电流图像不相同(现场可编程门阵列处理时候调取的均为同步动态随机存储器的暗电流图像)，至于是否需要将新的暗电流图像存储在flash存储器中，可以根据具体情况设定(若新的暗电流图像对应的环境为常用环境，则可以存储在flash存储器中，若不为常用环境，可不必进行存储)，同时，flash存储器中存储的暗电流图像可以为一幅或者多幅，每幅暗电流图像对应不同的场景，当图像传感器在下次开机后的工作场景对应flash存储器中其中一帧暗电流图像数据时，flash存储器中将对应场景的暗电流图像通过现场可编程门阵列存储至同步动态随机存储器中；当图像传感器在下次开机后的工作场景与flash存储器中M帧暗电流图像数据均不对应时，图像传感器重新拍摄暗电流图像，并将新的暗电流图像数据缓存至同步动态随机存储器中，通过新的暗电流图像数据进行暗电流去除。

S03：重复步骤S02，依次对图像的多行数据进行处理，直至输出去除暗电流之后的完整图像。

本发明通过同步动态随机存储器和现场可编程门阵列的配合，能够高帧率去除暗电流；并且本发明中通过现场可编程门阵列实时处理图像传感器生成的行数据，不同于现有技术中需要先获取整幅暗电流图像和待处理图像，才能进行暗电流去除，本发明逐行处理的方式具有实时性高的优点，并且能够实现高帧率去除暗电流的效果；本发明中图像数据与暗电流图像数据一一对应进行相减来去除暗电流，而不是通过减去暗电流的平均值，提高了暗电流去除的准确性；本发明在现场可编程门阵列中实现暗电流的去除，而不是如现有技术方法中需要使用电脑或者上位机进行暗电流相减处理，简化了去除暗电流的硬件的装置。同时本发明中flash存储器中存储的暗电流图像在掉电之后仍能够被保存，在下次开机使用时，可以直接将flash存储器中存储的暗电流图像传输至同步动态随机存储器中，避免每次开机均需要重新获取暗电流图像。

以上所述仅为本发明的优选实施例，所述实施例并非用于限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明所附权利要求的保护范围内。