具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种单光源全彩摄像机，以解决现有的摄像机在夜晚微光环境下，输出的图像质量低的问题。本发明适用于各种光照条件下(包括白天光照充足与夜晚微光环境)，只需要一个可见光传感器，不需要红外传感器，且微光场景下，不需要使能额外的补光灯，摄像机就能够输出清晰的全彩视频图像，更加适用于一些无法补光的场景。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明提供的一种单光源全彩摄像机的结构图，如图1所示，一种单光源全彩摄像机，包括：可见光传感器1、微光算法FPGA处理器2、图像信号处理芯片3以及主控芯片4。

所述可见光传感器1与所述微光算法FPGA处理器2的一端连接；所述图像信号处理芯片3以及所述主控芯片4分别与所述微光算法FPGA处理器2的另一端连接。

所述可见光传感器1用于采集原始图像，并将所述原始图像输入到所述微光算法FPGA处理器2；所述微光算法FPGA处理器2用于将所述原始图像进行去噪处理，并将去噪后的图像输入到所述图像信号处理芯片3；所述图像信号处理芯片3用于对所述去噪后的图像进行处理得到sRGB图像；所述主控芯片4用于对所述微光算法FPGA处理器2进行参数配置，以及用于生成缓存地址。

在一个具体实施方式中，所述微光算法FPGA处理器2还用于对所述去噪后的图像进行去马赛克处理，得到sRGB图像。

可见光传感器模块将可见光传感器1实时产生的原始图像(RAW图像)，通过MIPI接口输出给微光算法FPGA处理器2。微光算法FPGA处理器2通过与可见光传感器1的MIPI接口，接收RAW图像。估计RAW图像的噪声水平，并根据不同的噪声水平，在微光算法FPGA处理器2内部完成RAW图像的去噪处理。去噪处理完成后，可以通过MIPI接口输出给所述图像信号处理芯片3(ISP芯片)，也可以在微光算法FPGA处理器2内完成去噪后的RAW图像的去马赛克处理，直接通过HDMI接口输出sRGB图像。主控芯片4通过PCIE接口对微光算法FPGA处理器2进行各种参数的配置。ISP芯片通过MIPI接口接收去噪后的RAW图像，并对RAW图像进行处理，具体包括AEC(自动曝光控制)、AGC(自动增益控制)、AWB(自动白平衡)、色彩校正、LensShading(镜头明暗处理)、Gamma校正以及祛除坏点，恢复出对应的sRGB图像。

在一个具体实施方式中，单光源全彩摄像机还包括双倍速率同步动态随机存储器7；所述双倍速率同步动态随机存储器7与所述微光算法FPGA处理器2连接；所述双倍速率同步动态随机存储器7用于存储所述原始图像、所述去噪后的图像以及所述sRGB图像。

图2为本发明提供的微光算法FPGA处理器内部逻辑框图，如图2所示，在一个具体实施方式中，所述微光算法FPGA处理器2具体包括：图像接口模块5、算法处理模块6以及内部总线8；所述图像接口模块5与所述可见光传感器1连接，用于接收所述原始图像，并将所述原始图像传输至所述双倍速率同步动态随机存储器7中；所述算法处理模块6与所述双倍速率同步动态随机存储器7连接，用于对所述原始图像进行噪声估计、去噪处理以及去马赛克处理，并将去噪后的图像以及sRGB图像传输至所述双倍速率同步动态随机存储器7中。

在一个具体实施方式中，所述图像接口模块5、所述算法处理模块6以及所述双倍速率同步动态随机存储器7之间通过所述内部总线8进行通信。

在一个具体实施方式中，所述图像接口模块5具体包括：MIPI-CSI接口、MIPI-ISP接口和HDMI接口，所述图像接口模块5完成可见光传感器1RAW图像的输入、去噪后的RAW图像的输出和sRGB图像的输出。

所述MIPI-CSI接口的一端与所述可见光传感器1连接，所述MIPI-CSI接口的另一端通过所述内部总线8与所述双倍速率同步动态随机存储器7连接；所述MIPI-CSI接口用于接收RAW图像，并将RAW图像输入到所述双倍速率同步动态随机存储器7。

FPGA通过MIPI CSI接口与可见光传感器1相连，包括MIPI D-PHY模块，MIPIReceive逻辑和原始图像缓存逻辑，其工作流程如下：

步骤1：MIPI D-PHY模块采用1对源同步的差分时钟和4对差分数据线来进行数据传输，完成可见光传感器1输入RAW图像的差分信号到串行数字信号的转换。

步骤2：MIPI Receive逻辑完成串行数字信号的帧同步，提取完整的图像帧数据。首先在串行数字信号中搜索到一帧数据的起始位置，然后根据起始位置，完成串行数字信号的对齐处理，并转换成完整的一帧原始图像。

步骤3：原始图像缓存逻辑按照主控芯片4分配的缓存地址，将提取出的RAW图像通过内部总线8写入到双倍速率同步动态随机存储器7(Double Data Rate，DDR)中进行缓存，并通过中断信号通知算法处理模块6进行后续的处理。

所述MIPI-ISP接口的一端与所述图像信号处理芯片3连接；所述MIPI-ISP接口的另一端通过所述内部总线8与所述双倍速率同步动态随机存储器7连接；所述MIPI-ISP接口用于根据所述缓存地址提取所述去噪后的图像，将所述去噪后的图像数据输入到所述图像信号处理芯片3。

FPGA通过MIPI CSI接口与ISP芯片相连，包括MIPI D-PHY模块，MIPI Transmit逻辑和去噪原始图像读取逻辑，其工作流程如下：

步骤1：去噪原始图像读取逻辑，算法处理模块6完成一帧RAW图像的去噪处理后，通过中断信号通知MIPI-ISP接口的去噪原始图像读取逻辑。去噪原始图像读取逻辑根据中断信号中携带的帧缓存地址，通过内部总线8将去噪后的原始图像从DDR读取到FPGA中。

步骤2：MIPI Transmit逻辑完成去噪后的原始图像的串行化处理。首先在去噪后的原始图像的首部插入帧同步信息，然后再将去噪后的原始图像串行化。

步骤3：MIPI D-PHY模块采用1对源同步的差分时钟和4对差分数据线来进行数据传输，完成去噪后的原始图像的串行数字信号到差分信号的转换。

所述HDMI接口的一端通过所述内部总线8分别与所述算法处理模块6和所述双倍速率同步动态随机存储器7连接；所述HDMI接口的另一端与显示设备连接；所述HDMI接口用于输出所述sRGB图像。

FPGA通过HDMI接口与显示设备相连，包括HDMI TX PHY模块，HDMI TX控制逻辑和sRGB图像读取逻辑，其工作流程如下：

步骤1：sRGB图像读取逻辑，算法处理模块6完成一帧RAW图像的去马赛克(Demosic)处理后，通过中断信号通知HDMI接口的sRGB图像读取逻辑。sRGB图像读取逻辑根据中断信号中携带的缓存地址，通过内部总线8将sRGB图像从DDR读取到FPGA中。

步骤2：HDMI TX控制逻辑完成sRGB图像的串行化处理。首先在sRGB图像的首部插入帧同步信息，然后再将sRGB图像串行化。

步骤3：HDMI TX PHY模块采用1对源同步的差分时钟和3对差分数据线来进行数据传输，完成sRGB图像的串行数字信号到差分信号的转换，并输出到显示设备中。

在一个具体实施方式中，所述图像信号处理芯片3用于对所述去噪后的图像进行处理具体包括：自动曝光控制、自动增益控制、自动白平衡、色彩校正、镜头明暗处理、Gamma校正和祛除坏点。

在一个具体实施方式中，所述算法处理模块6具体包括：NoiseES子模块、DeNoise子模块和DeMosic子模块；所述NoiseES子模块、所述DeNoise子模块和所述DeMosic子模块依次连接。所述算法处理模块6完成RAW图像的噪声估计、RAW图像去噪处理和去噪RAW图像的去马赛克处理。

所述NoiseES子模块与所述双倍速率同步动态随机存储器7连接；所述NoiseES子模块用于根据所述缓存地址提取所述原始图像，对所述原始图像进行噪声估计，确定所述原始图像的噪声程度。

NoiseES模块包括原始图像读取逻辑与原始图像噪声估计逻辑，完成原始RAW图像的噪声估计，并根据噪声程度把RAW图像分为3类，如下所示：

NoiseWeak，噪声程度轻微。

NoiseNormal，噪声程度中等。

NoiseStrong，噪声程度严重。

NoiseES模块的处理流程如下：

步骤1：原始图像读取逻辑，图像接口模块5接收到一帧RAW图像后，通过中断信号通知NoiseES模块。原始图像读取逻辑根据中断信号中携带的缓存地址，通过内部总线8将RAW图像从DDR读取到FPGA中。

步骤2：原始图像噪声估计逻辑，本发明采用基于滤波器的方法。首先用中值滤波器对RAW图像做平滑处理，然后计算RAW图像与平滑后图像的像素差平均值，最后根据像素差平均值来判断图像噪声的严重程度，设置2种噪声阈值，如下：

WEAK噪声阈值，表示噪声程度轻微；

若RAW图像估计噪声小于WEAK噪声阈值，则判断RAW图像的噪声属于NoiseWeak。

NORMAL噪声阈值，表示噪声程度中等。

若RAW图像估计噪声大于或者等于WEAK噪声阈值，并且小于NORMAL噪声阈值，则判断RAW图像的噪声属于NoiseNormal程度。

若RAW图像估计噪声大于或者等于NORMAL噪声阈值，则判断RAW图像的噪声属于NoiseStrong程度。

步骤3：RAW图像的噪声估计完成后，由中断信号通知DeNoise模块进行后续处理。

所述DeNoise子模块用于根据所述噪声程度对所述原始图像进行去噪处理。

DeNoise模块根据RAW图像的噪声等级，采用不同等级的去噪模型完成RAW图像去噪处理。本发明支持3种等级的不同去噪模型，各个去噪模型首先采用深度学习的方法进行训练，然后将训练完成的模型分别进行INT8量化处理，最后得到去噪量化模型。去噪量化模型的前向推导功能由FPGA中的DeNoise模块实现。

三种去噪模型如下所示：

DeNoiseWeak模型：

DeNoiseWeak模型处理NoiseWeak噪声等级的RAW图像。DeNoiseWeak模型每次只输入一帧RAW图像，输入图像时，首先进行归一化处理，经过模型处理后，输出一帧去噪后的RAW图像。

DeNoiseNormal模型：

DeNoiseNormal模型处理NoiseNormal噪声等级的RAW图像。DeNoiseNormal模型每次输入二帧RAW图像，包括当前帧和时间序列上的前一帧RAW图像，输入图像时，首先进行归一化处理，经过模型处理后，输出当前帧所对应的去噪RAW图像。

DeNoiseStrong模型：

DeNoiseStrong模型处理NoiseStrong噪声等级的RAW图像。DeNoiseStrong模型每次输入四帧RAW图像，包括当前帧和时间序列上的前三帧RAW图像。输入图像时，首先进行归一化处理，经过模型处理后，输出当前帧所对应的去噪RAW图像。

DeNoise模块的处理流程如下(以DeNoiseWeak模块为例)：

步骤1：原始图像读取逻辑，NoiseES模块完成一帧数据的噪声估计后，通过中断信号通知DeNoise模块的原始图像读取逻辑。原始图像读取逻辑根据中断信号中携带的缓存地址，通过内部总线8将RAW图像从DDR读取到FPGA中。

步骤2：根据中断信号中携带的噪声类型，选择对应的噪声处理模型。若RAW图像的噪声属于NoiseWeak等级，则将DeNoiseWeak模型的参数由DDR中加载到FPGA内部的DeNoise模块中。

步骤3：将当前RAW图像做归一化处理后，输入到DeNoiseWeak模型进行去噪处理，等一帧数据处理完成后，根据主控芯片4分配的缓存地址，将去噪后的RAW图像通过内部总线8写入DDR中进行缓存。

步骤4：同时产生DeNoise处理的完成中断，通知DeMosic模块和图像接口模块5进行后续处理。

所述DeMosic子模块用于对所述去噪后的图像进行去马赛克处理，输出sRGB图像。

DeMosic模块将去噪后的RAW图像转变为sRGB图像，并可以通过HDMI接口进行输出展示。DeMosic模块中的RAW2sRGB模型采用深度学习的方法进行训练，并将训练完成的模型进行INT8量化处理，得到DeMosic量化模型，DeMosic量化模型的前向推导功能由FPGA实现。

步骤1：去噪原始图像读取逻辑，DeNoise模块完成一帧数据的去噪声后，通过中断信号通知DeMosic模块的去噪原始图像读取逻辑。去噪原始图像读取逻辑根据中断信号中携带的缓存地址，通过内部总线8将去噪RAW图像从DDR读取到FPGA中DeMosic模块。

步骤2：将DeMosic模型的参数由DDR中加载到FPGA内部的DeMosic模块中。

步骤3：将去噪RAW图像做归一化处理后，输入到DeMosic模型进行去马赛克处理，当一帧RAW图像处理完成后，根据主控芯片4分配的缓存地址，将得到的sRGB图像通过内部总线8写入DDR中进行缓存。

步骤4：同时产生DeMosic处理的完成中断，并通知图像接口模块5。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。