具体实施方式

为了更好的说明本发明的目的和优点，下面结合附图和实施例对发明内容做进一步说明。

实施例：

如图2所示，本实施例公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法所适用的不同RGBW滤光阵列的空间排布示意图。滤光阵列各像素的最小空域排布周期为4×4，R、G、B、W每个像素只对一种特定波长范围的光响应。

为了验证方法的可行性，采用一种基于RGBW滤光转轮的单光路时分彩色成像方案，目标场景的入射光经过物镜和滤光转轮后聚焦在低照度CMOS相机的光敏面上，转化为场景的数字图像输出，在同步信号触发下，微型直流电机通过机械转动来控制滤光转轮改变滤光状态(RGBW)，低照度CMOS相机同步采集对应RGBW滤光状态下的场景图像。系统主要由系统物镜、四通道滤光转轮、Thorlabs FD1D高对比度RGB滤光片、Photonis NOCTURN XL低照度CMOS黑白相机(像素数1280×1024，像素尺寸9.7μm，动态范围60dB，帧率100Hz)、基于FPGA和ARM的同步控制电路、微型直流电机、CameraLink数字视频采集卡以及图像处理PC机构成，其中滤光转轮加装RGB滤光片的三通道用来获取RGB彩色图像，不加装滤光片的通道用来获取W全通图像。如图3所示，为本实施例公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法的图像采集系统结构示意图。

本实施例的已知条件如下：

(1)图像采集过程在标准光源D65、A下完成，使用接近自然光光谱成分的标准光源来观察实验场景的颜色，实际使用时光源安装在标准光源箱内。D65光源色温为6500K，是典型的日光光源；A光源色温为2856K，是典型的白炽灯光源，相比普通荧光灯光源色温偏黄、光谱连续且含有较多的近红外信息。

(2)图像采集场景包含丰富的纹理、颜色和材料。夜视场景1由毛绒布偶、色卡、纸质盒子、硬质花色杯垫构成；夜视场景2由书架、魔方、铁盒、彩色沙发布构成。

(3)图像采集过程在5×10^-2lx、1×10^-2lx、5×10^-3lx三组环境照度下完成，利用微光照度计控制照度。

(4)图像采集过程中使用X-Rite标准色卡，在不同光源和光照条件下色卡有不同的颜色表现，如图4所示，为X-Rite SG色卡在不同标准光源下的色彩表现示意图。

(5)X-Rite标准色卡81个非灰度色块在D50光源下的标准XYZ值由X-Rite公司官网给出。根据Bradford变换可以将D50光源下X-Rite标准色卡的XYZ值转换到D65、A光源下，再将XYZ颜色空间线性转换到RGB颜色空间即可得到D65、A光源下标准色卡的参考RGB三刺激值。如图5所示，为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法中标准光源下色卡参考值的获取过程示意图。

如图1所示，本实施例公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法，包括如下步骤：

步骤1：根据R、G、B、W各通道单色图像R₀、G₀、B₀、W₀，采用基于灰度世界假设的四通道自动白平衡算法估计光源色，根据源图像中各通道像素最大值对各通道图像进行亮度拉伸，得到白平衡校正后的图像R₁、G₁、B₁、W₁，考虑到彩色夜视噪声分布，恢复光源色温引起的图像色偏，实现具有鲁棒性的亮度增强，提高RGBW彩色夜视设备输出色彩的显现度，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。

步骤1-1：根据彩色夜视设备R、G、B、W各通道单色图像R₀、G₀、B₀、W₀，得到各通道的平均灰度值

其中(i,j)代表图像中的像素位置，用坐标形式表示，其中，i＝0,1,…,M-1；j＝0,1,…,N-1，一副数字图像由M×N个像素点组成，M和N为图像的高度和宽度。

如图6(1a)(2a)、图7(1a)(2a)、图8(1a)(2a)、图9(1a)(2a)、图10(1a)(2a)、图11(1a)(2a)所示，分别为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10^-2lx、1×10^-2lx、5×10^-3lx下针对两组实际场景的彩色夜视设备输出源图像，得到R、G、B通道单色图像R₀、G₀、B₀。如图6(1b)(2b)、图7(1b)(2b)、图8(1b)(2b)、图9(1b)(2b)、图10(1b)(2b)、图11(1b)(2b)所示，分别为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10^-2lx、1×10^-2lx、5×10^-3lx下针对两组实际场景的W通道单色图像W₀。

步骤1-2：根据步骤1-1得到的彩色夜视设备R、G、B、W各通道的平均灰度值 得到各通道的白平衡系数α、β、γ、ζ。

其中为最大的R、G、B、W各通道的平均灰度值。

步骤1-3：根据彩色夜视设备R、G、B、W各通道单色图像R₀、G₀、B₀、W₀，计算各通道中的像素最大值R_max、G_max、B_max、W_max，并得到亮度拉升系数ρ。

对于8bit图像，在计算各通道源图像中的像素最大值R_max、G_max、B_max、W_max时，去掉最大灰度级255，计算各通道图像的直方统计T_Ry、T_Gy、T_By、T_Wy(y＝0,1,2,…,254)，即各通道中灰度级为y的像素数，从大到小遍历254～0灰度级，直到找到像素数量超过N的某个灰度级的像素集。本实施例中，N取为，

N＝P*0.1％ (3)

其中P为图像总像素数。

R通道源图像R₀中的像素最大值R_max表示为，

G通道源图像G₀中的像素最大值G_max表示为，

B通道源图像B₀中的像素最大值B_max表示为，

W通道源图像W₀中的像素最大值W_max表示为，

得到亮度拉升系数ρ，

步骤1-4：根据彩色夜视设备R、G、B、W各通道单色图像R₀、G₀、B₀、W₀，步骤1-2得到的白平衡系数α、β、γ、ζ以及步骤1-3得到的亮度拉升系数ρ，对各通道图像进行白平衡恢复和亮度拉伸，得到白平衡校正的各通道图像R₁、G₁、B₁、W₁，恢复光源色温引起的图像色偏，实现具有鲁棒性的亮度增强，提高RGBW彩色夜视设备输出色彩的显现度，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。

如图6(1c)(2c)、图7(1c)(2c)、图8(1c)(2c)、图9(1c)(2c)、图10(1c)(2c)、图11(1c)(2c)所示，分别为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10^-2lx、1×10^-2lx、5×10^-3lx下针对两组实际场景的自动白平衡校正图像，得到白平衡校正的各通道图像R₁、G₁、B₁、W₁。在极低照度下，为避免步骤2色彩校正中噪声的放大，可在白平衡完成后加入噪声抑制处理，如图6(1d)(2d)、图7(1d)(2d)、图8(1d)(2d)、图9(1d)(2d)、图10(1d)(2d)、图11(1d)(2d)所示，分别为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10^-2lx、1×10^-2lx、5×10^-3lx下针对两组实际场景的去噪图像。可见本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法能够恢复光源色温引起的图像色偏，实现具有鲁棒性的亮度增强，提高RGBW彩色夜视设备输出色彩的显现度，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。

步骤2：根据步骤1得到的白平衡校正的各通道图像R₁、G₁、B₁、W₁，取R₁、G₁、B₁、W₁中的色卡样本值R_1k、G_1k、B_1k、W_1k(k＝1,2,…,n，n代表色卡非灰度色块的数量)，将各颜色分量拓展到非线性空间。根据已知条件(5)得到D65、A光源下色卡参考值R'_k、G'_k、B'_k(k＝1,2,…,n，n代表色卡非灰度色块的数量)，通过设计损失函数和回归方法，训练求解CCM参数使损失函数最小化，得到色彩校正后的图像R₂、G₂、B₂，并合成彩色图像，提高RGBW彩色夜视设备输出色彩的饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不适用于基于新型RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。

步骤2-1：根据步骤1得到的白平衡校正的各通道图像R₁、G₁、B₁、W₁，取R₁、G₁、B₁、W₁中的色卡样本值R_1k、G_1k、B_1k、W_1k(k＝1,2,…,n，n代表色卡非灰度色块的数量)，引入R_1k、G_1k、B_1k、W_1k的非线性项以及它们的组合项，将各颜色分量拓展到非线性空间，合成一组n个输入样本颜色矢量P_k(k＝1,2,3,…,n，n代表色卡非灰度色块的数量)。定义非线性项数量为q，将P_k合并成q×n的输入样本颜色矩阵P。

在将各颜色分量拓展到不同非线性空间时，根据白平衡校正的各通道图像R₁、G₁、B₁、W₁的色卡样本值R_1k、G_1k、B_1k、W_1k，输入样本颜色矢量P_k的形式如表1，

表1输入样本颜色矢量P_k的形式

步骤2-2：根据D65、A光源下色卡参考值R'_k、G'_k、B'_k(k＝1,2,…,n，n代表色卡非灰度色块的数量)，合成一组n个标准样本颜色矢量Q_k(k＝1,2,3,…,n)，将Q_k合并成3×n的标准样本颜色矩阵Q。

根据D65、A光源下色卡参考值R'_k、G'_k、B'_k和不同非线性空间，标准样本颜色矢量Q_k的形式如表2，

表2标准样本颜色矢量Q_k的形式

步骤2-3：将步骤2-1得到的输入样本颜色矩阵P映射到步骤2-2得到的标准样本颜色矩阵Q，通过设计损失函数和回归方法，训练求解CCM参数使损失函数最小化，得到颜色校正矩阵M_CCM。

将步骤2-1得到的输入样本颜色矩阵P映射到步骤2-2得到的标准样本颜色矩阵Q，M_CCM表示P到Q的转换关系，

Q＝M_CCMP (10)

根据回归方法求最佳色彩校正矩阵M_CCM，即求解如式(11)所示的优化问题

其中k代表色卡非灰度色块的序号，||·||表示向量的二范数。

在不同回归方法下，M_CCM的表达形式如表3，

表3颜色校正矩阵M_CCM的形式

表3中，部分最小二乘回归法通过引入偏置常数λ获得更好的算法鲁棒性。实际计算中λ在[10^-5,10²]范围内以相等的对数点距取值，在每个λ下将色卡颜色样本分为z组，计算出z个CCM下的最小均方误差(MSE)和，选择最小MSE和对应的λ作为最优偏置常数。

步骤2-4：根据步骤2-3得到的颜色校正矩阵M_CCM，对步骤1得到的白平衡校正的各通道图像R₁、G₁、B₁、W₁进行色彩校正，得到色彩校正后的图像R₂、G₂、B₂，并合成彩色图像，提高RGBW彩色夜视设备输出色彩的饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不适用于基于新型RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。

步骤2-4所述对R₁、G₁、B₁、W₁进行色彩校正的实现方法如下：

根据步骤2-1中表1的形式，将步骤1得到的白平衡校正的各通道图像R₁、G₁、B₁、W₁的每一个像素点处的像素值R₁(i,j)、G₁(i,j)、B₁(i,j)、W₁(i,j)拓展到不同非线性空间，(i,j)代表图像中的像素位置，用坐标形式表示，其中，i＝0,1,…,M-1；j＝0,1,…,N-1，数字图像由M×N个像素点组成，M和N为图像的高度和宽度。经拓展，彩色图像维度由M×N×4变为M×N×q。

将步骤2-3求得的色彩校正矩阵M_CCM作用于拓展后的彩色图像的每一个像素点，即将色彩校正矩阵M_CCM乘以拓展后的彩色图像的每一个像素点的像素值，得到M×N×3图像，即得到色彩校正后的图像R₂、G₂、B₂，并合成彩色图像。在不同非线性空间和回归方法的组合下，色彩校正矩阵M_CCM具有多种形式，挑选实际效果最好的M_CCM完成色彩校正，提高RGBW彩色夜视设备输出色彩的饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不适用于基于RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。

如图6(1e)(1f)(2e)(2f)、图7(1e)(1f)(2e)(2f)、图8(1e)(1f)(2e)(2f)、图9(1e)(1f)(2e)(2f)、图10(1e)(1f)(2e)(2f)、图11(1e)(1f)(2e)(2f)所示，分别为本实施例的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10^-2lx、1×10^-2lx、5×10^-3lx下针对两组实际场景的色彩校正图像。可见本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法能够提高RGBW彩色夜视设备输出色彩的饱和度和自然度，克服传统彩色夜视设备的色彩增强方法不适用于基于新型RGBW滤光阵列的彩色夜视设备的缺陷，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。

本实施例公开的一种基于RGBW滤光转轮的单光路时分彩色成像方案通过获得R、G、B、W各通道单色图像并完成色彩增强，能够继承本发明公开的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法的优点。如图6、图7、图8、图9、图10、图11所示，分别为本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法在两种标准光源D65、A以及三组环境照度5×10^-2lx、1×10^-2lx、5×10^-3lx下针对两组实际场景的处理效果示意图。根据色彩增强各步骤的效果，可见本发明的一种基于RGBW滤光阵列的彩色夜视设备色彩增强方法能够提高彩色夜视设备输出色彩的显现度、饱和度和自然度，提升低照度环境下彩色夜视设备的色彩质量，提高人眼观察舒适度。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。