具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本发明一实施例提供的图像融合方法流程图，其具体步骤如下：

步骤101：获取可见光图像、以及与可见光图像配准的红外光图像。

步骤102：获取可见光图像中的第一亮度信息、以及红外光图像中的第二亮度信息。步骤103：基于预先设定的滤波参数，获取第一亮度信息的第一低频分量和第一高频分量、以及第二亮度信息的第二低频分量和第二高频分量，其中，滤波参数根据可见光图像和红外光图像的成像场景的照度水平确定。

步骤104：利用第一低频分量与第二低频分量之间的残差数据补偿第二低频分量，得到第三低频分量。

步骤105：利用第一低频分量和第三低频分量的差值确定融合权重矩阵。

步骤106：利用融合权重矩阵对第一低频分量和第三低频分量进行加权融合，得到融合低频分量，其中，融合权重矩阵中的各融合权重因子产生使融合低频分量相比于第二亮度信息更接近第一亮度信息的融合趋势。

步骤107：利用融合低频分量、以及第一高频分量和第二高频分量得到融合亮度信息。

步骤108：根据融合亮度信息和可见光图像的颜色信息，得到融合图像。

上述实施例中，通过获取可见光图像和红外光图像的亮度信息的第一、二低频分量和第一、二高频分量，并利用第一、二低频分量之间的残差数据补偿第二低频分量，得到第三低频分量，接着将第一、三低频分量进行加权融合，得到融合低频分量，该融合低频分量在基础亮度上接近可见光图像的亮度信息；然后将融合低频分量和第一、二高频分量进行融合，得到融合亮度融合信息，该亮度融合亮度信息与可见光图像的亮度信息非常接近，再与可见光图像的颜色信息进行融合，从而使得融合图像既具备颜色真实性，又提高了信噪比和细节显示效果。

图2为本发明另一实施例提供的图像融合方法流程图，其具体步骤如下：

步骤201：获取可见光图像、以及与可见光图像配准的红外光图像。

步骤202：获取可见光图像中的第一亮度信息、以及红外光图像中的第二亮度信息。

步骤203：基于预先设定的滤波参数，获取第一亮度信息的第一低频分量和第一高频分量、以及第二亮度信息的第二低频分量和第二高频分量，其中，滤波参数根据可见光图像和红外光图像的成像场景的照度水平确定。其中，第一低频分量和第二低频分量均为在可见光图像和红外光图像的原始尺度下获得的低频分量，第一高频分量和第二高频分量均包括在大于原始尺度的多个不同尺度下获得的高频分量。

一可选实施例中，第一低频分量和第一高频分量是利用金字塔多尺度分解法从可见光图像中得到的，第二低频分量和第二高频分量是利用相同的金字塔多尺度分解法从红外光图像中得到的。

步骤204：利用第一低频分量与第二低频分量之间的残差数据补偿第二低频分量，得到第三低频分量。

一可选实施例中，本步骤具体包括：确定第一低频分量与第二低频分量之间的残差数据；利用预先设定的空域滤波算子、与第一低频分量关联的第一值域滤波算子、与第二低频分量关联的第二值域滤波算子、以及与残差数据关联的第三值域滤波算子，对残差数据进行滤波处理；将滤波处理后的残差数据与第二低频分量融合，得到第三低频分量。

步骤205：利用第一低频分量和第三低频分量的差值确定融合权重矩阵。

一可选实施例中，本步骤具体包括：

其中，detla(i,j)＝VSbase(i,j)-Nbase(i,j)

f_s(VSbase(i,j))＝CLIP(α*(VSbase(i,j))^ratio,smin,smax)

w_mix(i,j)为像素点(i,j)的融合权重因子，VSbase(i,j)为像素点(i,j)的第一低频分量，Nbase(i,j)为像素点(i,j)的第三低频分量，f_s(VSbase(i,j))为系数映射函数，α和ratio为预设指数系数，smin、smax分别为预设最小值限值、最大值限值，A和B为预设系数。

步骤206：利用融合权重矩阵对第一低频分量和第三低频分量进行加权融合，得到融合低频分量，其中，融合权重矩阵中的各融合权重因子产生使融合低频分量相比于第二亮度信息更接近第一亮度信息的融合趋势。

一可选实施例中，本步骤具体包括：

Megbase(i,j)＝(1-w_mix(i,j))*VSbase(i,j)+w_mix(i,j)*Nbase(i,j)

其中，Megbase(i,j)为像素点(i,j)的融合低频分量。

步骤207：以原始尺度重构第一高频分量和第二高频分量，分别得到关联第一高频分量的第三高频分量、以及关联第二高频分量的第四高频分量；将第三高频分量和第四高频分量融合，得到融合高频分量；将融合低频分量与融合高频分量叠加，得到融合亮度信息。

步骤208：根据融合亮度信息和可见光图像的颜色信息，得到融合图像。

上述实施例中，通过获取可见光图像和红外光图像在大于原始尺度的多个不同尺度下的第一、二高频分量，以及原始尺度下的第一、二低频分量，并以原始尺度重构第一高频分量和第二高频分量，分别得到关联第一高频分量的第三高频分量、以及关联第二高频分量的第四高频分量，再将第三高频分量和第四高频分量融合，得到融合高频分量，然后将融合低频分量与融合高频分量叠加，得到融合亮度信息，从而使得融合亮度信息更加接近可见光图像的亮度信息，从而进一步提升了融合图像的显示效果。

图3为本发明又一实施例提供的图像融合方法流程图，其具体步骤如下：

步骤301：同时采用可见光传感器和红外光传感器采集同一区域的图像，分别得到可见光图像和红外光图像；采用配准算法将两幅图像对应的像素点进行匹配，得到配准后的可见光图像和红外光图像。

步骤302：从可见光图像中分离出第一亮度信息和颜色信息，从红外光图像中分离出第二亮度信息。

若图像为YUV格式，则Y分量即为亮度信息，U、V分量即为颜色信息。

若图像为RGB格式，则先将图像转换为YUV格式。

步骤303：基于预先设定的低通滤波参数，采用金字塔多尺度分解法，分别获取可见光图像的第一亮度信息在原始尺度下的第一低频分量、红外光图像的第二亮度信息在原始尺度下的第二低频分量，以及，可见光图像的第一亮度信息在大于原始尺度的多个不同尺度下的第一高频分量、红外光图像的第二亮度信息在大于原始尺度的多个不同尺度下的第二高频分量。

本步骤中，首先将只包含原始亮度信息的图像(即只包含第一亮度信息的可见光图像或者只包含第二亮度信息的红外光图像)作为最底层(第0层)图像G0，利用预设的低通滤波算法对其进行滤波，然后对滤波后的图像进行下采样，得到上一层(第1层)的图像G1，重复上面的滤波和下采样操作，反复迭代多次，便得到一个金字塔形的多层(即多尺度)图像。自下而上每一层的像素数都不断减少，变得越来越粗糙。

其中，滤波算法可采用高斯滤波，窗口为5*5，均值为0，标准差为2，下采样尺度可为1/2，金字塔层数可为3层。

对于除第0层图像G0外的每一层图像Gm，先对Gm进行上采样再进行低通滤波，就得到下一层(m-1层)的低频图像，该低频图像中的每个像素点对应一个低频分量；每一层的原始图像Gm减去该层的低频图像，就得到该层的高频图像，该高频图像中的每个像素点对应一个高频分量。

步骤304：根据第一低频分量和第二低频分量，计算残差数据。

可选地，

其中，(i,j)为像素点的坐标，RDbase(i,j)为像素点(i,j)的残差数据，VSbase(i,j)为像素点(i,j)的第一低频分量，IRbase(i,j)为像素点(i,j)的第二低频分量，k和M为预设系数，1≤k≤4，较佳地，k＝2，M为像素值位宽最大值，例如位宽为8bit时，M为255，k和M的作用是将RDbase(i,j)的值域范围[-255,255]映射至低频分量的值域范围[0,255]内。

步骤305：根据残差数据的空域滤波算子、与第一低频分量关联的第一值域滤波算子、与第二低频分量关联的第二值域滤波算子、以及与残差数据关联的第三值域滤波算子，计算残差数据的滤波算子。

本步骤具体包括：

H(m,n)＝H_p(m,n)*H_RD(m,n)*H_VS(m,n)*H_IR(m,n)，其中：

(m,n)为像素点(i,j)的邻域Ω中的像素点，假设邻域半径为r，则m的取值范围为i-r<m<i+r，n的取值范围为j-r<n<j+r；H(m,n)为像素点(m,n)的残差数据的滤波算子，H_p(m,n)为像素点(m,n)的残差数据的空域滤波算子，H_RD(m,n)为与像素点(m,n)的残差数据关联的第三值域滤波算子，H_VS(m,n)为与像素点(m,n)的第一低频分量关联的第一值域滤波算子，H_IR(m,n)为与像素点(m,n)的第二低频分量关联的第二值域滤波算子，RDbase(i,j)为像素点(i,j)的残差数据，RDbase(m,n)为像素点(m,n)的残差数据，VSbase(i,j)为像素点(i,j)的第一低频分量，VSbase(m,n)为像素点(m,n)的第一低频分量，IRbase(i,j)为像素点(i,j)的第二低频分量，IRbase(m,n)为像素点(m,n)的第二低频分量，w₁、w₂、w₃、w₄、σ₁、σ₂、σ₃、σ₄为预设参数，0≤w₁、w₂、w₃、w₄≤5，1≤σ₁、σ₂、σ₃、σ₄≤255，较佳地，w₁＝w₄＝2，w₂＝w₃＝1。

步骤306：根据残差数据的滤波算子，对残差数据进行加权滤波。

本步骤具体包括：

其中，RDbase_flt(i,j)为像素点(i,j)的滤波后的残差数据。

步骤307：将滤波后的残差数据与第二低频分量进行融合，得到第三低频分量。

可选地，本步骤具体包括：

Nbase(i,j)＝IRbase(i,j)+k*RDbase_flt(i,j)-M

其中，Nbase(i,j)为像素点(i,j)的第三低频分量，IRbase(i,j)为像素点(i,j)的第二低频分量，RDbase_flt(i,j)为像素点(i,j)的滤波后的残差数据，k和M为预设系数，1≤k≤4，较佳地，k＝2，M为像素值位宽最大值，例如位宽为8bit时，M为255。

步骤308：根据第三低频分量和第一低频分量的差值计算融合权重矩阵，根据融合权重矩阵对第三低频分量和第一低频分量进行加权计算，得到融合低频分量。

可选地，本步骤中，根据第三低频分量和第一低频分量的差值计算融合权重矩阵包括：

其中，detla(i,j)＝VSbase(i,j)-Nbase(i,j)

f_s(VSbase(i,j))＝CLIP(α*(VSbase(i,j))^ratio,smin,smax)

w_mix(i,j)为像素点(i,j)的融合权重因子，一幅低频图像中的所有像素点的融合权重因子构成了融合权重矩阵，VSbase(i,j)为像素点(i,j)的第一低频分量，Nbase(i,j)为像素点(i,j)的第三低频分量，f_s(VSbase(i,j))为系数映射函数，α和ratio为预设指数系数，一般地，1≤α≤20，较佳地，α＝5，0≤ratio≤255，smin、smax分别为预设最小值限值、最大值限值，0≤smin、smax≤512，且，smax>smin，A和B为预设系数，0≤A+B≤255，较佳地，A＝255。

根据融合权重矩阵对第三低频分量和第一低频分量进行加权计算，得到融合低频分量包括：

Megbase(i,j)＝(1-w_mix(i,j))*VSbase(i,j)+w_mix(i,j)*Nbase(i,j)

其中，Megbase(i,j)为像素点(i,j)的融合低频分量。

步骤309：以原始尺度重构多尺度的第一高频分量和所多尺度的第二高频分量，分别得到关联第一高频分量的第三高频分量、以及关联第二高频分量的第四高频分量；将第三高频分量和第四高频分量融合，得到融合高频分量。

对每一层的可见光图像的第一亮度信息的高频图像即第一高频分量和红外光图像的第二亮度信息的高频图像即第二高频分量进行融合，当对所有层的可见光图像的第一亮度信息的高频图像和红外光图像的第二亮度信息的高频图像都融合完成后；再从最上层融合图像开始，对该层融合图像先进行上采样再进行滤波后叠加到下一层的融合图像上，直到叠加到第一层融合图像上后，再进行上采样和滤波，得到原尺度的融合高频图像即融合高频分量。

本步骤中，对每一层的可见光图像的第一亮度信息的高频图像即第一高频分量和红外光图像的第二亮度信息的高频图像即第二高频分量进行融合，具体的融合方法并不进行限定，例如：可采用加权融合，也可以根据梯度、强度等方面来选择合适的高频信息。

步骤310：将融合低频分量和融合高频分量叠加，得到融合亮度信息。

步骤311：根据融合亮度信息和可见光图像的颜色信息，得到融合图像。

上述实施例的有益技术效果如下：

一、通过获取可见光图像和红外光图像的亮度信息的第一、二低频分量和第一、二高频分量，并利用第一、二低频分量之间的残差数据补偿第二低频分量，得到第三低频分量，接着将第一、三低频分量进行加权融合，得到融合低频分量，该融合低频分量在基础亮度上接近可见光图像的亮度信息；然后将融合低频分量和第一、二高频分量进行融合，得到融合亮度融合信息，该亮度融合亮度信息与可见光图像的亮度信息非常接近，再与可见光图像的颜色信息进行融合，从而使得融合图像既具备颜色真实性，又提高了信噪比和细节显示效果；

二、通过获取可见光图像和红外光图像在大于原始尺度的多个不同尺度下的第一、二高频分量，并以原始尺度重构第一高频分量和第二高频分量后再进行融合，得到融合高频分量，然后将融合低频分量与融合高频分量叠加，得到融合亮度信息，从而使得融合亮度信息更加接近可见光图像的亮度信息，从而进一步提升了融合图像的显示效果；

三、通过残差数据的空域滤波算子、与第一低频分量关联的第一值域滤波算子、与第二低频分量关联的第二值域滤波算子、以及与残差数据关联的第三值域滤波算子，联合计算残差数据的滤波算子对残差数据计算滤波，使得残差数据滤除了大量噪声的同时，又保留了可见光与非可见光低频信息中各自的优势内容，从而保证了最终的融合图像的显示效果；

四、融合权重矩阵考虑了亮度差异和基础亮度值，亮度差异越大，选取可见光低频信息越多，同时随基础亮度增大，权重变化越大，从而使得融合亮度信息进一步接近可见光图像的亮度信息，从而进一步提升了融合图像的显示效果。

本发明实施例还提供一种电子设备，该电子设备包括处理器，该处理器用于执行如步骤101～108，或者步骤201～208，或者步骤301～311所述的方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。