阅读说明：本技术 一种基于多光谱图像探测技术的环境色温测试方法及系统 (Environmental color temperature testing method and system based on multispectral image detection technology ) 是由 任玉 王朔 聂刚 刘晓慧 周浩 刘禹辰 蔡红星 姚治海 于 2020-05-25 设计创作，主要内容包括：一种基于多光谱图像探测技术的环境色温测试方法及系统,该方法先利用光谱芯片获取标准色板中第1.2.3....m种颜色方块亮度均匀的图像和多光谱数据,针对每种颜色方块均得到N组多光谱数据矩阵；将N组多光谱数据矩阵进行时间和空间降噪处理,最终得到n个多光谱数据,按照此方法依次确定第1.2.3....I个色温值下第m种颜色方块的标准多光谱数据x<Sub>st</Sub>(n,I<Sub>CCT</Sub>)；之后利用含有本发明的色温测试系统的手机或摄像机获取场景图片中多种特定颜色区域的多光谱数据x<Sub>et</Sub>(n),相同波带的多光谱数据取平均,利用色温匹配模块将环境光线多光谱数据与标准多光谱数据x<Sub>st</Sub>(n,I<Sub>CCT</Sub>)进行标准方差计算,方差最小的色温值即是环境光色温值；该方法实现色温快速、准确、高效检测。(A method and system for testing environmental color temperature based on multispectral image detection technology, the method first uses the spectrum chip to obtain the image and multispectral data with uniform brightness of the 1.2.3.. m color squares in the standard color palette, and obtains N groups of multispectral data matrixes for each color square; carrying out time and space noise reduction treatment on the N groups of multispectral data matrixes to finally obtain N multispectral data, and sequentially determining standard multispectral data x of the mth color block under the 1.2.3 st (n，I CCT ) (ii) a Then, a mobile phone or a camera containing the color temperature test system is used for acquiring multispectral data x of a plurality of specific color areas in a scene picture et (n), averaging the multispectral data of the same wave band, and utilizing a color temperature matching module to carry out multispectral data of ambient light and standard multispectral data x st (n，I CCT ) Calculating standard deviation with the most varianceThe small color temperature value is the color temperature value of the ambient light; the method realizes the rapid, accurate and efficient detection of the color temperature.)

一种基于多光谱图像探测技术的环境色温测试方法及系统

技术领域

本发明涉及光谱识别技术领域以及视频监控、移动终端技术领域，具体涉及一种基于多光谱图像探测技术的环境色温测试方法及系统。

背景技术

不同光源具有不同的光谱成分和分布，色度学上称其为色温。受环境色温的影响，图像传感器拍摄的图片往往会出现偏色的现象，比如在较高色温环境下所拍摄的图片就会偏蓝，在较低色温环境下拍摄的图片就会偏红，环境光除了使图片产生色偏外，还导致图像的过饱或饱和度不足，使图片的颜色严重失真。目前人们利用白平衡的调整技术扣除或补充环境光的影响，消除这种色偏，但现有的调整技术均集中在白平衡算法上，例如：[一种CMOS图像传感器信号处理自动白平衡算法，方建荣等，计算机工程，Vol.41，No.9,2015]、[基于环境光检测的场景融合系统，董月等，光子学报，Vol.49No.1,2020]、[基于色温估计的自动白平衡算法研究，王敏等，Vol.22No.12,2011]，其硬件均使用RGB色温传感器，而且这种白平衡调整技术仅利用红、绿、蓝三个数值进行计算，存在算法复杂程度过高、信息量欠缺，导致色温修正性不足等缺点。

针对上述问题，目前部分手机采用了八通道多光谱色温传感器，采用语义色彩还原算法，配有AI深度学习算法库，实现了在复杂光源和背景下，环境光色温(CCT)的测量。但该项技术采取的是单点传感器，将所有光信号进行求和平均处理，当不同方向或者位置上入射光源色温不同时，则无法有效区分，因而环境适用性不足，准确度较低。

发明内容

鉴于上述问题，本发明的目的在于提供一种基于多光谱图像探测技术的环境色温测试方法，该方法利用光谱芯片实现色温快速、准确、高效检测。

为实现上述目的，本发明是采用如下技术方案实现的：

一种基于多光谱图像探测技术的环境色温测试方法，具体包括以下步骤：

步骤S1、将含有m种标准颜色的标准色板置于色温标准灯下，调整色温标准灯与标准色板的距离、标准色板与光谱芯片的间距；其中，所述色温标准灯输出的色温值为I个；所述光谱芯片包括分光元件和图像传感器，分光元件用于将入射光分为n个波带，并将不同光谱波带上辐射信息传递到底层图像传感器的光感面上，使所拍摄的图像包括n张不同光谱带的照片，这样对于图像中的某一像素区位置，对应n个光谱数据，即实现了目标某区域的多光谱数据采集；

步骤S2、启动色温标准灯、光谱芯片，色温标准灯发出的光波照射到标准色板上，色温标准灯在标准色板上呈现均匀的光斑，标准色板反射后的光进入光谱芯片，光谱芯片获取标准色板中第1.2.3....m种颜色方块亮度均匀的图像和多光谱数据，连续采集N次，即针对每种颜色方块均得到N组多光谱数据矩阵；

步骤S3、将每种颜色方块的N组多光谱数据矩阵进行时间和空间降噪处理，时间降噪处理方法为将N组多光谱数据矩阵对应位置取平均，最终得到一个平均后的多光谱数据矩阵；空间降噪处理是将同一颜色方块区域中相同波带的多光谱数据取平均，最终得到n个多光谱数据，作为该色温值下的第m种颜色方块的标准多光谱数据，储存于标准数据模块中；按照此方式依次确定第1.2.3....I个色温值下第m种颜色方块的标准多光谱数据xst(n，ICCT)；

步骤S4、利用含有色温测试系统的手机或摄像机获取场景图片中多种特定颜色区域的多光谱数据x_et(n)，相同波带的多光谱数据取平均，之后利用色温匹配模块将环境光线多光谱数据与标准多光谱数据x_st(n，I_CCT)进行标准方差计算，若计算得到的标准方差值小于标准方差值阈值St，表示该区域的环境光线色温值等于该标准多光谱数据对应的色温值；若大于St，再进行下一列数据计算；

标准方差计算公式为：

…

作为本发明的优选，步骤S4在选取场景图片中特定颜色区域时，以白色、蓝色、绿色、红色为主。

本发明提供的另一目的在于提供一种基于多光谱图像探测技术的环境色温测试系统，该系统包括控制模块、光谱芯片、数据处理模块、标准数据模块和色温匹配模块；其中，所述控制模块与光谱芯片、数据处理模块连接，用于光谱芯片的光谱数据采集和数据处理模块启动进行指令控制；

所述光谱芯片与数据处理模块连接，光谱芯片采集的图像和多光谱数据发送给数据处理模块，由数据处理模块进行降噪处理；光谱芯片包括分光元件和图像传感器，所述分光元件用于将入射光分为n个波带，实现光谱分光的功能；分光元件将同一拍摄目标在不同光谱波带上辐射信息传递到底层图像传感器的光感面上，使所拍摄的图像包括n张不同光谱带的照片，这样对于图像中的某一像素区位置，对应n个光谱数据，即实现了目标某区域的多光谱数据采集；对于获取目标图像某区域的多光谱数据，采用该区域所有像素点对应波带取平均的方法获得，即目标图像某区域对应的多光谱数据个数均为n；

所述数据处理模块与标准数据模块和色温匹配模块连接；

所述标准数据模块与色温匹配模块连接；标准数据模块用于预先储存标准色温值所对应的多光谱数据，所述多光谱数据包括m个类别，对应m种标准颜色，即一个类别代表一种标准颜色，每个类别中包含I组标准色温值所对应的标准多光谱数列，每列标准多光谱数据个数为光谱芯片总波段数n，每个类别的标准多光谱数据为x_st(n，I_CCT)；

所述的色温匹配模块与控制模块连接，用于对拍摄的图像中环境光线色温值进行计算并传输给控制模块，计算方法为标准方差法，即：预先设定色温值标准方差阈值S_t，将拍摄图像中各区域的环境光线多光谱数据x_et(n)按照类别依次与类别中的标准多光谱数据x_st(n，I_CCT)按照下述公式进行标准方差计算，若计算得到的标准方差值小于St，表示该区域的环境光线色温值等于该标准多光谱数据对应的色温值；若大于St，再进行下一列数据计算；

标准方差计算公式为：

…

作为本发明的优选，所述控制模块还用于根据色温匹配模块计算得到的色温值进行图像的白平衡校准。

作为本发明的优选，所述分光元件为滤波型分光元件、色散型分光元件、干涉型分光元件或衍射型分光元件。

作为本发明的优选，所述图像传感器为硅基图像传感器，具体为CMOS图像传感器或CCD图像传感器，用于将分光后的光信号转化为电信号并以数字信号或者编码输出，其曝光时间为毫秒到秒量级。

作为本发明的进一步优选，所述分光元件为滤光薄膜，所述滤光薄膜为单层结构，包括M个周期，每个周期包括T₁、T₂......T_n个单元，均是由已知且透光率不同的n种材料通过逐一涂覆、刻蚀后拼接而成，每个单元覆盖图像传感器的一个像素点，这样使每个像素对应的滤光薄膜具有相同或者不同的光谱透过率；光谱数据计算方法如公式(1)所示，

S_i＝∫I(λ)T_i(λ)η(λ)dλ， (1)

其中，S为图像传感器输出的光信号强度值，I为入射光谱，是待求解信号，T为滤光薄膜的光谱透过率，η为图像传感器的量子效率，λ为入射波长。

作为本发明的更进一步优选，所述滤光薄膜的制备方法为：选择n种光谱透过率不同的聚酰亚胺类滤光薄膜材料，先在图像传感器上涂覆第一种滤光薄膜材料，再涂覆一层刻蚀层，根据与图像传感器像素的对应关系，将需要的地方保留，将不需要的地方刻蚀掉；之后涂覆第二种滤光薄膜材料，再涂覆一层刻蚀层，根据与图像传感器像素的对应关系，将需要的地方保留，将不需要的地方刻蚀掉；依次循环，直至将n种滤光薄膜材料全部涂覆到图像传感器像上，上述n种滤光薄膜材料经过逐一的涂覆和刻蚀后，最后形成一层完整的具有M个周期性的滤光薄膜，每个周期包括T₁、T₂......T_n个单元。

本发明的优点及积极效果是：

1、本发明通过利用光谱芯片获取的环境光多光谱数据对色温值进行计算，比传统的色温传感器信息量更大，环境适用性强，且算法简单，所需内存小，可实现色温值得准确、快速、实时检测，具有测试速度快、准确度高等优点。

2、本发明提供的色温测试方法可获取目标图像各区域的色温值，取平均后得到更准确的环境光线色温值，再利用现有的白平衡算法对色图像进行处理，得到的图像更具保真性。

3、本发明色温测试系统使用的光谱芯片具有光谱范围广、体积小、具有较高光谱分辨率，重量轻、结构简单、操作便捷、检测速度快等优点，结合简单的数据处理模块构成低成本的色温传感器，适用于一切显示和摄像功能的电子设备，例如：可应用于智能手机、平板电脑、笔记本电脑、行车记录仪等，适用范围广泛。

附图说明

图1为本发明色温测试系统的示意框图；

图2为本发明滤光薄膜的示意图；

图3为本发明色温值测试流程图；

图4为根据本发明色温标准灯发射2800K、5000K和6500K三个色温值情况下的标准色板白色块的标准多光谱数据。

附图标记：控制模块1、光谱芯片2、数据处理模块3、标准数据模块4、色温匹配模块5。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。

实施例1一种基于多光谱图像探测技术的环境色温测试系统

参阅图1，本发明提供的一种基于多光谱图像探测技术的环境色温测试系统包括：包括控制模块1、光谱芯片2、数据处理模块3、标准数据模块4和色温匹配模块5；其中，所述控制模块1与光谱芯片2、数据处理模块3连接，用于光谱芯片2的光谱数据采集和数据处理模块3启动进行指令控制，同时根据色温匹配模块5计算得到的色温值进行图像的白平衡校准；

所述光谱芯片2与数据处理模块3连接，光谱芯片2采集的图像和多光谱数据矩阵发送给数据处理模块，由数据处理模块进行时间和空间降噪处理；光谱芯片包括分光元件和CMOS图像传感器，所述分光元件用于将入射光分为n个波带，实现光谱分光的功能；分光元件将同一拍摄目标在不同光谱波带上辐射信息传递到底层图像传感器的光感面上，使所拍摄的图像包括n张不同光谱带的照片，这样对于图像中的某一像素区位置，对应n个光谱数据，即实现了目标某区域的多光谱数据采集；对于获取目标图像某区域的多光谱数据，采用该区域所有像素点对应波带取平均的方法获得(波带一致的像素点所对应的光谱数据取平均值)，即目标图像某区域对应的多光谱数据个数均为n；

所述数据处理模块3与标准数据模块4和色温匹配模块5连接；

所述标准数据模块4与色温匹配模块5连接，标准数据模块4用于预先储存标准色温值所对应的多光谱数据，所述多光谱数据包括m个类别，对应m种标准颜色，即一个类别代表一种标准颜色，每个类别中包含I组标准色温值所对应的标准多光谱数列，每列标准多光谱数据个数为光谱芯片总波段数n，每个类别的标准多光谱数据为x_st(n，I_CCT)；

所述的色温匹配模块5与控制模块1连接，用于对拍摄的图像中环境光线色温值进行计算并传输给控制模块1，控制模块1根据该色温值进行图像的主摄白平衡校准即可；色温计算方法为标准方差法，即：预先设定色温值标准方差阈值S_t，将拍摄图像中各区域的环境光线多光谱数据x_et(n)按照类别依次与类别中的标准多光谱数据x_st(n，I_CCT)按照下述公式进行标准方差计算，若计算得到的标准方差值小于St，表示该区域的环境光线色温值等于该标准多光谱数据对应的色温值；若大于St，再进行下一列数据计算；

标准方差计算公式为：

…

进一步，所述分光元件为滤波型分光元件、色散型分光元件、干涉型分光元件或衍射型分光元件。

本实施例中分光元件采用自制的滤光薄膜，所述滤光薄膜为单层结构，包括M个周期，每个周期包括T₁、T₂......T₉个单元，均是由已知且透光率不同的9种材料通过逐一涂覆、刻蚀后拼接而成(见图2)，每个单元覆盖图像传感器的一个像素点，这样使每个像素对应的滤光薄膜具有相同或者不同的光谱透过率；该光谱芯片光谱数据计算方法如公式(1)所示，

S_i＝∫I(λ)T_i(λ)η(λ)dλ， (1)

其中，S为图像传感器输出的光信号强度值，I为入射光谱，是待求解信号，T为滤光薄膜的光谱透过率，η为图像传感器的量子效率，λ为入射波长；

所述滤光薄膜的制备方法为：选择9种光谱透过率不同的聚酰亚胺类滤光薄膜材料，先在图像传感器上涂覆第一种滤光薄膜材料，再涂覆一层刻蚀层(环氧树脂材料)，根据与图像传感器像素的对应关系，将需要的地方保留，将不需要的地方刻蚀掉；之后涂覆第二种滤光薄膜材料，再涂覆一层刻蚀层，根据与图像传感器像素的对应关系，将需要的地方保留，将不需要的地方刻蚀掉；依次循环，直至将n种滤光薄膜材料全部涂覆到图像传感器像上，上述9种滤光薄膜材料经过逐一的涂覆和刻蚀后，最后形成一层完整的具有M个周期性的滤光薄膜，每个周期包括T₁、T₂......T₉个单元。

所述图像传感器为硅基图像传感器，具体为CMOS图像传感器或CCD图像传感器，用于将分光后的光信号转化为电信号并以数字信号或者编码输出，其曝光时间为毫秒到秒量级。

为使本领域技术人员能够清楚本申请标准数据模块所存储的多光谱数据，下面具体举例说明。

例如：如果本发明滤光薄膜是由9种光谱透过率不同的聚酰亚胺类滤光薄膜材料，则最终获取的目标图像某区域对应的多光谱数据个数均为9；假如多光谱数据包括24个类别(对应24种标准颜色)，且每个类别中包含3组标准色温值(2800K、5000K和6500K)所对应的标准多光谱数列，每列标准多光谱数据个数为光谱芯片总波段数9，每个类别的标准多光谱数据为x_st(9,3)，具体数据分布情况参见表1。

表1多光谱数据分布情况表

本申请提供的色温测试系统可以直接应用在现有手机或摄像器上，利用手机摄像头进行拍照时，测温系统自动计算环境光的色温值，然后输出给控制模块1，之后控制模块1根据该色温值采用现有方法进行图像的主摄白平衡校准即可。

实施例2一种基于多光谱图像探测技术的环境色温测试系统，具体包括以下步骤：

步骤S1、将标准色板置于色温标准灯下，调整色温标准灯与标准色板的距离为50cm、标准色板与光谱芯片2的间距为10cm；系统开始自检，自检正常后，色温标准灯、光谱芯片2处于预热待机状态；其中，所述标准色温灯为LED标准色温灯，色温范围为2500～8500K(±200K)，调光范围为0％～100％，最大输出功率为10W，调节色温标准灯使其输出的色温值分别为2800K、5000K和6500K；所述光谱芯片2选用高光谱像素级镀膜芯片，型号规格：QS-A-8-400-001，将400nm～850nm波段范围分为9个波带，尺寸为3mm×3mm，厚度为100μm，数据采集时间为1ms；

步骤S2、开启色温标准灯，其发出的光波照射到标准色板上，色温标准灯在标准色板上呈现均匀的光斑；同时启动光谱芯片2，可获取标准色板白色方块亮度均匀的图像，每隔1ms测试一次，连续采集50次，经过光谱芯片2分光后获取标准色板白色方块各像素的多光谱数据，即得到50组多光谱数据矩阵；

步骤S3、将50组多光谱数据矩阵进行时间和空间降噪处理，时间降噪处理方法为将50组多光谱数据矩阵对应位置取平均，最终得到一个平均后的多光谱数据矩阵；空间降噪处理是将白色方块区域中相同单元T_n的多光谱数据取平均，最终得到9个多光谱数据，作为该色温值下的白色方块的标准多光谱数据，储存于标准数据模块4中；该步骤获取的色温对应的多光谱数据，经降噪处理后分别为：色温值2800K对应的多光谱数据为8.042842、9.380254、14.2396、40.57888、64.85493、95.96654、70.46638、40.36318、39.55659；色温值5000K对应的多光谱数据为8.819268、8.646168、26.13805、45.86027、52.01659、92.57915、69.0926、56.85547、45.25743；色温值6500K对应的多光谱数据为9.199462、8.471258、30.61717、47.96308、47.45459、91.54122、68.79153、63.18177、47.50594，以通道作为横坐标，9通道对应的多光谱强度作为纵坐标作图，如图4所示，并将数据储存于标准数据模块4中；

步骤S4、重复步骤S2和S3，获取所有标准颜色下的标准多光谱数据并储存于标准数据模块4中；

步骤S5、利用含有色温测试系统的手机或摄像机拍摄场景图片，光谱芯片2获取场景图片和多光谱数据，数据处理模块取场景图片中一白色区域的多光谱数据，并将相同单元T_n所对应的多光谱数据取平均，得平均多光谱数据x_et(9)为：7.243209、9.035698、14.36263、38.57236、59.42341、90.43591、65.83675、39.70332、37.84984，色温匹配模块5计算该多光谱数据与标准多光谱数据x_st(9,3)进行标准方差计算；

其中色温值计算方法为标准方差法，预先设定色温值标准方差阈值S_t＝5，将像素点的环境光线多光谱数据x_et(9)依次与标准数据模块中的标准多光谱数据x_st(9,3)进行标准方差计算，计算公式为：

本实施例方差计算结果分别为S₆₅₀₀＝11.32462，S₅₀₀₀＝8.256537，S₂₈₀₀＝3.156483，S₂₈₀₀<S_t，则该像素点的色温值为2800K，由色温匹配模块5将测试结果传递给控制模块1，控制模块1根据该色温值进行图像的主摄白平衡校准即可；因该实施例只采集1次光谱数据，因此不需要时间降噪处理，只进行空间降噪处理即可。

本发明按照步骤5的测试方法还在太阳光下(分别在晴天日出后40分钟(3000K)、中午(5400K)和阴天中午(6500K))，对色温进行检测，确定该检测方法的检测结果准确。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。