阅读说明：本技术 一种基于权重系数的光谱数据修正方法 (Spectral data correction method based on weight coefficient ) 是由 刘浩 闫晓剑 张国宏 王毅 于 2020-08-24 设计创作，主要内容包括：本发明公开了一种基于权重系数的光谱数据修正方法,首先通过黑、白、灰校准板的基准值及复值,计算出不同时间点的光谱倍率值,然后根据黑、白、灰校准板与待测样品的反射率关系,计算出各校准板的权重系数,进而得到光谱修正公式,接着,结合黑、白、灰校准板光谱倍率值及光谱修正公式对待测样品复值光谱数据进行修正,最后,将待测样品光谱数据的基准值分别与原始复值及修正后复值进行整合建模,并分别判断两模型的质量。本发明的方法充分结合了便携式近红外光谱数据的特性,可以有效对不同时间点的便携式近红外光谱数据进行修正,进而提升光谱模型质量,同时易于实施,极大程度的解决了不同时间点便携式近红外光谱数据难以修正的问题。(The invention discloses a spectral data correction method based on weight coefficients, which comprises the steps of firstly calculating spectral power values of different time points through reference values and complex values of black, white and gray calibration plates, then calculating the weight coefficients of the calibration plates according to the reflectivity relations of the black, white and gray calibration plates and a sample to be detected, further obtaining a spectral correction formula, then correcting the complex value spectral data of the sample to be detected by combining the spectral power values of the black, white and gray calibration plates and the spectral correction formula, finally performing integrated modeling on the reference values of the spectral data of the sample to be detected, the original complex value and the corrected complex value respectively, and judging the quality of two models respectively. The method provided by the invention fully combines the characteristics of the portable near infrared spectrum data, can effectively correct the portable near infrared spectrum data at different time points, further improves the quality of the spectrum model, is easy to implement, and greatly solves the problem that the portable near infrared spectrum data at different time points are difficult to correct.)

一种基于权重系数的光谱数据修正方法

技术领域

本发明涉及光谱数据修正技术领域，特别涉及一种基于权重系数的光谱数据修正方法。

背景技术

近年来，近红外光谱分析技术发展十分迅速，已在化工，制药，军工，食品等多个领域都获得了应用。近红外光谱技术属于分子光谱技术，可以在分子水平上表明物质成分和性质信息，不论对经济还是社会影响来说，都取得了非常高的效益，极具发展潜力。

然而，目前大多数物质成分和性质信息检测主要使用大型实验室近红外光谱仪器进行，这些方法虽然定量准确灵敏度高，但所需设备体积庞大，设备费用昂贵，样品制备时间长且样品制作方法严格，检测设备和样品制备需要专业人员操作，检测环境固定，且分析时间长，不适用于现场检测，不便于推广使用。

伴随着便携式近红外光谱技术的发展，市场主流的大型近红外光谱仪设备都朝着体积小巧，价格低廉的便携式方向发展。但是便携式近红外光谱仪易于受光源、检测器、使用方法、环境条件等影响，造成采集的光谱数据稳定性差，精度低，进而影响光谱模型效果。尤其是便携式近红外光谱仪天与天，周与周之间的光谱数据都可能存在较大差异。传统的通过预处理算法来对光谱数据进行修正效果不佳，难以从根本上解决问题。为了确保便携式近红外光谱仪的模型质量，急需一种能够对便携式近红外光谱数据进行修正的方法。

现有技术中也存在一些对近红外光谱数据进行修正的方法。例如现有技术中申请号为201710018551.4的一种多光谱影像标定方法，具体公开了通过三种校准目标第二反射率及分别对应的像元亮度值之间的关系构建分段式线性方程，再将对应待标定地物目标的像元亮度值代入线性方程即可计算出该像元对应待标定物目标的标定反射率。存在并未结合便携式近红外光谱仪的光谱数据的特殊性的问题，准确度不高。

发明内容

本发明的目的是克服上述背景技术中不足，提供一种基于权重系数的光谱数据修正方法，可以有效对不同时间点的便携式近红外光谱数据进行修正，进而提升光谱模型质量，同时易于实施，极大程度的解决了不同时间点便携式近红外光谱数据难以修正的问题。

为了达到上述的技术效果，本发明采取以下技术方案：

一种基于权重系数的光谱数据修正方法，包括以下步骤：

A.在采集周期内每隔预设间隔时间分别采集一次黑、白、灰校准板及待测样品的光谱数据，其中，将第一次采集的光谱数据设定为基准值光谱数据，将之后采集的光谱数据设定为原始复值光谱数据；

其中，黑、白、灰校准板均采用国际认证的标准化校准板，其受环境影响极小，材质不易发生变化，抗油污能力强，测试表面分布均匀，在近红外光谱波长范围内极为稳定，是一种极度适用于便携式近红外光谱数据的校准材料；同时，本发明的方法中光谱数据的采集的设计是充分考虑了便携式近红外光谱仪受限于光源、检测器、使用方法、环境条件等影响，使得即使采集相同样品得到的光谱数据天与天之间都有些许变化，周与周之间都有较大变化的特性，通过在采集周期内每隔固定间隔时间即进行一次数据采集，从而最大程度的体现修正效果，其中，具体的采集周期及间隔时间可根据实际情况进行设定；

B.结合黑、白、灰校准板的基准值光谱数据及原始复值光谱数据，分别计算黑、白、灰校准板在各采集时间点的光谱倍率值；

C.根据黑、白、灰校准板与待测样品的反射率关系，分别计算出黑、白、灰校准板的权重系数，进而得到光谱修正公式；

D.结合黑、白、灰校准板在各采集时间点的光谱倍率值及光谱修正公式对待测样品的原始复值光谱数据进行修正得到修正复值光谱数据；

E.将基准值光谱数据分别与原始复值光谱数据及修正复值光谱数据进行整合建模，并分别判断两模型的质量；

本发明的基于权重系数的光谱数据修正方法，首先根据不同时间点各个校准板的光谱数据，计算出校准板光谱倍率值，再结合便携式光谱数据的特殊性，即该倍率值为矩阵数据，然后再通过黑、白、灰三种校准板的反射率与待测样品反射率之间的关系，计算出三种校准板的各自权重系数，进一步结合不同时间点校准板之间的光谱倍率值，计算得到光谱修正公式，最后将不同时间点的光谱数据，即m个光强数据点，依次代入光谱修正公式，得到修正光谱数据，即在本申请的技术方案中是结合三种校准板的光谱倍率值以及反射率对每条光谱数据的m个光强数据点进行一一修正，使得光谱数据更为准确的反应待测样品组分含量值，进而有效提升光谱模型准确度。

进一步地，若在采集周期内进行黑、白、灰校准板及待测样品的光谱数据的采集次数为n，则所述步骤B具体为：

设采集的黑校准板的基准值光谱数据为B₁＝(B₁₁，B₁₂，……B_1(m-1)，B_1m)，黑校准板在第一次采集光谱数据时的光谱倍率值T_黑1＝(1，1，……1)；其中，m为所使用的近红外光谱仪的光谱的波长点个数；

设第i次采集的黑校准板的复值光谱数据为B_i＝(B_i1，B_i2，……B_i(m-1)，B_im)，其中，i＝2，3，……，n；

则黑校准板在第i次采集光谱数据时的光谱倍率值T_黑i；

T_黑i＝(B_i/B₁)*T_黑1＝(B_i1/B₁₁，B_i2/B₁₂，……B_i(m-1)/B_1(m-1)，B_im/B_1m)；

同理，设采集的白校准板的基准值光谱数据为W₁＝(W₁₁，W₁₂，……W_1(m-1)，W_1m)，白校准板在第一次采集光谱数据时的光谱倍率值T_白1＝(1，1，……1)；

设第i次采集的白校准板的复值光谱数据为W_i＝(W_i1，W_i2，……W_i(m-1)，W_im)，其中，i＝2，3，……，n；

则白校准板在第i次采集光谱数据时的光谱倍率值T_白i；

T_白i＝(W_i/W₁)*T_白1＝(W_i1/W₁₁，W_i2/W₁₂，……W_i(m-1)/W_1(m-1)，W_im/W_1m)；

同理，设采集的灰校准板的基准值光谱数据为G₁＝(G₁₁，G₁₂，……G_1(m-1)，G_1m)，灰校准板在第一次采集光谱数据时的光谱倍率值T_灰1＝(1，1，……1)；

设第i次采集的灰校准板的复值光谱数据为G_i＝(G_i1，G_i2，……G_i(m-1)，G_im)，其中，i＝2，3，……，n；

则灰校准板在第i次采集光谱数据时的光谱倍率值T_灰i；

T_灰i＝(G_i/G₁)*T_灰1＝(G_i1/G₁₁，G_i2/G₁₂，……G_i(m-1)/G_1(m-1)，G_im/G_1m)。

即通过将第1次采集的校准板光谱数据设定为基准值，光谱倍率值设定为1，使用第2次采集的光谱数据除以第1次采集的光谱数据即可得到第2次采集时的光谱倍率值。同理，使用第3～n次光谱数据分别除以第1次采集的光谱数据即可得到第3～n次采集时的光谱倍率值。

进一步地，所述步骤C具体为：

设黑、白、灰校准板的反射率分别为H_黑、H_白、H_灰，待测样品的反射率为H_待测样品，则计算得到黑、白、灰校准板与待测样品反射率之间的差值C_黑、C_白、C_灰为：

采用黑、白、灰校准板一起对复值光谱数据进行修正，其光谱修正公式为：T＝aT_黑+bT_白+cT_灰；

其中T为复值修正倍率值，a,b,c为黑、白、灰校准板权重系数，T_黑,T_白,T_灰为黑、白、灰校准板的光谱倍率值；

权重系数a,b,c的值分别为：

其中，漫反射便携式近红外光谱仪采集光谱数据的实际原理为：便携式近红外光谱仪发出的近红外光通过校准板或者待测样品表面漫反射回到光谱仪的光线接收传感器，通过一系列转换变为可直接用于分析的光强值。校准板反射率与待测样品反射率相差越小，说明其可靠性越高，即权重系数越大；校准板反射率与待测样品反射率越相差越大，说明其可靠性越低，即权重系数越小。

进一步地，所述步骤D具体为：

将黑、白、灰校准板在各采集时间点的光谱倍率值代入光谱修正公式即可得到黑、白、灰校准板在该采集时间点的光谱修正倍率值，具体为：

T_i＝a T_黑i+b T_白i+c T_灰i；

若在第i次采集时的原始复值光谱数据为S_i＝(S_i1，S_i2，……S_i(m-1)，S_im)，则通过光谱修正公式修正后得到第i次采集时的修正复值光谱数据S_i′：

即将第2～n次采集时的黑、白、灰校准板光谱倍率值分别带入光谱修正公式，计算得出第2～n次采集时的光谱修正倍率值，再结合待测样品第2～n次采集时的光谱数据进行计算即可得到对应时间点待测样品的修正复值光谱数据。

进一步地，所述步骤E具体为：

将待测样品的基准值光谱数据与第i次采集时得到的原始复值进行数据整合并进行数学建模得到光谱模型M；

将待测样品的基准值光谱数据与第i次采集对应的修正复值光谱数据进行数据整合，并进行数学建模，得到光谱模型M′；

对比光谱模型M与M′的模型相关系数及均方根误差以判断两模型的质量。

进一步地，判断两模型的质量时具体判断规则为：模型相关系数越大，模型质量越好；均方根误差越小，模型质量越好。

进一步地，所述步骤E中进行建模时具体采用偏最小二乘法，实际中也可采取其他适合的建模方法。

进一步地，所述预设间隔时间为1天，具体可根据实际情况设定。

进一步地，一个采集周期为14天，具体可根据实际情况设定。

本发明与现有技术相比，具有以下的有益效果：

本发明的基于权重系数的光谱数据修正方法，首先通过黑、白、灰校准板的基准值及复值，计算出不同时间点的光谱倍率值，然后根据黑、白、灰校准板与待测样品的反射率关系，计算出各校准板的权重系数，进而得到光谱修正公式，接着，结合黑、白、灰校准板光谱倍率值及光谱修正公式对待测样品复值光谱数据进行修正，最后，将待测样品光谱数据的基准值分别与原始复值及修正后复值进行整合建模，并分别判断两模型的质量。该方法充分结合了便携式近红外光谱数据的特性，可以有效对不同时间点的便携式近红外光谱数据进行修正，进而提升光谱模型质量，同时易于实施，极大程度的解决了不同时间点便携式近红外光谱数据难以修正的问题。

附图说明

图1是本发明的基于权重系数的光谱数据修正方法的流程示意图。

具体实施方式

下面结合本发明的实施例对本发明作进一步的阐述和说明。

实施例：

实施例一：

如图1所示，一种基于权重系数的光谱数据修正方法，包括以下步骤：

步骤101、102.在采集周期内每隔预设间隔时间分别采集一次黑、白、灰校准板及待测样品的光谱数据，其中，将第一次采集的光谱数据设定为基准值光谱数据，将之后采集的光谱数据设定为原始复值光谱数据。

具体的，为了最大程度的体现修正效果，且易于实施，本实施例中，设定一个采集周期为14天，且每天均对对应的光谱数据进行采集，其中，将第一天采集的光谱数据设定为基准值光谱数据，将第2-14天采集的13套数据设定为采集当天对应的原始复值光谱数据。

步骤103.结合黑、白、灰校准板的基准值光谱数据及原始复值光谱数据，分别计算黑、白、灰校准板在各采集时间点的光谱倍率值。

具体的，若在采集周期内进行黑、白、灰校准板及待测样品的光谱数据的采集次数为n，则所述步骤103具体为：

设采集的黑校准板的基准值光谱数据为B₁＝(B₁₁，B₁₂，……B_1(m-1)，B_1m)，黑校准板在第一次采集光谱数据时的光谱倍率值T_黑1＝(1，1，……1)；其中，m为所使用的近红外光谱仪的光谱的波长点个数；

设第i次采集的黑校准板的复值光谱数据为B_i＝(B_i1，B_i2，……B_i(m-1)，B_im)，其中，i＝2，3，……，n；

则黑校准板在第i次采集光谱数据时的光谱倍率值T_黑i；

T_黑i＝(B_i/B₁)*T_黑1＝(B_i1/B₁₁，B_i2/B₁₂，……B_i(m-1)/B_1(m-1)，B_im/B_1m)；

同理，设采集的白校准板的基准值光谱数据为W₁＝(W₁₁，W₁₂，……W_1(m-1)，W_1m)，白校准板在第一次采集光谱数据时的光谱倍率值T_白1＝(1，1，……1)；

设第i次采集的白校准板的复值光谱数据为W_i＝(W_i1，W_i2，……W_i(m-1)，W_im)，其中，i＝2，3，……，n；

则白校准板在第i次采集光谱数据时的光谱倍率值T_白i；

T_白i＝(W_i/W₁)*T_白1＝(W_i1/W₁₁，W_i2/W₁₂，……W_i(m-1)/W_1(m-1)，W_im/W_1m)；

同理，设采集的灰校准板的基准值光谱数据为G₁＝(G₁₁，G₁₂，……G_1(m-1)，G_1m)，灰校准板在第一次采集光谱数据时的光谱倍率值T_灰1＝(1，1，……1)；

设第i次采集的灰校准板的复值光谱数据为G_i＝(G_i1，G_i2，……G_i(m-1)，G_im)，其中，i＝2，3，……，n；

则灰校准板在第i次采集光谱数据时的光谱倍率值T_灰i；

T_灰i＝(G_i/G₁)*T_灰1＝(G_i1/G₁₁，G_i2/G₁₂，……G_i(m-1)/G_1(m-1)，G_im/G_1m)。

即便携式近红外光谱仪不同时间点采集的校准板光谱数据并不相同，将第1天采集的校准板光谱数据设定为基准值，光谱倍率值设定为1，使用第2天光谱数据除以第1天采集的光谱数据即可得到第2天的光谱倍率值。同理，使用第3～14天光谱数据分别除以第1天采集的光谱数据即可得到第3～14天的光谱倍率值。

具体的，本实施例中，所使用的便携式近红外光谱仪波长范围为1350～1645nm，分辨率为6nm，总计为50个波长点，其采集的光谱数据实际表示为50个波长点上光强值的集合矩阵。则本实施例中：

黑校准板的基准值光谱数据设定为B₁＝(B₁₁，B₁₂，……B₁₅₀)，光谱倍率值设定为T_黑1＝(1，1，……1)，第2天黑校准板的复值光谱数据设定为B₂＝(B₂₁，B₂₂，……B₂₅₀)，则可以计算出第2天黑校准板光谱倍率值T_黑2为：

同理可以计算出第2天白校准板的光谱倍率值T_白2及灰校准板的光谱倍率值T_灰2为：

其中W₁＝(W₁₁，W₁₂，……W₁₅₀)，W₂＝(W₂₁，W₂₂，……W₂₅₀)分别为白校准板基准值及第2天复值光谱数据，G₁＝(G₁₁，G₁₂，……G₁₅₀)，G₂＝(G₂₁，G₂₂，……G₂₅₀)分别为灰校准板基准值及第2天复值光谱数据，其中T_白1＝(1，1，……1)，T_灰1＝(1，1，……1)分别为第1天白校准板及灰校准板的光谱倍率值。

同理，也可以计算出第3～14天黑、白、灰校准板的光谱倍率值T_黑3,T_黑4,……T_黑14、T_白3,T_白4,……T_白14、T_灰3,T_灰4,……T_灰14。

步骤104.根据黑、白、灰校准板与待测样品的反射率关系，分别计算出黑、白、灰校准板的权重系数，进而得到光谱修正公式。

本实施例中所述步骤104具体为：

设黑、白、灰校准板的反射率分别为H_黑、H_白、H_灰，待测样品的反射率为H_待测样品，则计算得到黑、白、灰校准板与待测样品反射率之间的差值C_黑、C_白、C_灰为：

为了最大程度的减小误差，采用黑、白、灰校准板一起对复值光谱数据进行修正，其光谱修正公式为：T＝aT_黑+bT_白+cT_灰；

其中T为复值修正倍率值，a,b,c为黑、白、灰校准板权重系数，T_黑,T_白,T_灰为黑、白、灰校准板的光谱倍率值；

由于校准板反射率与待测样品反射率相差越小，其可靠性越高，即权重系数越大，权重系数与反射率差值呈线性相关，可以计算出，权重系数a,b,c的值分别为：

步骤105.结合黑、白、灰校准板在各采集时间点的光谱倍率值及光谱修正公式对待测样品的原始复值光谱数据进行修正得到修正复值光谱数据。

具体为：将黑、白、灰校准板在各采集时间点的光谱倍率值代入光谱修正公式即可得到黑、白、灰校准板在该采集时间点的光谱修正倍率值，具体为：

T_i＝a T_黑i+b T_白i+c T_灰i；

若在第i次采集时的原始复值光谱数据为S_i＝(S_i1，S_i2，……S_i(m-1)，S_im)，则通过光谱修正公式修正后得到第i次采集时的修正复值光谱数据S_i′：

即将第2～n次采集时的黑、白、灰校准板光谱倍率值分别带入光谱修正公式，计算得出第2～n次采集时的光谱修正倍率值，再结合待测样品第2～n次采集时的光谱数据进行计算即可得到对应时间点待测样品的修正复值光谱数据。

本实施例中具体为：

将第2～14天黑、白、灰校准板光谱倍率值分别带入光谱修正公式，计算得出第2～14天的光谱修正倍率值，再结合待测样品第2～14天的光谱数据进行计算即可得到对应时间点待测样品的修正复值光谱数据。

在本实施例中，第2天的黑、白、灰校准板光谱倍率值分别为T_黑2,T_白2,T_灰2，将光谱倍率值代入光谱修正公式即可得到第2天的光谱修正倍率值T₂为：

T₂＝aT_黑2+bT_白2+cT_灰2

设定第2天的原始复值光谱数据为S₂＝(S₂₁,S₂₂,……S₂₅₀)，则通过光谱修正公式修正后第2天的修正复值光谱数据S₂′为：

同理可以计算第3～14天待测样品的修正复值光谱数据S₃′，S₄′……S₁₄′。

步骤106.将基准值光谱数据分别与原始复值光谱数据及修正复值光谱数据进行整合建模，并分别判断两模型的质量。

具体为：

将待测样品的基准值光谱数据与第i次采集时得到的原始复值进行数据整合并进行数学建模得到光谱模型M；将待测样品的基准值光谱数据与第i次采集对应的修正复值光谱数据进行数据整合，并进行数学建模，得到光谱模型M′；对比光谱模型M与M′的模型相关系数及均方根误差以判断两模型的质量。

具体的，本实施例中，具体是采用偏最小二乘法进行数学建模，其中，判断两模型的质量时具体判断规则为：模型相关系数越大，模型质量越好；均方根误差越小，模型质量越好。

在本实施例中，光谱模型的质量好坏最为直观的体现为模型相关系数及均方根误差，其中模型相关系数越大，模型质量越好；均方根误差越小，模型质量越好。将待测样品的基准值与第2～14天采集得到的原始复值进行数据整合，并采用偏最小二乘法进行数学建模得到光谱模型M，然后再将待测样品的基准值与第2～14天修正后的复值进行数据整合，并采用相同的方法进行数学建模，得到光谱模型M′，对比光谱模型M与M′的模型相关系数及均方根误差，可知光谱模型M′的模型相关系数在光谱模型M的基础上有明显增大，且均方根误差明显变小，通过以上可知，通过基于权重系数的光谱数据修正方法，有效的提升了光谱模型质量。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。