阅读说明：本技术 一种车用燃油近红外光谱检测结果的置信度估计方法 (Confidence coefficient estimation method for vehicle fuel oil near infrared spectrum detection result ) 是由 熊智新 张肖雪 杨冲 赵静远 于 2019-09-25 设计创作，主要内容包括：本发明提供一种车用燃油近红外光谱检测结果的置信度估计方法,该方法基于主成分分析完成马氏距离的计算,在此基础上根据F分布得出显著性水平并完成待测样本检测结果的置信度估计。根据马氏距离及由其得到的统计量服从F分布,为近红外光谱分析技术在实际应用时提供了对检测结果可靠性的置信度估计,为分析对象下一步定性诊断或定量分析结果有效性评估提供量化依据。(The invention provides a confidence estimation method for a vehicle fuel near infrared spectrum detection result, which is used for completing the calculation of Mahalanobis distance based on principal component analysis, obtaining a significance level according to F distribution on the basis and completing the confidence estimation of the detection result of a sample to be detected. And according to the Mahalanobis distance and the statistic obtained by the Mahalanobis distance, obeying to F distribution, confidence coefficient estimation on the reliability of the detection result is provided for the practical application of the near infrared spectrum analysis technology, and a quantitative basis is provided for the next qualitative diagnosis of the analysis object or the effectiveness evaluation of the quantitative analysis result.)

一种车用燃油近红外光谱检测结果的置信度估计方法

技术领域

本发明涉及车用燃油的近红外光谱异常检测，具体涉及一种基于马氏距离的近红外检测结果置信度估计方法。

背景技术

基于有机物分子内含氢基团伸缩振动的组频和倍频吸收，近红外光谱可通过化学计量学方法建立光谱与质量指标之间的线性或非线性关系，快速、高效地完成样品的定性与定量分析，可克服传统的油品分析技术中存在的过程繁琐、成本高和效率低等缺点。

近年来，近红外光谱已广泛且较为成熟地应用于油品多种组分含量的测量，以提高油品的生产管理与质量监督水平。在近红外光谱的采集过程中，由于样品性质的改变、实验条件变化、仪器测量误差以及人为测量误差等因素，均可能产生异常光谱数据；而异常光谱的存在影响着数据特征的表现，进而降低了光谱检测结果的可靠性。因此，识别并剔除异常样本是构建可靠的近红外分析模型的必要条件。常用的异常样本点剔除方法包括马氏距离(Mahalanobis Distance,MD)、杠杆值法和蒙特卡洛交叉验证等。然而在实际的油品快速检测过程中，考虑到不同炼油厂存在的不同生产工艺与掺假可能，同一油品光谱数据的差异往往不可避免。因此，简单的异常样本剔除往往并不可取，企业需要提供一个合适的判断标准(例如置信度不小于80％)完成样品的判定与筛选，这对于油品质量指标的快速检测与进一步的诊断分析至关重要。

然而，在近红外光谱分析技术领域，对于光谱数据的检测结果尚无成熟的置信度估计方法。在过程控制领域，由于基于主成分分析(Principle Component Analysis,PCA)的马氏距离(PCA-MD)的平方计算等同于霍特林T²，PCA-MD常被用于T²检验；通过T²的控制限与PCA-MD值平方的对比，可判断待测样本是否处于正常状态。在此基础上，结合T²统计量符合F分布的情况，可完成样本显著性水平的计算。因此，借助数据分布的思想，可通过计算近红外光谱数据PCA-MD的平方值，计算样本的显著性水平并进一步估计检测结果的置信度。

本发明针对油品的快速检测，提供一种基于马氏距离的近红外检测结果置信度估计方法，以方便实际应用时根据该置信度快速有效地完成样品合格与否判断，以确保分析结果的可靠性。

本发明基于主成分分析完成马氏距离的计算，在此基础上根据F分布得出显著性水平并完成待测样本检测结果的置信度估计。

该过程的实施具体包括以下步骤：

S1.光谱数据标准化处理，得到校正集光谱数据X；

S2.采取PCA-MD的T²检验剔除校正集中的异常样本，确保校正集光谱数据X均为正常样本；

S3.对校正集光谱数据X进行PCA分解后，结合测试集光谱数据X_test计算出待测样本与校正集样本马氏距离的平方值

S4.根据

服从F分布，计算出显著性水平α_test，随后得出近红外光谱检测结果的置信度c_test。

步骤S2包括：

S21：校正集光谱数据的PCA分解可表示为：

式中，T∈R^n×p为得分矩阵，n代表样本个数，p代表主成分个数，P∈R^m×p为负载矩阵，m代表变量个数；

S22：校正集光谱数据第i个样本PCA-MD值的平方可表示为：

其中，t_i代表得分矩阵T的第i个行向量，∑为T的协方差矩阵；

S23：T²控制限可表示为：

式中，α为显著性水平，控制限的置信度为1-α。此时，若

值小于控制限，判断为正常样本；若

值大于控制限，判断为异常样本。

步骤S3包括：

S31：剔除异常样本后，对校正集光谱数据X按照公式(1)进行PCA分解，更新负载矩阵P与得分矩阵T的协方差矩阵∑；

S32：待测样品集光谱数据得分矩阵的计算：

T_test＝X_testP (4)

式中，X_test为待测样品集，P为校正集负载矩阵；

S33：第i个待测样品与校正集间马氏距离的平方值

可表示为：

式中，t_test-i表示待测样品集得分矩阵T_test的第i个行向量。

步骤S4包括：

S41：根据自由度为p和n-p的F分布完成显著性水平α_test的计算，对于第i个测试集样本，显著性水平α_test-i可根据下式获得：

S42：对于第i个测试集样本，置信度水平c_test-i可表示为：

c_test-i＝1-α_test-i (7)

该方法的优势在于，根据马氏距离及由其得到的统计量服从F分布，为近红外光谱分析技术在实际应用时提供了对检测结果可靠性的置信度估计，为分析对象下一步定性诊断或定量分析结果有效性评估提供量化依据。

附图说明

图1是基于PCA-MD的近红外异常光谱置信度量化方法的流程图；

图2是采取PCA-MD的T²检验剔除校正集中异常样本的折线图；

图3是掺柴油的汽油近红外光谱的样本置信度估计折线图；

图4是模拟案例1的样本置信度估计折线图；

图5是模拟案例2的置信度估计折线图。

具体实施方案

该方法对油品近红外光谱检测结果进行置信度估计采取的技术方案是：

S1.光谱数据标准化处理，得到校正集光谱数据X；

S2.采取PCA-MD的T²检验剔除校正集中的异常样本，确保校正集光谱数据X均为正常样本；

S3.对校正集光谱数据X进行PCA分解后，结合测试集光谱数据X_test计算出待测样本与校正集样本马氏距离的平方值

S4.根据

服从F分布，计算出显著性水平α_test，随后得出近红外光谱检测结果的置信度c_test。

步骤S2包括：

S21：校正集光谱数据的PCA分解可表示为：

式中，T∈R^n×p为得分矩阵，n代表样本个数，p代表主成分个数，P∈R^m×p为负载矩阵，m代表变量个数；

S22：校正集光谱数据第i个样本PCA-MD值的平方可表示为：

其中，t_i代表得分矩阵T的第i个行向量，∑为T的协方差矩阵；

S23：T²控制限可表示为：

式中，α为显著性水平(一般设置为0.01或0.05)，控制限的置信度为1-α。此时，若值小于控制限，判断为正常样本；若

值大于控制限，判断为异常样本。

步骤S3包括：

S31：剔除异常样本后，对校正集光谱数据X按照公式(1)进行PCA分解，更新负载矩阵P与得分矩阵T的协方差矩阵∑；

S32：待测样品集光谱数据得分矩阵的计算：

T_test＝X_testP (4)

式中，X_test为待测样品集，P为校正集负载矩阵；

S33：第i个待测样品与校正集间马氏距离的平方值

可表示为：

式中，t_test-i表示待测样品集得分矩阵T_test的第i个行向量。

步骤S4包括：

S41：根据自由度为p和n-p的F分布完成显著性水平α_test的计算，对于第i个测试集样本，显著性水平α_test-i可根据下式获得：

S42：对于第i个测试集样本，置信度水平c_test-i可表示为：

c_test-i＝1-α_test-i (7)

实施例1：

以掺杂一定百分比柴油的汽油样品检测为例。通过型号为Thermo FisherAntarisⅡ的近红外光谱仪，对山东济南各主要炼油厂提供的柴油与汽油样本进行光谱采集，拟作为校正集。同时采集掺杂汽油的近红外光谱作为测试集。

S1.光谱数据标准化处理，得到校正集光谱数据X；

S2.采取PCA-MD的T²检验剔除校正集中的异常样本，确保校正集光谱数据X均为正常样本；

S3.对校正集光谱数据X进行PCA分解后，结合测试集光谱数据X_test计算出待测样本与校正集样本马氏距离的平方值

S4.根据

服从F分布，计算出显著性水平α_test，随后得出近红外光谱检测结果的置信度c_test。

通过MATLAB对上述方法进行仿真并结合图1，对本发明做进一步详述：

第一步：完成校正集与测试集样本划分与数据标准化处理。校正集包含81个纯汽油近红外光谱样本，测试集包括1个纯汽油光谱样本和10个分别掺杂了不同含量柴油的汽油光谱样本，柴油含量分别占比5.26％、5.88％、8.33％、9.09％、10％、11.11％、12.5％、14.29％、16.67％、20％。

第二步：对校正集光谱数据进行PCA模型分解，进而计算马氏距离的平方值随后根据T²控制限(α设置为0.05)判断有无异常样本点。由于汽油近红外光谱数据的变量(波长点)过多，此处选择前6个主成分对方差贡献率进行分析。根据表1可得出，通过PCA分解，主成分个数在超过3之后，累计方差贡献率无明显上升，所以选择3个主成分计算MD值并剔除异常值。由图2可知，红色虚线代表95％置信度控制限，样本53、54明显超出控制限的范围，因此判定为异常样本。剔除异常样本后，校正集样本个数为79。

表1 PCA模型主成分个数对贡献率及累计贡献率的影响

第三步：对剔除异常样本后的校正集进行PCA分解并更新负载矩阵P与得分矩阵T的协方差矩阵∑，之后结合测试集光谱数据X_test，完成测试集光谱数据得分矩阵T_test和测试集与校正集样本马氏距离的平方值

如表2可得出，剔除校正集异常样本后，PCA模型主成分的方差贡献率与累计方差贡献率有略微变化，根据累计方差贡献率无明显上升的准则，仍选3个主成分以更新负载矩阵P与得分矩阵T的协方差矩阵∑。

表2 PCA模型主成分个数对贡献率及累计贡献率的影响

第四步：根据

集合与自由度为3和76的F分布完成显著性水平α_test和置信度c_test的计算。如图3所示，测试集中纯汽油近红外光谱样本的置信度在90％以上；当掺杂5.26％的柴油之后，样本置信度快速下降至20％左右；当掺杂5.88％-11.11％的柴油之后，置信度下降趋势不明显，但均处于20％-35％之间，该状况可能由于实际操作中样品混合不均或汽油部分挥发所引起；当掺杂柴油含量超过11.11％之后，样本置信度由30％附近逐步下降至1％附近。

实施例2：

以单条光谱的配比模拟柴油与汽油的混合为例。采取型号为Thermo FisherAntarisⅡ的近红外光谱仪，对山东济南各主要炼油厂提供的柴油与汽油样本进行光谱采集。校正集为实施例1中的81个纯汽油近红外光谱样本，测试集的11个样本分别由1条汽油光谱和1条柴油光谱按照特定比例相加而成，柴油含量分别占比0％(纯汽油)、2％、4％、6％、8％、10％、12％、14％、16％、18％、20％。

通过MATLAB对上述方法进行仿真并结合图1，对本发明做进一步详述：

第一步：完成校正集与测试集的数据标准化处理。

第二步：对校正集光谱数据进行PCA模型分解，进而计算马氏距离的平方值

随后根据T²控制限(α设置为0.05)判断有无异常样本点。由于校正集与实施例1的校正集保持一致，因此仍选择3个主成分计算校正集的MD值并剔除异常值，剔除异常样本后，校正集样本个数为79。

第三步：对剔除异常样本后的校正集进行PCA分解并更新负载矩阵P与得分矩阵T的协方差矩阵∑，之后结合测试集光谱数据X_test，完成测试集光谱数据得分矩阵T_test和测试集与校正集样本马氏距离的平方值

如表2可得出，剔除校正集异常样本后，PCA模型主成分的方差贡献率与累计方差贡献率有略微变化，根据累计方差贡献率无明显上升的准则，仍选3个主成分以更新负载矩阵P与得分矩阵T的协方差矩阵∑。

第四步：根据

集合与自由度为3和76的F分布完成显著性水平α_test和置信度c_test的计算。如图4所示，随着掺杂柴油比例的上升，模拟测试集的样本置信度呈平滑下降曲线；掺柴油比例在2％-10％时，置信度下降速度较快，柴油占比达6％时，置信度下降至50％以下；随着掺柴油比例的继续增长，置信度下降速度逐渐变缓。

实施例3：

以多条光谱的配比模拟柴油与汽油的混合为例。首先采取型号为Thermo FisherAntaris Ⅱ的近红外光谱仪，对山东济南各主要炼油厂提供的柴油与汽油样本进行光谱采集。校正集为实施例1中的81个纯汽油近红外光谱样本，测试集的11个样本分别由多条汽油光谱和柴油光谱相加之后求均值得出，柴油含量分别占比0％、5％、10％、15％、20％、25％、30％、35％、40％、45％、50％。

通过MATLAB对上述方法进行仿真并结合图1，对本发明做进一步详述：

第一步：完成校正集与测试集的数据标准化处理。

第二步：对校正集光谱数据进行PCA模型分解，进而计算马氏距离的平方值

随后根据T²控制限(α设置为0.05)判断有无异常样本点。由于校正集与实施例1的校正集保持一致，因此仍选择3个主成分计算校正集的MD值并剔除异常值，剔除异常样本后，校正集样本个数为79。

第三步：对剔除异常样本后的校正集进行PCA分解并更新负载矩阵P与得分矩阵T的协方差矩阵∑，之后结合测试集光谱数据X_test，完成测试集光谱数据得分矩阵T_test和测试集与校正集样本马氏距离的平方值

如表2可得出，剔除校正集异常样本后，PCA模型主成分的方差贡献率与累计方差贡献率有略微变化，根据累计方差贡献率无明显上升的准则，仍选3个主成分以更新负载矩阵P与得分矩阵T的协方差矩阵∑。

第四步：根据

集合与自由度为3和76的F分布完成显著性水平α_test和置信度c_test的计算。由图5可知，随着掺柴油比例的上升，测试集样本置信度呈整体下降趋势。当掺柴油比例在5％-15％时，置信度下降速度最快；掺柴油比例在15％-25％时，置信度下降速度逐渐变缓；掺柴油比例在25％-50％时，置信度接近于0，无明显变化。

通过3个实施案例可知，随着汽油中掺柴油比例的上升，检测样品的置信度整体呈下降趋势，这体现了该方法采用数据分布来判别近红外检测结果是否异常的有效性。通过马氏距离与F分布所提供的样品显著性水平与置信度估计，可将置信度与企业的判断标准进行对比；若置信度不小于判断标准，则认为样品近红外检测结果正常，若置信度小于判断标准，则认为可疑，需进一步完成质量指标的测定。因此，该方法有效保障了近红外光谱检测结果的可靠性。

以上实施例仅供说明本发明之用，而非对本发明的限制，有关技术领域的技术人员，在不脱离本发明的精神和范围的情况下，所作出各种变换或变型，均属于本发明的范畴。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前下，本发明还会有各种变化和改进，本发明要求保护范围由所附的权利要求书、说明书及其等效物界定。