一种土壤总氮的红外光谱分析方法
阅读说明：本技术 一种土壤总氮的红外光谱分析方法 (Infrared spectroscopic analysis method for total nitrogen in soil ) 是由 冷庚 刘哲 许文波 贾海涛 罗欣 常乐 于 2021-08-27 设计创作，主要内容包括：本发明属于土壤总氮含量分析技术领域,具体涉及一种土壤总氮的红外光谱分析方法。本发明的分析方法包括如下步骤：步骤1,采集土壤样品的近红外光谱,得到近红外光谱数据；步骤2,通过SG平滑算法对所述近红外光谱数据进行预处理；步骤3,通过预测模型对经过步骤2预处理后的近红外光谱数据进行预测,得到总氮含量结果。本发明在对土壤总氮的红外光谱分析方法中加入了预处理步骤,同时对预处理算法、建模算法、建模参数等进行了优选,能够提高模型预测土壤总氮含量的准确性,在农业、环保和生物研究等领域具有很好的应用前景。(The invention belongs to the technical field of soil total nitrogen content analysis, and particularly relates to an infrared spectrum analysis method of soil total nitrogen. The analysis method of the invention comprises the following steps: step 1, collecting a near infrared spectrum of a soil sample to obtain near infrared spectrum data; step 2, preprocessing the near infrared spectrum data through an SG smoothing algorithm; and 3, predicting the near infrared spectrum data preprocessed in the step 2 through a prediction model to obtain a total nitrogen content result. According to the invention, a pretreatment step is added in the infrared spectrum analysis method of the soil total nitrogen, and a pretreatment algorithm, a modeling algorithm, modeling parameters and the like are optimized, so that the accuracy of predicting the soil total nitrogen content by a model can be improved, and the method has a good application prospect in the fields of agriculture, environmental protection, biological research and the like.)
技术领域
本发明属于土壤总氮含量分析技术领域，具体涉及一种土壤总氮的红外光谱分析方法。
背景技术
土壤中营养元素的含量不仅影响植被和农作物的生长，同时还会影响区域生态质量以及动植物种群的分布。因此，对土壤中营养元素的测定已成为现代环境科学、农业科学以及生态学等领域的迫切需求。
氮是许多生物进行生化反应所需要的基本元素，是构成DNA、RNA等生物分子的四种基本元素之一，同时其也是蛋白质的组成元素之一。氮元素还在植物的光合作用中起作用，它在相关化学反应中用来制造叶绿素分子。土壤氮(总氮)可以促进农作物叶、根和茎的生长发育，因此总氮能够影响农作物生长的品质。因此，土壤的总氮含量的测定对农作物生长、相关科学研究和环境监控等是非常重要的。
目前，普遍用于土壤中总氮分析的国家标准方法(HJ 717-2014)为一种基于实验室分析的化学方法，该方法虽然能够准确分析土壤中的总氮含量，但是却存在分析速度慢、操作复杂、分析成本高、容易造成二次污染，并且很难应用于野外现场分析。
因此，人们开始开发其他的土壤总氮分析技术。近红外光谱法是一种基于光谱技术的物理分析法，具有分析速度快、低成本、无试剂消耗、以及能实现多组分同时测定，并且仪器小巧轻便，可适用于野外分析等优点受到人们的广泛关注。中国发明专利申请“CN108982406A一种基于算法融合的土壤氮素近红外光谱特征波段选取方法”公开了一种利用近红外光谱数据分析土壤总氮含量的方法，该方法中利用向后区间偏最小二乘法BIPLS与竞争自适应权重采样法CARS融合的方式，分别选择出土壤的近红外光谱特征区间与特征变量，对两种算法的结果进行优化融合后确定该土壤的近红外光谱特征区间；再次用PLS算法建立特征波段光谱与土壤氮素含量之间的预测模型。
通常土壤中化学成分复杂，且氮元素相对于其他大量含有的元素属于含量较低的元素。因此在测量土壤的近红外光谱吸收时，会发现与含氮化合物相关的吸收强度都比较小，且容易被噪音或其他波峰干扰或叠加。因此若直接对近红外光谱的原始谱图进行分析，将难以获得准确的土壤总氮分析结果。
发明内容
针对现有技术的缺陷，本发明提供一种土壤总氮的红外光谱分析方法，目的在于对土壤总氮含量进行准确的分析。
一种土壤总氮的红外光谱分析方法，包括如下步骤：
步骤1，采集土壤样品的近红外光谱，得到近红外光谱数据；
步骤2，通过SG平滑算法对所述近红外光谱数据进行预处理；
步骤3，通过预测模型对经过步骤2预处理后的近红外光谱数据进行预测，得到总氮含量结果。
优选的，所述土壤样品采集自成都平原。
优选的，步骤3包括如下步骤：采用全波长预测模型对所述预处理后的近红外光谱数据进行预测，得到总氮含量结果；所述全波长预测模型通过PLSR算法或ANN算法建模得到。
优选的，所述全波长预测模型通过PLSR算法建模得到。
优选的，所述PLSR算法的主成分数量设置为10。
优选的，步骤3包括如下步骤：
步骤3A，采用CARS算法或Random-frog算法从所述预处理后的近红外光谱数据中选择特征波长，获得特征波长范围内的近红外光谱数据；
步骤3B，采用特征波长预测模型对所述特征波长范围内的近红外光谱数据进行预测，得到总氮含量结果；所述特征波长预测模型通过PLSR算法建模得到。
优选的，所述特征波长为1430±1nm、1431±1nm、1435±1nm、1442±1nm、1445±1nm、1456±1nm、1461±1nm、1465±1nm、1477±1nm、1482±1nm、2873±1nm、2885±1nm、2909±1nm和2920±1nm；
或所述特征波长为1430±1nm、1431±1nm、1435±1nm、1442±1nm、1445±1nm、1456±1nm、1461±1nm、1465±1nm、1477±1nm、1482±1nm、2873±1nm、2885±1nm、2909±1nm和2920±1nm。
本发明还提供一种计算机设备，用于土壤总氮的红外光谱分析，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述土壤总氮的红外光谱分析方法。
本发明还提供一种土壤总氮的红外光谱分析系统，包括：
红外光谱采集和/或输入装置，用于采集和/或输入近红外光谱数据；
上述计算机设备，用于分析近红外光谱数据，得到总氮含量结果。
本发明还提供一种计算机可读存储介质，其特征在于：其上存储有计算机程序，所述计算机程序用于实现上述土壤总氮的红外光谱分析方法。
本发明对土壤总氮的红外光谱分析方法进行了改进，在通过模型进行预测前加入了红外光谱数据的预处理步骤，同时，本发明还对预处理算法、模型建模方法等进行了优化。通过对预测结果的相关系数、决定系数、均方根误差和相对分析误差等参数进行比较可知，本发明的方法用于预测土壤总氮含量具有更好的准确性。
显然，根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，还可以做出其它多种形式的修改、替换或变更。
以下通过实施例形式的
具体实施方式
，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。凡基于本发明上述内容所实现的技术均属于本发明的范围。
附图说明
图1为土壤样品的近红外光谱原始数据；
图2为通过SG平滑算法处理后的近红外光谱数据；
图3为通过移动平均法处理后的近红外光谱数据；
图4为通过一阶导数法处理后的近红外光谱数据；
图5为通过二阶导数法处理后的近红外光谱数据；
图6为通过标准正态变化处理后的近红外光谱数据；
图7为实验例2中ANN网络的结果示意图；
图8为实验例2中建模算法为MLR的预测结果；
图9为实验例2中建模算法为PCR的预测结果；
图10为实验例2中建模算法为PLSR的预测结果；
图11为实验例2中建模算法为SVR的预测结果；
图12为实验例2中建模算法为ANN的预测结果；
图13为实验例3中特征波长选择算法为CARS的预测结果；
图14为实验例3中特征波长选择算法为Random-frog的预测结果。
具体实施方式
需要特别说明的是，实施例中未具体说明的数据采集、传输、储存和处理等步骤的算法，以及未具体说明的硬件结构、电路连接等均可通过现有技术已公开的内容实现。
实施例1通过全波长预测模型进行土壤总氮的分析
一种土壤总氮的红外光谱分析方法，包括如下步骤：
步骤1，采集土壤样品的近红外光谱，得到近红外光谱数据。
具体方法为：烘干土壤样品，烘干条件为105℃，烘干10小时。将溴化钾放在研钵里研磨成粉末状，再把烘干后的土壤样品加入研钵里一起研磨，再放入压片机里面压片。压片完成之后，把成品放在傅立叶红外光谱仪之中检测(仪器需要先开机10分钟预热)。每个样品测3次，取平均值。按照此方法检测从成都平原(崇州示范区农田)采集的一批样品的近红外光谱结果如图1所示。
步骤2，通过SG平滑算法对所述近红外光谱数据进行预处理。SG平滑算法，即Savitzky-Golsy卷积平滑法，可通过现有软件MATLAB实现。步骤1采集得到的红外光谱数据经SG平滑算法预处理后的结果如图2所示。
步骤3，采用全波长预测模型对所述预处理后的近红外光谱数据进行预测，得到总氮含量结果。
其中，所述全波长预测模型通过PLSR算法建模得到，PLSR算法的主成分数量设置为10。PLSR算法，即偏最小二乘回归算法(Partial least squares regression)，属于现有技术。在建模过程中对样本的进行模型训练集和验证集的划分。将训练集和验证集按照7：3的比例进行划分，即70％的土壤样本做为训练集，30％的土壤样本作为验证集。建模所需要的土壤样本的近红外光谱通过步骤1的方法进行采集并通过步骤2的方法进行预处理，建模所需要的土壤样本的总氮含量通过现有国家标准方法(HJ 717-2014)进行检测。
实施例2通过特征波长预测预测模型进行土壤总氮的分析
一种土壤总氮的红外光谱分析方法，包括如下步骤：
步骤1，采集土壤样品的近红外光谱，得到近红外光谱数据。
具体方法为：烘干土壤样品，烘干条件为105℃，烘干10小时。将溴化钾放在研钵里研磨成粉末状，再把烘干后的土壤样品加入研钵里一起研磨，再放入压片机里面压片。压片完成之后，把成品放在傅立叶红外光谱仪之中检测(仪器需要先开机10分钟预热)。每个样品测3次，取平均值。按照此方法检测从成都平原(崇州示范区农田)采集的一批样品的近红外光谱结果如图1所示。
步骤2，通过SG平滑算法对所述近红外光谱数据进行预处理。SG平滑算法，即Savitzky-Golsy卷积平滑法，可通过现有软件MATLAB实现。步骤1采集得到的红外光谱数据经SG平滑算法预处理后的结果如图2所示。
步骤3A，采用CARS算法从所述预处理后的近红外光谱数据中选择特征波长，获得特征波长范围内的近红外光谱数据。CARS算法，即竞争性自适应加权算法，属于现有技术。
本实施例中选择的特征波长为1430nm、1431nm、1435nm、1442nm、1445nm、1456nm、1461nm、1465nm、1477nm、1482nm、2873nm、2885nm、2909nm和2920nm。
步骤3B，采用特征波长预测模型对所述特征波长范围内的近红外光谱数据进行预测，得到总氮含量结果。
其中，所述特征波长预测模型通过PLSR算法建模得到。PLSR算法的主成分数量设置为8。在建模过程中对样本的进行模型训练集和验证集的划分。将训练集和验证集按照7：3的比例进行划分，即70％的土壤样本做为训练集，30％的土壤样本作为验证集。建模所需要的土壤样本的近红外光谱通过步骤1的方法进行采集并通过步骤2的方法进行预处理，建模所需要的土壤样本的总氮含量通过现有国家标准方法(HJ 717-2014)进行检测。
为了说明本发明的技术效果，下面通过实验例对本发明的技术方案作进一步的说明。
以下实验例中，比较不同方法的优劣的主要统计参数包括：相对分析误差(Residual Predictive Deviation，RPD)、决定系数R2、均方误差(Mean square error，MSE)、均方根误差(Root mean square error，RMSE)和相关系数R。
实验例1预处理方法的比较及PLSR算法建模中主成分数量的选择
1、预处理方法
本实验例在实施例1的方法的基础上，改变步骤2中预处理的方法，所用的预处理方法有：SG平滑算法、移动平均法、一阶导数法、二阶导数法和标准正态变化(SNV)。预处理后的光谱数据如图2-6所示。上述预处理方法均属于现有技术，可通过软件MATLAB实现。
2、PLSR算法建模中主成分数量
根据PLSR算法的建模步骤，需要在建模过程中确定主成分的数量，这是该算法非常重要的一步，根据矩阵理论相关知识，成分排列顺序代表着得分因子提取相关数据信息量的大小，越靠前的成分占数据信息量比重越大。因此确定成分的个数就显得尤为重要，太多的成分会导致失去降维这一手段，反而带来很多无用的噪声，从而影响数据预测模型，导致过拟合。而过少的成分则会丢失光谱中很多有用的信息，严重影响模型的预测效果和精确度。
本实验例通过将变量中解释的方差百分比绘制为成分数量的函数的方法进行选择，初步选出优选的主成分数量范围为6～10个。针对上述不同的预处理方法，主成分数量还应当在6～10的范围内分别进一步进行优选。
3、结果比较
各预处理方法建立的最佳模型对土壤总氮预测结果的RMSE和R2如表1所示。其中，表中所示的主成分数量为通过RMSE和R2比较后，各预处理方法的最优选结果。
表1不同预处理方法土壤总氮建模结果
从上表中可以看出，预处理选择SG平滑算法，主成分数量设置为10时，建立的模型的验证集的RMSE相较于其他预处理方法建立的模型更低，且验证集的R2相较于其他预处理方法建立的模型更接近1。这表明该预测模型更加准确。由此可知，预处理选择SG平滑算法，以及主成分数量设置为10较优的选择。
实验例2全波长预测模型建模算法的比较
1、建模算法
本实验例在实施例1的方法的基础上，改变步骤3中的建模算法，比较建模结果的预测准确性。所比较的建模算法有：多元线性回归算法(MLR)、主成分回归建模分析(PCR)、偏最小二乘回归算法(PLSR)、支持向量机回归建模分析(SVR)和人工神经网络算法(ANN)，上述方法的具体算法均为现有技术，可在软件MATLAB中实现。
具体的：
(1)多元线性回归算法(MLR)
将光谱数据作为输入变量，总氮含量作为输出值。样本划分成训练集和测试集，比例为7：3。多元线性回归模型算法的具体实现是在matlab里面调用regress函数实现。
(2)主成分回归建模分析(PCR)
依据主成分回归算法的实验步骤，第一步，对数据进行标准化处理；第二步是确定主成分的数量，最后是使用确定好的主成分数量进行回归分析，具体实验步骤在matlab里面调用zscore函数，pca函数，regress函数进行处理。依据成分数所占方差百分比变化趋势图，当成分数达到9个以上时，所占方差比达到接近100％；均方误差在成分数为9个以后趋于平缓稳定，综合来看主成分数量优选的取值为10个。
(3)偏最小二乘回归算法(PLSR)
根据偏最小二乘算法的实验步骤，第一步是对数据进行标准化处理；第二步是确定要提取的成分数量，由于Y矩阵只有总氮含量一个变量，所以不需要对Y矩阵进行变量提取；第三步是使用确定好的成分量进行回归分析。根据实验例1的结果，主成分数量取10个。具体实验步骤在matlab里面使用zcore函数，Plsregress函数等进行计算分析。
(4)支持向量机回归建模分析(SVR)
本算法通过Matlab的libsvm库实现，其中核函数选用径向基函数，惩罚因子值为9.38，gamma值为5。
(5)人工神经网络算法(ANN)
本算法在Matlab中实现。样本集划分方式采用了随机划分法，训练集、验证集、测试集分别按照7：1.5：1.5的比例划分。隐藏层的层数是默认是10，外加一个输出层，具体网络结构如图7所示。图中，input代表着变量输入在本实验中代表着近红外光谱矩阵，1272是变量个数，在本实验中代表着光谱波长数目。w是权向量，b是偏置系数，output为土壤样本含氮量的预测值。训练次数最佳值为10。
2、建模结果
MLR、PCR、PLSR、SVR和ANN的预测结果分别如图8-12所示。
具体的各建模算法对测试集的预测结果如表2所示。
表2不同光谱建模算法建模结果
对比上表中的相关系数R、决定系数R2、均方根误差RMSE和相对分析误差RPD等评价指标。PLSR和ANN两种算法的各项指标均优于另外三种算法。因此，可认为PLSR算法和ANN算法较优。此外，虽然ANN算法相关系数0.933高于PLSR的相关系数0.883，但是PLSR的均方根误差55.97mg/kg明显小于ANN的均方根误差85.13mg/kg，均方根误差代表着模型预测值与实测值之间的偏差，且PLSR的相对分析误差也高于ANN。综上所述，PLSR算法建立的模型预测性能最佳。
实验例3特征波长选择算法比较
1、特征波长选择算法
本实验例在实施例2的方法的基础上，改变步骤3中的特征波长选择算法，比较建模结果的预测准确性。所比较的特征波长选择算法有：竞争自适应重加权算法(CARS)和随机蛙跳算法(Random-frog)，上述方法的具体算法均为现有技术。
具体的：
(1)竞争自适应重加权算法(CARS)
在Matlab中利用carspls函数实现。在迭代次数为27时停止模型迭代。依据此时迭代模型的结果，提取了10个特征波段，分别是：1431nm、1442nm、1445nm、1477nm、1482nm、2650nm、2758nm、2838nm、2858nm、2870nm、2915nm和2920nm。
(2)随机蛙跳算法(Random-frog)
在Matlab中利用randomFrog函数实现。选取得特征波长分别是1430nm、1431nm、1435nm、1442nm、1445nm、1456nm、1461nm、1465nm、1477nm、1482nm、2873nm、2885nm、2909nm和2920nm。
2、预测结果
采用CARS和Random-frog选择的特征波长进行预测的结果如图13、14所示。
具体对验证集的预测，特征波长选择算法采用CARS时，相关系数R＝0.889，相关系数值较高，决定系数R2＝0.791，均方根误差的数值为65.94mg/kg。RPD值为5.76，大于2.5，说明模型可以用来定量预测分析。
特征波长选择Random-frog时，相关系数R＝0.871，相关系数值较高，决定系数R2＝0.759，均方根误差的数值为69.17mg/kg。RPD值为5.31，大于2.5，说明模型可以用来定量预测分析。
以上结果表明，CARS和Random-frog两种特征波长选择算法均能够使用，其中CARS较优。
实验例4全波长预测模型与特征波长预测模型的对比
本实验例比较全波长预测模型与特征波长预测模型的性能，具体的对实施例1和实施例2的预测模型进行对比。
实施例1对验证集预测结果的R＝0.883，RMSE＝55.97mg/kg，RPD值为6.46；实施例2对验证集预测结果的R＝0.889，RMSE＝65.94mg/kg，RPD值为5.76。
其中，两个实施例的R值几乎一致，而RMSE和RPD值为实施例1较优，由此可知，本发明在加入预处理步骤后，全波长预测模型(实施例1)具有更优的预测性能。
通过上述实施例和实验例可见，本发明在对土壤总氮的红外光谱分析方法中加入了预处理步骤，同时对预处理算法、建模算法、建模参数等进行了优选。通过本发明的方法，能够提高模型预测土壤总氮含量的准确性，因而在农业、环保和生物研究等领域具有很好的应用前景。