阅读说明：本技术 一种基于气体传感器与深度学习的气味识别方法 (Odor identification method based on gas sensor and deep learning ) 是由 刘欢 方聪 李华曜 白翔 李龙 唐江 于 2020-03-27 设计创作，主要内容包括：本发明公开了一种基于气体传感器与深度学习的气味识别方法,通过气体传感器阵列获取待测气味的响应曲线簇,并将该原始数据直接作为气味识别深度神经网络的输入样本,对其进行数据预处理与数据扩增,利用深度学习自动提取时间序列响应数据层次化特征,同时进行全局特征提取和长程动态特征提取,并通过分类器输出气味标签,实现高灵敏、特异性气味识别。本发明方法具有高灵敏度、高可靠性,可广泛应用于工业生产、医疗、环境和安全等领域。(The invention discloses a smell identification method based on a gas sensor and deep learning, which is characterized in that a response curve cluster of a smell to be detected is obtained through a gas sensor array, the original data is directly used as an input sample of a smell identification deep neural network, data preprocessing and data amplification are carried out on the input sample, time series response data hierarchical characteristics are automatically extracted by utilizing the deep learning, global characteristic extraction and long-range dynamic characteristic extraction are simultaneously carried out, and a smell label is output through a classifier, so that high-sensitivity and specific smell identification is realized. The method has high sensitivity and high reliability, and can be widely applied to the fields of industrial production, medical treatment, environment, safety and the like.)

一种基于气体传感器与深度学习的气味识别方法

技术领域

本发明属于人工嗅觉技术领域，更具体地，涉及一种基于气体传感器与深度学习的气味识别方法。

背景技术

基于气体传感器构建的电子鼻是一种典型的便携式人工嗅觉系统，通过传感器阵列与气氛的反应产生信号，结合模式识别技术能够识别简单和复杂的气味，与常见实验室气体成分分析方法(如电化学法、光学法、色谱分离法等)相比，具有使用便捷、价格低廉和易于普及的特点，适于各类气体/气味的现场快速检测和分布式在线监测，已在食品工业、农业生产、环境监测等领域取得实际应用。例如，利用电子鼻检测食物变质过程中产生的气氛来鉴定食物的新鲜程度，识别酿酒过程中产生的气味不同控制酿造过程，根据烟叶气味的不同鉴定烟叶等级，检测人体呼出气体中疾病标志物来预测有关疾病等，进一步提高现场环境适应性和识别准确率是人工嗅觉技术发展趋势。

随着各类“生物启发式”传感器和人工智能算法技术的显著突破，人工视觉、听觉和触觉系统的性能已达到甚至超越了人类。与人类嗅觉系统中成千上万个气味感受器相比，由于气体传感器体积和功耗的限制，当前电子鼻人工嗅觉系统气体传感器数量十分有限，而且模式识别技术主要依赖对气体传感器数据特征的人工提取，仅提取灵敏度、响应时间等片面特征作为神经网络的输入数据，缺乏专门针对气味传感器阵列原始信号的有效特征提取手段，无法为深度学习算法提供系统、全面的大数据以挖掘高层次、抽象的气味特征。因此，与基于光学、声学等物理量传感的图像、语音智能识别相比，基于气体传感器与深度学习的人工嗅觉系统发展严重滞后。

中国发明专利《一种便携式智能电子鼻系统及气味识别方法》(公布号：CN106841308A，公布日：2017年6月13日)采用差分法从响应曲线中提取特征，再采用主元成分分析(PCA)等降维算法对提取出来的特征进行降维。一方面，这种方法在对原始数据进行预处理、特征提取和降维过程中，信息压缩率很高，往往会丢失很多可区分性特征，限制了后续的分类器性能；同时，这种方法虽然可将复杂的母问题分解为简单、可控且结构清晰的若干子问题，但只能在各个子问题上寻求最优解，而无法得到母问题的全局最优解，从而导致其泛化性能和解决复杂问题的能力有限。

2019年第1期《Sensors》发表的论文“Development of a LeNet-5 GasIdentification CNN Structure for Electronic Noses”和2019年第7期《IEEE Access》发表的论文“A Fast and Robust Gas Recognition Algorithm Based on HybridConvolutional and RecurrentNeural Network”中都采用二维卷积神经网络对原始信号进行特征提取。这种处理方式有两个弊端：第一，气体传感器阵列的响应曲线是多维时间序列信号，与二维图像不同，来自不同传感器单元的一维时间序列信号之间并没有空间相关性，不适合采用二维卷积进行特征提取；第二，二维卷积相较一维卷积具有更高的时间复杂度和空间复杂度，会带来计算和存储成本的增加。

2020年第2期《Nature Machine Intelligence》发表的论文“Rapid OnlineLearning and Robust Recall in a Neuromorphic Olfactory Circuit”中报道一种用神经形态芯片来模拟生物嗅觉行为的方法。该方法基于网络公开的气体传感器数据库，从多个金属氧化物气体传感器的响应时序信号原始数据中截选出30-180s的响应数据(间隔时间为5s)，经过简单的数据量化处理降低信号复杂度，通过英特尔公司开发的Loihi神经形态芯片模拟生物嗅觉器官嗅小球处理量化后的信号并输出气味识别结果。该方法对传感器阵列响应信号的原始数据采集和量化进行了简化处理，以满足Loihi芯片的处理和计算能力，因此对于复杂气氛与差异较小的气氛的识别上准确度较低。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于气体传感器与深度学习的气味识别方法，其目的在于处理时间序列信号多通道间的空间无关性问题，以及解决现有基于二维卷积核的人工嗅觉系统气味识别网络无法建模单通道时间序列信号的长程联系问题，此外，还解决传感器基线漂移和环境因素变化对识别准确率的影响问题。

为实现上述目的，采用气体传感器阵列、信号采集模块构建人工嗅觉系统硬件基础，并将该原始数据直接作为气味识别深度神经网络的输入样本。基于气体传感器与深度学习的气味识别方法的步骤具体包括：

(1)通过气体传感器阵列获取待测气味的响应曲线簇；

(2)对所述响应曲线簇进行数据预处理和数据扩增得到传感信号；

(3)对所述传感信号进行骨干网络多维时间序列信号特征提取，同时进行全局特征提取和长程动态特征提取；

(4)进行多模态特征融合和分类，完成待测气味的识别。

优选地，在数据预处理和数据扩增中，为了有效提取多维时间序列信号特征方面，本发明采用一维残差网络并结合通道和时间注意力机制，使骨干网络自动提取适用于气味分类任务的特征。

在复杂测量条件下获得鲁棒的气味识别性能方面，本发明主要数据预处理和扩增方法具体为：

(21)基于滑动窗口的数据裁剪。原始数据集包含N个原始数据样本和对应的标签，其中每个原始样本包含K个气体传感器单元；每个原始样本T_i中包含多个窗口切片，窗口切片定义为其中i为窗口切片起始时刻的时间标签，j为结束时刻的时间标签。

采用长度为s的窗口在长度为n的原始样本上滑动，得到m+1个时序切片：Slicing(T,s)＝{S_1：s,S_1+p：s+p,…,S_{1+p*m：s+p*m}}，其中所有窗口切片的标签均与原始样本相同，p为窗口滑动步长，0≤(n-s-p*m)＜p；原始数据集的样本数量扩增至N×(m+1)；

(22)数据归一化。对数据扩增后的原始数据集进行归一化，

(23)像素级倒数变换。对归一化后的原始数据集中的部分通道进行倒数变换：其中k为需要进行倒数变换的传感器单元编号；

(24)通道级随机尺度变换。将前述处理后的原始数据集划分为训练集和测试集，对训练集中的每个样本进行随机尺度变换，将训练集在样本数量上扩增M倍，M为随机尺度变换的次数；

(25)像素级幂函数变换。对训练集和测试集中每个样本进行像素级幂函数变换：将每个样本的通道数从K扩增为K×(q+1)，其中K为气体传感器阵列气敏单元个数，q为幂函数的个数。

优选地，所采用的多维时间序列信号特征提取骨干网络为多阶段一维残差块，每个一维残差块包含多个残差瓶颈结构，每个瓶颈结构采用3个串联的一维卷积层对多维时间序列信号进行特征提取，其卷积核依次为1×1、3×1、1×1，每个一维卷积层后跟随批量归一化层和ReLU激活层。

优选地，在每个残差瓶颈结构的顶部加入了通道和时间注意力模块；通道注意力模块和时间注意力模块采用串联或并联方式进行排列，当采用并联方式排列时，改善后的特征图采用像素级加法运算进行融合；

通道注意力模块的输入为前一层的特征图F，输出为其中为逐点乘法；通道注意力图M_C(F)由下式得到：

其中，AvgPool和MaxPool分别为平均池化操作和最大池化操作，MLP表示权值共享的多层感知机，W₀∈R^C/r×C和W₁∈R^C×C/r表示MLP的权值，r为压缩率，“+”表示逐点加法，σ表示sigmoid激活函数；

时间注意力模块的输入为前一层的特征图F，输出为通道注意力图M_T(F)由下式得到：

其中，AvgPool和MaxPool分别为平均池化操作和最大池化操作，f^7×1表示权值共享的多层感知机，“；”表示通道上的连接。

为实现上述目的，在建模时间序列信号长程联系方面，本发明采用两个分支网络同时提取互补性的全局静态特征和长程动态特征，既保留了与人工特征工程方法对应的全局信息，又增加了长程时序信息，融合后的特征能有效提升气味识别性能。全局特征提取网络分支采用全局平均池化操作，计算每个通道时间序列信号的平均值，其输出为一维特征向量，特征向量的长度与上一层网络输出特征图的通道数一致；长程动态特征提取网络分支采用长短时记忆网络对多维时间序列信号中的长程联系进行建模，其输出为一维特征向量；最后，多条网络分支输出的一维特征向量融合到一起后作为本阶段的输出。

优选地，深度神经网络将交叉熵损失函数的输出作为反馈信号，采用反向传播算法对每层网络的权值进行微调，通过这种迭代的方式不断提高气味识别精度。同时，通过分析各个传感器对于识别结果的贡献度，辨认出适用于上述目的的传感器类型，优化气体传感器阵列的组合方式，为开发新传感器提供依据。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：

(1)本发明利用深度学习自动提取气体传感器阵列对不同气味的时序响应数据层次化特征，采用多个分支网络同时提取互补性的全局静态特征和长程动态特征，融合后的特征大大提高了气味识别性能，再通过分类器输出气味标签，实现高灵敏、特异性气味识别；

(2)本发明提出了一种新颖的带有残差连接和通道、时间注意力机制的一维卷积骨干网络，使原始信号获得可区分性的中间表示，该方法具有能“虚拟”扩增传感器数目及运算效率高的特点，同时可以避免传统方法人工提取特征时信息丢失的缺点；

(3)本发明将气体传感器阵列原始响应曲线簇输入气味识别网络，确保了气味信息的完整性，同时采用一系列数据预处理和扩增技术，使数据更适用于层次化特征提取。

附图说明

图1是本发明提供的基于一维卷积神经网络和递归神经网络的人工嗅觉系统气味识别方法的整体流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种基于气体传感器与深度学习的气味识别方法，如图1所示，步骤具体包括：

(1)通过气体传感器阵列获得待测气味的响应曲线簇；

(2)对所述响应曲线簇进行数据预处理和数据扩增得到传感信号；

(3)对所述传感信号进行骨干网络多维时间序列信号特征提取，同时进行全局特征提取和长程动态特征提取；

(4)进行多模态特征融合和分类，完成待测气味的识别。

主要有四个实现部分：1)通过气体传感器阵列获得气味响应曲线簇；2)数据预处理和扩增；3)多通道时序信号特征提取骨干网络；4)全局静态特征和长程动态特征提取分支网络；5)分类器和损失函数。接下来将对本发明中步骤进行详细地说明。

本发明采用气体传感器阵列、信号采集模块构建人工嗅觉系统硬件，包括采样系统(气泵)、气体传感器阵列(包含6个半导体气体传感器)和数据采集模块(数据采集卡)。

数据预处理和扩增流程主要包含以下步骤：

(21)原始数据集包含N个原始数据样本和对应的标签，其中每个原始样本包含K个传感器单元。每个原始样本T_i中包含多个窗口切片，窗口切片定义为 其中i为窗口切片起始时刻的时间标签，j为结束时刻的时间标签。

采用长度为s的窗口在长度为n的原始样本上滑动，得到m+1个时序切片：Slicing(T,s)＝{S_1：s,S_1+p：s+p,…,S_{1+p*m：s+p*m}}，其中所有窗口切片的标签均与原始样本相同，p为窗口滑动步长，0≤(n-s-p*m)＜p。原始数据集的样本数量扩增至N×(m+1)。

(22)对样本数量扩增后的数据集进行归一化：

(23)对归一化后数据集样本中的部分通道进行倒数变换：其中k为需要进行倒数变换的传感器单元编号。

(24)将预处理和扩增后的数据集划分为训练集和测试集，对训练集中的每个样本进行随机尺度变换：S′_t＝λ·S_t,λ∈(1,1.1)。

(25)对训练集和测试集中每个样本进行像素级幂函数变换： 将每个样本的通道数从K扩增为K×(q+1)，其中K为气体传感器阵列气敏单元个数，q为幂函数的个数。

对于多通道时间序列信号特征提取，通过交叉熵损失函数来训练整个网络，包含一维残差网络、时间注意力机制和通道注意力机制；

(1)一维残差网络：一维残差网络与二维版本类似，包含第一个一维卷积层和多个重复的阶段。每个阶段堆叠多个一维残差块。每个残差块的结构堆叠多个带有批量归一化和ReLU激活层的1×1卷积层和3×1卷积层，并形成瓶颈结构。

(2)通道注意力机制：对于一维特征图F，对其进行逐点乘法：

通道注意力图M_C(F)由下式得到：

其中AvgPool和MaxPool分别为时间轴上的平均池化操作和最大池化操作，MLP表示权值共享的多层感知机，W₀∈R^C/r×C和W₁∈R^C×C/r表示MLP的权值，r为压缩率，“+”表示逐点加法，σ表示sigmoid激活函数。

(3)时间注意力机制：对于一维特征图F，对其进行逐点乘法：

时间注意力地图M_T(F)由下式得到：

其中AvgPool和MaxPool分别为通道上的平均池化操作和最大池化操作，f^7×1表示权值共享的多层感知机，“；”表示通道上的连接。

(4)通道注意力机制和时间注意力机制可以采用串行或并行的方式进行排列，并集成到每个一维残差块中。

对于全局静态特征和长程动态特征提取，一方面，采用一维全局平均池化操作将一维多通道特征图转化为一维特征向量，特征向量的长度与上一层网络输出特征图的通道数一致，从而得到每个通道的全局信息；另一方面，首先，采用平均池化操作，提取高层语义特征并扩大感受野，然后，将长度缩短后的一维多通道特征图输入到长短时记忆网络，得到包含长程动态信息的一维特征向量。最后，将信息互补的特征向量连接到一起，作为分类器的输入。

采用三个全连接层和一个SoftMax层对融合后的全局静态特征和长程动态特征进行分类，输出每个类别的预测概率P＝{p₁,p₂,…,p_c}，其中c为类别总数。采用交叉熵损失函数监督气味识别网络进行训练。

本发明提出了一种基于气体传感器与深度学习的气味识别方法。采用一维残差网络能够很好地提取多维时间序列信号特征，便于后续的全局特征和长程特征提取。此外，采用通道和时间注意力网络来学习一种更具有区分度的多维时间序列信号特征表示，使之对测量噪声有很好的鲁棒性。为了进一步提高识别精度，采用全局池化支路和递归神经网络支路提取并融合互补性特征。基于这些操作，本发明不仅实现了较高的识别精度，而且能够实时地进行气味识别。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。