一种基于图像处理的驾驶员心率识别方法
阅读说明：本技术 一种基于图像处理的驾驶员心率识别方法 (Image processing-based driver heart rate identification method ) 是由 陈昌川 刘凯 王海宁 代少升 刘科征 吴占杰 于 2021-06-10 设计创作，主要内容包括：本发明的内容为实现了一种基于图像处理的驾驶员心率识别方法,克服了接触式识别心率的缺点,实现了对驾驶员身体心跳的监测,实现驾驶员心率的识别,具体技术方案包括以下6个部分。感兴趣区域选取：驾驶员感兴趣区域的选取基于人脸68个特征点,选取感兴趣区域。特征提取：在感兴趣区域的基础上,提取其中的绿色通道特征作为驾驶员心率的真实表现,由于感兴趣区域内的特征提取易受光照分布不均的影响,本发明采用算法消除光照误差。转换成频域：构建小段绿色通道序列值,缩减误差,经FFT求得频率值。噪声过滤：过滤掉不符合常理的噪声。心率提取：根据绿色通道频率值与心率的关系求得粗略的心率值。心率平稳：根据上下帧,经算法求得平滑稳定的心率值。本发明具备非接触式,不会给驾驶司机造成不舒适的感受,同时避免传统设备心率识别携带不方便的问题。(The invention aims to realize a method for identifying the heart rate of a driver based on image processing, overcomes the defect of identifying the heart rate in a contact way, monitors the heartbeat of the body of the driver, and identifies the heart rate of the driver, and the specific technical scheme comprises the following 6 parts. Selecting an interested area: the selection of the driver interested region is based on 68 characteristic points of the human face, and the interested region is selected. Feature extraction: on the basis of the region of interest, the green channel characteristics are extracted to be used as the real representation of the heart rate of the driver, and because the characteristic extraction in the region of interest is easily influenced by the uneven distribution of illumination, the method adopts an algorithm to eliminate the illumination error. Conversion to the frequency domain: and constructing a small segment of green channel sequence value, reducing errors, and obtaining a frequency value through FFT. Noise filtering: filtering out noise that does not comply with the laws. Heart rate extraction: and obtaining a rough heart rate value according to the relation between the green channel frequency value and the heart rate. The heart rate is stable: and according to the upper frame and the lower frame, obtaining a smooth and stable heart rate value through an algorithm. The invention has non-contact type, can not cause uncomfortable feeling to a driver, and simultaneously avoids the problem of inconvenient heart rate identification and carrying of the traditional equipment.)
技术领域
本发明涉及一种驾驶员心率识别方法，涉及信号处理技术、图像处理技术、医学工程、电疗学、人体神经学及医疗器械设计等领域。
背景技术
心率的估计和检测对于判断一个人的生理和心理状态非常重要。传统的心率测量是通过电极ECG等设备近距离接触人体皮肤，进而获取得到测试仪上的心跳、血压等信号，或者通过佩戴智能设备，采用光电容积脉搏波(Photo Plenthysmo Graphy，PPG)的方法来进行测量，如智能手环，跑步机等。传统的心率监测方法需要近距离接触人体表明皮肤，带给体验者极其不舒适的体验，为此有学者提出远程光电容积脉搏波(Romote PhotoPlenthysmo Graphy,RPPG)技术，RPPG与传统的PPG原理一样，由于每次心跳都会引起人体皮肤组织中血液和微血管的周期性变化，光的吸收和反射也会形成周期性变化，人眼无法观察到这种周期性的变化，但可以从高清摄像机采集的视频图像中进行分析，从而实现心率的检测。因此，这种方法也被称为超感测心率检测。它的优势并不仅局限于被检测人员不需要佩戴任何设备，它可用于长时间的生理监测，例如，家里老年人长时间的生理监测，具有广泛的应用价值。对于传统ECG与PPG驾驶员心率检测方式存在如下缺点：1)需要与人体皮肤近距离直接接触，属于入侵式采集信号的方式，带给驾驶司机极其不舒适的体验。2)需要佩戴高昂费用的设备，同时采集的信号易受驾驶员操作与环境干扰的影响，例如：驾驶员行驶时，转头、眨眼、说话等行为，与电磁场干扰均会在ECG信号上造成干扰，这对后续的心率识别会产生很大的影响。3)设备不具有便携性，且使用场合受限。由于现有ECG或PPG采集心率的技术，需要近距离接触人体皮肤，因此无法满足车载驾驶员正常驾驶的要求，使用场合受到限制。
发明内容
本发明的内容为实现了一种基于图像处理的驾驶员心率识别方法，克服了接触式识别心率的缺点，实现了对驾驶员身体心跳的监测，实现驾驶员心率的识别，具体技术方案包括以下6个部分。
(1)感兴趣区域(Region of Interest,ROI)选取：驾驶员感兴趣区域的选取本专利采用基于人脸68个特征点，由于驾驶员额头区域很少参与面部丰富的表情，相对变化不大，选取特征点20与23往上额头部分区域作为感兴趣区域1，对于人脸眼睛到鼻子之间的区域也很少参与面部表情，因此本文选取人脸特征点3、13、40、41、46、47之间的区域作为感兴趣区域2。
(2)特征提取：在感兴趣区域的基础上，提取其中的绿色通道特征作为驾驶员心率的真实表现，由于感兴趣区域内的特征提取易受光照分布不均的影响，因此选用k-means聚类算法消除光照分布不均。
(3)转换成频域：经过聚类后的绿色通道值，我们通过构建小段绿色通道序列值的方式，先采用减去均值的形式缩减误差，随后经快速傅里叶变化求得转换后序列频率值。
(4)噪声过滤：采用巴特沃斯带通滤波器的方式，过滤掉不符合常理的心率值。
(5)心率提取：根据峰值检测，求得序列频率值的峰值，随后根据绿色通道频率值与心率的关系求得粗略的心率值。
(6)心率平稳：根据粗略的心率值，采用心率上下帧间关系平稳心率值，随后在经过卡尔曼滤波器、长短时间记忆网络进一步平滑稳定心率值，得到最终平滑、稳定的心率值。
与传统驾驶员心率测量技术相比，本发明的优点体现在以下几点：1、通过车载摄像头的形式采集驾驶员面部图像，以非接触式的方式识别驾驶员心率变化，具备非接触式，不会给驾驶司机造成不舒适的感受。2、图像处理识别驾驶员的心率，避免传统设备心率识别携带不方便带来的问题。3、实现方法与设备简单，采集设备只需要一个普通车载摄像头，即可获得图像信息，经后续的一些图像处理、信号处理算法就能获得驾驶员的心率。4、突出目标运动变化信息，数据量小，节省存储空间，处理速度快，且精度高。
附图说明
图1为本发明所涉一种基于图像处理的驾驶员心率识别方法整体流程图
图2为感兴趣区域图
图3为k-means算法聚类绿色真实值图
图4为未过滤时域值图
图5为过滤噪声后的时域值图
图6为FFT变换后的频域图
图7为求得心率粗略值图
图8为卡尔曼滤波器平滑的心率图
图9为LSTM心率平滑网络图
图10为上下帧平滑后的心率图
图11为最终输出的平滑稳定心率图
具体实施方式
本发明用于提供一种基于图像处理的驾驶员心率识别方法，为了使本发明的技术方案及效果更加清晰、明确，下面结合附图，对本发明的具体实施方式进行详细描述。
如图1所示，本发明设计的一种基于图像处理的驾驶员心率识别方法包括四个阶段，分别为感兴趣区域选取与消除光照误差阶段、特征提取阶段、粗略心率信号阶段和平稳稳定心率阶段。其中感兴趣区域选取与消除光照误差阶段特征区域选取基于人脸68个特征点，光照误差根据微积分原理消除，特征提取阶段包括心率序列的噪声误差消除和巴特沃斯带通滤波器噪声的过滤，粗略心率信号阶段主要是根据时间序列向频域的转换，转换后的频域值根据峰值检测求得频域阈值，根据相关公式转为心率值，平稳稳定心率阶段则根据粗略心率值采用卡尔曼滤波器与长短时间记忆网络求得平滑稳定的心率值。
1.感兴趣区域选取与消除光照误差阶段：对于摄像头获取的RGB彩色三通道图像，可以通过选取感兴趣区域，对其中的三个通道或多个通道求取均值，然后通过信号处理的手段得到包含心率分量的信号，随后采用快速傅里叶变化或峰值检测等手段，得到相应的频率。本专利的ROI的选取建立在人脸检测与人脸68个特征点的基础上，由于驾驶员额头区域很少参与面部丰富的表情，相对变化不大，本专利选取特征点20与23往上额头部分区域作为ROI1，对于人脸眼睛到鼻子之间的区域也很少参与面部表情，因此本文选取人脸特征点3、13、40、41、46、47之间的区域作为ROI2，感兴趣区域选取如图2所示。由于面部感兴趣区域的绿色通道特征均值计算，易受光照分布不均等环境干扰的影响，通过微积分原理发现，对于提取的面部感兴趣区域中总有一小区域，它的光照分布是均匀的。因此，本专利将感兴趣区域划分成多个小块，每个小块内求取均值，并采用k-means聚类算法聚类所有的均值，求出最接近真实值的心率信号，聚类后的效果图如图3所示，方块为聚类后的值。
2.特征提取阶段：巴特沃斯滤波器是一种常见的电子滤波器，又称最大平坦滤波器，其主要特点是通带内的频率曲线平坦到最大，没有波纹，且阻频带渐渐下降为0，具有良好的滤波作用。因此，本专利选用巴特沃斯滤波器作为带通滤波器，用来过滤掉不符合常理的心率过低或过高的离散傅里叶变化(Discrete Fourier Transform,DFT)值。巴特沃斯滤波器的幅度平方函数|Ha(jΩ)|2可以用公式(1)表示：
公式(1)中，N被称为滤波器的阶数，当Ω＝0时，|Ha(jΩ)|＝1；Ω＝Ωc时，Ωc是3dB截止频率。幅度下降的速度与阶数N有关，当N越大时，通带越平坦，过渡带越窄，同时过渡带与阻带幅度下降的速度越快，总的频率响应与理想低通滤波器的误差越小。
以s替换jΩ，将幅度平方函数|Ha(jΩ)|2写成s的函数：
复变量s＝σ+jΩ，此公式表明幅度平方函数有2Ν个极点，极点sk用下式表示：
式(3)中，k＝0,1,2,…,2N-1。2Ν个极点在半径为Ωc的圆上等距离分布，这个圆也叫巴特沃斯圆，间隔为π/N rad。为了形成因果稳定的滤波器，Ha(s)是由2Ν个极点中的s左半平面的N个极点构成，如公式(4)所示，同样，Ha(-s)是由右半面的N个极点构成。
本专利对400帧图像的绿色通道值采用分块求均值与k-means聚类求取均值后，让其中的每一帧的绿色通道值减去均值，得到未过滤的时域值，如图4所示，然后让这400帧绿色通道均值频域经过巴特沃斯带通滤波器，过滤掉不符合常理的过高或过低的噪声值，得到过滤后的时域值，如图5所示。
3.粗略心率信号阶段：FFT一种高效的DFT，其可分为按时间抽取算法和按频率抽取算法，假设有限长序列x(n)的长度为N，且满足N＝2M，M为自然数，按照n的奇偶项把x(n)分解为两个N/2点的子序列，如公式(5)，那么x(n)的DFT为公式(6)。
因为
所以
其中X1(k)和X2(k)分别为x1(r)和x2(r)的N/2点的DFT，即
由于X1(k)和X2(k)均以N/2为周期，且因此X(k)又可以表示为
本专利对经过巴特沃斯带通滤波器过滤的400帧绿色通道的均值，求取其DFT的频率值，经过FFT，得到如图6所示的400帧图像的DFT频率变化值。由于FFT的性质，400帧图像经过FFT变换后长度缩短了一半，变为200帧图像，且频率峰值集中在63左右，因此本专利可以得出最大频率值对应的图像帧数的频率值，相应频率乘以60就得到粗略估计的心跳值。
4.平稳稳定心率阶段：
(1)卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法，由于观测的数据包含系统的噪声和干扰，所以最优估计也可以看作是滤波过程。卡尔曼滤波可以在含有不确定信息的动态系统中，对系统下一步的走向做出有根据的预测，即使伴随着干扰，卡尔曼滤波器仍能真实反应发生的情况，因此本专利选用卡尔曼滤波器进行过滤心率变化太大的不符合常理的心跳值。同样取400帧图像为一序列，绘制得到如图7所示的未经卡尔曼滤波器的心率值，可以发现未经卡尔曼滤波器滤波的心跳值，幅度变化很大，很不稳定。为此本文将粗略得到的心跳值通过卡尔曼滤波器，得到如图8的值，可以发现经过卡尔曼滤波器，心跳值得到一定的平稳，心跳值呈现一定规律性的变化。
(2)定义心率估计的总体LSTM网络为3层结构，由于人的心率与时间、光照等外在环境变量相关性不大，且长时间内在图形上呈现规律的围绕平均心率上下起伏状态，因此本文选取的网络采用一个输入值，输入1个归一化后的心跳值mi，网络整体流程图如图9所示。按照公式(13)继续消除过高与过低的心跳值，其中i+1代表当前时刻的心跳值，进一步平滑心跳值曲线，并连续取400帧图像，绘制得到如图10的心率平滑曲线。可以发现经过平滑后的信号仍就存在很大的噪声干扰，在坐标轴上呈现一定幅度的上下突变状态，带给体验者不佳的视觉体验。为此本专利将平滑后的信号送入总体LSTM网络，同样将输出的400帧预测心跳值绘制得到图11的波形，可以发现相比于平滑后的卡尔曼滤波器信号，LSTM输出的心率信号得到了进一步的平稳，噪声得到了进一步的消除和平滑稳定，带给体验者更好的视觉体验。
mi+1＝0.8*mi+0.2mi+1 (13)。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：非接触式生理体征监测设备