一种注意力检测方法及系统

文档序号:1724130 发布日期:2019-12-20 浏览:11次 >En<

阅读说明:本技术 一种注意力检测方法及系统 (Attention detection method and system ) 是由 倪刚 杨晖 查钧 唐卫东 李皓 于 2019-03-15 设计创作,主要内容包括:本申请提供了一种用户注意力检测方法及系统,通过耳侧佩戴装置,从耳侧采集用户的脑电信号;并当判断所述耳侧佩戴装置能够从所述用户的左耳道和右耳道均能采集到脑电信号时,对所述用户的左耳道和右耳道的脑电信号进行差分处理,得到脑电信号;基于所述脑电信号检测所述用户的注意力类型。可应用于自动驾驶领域用于对驾驶员的注意力进行智能检测,并基于检测结果对用户进行预警或者进行驾驶模式的切换。实施本申请的方案,能够通过耳道更加方便快捷的获取到用户的脑电信号,并能够随时随地的对用户的注意力情况进行检测。(The application provides a user attention detection method and system, wherein an ear side wearing device is used for collecting electroencephalogram signals of a user from the ear side; when the ear side wearing device is judged to be capable of collecting electroencephalogram signals from the left auditory canal and the right auditory canal of the user, difference processing is carried out on the electroencephalogram signals of the left auditory canal and the right auditory canal of the user to obtain electroencephalogram signals; detecting a type of attention of the user based on the brain electrical signal. The method can be applied to the field of automatic driving and used for intelligently detecting the attention of a driver and early warning a user or switching the driving mode based on a detection result. According to the scheme, the electroencephalogram signals of the user can be acquired more conveniently and rapidly through the auditory meatus, and the attention condition of the user can be detected anytime and anywhere.)

一种注意力检测方法及系统

技术领域

本申请涉及数据处理领域,尤其涉及安全驾驶和辅助驾驶过程中驾驶员注意力的检测方法及系统。

背景技术

随着社会的发展,汽车的普及,安全驾驶成为保证交通安全的重要关注问题之一,其中驾驶员的状态又是影响安全驾驶的重要因素之一。注意力不集中的驾驶包括任何转移驾驶员注意力的驾驶活动,如乘车、吃喝、与乘客交谈、调整娱乐或导航系统以及打电话,还包括驾驶员的精神状态或者意识若干变化,比如因疲劳而短暂地接近睡眠状态等。研究表明,有高达30%的交通事故是因为驾驶员注意力不集中造成的。当车辆以较高速度行驶时,分散了注意力的驾驶员如果不能充分意识到包括路径、交通、障碍物甚至车辆的状态的及时变化,事故就不可避免的发生了。

在自动驾驶的L1和L2等级,由于驾驶员一直负责驾驶过程和车辆控制,因此车辆系统对驾驶员的状态的准确和及时的检测和检测,当驾驶员注意力不集中的时候,选择适当的时机进行辅助提醒,对确保安全驾驶的具有十分重要的地位。

现有的技术根据汽车系统采集的驾驶员注视点、视线、休息时间、眼跳、沿行驶路径的周围物体的运动的状态等信号,通过智能计算机系统来判断驾驶员的行驶注意力类型,这类技术通常需要在汽车系统中安装各类传感器,行车电脑系统等,代价比较大。由于驾驶环境的复杂和多样性,通过智能计算获得驾驶员的行驶注意力状态存在一定概率的偏差,影响了安全驾驶。

近年来,随着由于脑电波信号采集和分析的技术的长足发展,车辆系统通过采集驾驶员脑电EEG信号,来准确判断驾驶员的行驶注意力类型,实现驾驶员的状态的准确和及时的检测和检测,对驾驶员的驾驶行为进行进行辅助提醒,对确保安全驾驶提供了另一种有效的技术实现选择。

然而如何更加方便且准确的获取驾驶员的脑电信号,如何通过脑电信号准确的确定驾驶员的状态成为安全驾驶中的研究重点。

发明内容

本申请实施例提供了一种注意力检测方法及系统,能够应用于驾驶员的注意力检测,通过耳侧获取脑电信号,使得在驾驶过程中脑电信号的获取更加便捷可行,降低了测量成本,同时还能保证脑电信号获取的准确性。

第一方面,本申请实施例提供一种用户注意力检测方法,所述方法包括:通过耳侧佩戴装置,从用户耳侧采集用户生物电信号;从所述用户生物电信号中获取用户脑电信号;根据所述用户脑电信号基于机器学习模型获得所述用户的注意力类型;其中通过耳侧佩戴装置,从用户耳侧采集用户生物电信号具体包括:所述耳侧佩戴装置包括多个耳侧信号测量单元;判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值,从所述两个耳侧信号测量单元采集生物电信号;根据所述两个耳侧信号测量单元采集的生物电信号电信号的电位差值信号获取所述用户生物电信号。

上述方法中通过耳侧获取脑电信号,更加方便快捷,耳侧佩戴装置携带方便,设置在耳侧,佩戴过程中不易脱落,使得在驾驶过程中测量用户脑电信号更加方便可行,同时采用电位差处理的方式对所采集用户生物电信号进行处理是针对耳侧采集生物电信号的特性的处理方式,能够有效去除脑电信号中的噪声,同时考虑用户可能没有正确佩戴的原因,或者一侧设备故障或是信号接收不良的情况,在进行电位差处理之前需要对采集的生物电信号进行判断,避免在耳侧佩戴装置不能正常接收时依然进行信号采集并处理,导致结果的不准确。

在所述第一方面的某些实现方式下,所述多个耳侧信号测量单元包括左耳侧信号测量单元和右耳侧信号测量单元;所述判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值,从所述两个耳侧信号测量单元采集生物电信号;根据所述两个耳侧信号测量单元采集的生物电信号电信号的电位差值信号获取所述用户生物电信号,具体为:

判断所述左耳侧信号测量单元和所述右耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述左耳侧信号测量单元和所述右耳侧信号测量单元之间的阻抗低于预设阈值;根据所述左耳侧信号测量单元测量的生物电信号和所述右耳侧信号测量单元测量的生物电信号的电位差值信号获取所述用户生物电信号。

即耳侧佩戴装置可以是从左右耳双侧来获取生物电信号,判断两侧佩戴正常的情况下,根据从左右耳获取的生物电信号来获取用户生物电信号。

在所述第一方面的某些实现方式下,所述耳侧佩戴装置为单侧耳侧佩戴装置,所述多个耳侧信号测量单元包括多个单侧耳侧信号测量单元;所述判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值,从所述两个耳侧信号测量单元采集生物电信号;根据所述两个耳侧信号测量单元采集的生物电信号电信号的电位差值信号获取所述用户生物电信号,具体为:

判断其中两个所述单侧耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个所述单侧耳侧信号测量单元之间的阻抗低于预设阈值;根据所述两个单侧耳侧信号测量单元采集的生物电信号的电位差值信号获取所述用户生物电信号。

根据上述方式,耳侧佩戴装置可以是单耳佩戴装置,直接根据两个测量单元之间的阻抗来判断单耳是否佩戴正常。

在所述第一方面的某些实现方式下,所述左耳侧信号测量单元为多个;所述右耳侧信号测量单元为多个;当其中一个左耳侧信号测量单元和其中一个右耳侧信号测量单元之间的阻抗高于预设阈值;分别判断所述多个左耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值,以及所述多个右耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值;根据阻抗低于所述预设阈值的一侧耳道的两个生物电测量装置测量的生物电信号的电位差值信号获取所述用户生物电信号。

根据上述方式,如果仅有一侧耳道能够获取到脑电信号,可以继续判断是否有一侧佩戴正常,如果有一侧佩戴正常上述实施方式下依然可以正确的获取到用户的生物电信号。

在所述第一方面的某些实现方式下,所述根据所述两个耳侧信号测量单元采集的生物电信号电信号的电位差值信号获取所述用户生物电信号,具体为:通过差分电路获取所述两个耳侧信号测量单元采集的生物电信号的电位差值信号,并将所述电位差值信号获取所述用户生物电信号。

在所述第一方面的某些实现方式下,所述根据所述用户脑电信号基于机器学习模型获得所述用户的注意力类型具体为:计算所述用户脑电信号的样本熵的值,根据所述样本熵的值基于机器学习模型分析用户的注意力类型。

在所述第一方面的某些实现方式下,所述基于所述用户脑电信号检测所述用户的注意力类型具体为:截取预设时间长度的所述用户脑电信号,从所述预设时间长度的所述用户脑电信号获得N个信号采样点;所述N个信号采样点为,u(1),u(2),...,u(N);基于所述N个信号采样点,分别以u(1),u(2),…,u(N-m+1)为起始点依次截取m个采样点来构造出N-m+1个m维向量;针对所述N-m+1个m维向量中的每一个m维向量,计算所述m维向量与每个其他向量之间的距离小于r的向量的数目的平均值,计算获得的N-m+1个所述平均值的平均值得到第一平均值;基于所述N个信号采样点,分别以u(1),u(2),…,u(N-m)为起始点依次截取m+1个采样点来构造出N-m个m+1维向量;针对所述N-m个m+1维向量中的每一个m+1维向量,计算所述m+1维向量与每个其他向量之间的距离小于r的向量的数目的平均值,计算获得的N-m个所述平均值的平均值得到第二平均值;基于所述第一平均值与所述第二平均值比值来计算样本熵(SampEn)的值。

在所述第一方面的某些实现方式下,所述机器学习模型为SVM分类器;采用SVM分类器进行机器学习获得分割值,根据所述分割值和所述样本熵值判断用户的注意力类型。

通过上述方式,根据样本熵的值通过机器学习模型来获取用户的注意力类型,可以通过机器学习的方式,更准确的分析出不同注意力类型下的脑电信号的样本熵特性,从而基于所采集的脑电信号的样本熵值确定用户挡墙的注意力类型。

第二方面,本发明实施例提供一种用户注意力检测系统,所述系统包括:耳侧佩戴装置,用于从用户耳侧采集用户生物电信号;用于从所述用户生物电信号中获取用户脑电信号;注意力检测装置,用于基于所述用户脑电信号检测所述用户的注意力类型;其中所述耳侧佩戴装置,用于从用户耳侧采集用户生物电信号具体包括:所述耳侧佩戴装置包括多个耳侧信号测量单元;所述耳侧佩戴装置判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值,从所述两个耳侧信号测量单元采集生物电信号;根据所述两个耳侧信号测量单元采集的生物电信号电信号的电位差值信号获取所述用户生物电信号。

在所述第二方面的某些实现方式下,所述多个耳侧信号测量单元包括左耳侧信号测量单元和右耳侧信号测量单元;所述耳侧佩戴装置判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值,从所述两个耳侧信号测量单元采集生物电信号;根据所述两个耳侧信号测量单元采集的生物电信号电信号的电位差值信号获取所述用户生物电信号,具体为:所述耳侧佩戴装置判断所述左耳侧信号测量单元和所述右耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述左耳侧信号测量单元和所述右耳侧信号测量单元之间的阻抗低于预设阈值;根据所述左耳侧信号测量单元测量的生物电信号和所述右耳侧信号测量单元测量的生物电信号的电位差值信号获取所述用户生物电信号。

在所述第二方面的某些实现方式下,所述耳侧佩戴装置为单侧耳侧佩戴装置,所述单侧耳侧佩戴装置包括多个单侧耳侧信号测量单元;所述耳侧佩戴装置判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值,从所述两个耳侧信号测量单元采集生物电信号;根据所述两个耳侧信号测量单元采集的生物电信号电信号的电位差值信号获取所述用户生物电信号,具体为:所述耳侧佩戴装置判断其中两个所述单侧耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个所述单侧耳侧信号测量单元之间的阻抗低于预设阈值;根据所述两个单侧耳侧信号测量单元采集的生物电信号的电位差值信号获取所述用户生物电信号。

在所述第二方面的某些实现方式下,所述左耳侧信号测量单元为多个;所述右耳侧信号测量单元为多个;当其中一个左耳侧信号测量单元和其中一个右耳侧信号测量单元之间的阻抗高于预设阈值;所述耳侧佩戴装置判断分别判断所述多个左耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值,以及所述多个右耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值;根据阻抗低于所述预设阈值的一侧耳道的两个生物电测量装置测量的生物电信号的电位差值信号获取所述用户生物电信号。

在所述第二方面的某些实现方式下,所述注意力检测装置根据所述用户脑电信号基于机器学习模型获得所述用户的注意力类型具体为:所述注意力检测装置计算所述用户脑电信号的样本熵的值,根据所述样本熵的值基于机器学习模型分析用户的注意力类型。

第三方面,本发明实施例提供一种耳侧佩戴装置,所述装置包括:多个耳侧信号测量单元,用于从耳侧采集的用户生物电信号;第一判断单元,用于判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值;将所述两个耳侧信号测量单元测量的生物电信号采集的生物电信号的电位差值信号作为所述用户生物电信号;特征分解单元,用于从所述用户生物电信号获得脑电信号;注意力检测单元,用于根据所述脑电信号信号基于机器学习模型获得所述用户的注意力类型。

在所述第三方面的某些实现方式下,所述多个耳侧信号测量单元包括左耳侧信号测量单元和右耳侧信号测量单元;所述第一断单元,用于判断所述左耳侧信号测量单元和所述右耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述左耳侧信号测量单元和所述右耳侧信号测量单元之间的阻抗低于预设阈值;根据所述左耳侧信号测量单元测量的生物电信号和所述右耳侧信号测量单元测量的生物电信号的电位差值信号获取所述用户生物电信号。

在所述第三方面的某些实现方式下,所述耳侧佩戴装置为单侧耳侧佩戴装置;所述多个耳侧信号测量单元包括多个单侧耳侧信号测量单元;所述第一断单元,用于判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值,将所述两个耳侧信号测量单元测量的生物电信号采集的生物电信号的电位差值信号作为所述用户生物电信号,具体为:所述第一判断单元用于判断其中两个所述单侧耳侧信号测量单元之间的阻抗是否低于预设阈值,当所述两个所述单侧耳侧信号测量单元之间的阻抗低于预设阈值,将所述两个单侧耳侧信号测量单元采集的生物电信号的电位差值信号作为所述用户生物电信号。

在所述第三方面的某些实现方式下,所述左耳耳侧信号测量单元为多个;所述右耳耳侧信号测量单元为多个;所述耳侧佩戴装置还包括第二判断单元;当所述第一判断单元判断其中一个左耳耳侧信号测量单元和其中一个右耳耳侧信号测量单元之间的阻抗高于预设阈值,所述第二判断单元分别判断所述多个左耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值,以及所述多个右耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值;并将阻抗低于所述预设阈值的一侧耳道的两个生物电测量装置采集的生物电信号的电位差值信号作为所述用户生物电信号。

在所述第三方面的某些实现方式下,所述注意力检测单元根据所述用户脑电信号基于机器学习模型获得所述用户的注意力类型具体为:所述注意力检测单元计算所述用户脑电信号的样本熵的值,根据所述样本熵的值基于机器学习模型分析用户的注意力类型。

第四方面,本发明实施例提供一种耳侧佩戴装置,其特征在于,所述装置包括:多个耳侧信号测量单元,用于从耳侧采集的用户生物电信号;第一判断单元,用于判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值;将所述两个耳侧信号测量单元测量的生物电信号采集的生物电信号的电位差值信号作为所述用户生物电信号;特征分解单元,用于从所述用户生物电信号获得脑电信号;发送单元,用于将所述脑电信号发送给信号分析装置。

在所述第四方面的某些实现方式下,所述多个耳侧信号测量单元包括左耳侧信号测量单元和右耳侧信号测量单元;所述第一断单元,用于判断所述左耳侧信号测量单元和所述右耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述左耳侧信号测量单元和所述右耳侧信号测量单元之间的阻抗低于预设阈值;根据所述左耳侧信号测量单元测量的生物电信号和所述右耳侧信号测量单元测量的生物电信号的电位差值信号获取所述用户生物电信号。

在所述第四方面的某些实现方式下,所述耳侧佩戴装置为单侧耳侧佩戴装置;所述多个耳侧信号测量单元包括多个单侧耳侧信号测量单元;所述第一断单元,用于判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值,将所述两个耳侧信号测量单元测量的生物电信号采集的生物电信号的电位差值信号作为所述用户生物电信号,具体为:所述第一判断单元用于判断其中两个所述单侧耳侧信号测量单元之间的阻抗是否低于预设阈值,当所述两个所述单侧耳侧信号测量单元之间的阻抗低于预设阈值,将所述两个单侧耳侧信号测量单元采集的生物电信号的电位差值信号作为所述用户生物电信号。

在所述第四方面的某些实现方式下,所述左耳耳侧信号测量单元为多个;所述右耳耳侧信号测量单元为多个;所述耳侧佩戴装置还包括第二判断单元;当所述第一判断单元判断其中一个左耳耳侧信号测量单元和其中一个右耳耳侧信号测量单元之间的阻抗高于预设阈值,所述第二判断单元分别判断所述多个左耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值,以及所述多个右耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值;并将阻抗低于所述预设阈值的一侧耳道的两个生物电测量装置采集的生物电信号的电位差值信号作为所述用户生物电信号。

第五方面,本发明实施例提供一种注意力检测装置,所述装置包括:接收单元,用于从耳侧佩戴装置接收用户脑电信号;注意力检测单元,用于根据所述用户脑电信号基于机器学习模型获得所述用户的注意力类型。

在所述第五方面的某些实现方式下,所述注意力检测单元具体用于,计算所述用户脑电信号的样本熵的值,根据所述样本熵的值基于机器学习模型分析用户的注意力类型。

在所述第五方面的某些实现方式下,,所述注意力检测单元具体用于,截取预设时间长度的所述用户脑电信号,从所述预设时间长度的所述用户脑电信号获得N个信号采样点;所述N个信号采样点为,u(1),u(2),...,u(N);基于所述N个信号采样点,分别以u(1),u(2),…,u(N-m+1)为起始点依次截取m个采样点来构造出N-m+1个m维向量;针对所述N-m+1个m维向量中的每一个m维向量,计算所述m维向量与每个其他向量之间的距离小于r的向量的数目的平均值,计算获得的N-m+1个所述平均值的平均值得到第一平均值;基于所述N个信号采样点,分别以u(1),u(2),…,u(N-m)为起始点依次截取m+1个采样点来构造出N-m个m+1维向量;针对所述N-m个m+1维向量中的每一个m+1维向量,计算所述m+1维向量与每个其他向量之间的距离小于r的向量的数目的平均值,计算获得的N-m个所述平均值的平均值得到第二平均值;基于所述第一平均值与所述第二平均值比值来计算样本熵(SampEn)的值。

在所述第五方面的某些实现方式下,所述机器学习模型为SVM分类器;采用SVM分类器进行机器学习获得分割值;所述注意力检测单元根据所述分割值和所述样本熵值判断用户的注意力类型。

第六方面,本发明实施例提供一种耳侧佩戴装置,所述装置包括:多个耳侧信号测量单元,用于从耳侧采集的用户生物电信号;处理器,用于判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值;将所述两个耳侧信号测量单元测量的生物电信号采集的生物电信号的电位差值信号作为所述用户生物电信号;特征分解单元,用于从所述用户生物电信号获得脑电信号;注意力检测单元,用于根据所述脑电信号信号基于机器学习模型获得所述用户的注意力类型。

在所述第六方面的某些实现方式下,所述多个耳侧信号测量单元包括左耳侧信号测量单元和右耳侧信号测量单元;所述处理器,用于判断所述左耳侧信号测量单元和所述右耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述左耳侧信号测量单元和所述右耳侧信号测量单元之间的阻抗低于预设阈值;根据所述左耳侧信号测量单元测量的生物电信号和所述右耳侧信号测量单元测量的生物电信号的电位差值信号获取所述用户生物电信号。

在所述第六方面的某些实现方式下,所述耳侧佩戴装置为单侧耳侧佩戴装置;所述多个耳侧信号测量单元包括多个单侧耳侧信号测量单元;所述处理器,用于判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值,将所述两个耳侧信号测量单元测量的生物电信号采集的生物电信号的电位差值信号作为所述用户生物电信号,具体为:所述处理器用于判断其中两个所述单侧耳侧信号测量单元之间的阻抗是否低于预设阈值,当所述两个所述单侧耳侧信号测量单元之间的阻抗低于预设阈值,将所述两个单侧耳侧信号测量单元采集的生物电信号的电位差值信号作为所述用户生物电信号。

在所述第六方面的某些实现方式下,所述左耳耳侧信号测量单元为多个;所述右耳耳侧信号测量单元为多个;所述处理器还用于,当所述第一判断单元判断其中一个左耳耳侧信号测量单元和其中一个右耳耳侧信号测量单元之间的阻抗高于预设阈值,所述处理器分别判断所述多个左耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值,以及所述多个右耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值;并将阻抗低于所述预设阈值的一侧耳道的两个生物电测量装置采集的生物电信号的电位差值信号作为所述用户生物电信号。

在所述第六方面的某些实现方式下,所述注意力检测单元根据所述用户脑电信号基于机器学习模型获得所述用户的注意力类型具体为:所述注意力检测单元计算所述用户脑电信号的样本熵的值,根据所述样本熵的值基于机器学习模型分析用户的注意力类型。

第七方面,本发明实施例提供一种耳侧佩戴装置,其特征在于,所述装置包括:多个耳侧信号测量单元,用于从耳侧采集的用户生物电信号;处理器,用于判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值;将所述两个耳侧信号测量单元测量的生物电信号采集的生物电信号的电位差值信号作为所述用户生物电信号;特征分解单元,用于从所述用户生物电信号获得脑电信号;发送单元,用于将所述脑电信号发送给信号分析装置。

在所述第七方面的某些实现方式下,所述多个耳侧信号测量单元包括左耳侧信号测量单元和右耳侧信号测量单元;所述处理器,用于判断所述左耳侧信号测量单元和所述右耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述左耳侧信号测量单元和所述右耳侧信号测量单元之间的阻抗低于预设阈值;根据所述左耳侧信号测量单元测量的生物电信号和所述右耳侧信号测量单元测量的生物电信号的电位差值信号获取所述用户生物电信号。

在所述第七方面的某些实现方式下,所述耳侧佩戴装置为单侧耳侧佩戴装置;所述多个耳侧信号测量单元包括多个单侧耳侧信号测量单元;所述处理器,判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值,将所述两个耳侧信号测量单元测量的生物电信号采集的生物电信号的电位差值信号作为所述用户生物电信号,具体为:所述处理器判断其中两个所述单侧耳侧信号测量单元之间的阻抗是否低于预设阈值,当所述两个所述单侧耳侧信号测量单元之间的阻抗低于预设阈值,将所述两个单侧耳侧信号测量单元采集的生物电信号的电位差值信号作为所述用户生物电信号。

在所述第七方面的某些实现方式下,所述左耳耳侧信号测量单元为多个;所述右耳耳侧信号测量单元为多个;所述处理器还用于当所述第一判断单元判断其中一个左耳耳侧信号测量单元和其中一个右耳耳侧信号测量单元之间的阻抗高于预设阈值,所述处理器分别判断所述多个左耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值,以及所述多个右耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值;并将阻抗低于所述预设阈值的一侧耳道的两个生物电测量装置采集的生物电信号的电位差值信号作为所述用户生物电信号。

第八方面,本发明实施例提供一种注意力检测装置,所述装置包括:接收单元,用于从耳侧佩戴装置接收用户脑电信号;处理器,用于根据所述用户脑电信号基于机器学习模型获得所述用户的注意力类型。

在所述第八方面的某些实现方式下,所述处理器具体用于,计算所述用户脑电信号的样本熵的值,根据所述样本熵的值基于机器学习模型分析用户的注意力类型。

在所述第八方面的某些实现方式下,所述处理器具体用于,截取预设时间长度的所述用户脑电信号,从所述预设时间长度的所述用户脑电信号获得N个信号采样点;所述N个信号采样点为,u(1),u(2),...,u(N);基于所述N个信号采样点,分别以u(1),u(2),…,u(N-m+1)为起始点依次截取m个采样点来构造出N-m+1个m维向量;针对所述N-m+1个m维向量中的每一个m维向量,计算所述m维向量与每个其他向量之间的距离小于r的向量的数目的平均值,计算获得的N-m+1个所述平均值的平均值得到第一平均值;基于所述N个信号采样点,分别以u(1),u(2),…,u(N-m)为起始点依次截取m+1个采样点来构造出N-m个m+1维向量;针对所述N-m个m+1维向量中的每一个m+1维向量,计算所述m+1维向量与每个其他向量之间的距离小于r的向量的数目的平均值,计算获得的N-m个所述平均值的平均值得到第二平均值;基于所述第一平均值与所述第二平均值比值来计算样本熵(SampEn)的值。

在所述第八方面的某些实现方式下,所述机器学习模型为SVM分类器;采用SVM分类器进行机器学习获得分割值;所述注意力检测单元根据所述分割值和所述样本熵值判断用户的注意力类型。

第九方面,本发明实施例提供一种脑电信号检测方法,所述方法包括通过多个耳侧信号测量单元从耳侧采集的用户生物电信号;判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值;将所述两个耳侧信号测量单元测量的生物电信号采集的生物电信号的电位差值信号作为所述用户生物电信号;从所述用户生物电信号获得脑电信号;将所述脑电信号发送给信号分析装置。

在所述第九方面的某些实现方式下,所述多个耳侧信号测量单元包括左耳侧信号测量单元和右耳侧信号测量单元;所述判断步骤具体为,判断所述左耳侧信号测量单元和所述右耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述左耳侧信号测量单元和所述右耳侧信号测量单元之间的阻抗低于预设阈值;根据所述左耳侧信号测量单元测量的生物电信号和所述右耳侧信号测量单元测量的生物电信号的电位差值信号获取所述用户生物电信号。

在所述第九方面的某些实现方式下,所述耳侧佩戴装置为单侧耳侧佩戴装置;所述多个耳侧信号测量单元包括多个单侧耳侧信号测量单元;所述判断步骤具体为,判断其中两个所述单侧耳侧信号测量单元之间的阻抗是否低于预设阈值,当所述两个所述单侧耳侧信号测量单元之间的阻抗低于预设阈值,将所述两个单侧耳侧信号测量单元采集的生物电信号的电位差值信号作为所述用户生物电信号。

在所述第九方面的某些实现方式下,所述左耳耳侧信号测量单元为多个;所述右耳耳侧信号测量单元为多个;当所述第一判断单元判断其中一个左耳耳侧信号测量单元和其中一个右耳耳侧信号测量单元之间的阻抗高于预设阈值,分别判断所述多个左耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值,以及所述多个右耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值;并将阻抗低于所述预设阈值的一侧耳道的两个生物电测量装置采集的生物电信号的电位差值信号作为所述用户生物电信号。

第十方面,本发明实施例提供一种注意力检测方法,所述方法包括:从耳侧佩戴装置接收用户脑电信号;根据所述用户脑电信号基于机器学习模型获得所述用户的注意力类型。

在所述第十方面的某些实现方式下,根据所述用户脑电信号基于机器学习模型获得所述用户的注意力类型具体为,计算所述用户脑电信号的样本熵的值,根据所述样本熵的值基于机器学习模型分析用户的注意力类型。

在所述第十方面的某些实现方式下,计算所述用户脑电信号的样本熵的值具体为,截取预设时间长度的所述用户脑电信号,从所述预设时间长度的所述用户脑电信号获得N个信号采样点;所述N个信号采样点为,u(1),u(2),...,u(N);基于所述N个信号采样点,分别以u(1),u(2),…,u(N-m+1)为起始点依次截取m个采样点来构造出N-m+1个m维向量;针对所述N-m+1个m维向量中的每一个m维向量,计算所述m维向量与每个其他向量之间的距离小于r的向量的数目的平均值,计算获得的N-m+1个所述平均值的平均值得到第一平均值;基于所述N个信号采样点,分别以u(1),u(2),…,u(N-m)为起始点依次截取m+1个采样点来构造出N-m个m+1维向量;针对所述N-m个m+1维向量中的每一个m+1维向量,计算所述m+1维向量与每个其他向量之间的距离小于r的向量的数目的平均值,计算获得的N-m个所述平均值的平均值得到第二平均值;基于所述第一平均值与所述第二平均值比值来计算样本熵(SampEn)的值。

在所述第十方面的某些实现方式下,所述机器学习模型为SVM分类器;采用SVM分类器进行机器学习获得分割值;所述注意力检测单元根据所述分割值和所述样本熵值判断用户的注意力类型。

在以上各方面的某些实现方式下,所述耳侧佩戴装置为耳塞或者耳机。

在以上方面的某些实现方式下,所述用户的注意力类型具体可以是用户的注意力状态为集中,或者注意力分散。

在以上方面的某些实现方式下,所述多个耳侧信号测量单元中的多个为两个或者两个以上。

在以上方面的某些实现方式下,所述判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值,可以是基于预先的设定来从多个耳侧信号测量单元中选取两个,也可以是基于优先级的设定顺序选取两个耳侧信号测量单元进行比较,在阻抗一直低于预设阈值的情况下,可以比较预设次数终止比较,或者遍历所有情况之后终止比较。

在以上方面的某些实现方式下,所述判断所述左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗是否低于预设阈值,可以是左耳耳侧信号测量单元和右耳耳侧信号测量单元均为一个,直接进行比较;也可以左耳耳侧信号测量单元和右耳耳侧信号测量单元均为多个,基于预先的设定来从多个左耳耳侧信号测量单元和多个右耳耳侧信号测量单元中分别选取两个,也可以是基于优先级的设定顺序选取两个耳侧信号测量单元进行比较,在阻抗一直低于预设阈值的情况下,可以比较预设次数终止比较,或者遍历所有情况之后终止比较。

在以上方面的某些实现方式下,所述判断所述多个单侧耳侧信号测量单元之间的阻抗是否低于预设阈值,可以是单侧耳侧信号测量单元为两个,直接进行比较;也可以是基于预先的设定来从多个单侧耳侧信号测量单元中选取两个,也可以是基于优先级的设定顺序选取两个耳侧信号测量单元进行比较,在阻抗一直低于预设阈值的情况下,可以比较预设次数终止比较,或者遍历所有情况之后终止比较。

在以上方面的某些实现方式下,当判断其中一个左耳耳侧信号测量单元和其中一个右耳耳侧信号测量单元之间的阻抗高于预设阈值,分别判断所述多个左耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值,以及所述多个右耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值,可以是左、右耳耳侧信号测量单元分别为两个,直接进行比较;也可以是基于预先的设定来分别从多个左、右耳耳侧信号测量单元中选取两个;也可以是对于左耳耳侧信号测量单元,基于优先级的设定顺序选取两个左耳耳侧信号测量单元进行比较,在阻抗一直低于预设阈值的情况下,可以比较预设次数终止比较,或者遍历所有情况之后终止比较;对于右耳耳侧信号测量单元,基于优先级的设定顺序选取两个右耳耳侧信号测量单元进行比较,在阻抗一直低于预设阈值的情况下,可以比较预设次数终止比较,或者遍历所有情况之后终止比较。

可以看到,实施本申请实施例的技术方案,能够解决当前技术注意力判断不方便,以及在移动状态中判断注意力结果容易不准确的问题,通过耳部采集驾驶员脑电信号,使得用户脑电信号的采集更加方便可行,同时由于电极贴合度的要求,本方案可以判断当前佩戴是否正常,并确保在正常可采集的情况下进行信号的采集以及后续的分析,确保检测结果的准确性。同时通过电位差处理的方式处理左右耳道所采集的脑电信号能够保证采集到的脑电信号的准确性,对采集处理后的脑电信号进行样本熵计算,获取脑电信号时域上的一致性状态,并通过SVM分类算法,对注意力进行判定,可以相对准确地判断出驾驶员当下的行驶注意力类型,可以用于在驾驶过程中准确地给出后续操作,如向司机进行提醒或采取相应的应急操作。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1示出了本申请实施例中的一种应用场景示意图;

图2a示出了本申请实施例提供的一种用户注意力检测的方法流程示意图;

图2b示出了本申请实施例提供的一种用户脑电信号获取过程中检测耳侧佩戴装置是否佩戴正常的流程示意图;

图2c示出了本申请实施例提供的一一种用户脑电信号获取过程中检测单侧耳侧佩戴装置是否佩戴正常的流程示意图;

图3示出了大脑产生的α、β、γ、θ、δ脑波形的示意图;

图4示出了本申请实施例提供的一种用户注意力检测的方法流程示意图;

图5示出了本申请实施例提供的一种用户脑电信号获取方法中的差分电路实现方式;

图6示出了本申请实施例提供的一种注意力检测方法中的左右耳脑电信号差分处理原理图;

图7示出了本申请实施例提供的一种注意力检测方法中的左右耳脑电信号差分处理示意图;

图8a示出了颈关节动作产生肌电伪迹;

图8b示出了眨眼产生的眼电伪迹;

图9a示出了SVM分类的原理示意图;

图9b示出了SVM分类的原理示意图;

图10示出了本申请实施例提供的一种注意力检测的系统结构示意图;

图11a示出了本申请实施例提供的一种耳侧佩戴装置的结构示意图;

图11b示出了本申请实施例提供的另一种耳侧佩戴装置的结构示意图;

图11c示出了本申请实施例提供的另一种耳侧佩戴装置的结构示意图;

图11d示出了本申请实施例提供的另一种耳侧佩戴装置的结构示意图;

图12示出了本申请实施例的一种耳侧佩戴装置的具体实现形式的示意图;

图13示出了本申请实施例的一种耳侧佩戴装置的佩戴位置示意图;

图14示出了本申请实施例提供的一种注意力检测装置的结构示意图;

图15a示出了本申请实施例提供的一种耳侧佩戴装置的结构示意图;

图15b示出了本申请实施例提供的一种注意力分析装置的结构示意图;

图16示出了本申请实施例提供的一种测量用户相关信号的方法的流程图;

图17示出了本申请实施例提供的一种注意力检测方法的流程图。

具体实施方式

下面结合本申请实施例中的附图对本申请的具体实现方式进行举例描述。然而本申请的实现方式还可以包括在不脱离本申请的精神或范围的前提下将这些实施例组合,比如采用其它实施例和做出结构性改变。因此以下实施例的详细描述不应从限制性的意义上去理解。本申请的实施例部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。

本申请的具体实施例中所提到的功能、模块、特征、单元等的一个或多个结构组成可以理解为由任何物理的或有形的组件(例如,由在计算机设备上运行的软件、硬件(例如,处理器或芯片实现的逻辑功能)等、和/或其它任何组合)以任何方式来实现。在某些实施例中,所示出的将附图中的将各种设备分成不同的模块或单元可以反映在实际实现中使用对应的不同的物理和有形的组件。可选的,本申请实施例附图中的单个模块也可以由多个实际物理组件来实现。同样,在附图中描绘的任何两个或更多个模块也可以反映由单个实际物理组件所执行的不同的功能。

关于本申请实施例的方法流程图,将某些操作描述为以一定顺序执行的不同的步骤。这样的流程图属于说明性的而非限制性的。可以将在本文中所描述的某些步骤分组在一起并且在单个操作中执行、可以将某些步骤分割成多个子步骤、并且可以以不同于在本文中所示出的顺序来执行某些步骤。可以由任何电路结构和/或有形机制(例如,由在计算机设备上运行的软件、硬件(例如,处理器或芯片实现的逻辑功能)等、和/或其任何组合)以任何方式来实现在流程图中所示出的各个步骤。

以下的说明可以将一个或多个特征标识为“可选的”。该类型的声明不应当被解释为对可以被认为是可选的特征的详尽的指示;即,尽管没有在文本中明确地标识,但其他特征可以被认为是可选的。此外,对单个实体的任何描述不旨在排除对多个这样的实体的使用;类似地,对多个实体的描述不旨在排除对单个实体的使用。最后,术语“示例性的”是指在潜在的许多实现中的一个实现。

本申请实施例主要用于用户注意力的检测,具体可以应用于驾驶过程中对驾驶员注意力的检测,判断驾驶员的注意力是否集中,从而能够根据判断结果进行即时的提示,此外也可以应用于其它需要对用户的注意力进行检测的场景。

图1为本发明实施例的一种典型的应用场景,耳侧佩戴装置101(具体可以为耳机或者耳塞)佩戴于用户耳部,从耳侧采集驾驶员生物电信号,将驾驶员生物电信号发送给用户注意力检测装置102,其中耳侧佩戴装置101具体操作可选的还可以包括通过耳侧信号测量单元采集耳侧生物电信号,获取测量单元所采集生物电信号的电位差,用于增强信号同时排除外界杂扰信号干扰;进行去伪迹处理,并通过滤波电路滤除非脑电频率信号(比如滤除大于32Hz的波形),并运用小波分析,提取波形特征,进行后续数字编码。注意力检测设备102(具体可以为手持终端,如手机,PDA,pad等,或者车载终端设备)对用户脑电信号进行分析。当判断发现注意力涣散时,进行相应的后续操作,如及时通过告警装置提醒驾驶员,确保行车安全,其中注意力分析方式可以是计算脑电信号的样本熵值,并通过SVN算法对样本熵进行分类,确定注意力状态。

同时为了确保耳侧佩戴装置101能够采集到准确的生物电信号,耳侧佩戴装置101还会对自身是否能够正常采集信号进行一个预判断,根据耳侧信号测量单元之间的阻抗值来判断耳侧信号测量单元是否贴合皮肤,从而分不同的情况选择不同的信号采集策略。

本发明实施例中的耳侧指的是人体耳朵上以及耳朵附近可以测量得到生物电信号的区域,如耳道内侧,耳廓,耳沟,耳背,以及耳周等位置。通过将耳侧信号测量单元部署在人耳区域上,以及人耳附近来采集生物电信号。

图13是本发明实施例的一种示例性的耳侧佩戴装置的佩戴即信号采集方式,示例性的给出了一种从耳道内侧获取生物电信号的信号采集方式。其中401为人体耳道,403为耳侧信号测量单元,402为耳侧佩戴装置的主体,404为用户的耳廓。

图2a为本申请实施例提供的一种用户脑电信号获取方法的流程示意图,具体流程包括:

S101:通过耳侧佩戴装置从用户耳侧采集用户生物电信号;

具体包括,佩戴上耳侧佩戴装置之后,开启设备的脑电信号采集功能,通过耳侧佩戴装置从耳侧采集用户的脑电信号。其中佩戴方式在上文中已经介绍过,在此不再赘述,开启设备的方式可以有多种,其中可以是摁下耳机上实体按钮,或者通过用户注意力检测装置(可以是手机,或者车载终端等)上的相应APP进行触发(如触摸APP中的开始驾驶的虚拟按钮),使耳侧佩戴装置进入工作状态。

由于耳侧佩戴装置在配戴过程中可能会出现,脱落,或者没有正确配戴的问题,因此直接获取耳侧佩戴装置采集的信号进行处理,可能会存在因为设备脱落,或者没有正确配戴而导致测量结果不准确,从而不能正确分析出用户的注意力类型的问题,因此本申请的实施例会对耳侧佩戴装置的配戴情况进行判断,根据判断结果决定是否采集数据,或者是否将采集的数据用于进行用户注意力类型的分析。

具体包括所述耳侧佩戴装置包括多个耳侧信号测量单元;判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值;将所述两个耳侧信号测量单元测量的生物电信号的电位差值信号作为所述用户生物电信号。

对应于耳侧佩戴装置为双侧耳道测量,即耳侧佩戴装置包括左耳耳侧信号测量单元和右耳耳侧信号测量单元,从耳侧采集生物电信号的采集方式还可以进一步如图2b所示,包括:

S201:通过判断所述左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗是否低于预设阈值,来判断耳侧佩戴装置是否可以正常进行测量。

判断所述左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗是否低于预设阈值,以此来判断耳侧佩戴装置是否可以正常进行测量(即正常配戴)。

具体的,左耳耳侧信号测量单元和右耳耳侧信号测量单元可以为一个也可以为多个,左/右耳耳侧信号测量单元的在实现的过程中其形态可以是电极,通过电极来测量耳侧的用户生物电信号。通过判断左右耳耳侧信号测量单元之间的阻抗值来判断耳侧佩戴装置的左耳耳侧信号测量单元和所述右耳耳侧信号测量单元是否贴合耳道,即耳侧佩戴装置是否配戴正确。当左右耳耳侧信号测量单元贴合耳道时,左右耳耳侧信号测量单元之间的阻抗值较低,通常是低于耳侧表面阻抗值,当左右耳耳侧信号测量单元有一侧或者两侧均不贴合耳道时,左右耳耳侧信号测量单元之间的阻抗值较高,通常是高于耳侧表面阻抗值。因此可以设置一个预设阈值用于判断耳侧佩戴装置的配戴情况,可选的,阻抗预设的判断阈值可以是耳侧表面的阻抗值。

当左耳耳侧信号测量单元和右耳耳侧信号测量单元为一个时,直接获取两个测量单元之间的阻抗值进行判断。

当左耳耳侧信号测量单元和右耳耳侧信号测量单元为多个时,可以有多种测量策略。如任意选择一个左耳耳侧信号测量单元和一个右耳耳侧信号测量单元进行阻抗值的获取,也可以是获取预设位置的左耳耳侧信号测量单元和获取预设位置的右耳耳侧信号测量单元之间的阻抗值,只获取一次阻抗值,根据获取的阻抗值判断左右耳配戴是否正常。或者也可以是设置优先级顺序来进行逐个匹配的测量,在不满足预设阈值的情况下测量预设数量次后终止测量和判断,或者逐个进行测量直到测量到低于预设值的阻抗,则说明耳侧佩戴装置可以正常测量,否则说明无法正常工作。在此对多测量单元情况下具体的测量方法不做限定。

S202:当判断耳侧佩戴装置可以正常进行测量,根据所述左耳耳侧信号测量单元采集的生物电信号和所述右耳耳侧信号测量单元采集的生物电信号的电位差值信号获取所述用户生物电信号。

即当所述左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗低于预设阈值,根据所述左耳耳侧信号测量单元采集的生物电信号和所述右耳耳侧信号测量单元采集的生物电信号的电位差值信号获取所述用户生物电信号。

具体为,当耳侧信号测量单元为左右各一个的情况下,当测量到左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗低于预设阈值则判断耳侧佩戴装置可以正常进行测量;根据所述左耳耳侧信号测量单元采集的生物电信号和所述右耳耳侧信号测量单元采集的生物电信号的电位差值信号获取所述用户生物电信号。

其中根据所述左耳耳侧信号测量单元采集的生物电信号和所述右耳耳侧信号测量单元采集的生物电信号的电位差值信号获取所述用户生物电信号具体方式可以包括,直接将所述左耳耳侧信号测量单元采集的生物电信号和所述右耳耳侧信号测量单元采集的生物电信号的电位差值信号获取所述用户生物电信号;耳侧佩戴装置上还可以设置参考电极,分别获取所述左耳耳侧信号测量单元采集的生物电信号和参考电极的第一电位差信号,以及所述右耳耳侧信号测量单元采集的生物电信号和参考电极的第二电位差信号,然后获取第一电位差信号和第二电位差信号的差值信号。

在耳侧信号测量单元为多个且测量次数可以为多次的情况下,当测量到左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗低于预设阈值则判断所测量的两个测量单元对应的耳道均可以正常进行测量。将测量后判定为可以正常进行测量的所述左耳耳侧信号测量单元采集的生物电信号和所述右耳耳侧信号测量单元采集的生物电信号的电位差值信号作为所述用户生物电信号。

在耳侧信号测量单元为多个且测量次数为一次的情况下,当测量左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗低于预设阈值则判断所测量的两个测量单元对应的耳道均可以正常进行测量。将测量后判定为可以正常进行测量的所述左耳耳侧信号测量单元采集的生物电信号和所述右耳耳侧信号测量单元采集的生物电信号的电位差值信号作为所述用户生物电信号,或者也可以基于测量结果认为耳侧佩戴装置为可以正常进行测量,则选择任意的左侧耳侧信号测量单元和右侧耳侧信号测量单元,或者预先指定的左侧耳侧信号测量单元和右侧耳侧信号测量单元来获取采集的生物电信号的电位差值信号作为所述用户生物电信号。

进一步当判断耳侧佩戴装置无法正常进行测量时,可以选择不再进行采集信号和注意力检测步骤。

可选的,也可以当判断耳侧佩戴装置没有正常配戴时,进一步分别判断左侧或者右侧有没有正常配戴,由此可选的,可以包括步骤S50103。

S203:当判断结果为耳侧佩戴装置无法正常进行测量,分别判断所述多个左耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值,以及所述多个右耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值。将阻抗低于所述预设阈值的一侧耳道的两个生物电测量装置采集的生物电信号的电位差值信号作为所述用户生物电信号。

在此步骤下,左耳耳侧信号测量单元和右耳耳侧信号测量单元需要为多个。

在耳侧信号测量单元为多个且测量次数可以为多次的情况下,当多次测量左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗均高于预设阈值则判断所测量的两个测量单元对应的耳道至少有一个无法进行正常测量。

在耳侧信号测量单元为多个且测量次数为一次的情况下,当测量左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗高于预设阈值则判断所测量的两个测量单元对应的耳道至少有一个无法正常进行测量。即当其中一个左耳耳侧信号测量单元和其中一个右耳耳侧信号测量单元之间的阻抗高于预设阈值,则判断所测量的两个测量单元对应的耳道至少有一个无法正常进行测量。

判断为所测量的两个测量单元对应的耳道至少有一个无法正常进行测量后,分别判断所述多个左耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值,以及所述多个右耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值。同样可以有多种测量策略。如任意选择两个左/右耳耳侧信号测量单元进行阻抗值的获取,也可以是获取预设位置的两个左/右耳耳侧信号测量单元之间的阻抗值,只获取一次阻抗值,根据获取的阻抗值判断左右耳配戴是否正常。或者也可以是设置优先级顺序来进行两个左/右耳耳侧信号测量单元之间的测量,在不满足预设阈值的情况下测量预设数量次后终止测量和判断,或者逐对进行测量直到测量到低于预设值的阻抗,则说明耳侧佩戴装置可以正常测量,否则当遍历所有情况均无测量到低于预设值的阻抗说明无法正常测量。在此同样本申请对单侧多测量单元情况下具体的测量方法不做限定。

将阻抗低于所述预设阈值的一侧耳道的两个生物电测量装置采集的生物电信号的电位差值信号作为所述用户生物电信号:

可以是将测量后判定为可以正常进行测量的所述左耳耳侧信号测量单元采集的生物电信号和所述右耳耳侧信号测量单元采集的生物电信号的电位差值信号作为所述用户生物电信号。

其中将测量后判定为可以正常进行测量的所述左耳耳侧信号测量单元采集的生物电信号和所述右耳耳侧信号测量单元采集的生物电信号的电位差值信号作为所述用户生物电信号具体方式可以包括,直接将两个可以正常测量一侧的耳侧信号测量单元采集的生物电信号的电位差值信号获取所述用户生物电信号;耳侧佩戴装置上还可以设置参考电极,分别获取所述一个耳侧信号测量单元采集的生物电信号和参考电极的第三电位差信号,以及另一个耳侧信号测量单元采集的生物电信号和参考电极的第四电位差信号,然后获取第三电位差信号和第四电位差信号的差值信号。

其中耳侧信号测量单元的选取可以有多种发送,如直接选取进行阻抗值判断的两个测量单元来获取电位差值信号,也可以是按照预先设置来选择测量单元,或者是任意选取。

本申请中获取电位差值信号的方式具体可以是通过软件指令来实现,也可以是通过硬件电路来实现。

对应于耳侧佩戴装置为单侧测量,即耳侧佩戴装置仅包括左耳耳侧信号测量单元或右耳耳侧信号测量单元,在此实施方式下,左耳耳侧信号测量单元或右耳耳侧信号测量单元需要为多个,即单侧耳侧信号测量单元为多个。从耳侧采集生物电信号的采集方式还可以如图2c所示,进一步包括:

S211:通过判断所述单侧耳侧信号测量单元中的两个信号测量单元之间的阻抗是否低于预设阈值,来判断耳侧佩戴装置是否可以正常进行测量。

判断所述单侧耳侧信号测量单元中的两个信号测量单元之间的阻抗是否低于预设阈值,以此来判断耳侧佩戴装置是否可以正常进行测量(即正常配戴)。

具体的,可以有多种测量策略,如任意选择两个单侧耳侧信号测量单元进行阻抗值的获取,也可以是获取预设位置的两个单侧耳侧信号测量单元之间的阻抗值,只获取一次阻抗值,根据获取的阻抗值判断单侧耳道配戴是否正常。即判断其中两个所述单侧耳侧信号测量单元之间的阻抗是否低于预设阈值;低于阈值则判断为配戴正常。

或者也可以是设置优先级顺序来进行两个单侧耳侧信号测量单元之间的测量,在不满足预设阈值的情况下测量预设数量次后终止测量和判断,或者逐对进行测量直到测量到低于预设值的阻抗,则说明耳侧佩戴装置可以正常测量,否则当遍历所有情况均无测量到低于预设值的阻抗说明无法正常测量。在此本申请同样对单侧多测量单元情况下具体的测量方法不做限定。

S212:当判断耳侧佩戴装置可以正常进行测量,将所述多个单侧耳侧信号测量单元中的两个采集的生物电信号的电位差值信号作为所述用户生物电信号。

在单个耳侧信号测量单元为多个且测量次数可以为多次的情况下,当测量到两个单侧耳侧信号测量单元之间的阻抗低于预设阈值则判断耳侧佩戴装置可以正常进行测量。将测量后判定为可以正常进行测量的两个单侧耳侧信号测量单元采集的生物电信号的电位差值信号作为所述用户生物电信号。

其中将测量后判定为可以正常进行测量的两个单侧耳侧信号测量单元采集的生物电信号的电位差值信号作为所述用户生物电信号具体方式可以包括,直接将两个可以正常测量耳侧信号测量单元采集的生物电信号的电位差值信号获取所述用户生物电信号;耳侧佩戴装置上还可以设置参考电极,分别获取所述一个耳侧信号测量单元采集的生物电信号和参考电极的第五电位差信号,以及另一个耳侧信号测量单元采集的生物电信号和参考电极的第六电位差信号,然后获取第五电位差信号和第六电位差信号的差值信号。

在单侧耳侧信号测量单元为多个且测量次数为一次的情况下,当测量到单侧耳侧信号测量单元之间的阻抗低于预设阈值则判断所测量的两个测量单元对应的耳道均可以正常进行测量。将测量后判定为可以正常进行测量的两个单侧耳侧信号测量单元采集的生物电信号的电位差值信号作为所述用户生物电信号,或者也可以基于测量结果认为耳侧佩戴装置为可以正常进行测量,则选择任意的两个单侧耳道测量单元,或者预先指定的两个单侧耳道测量单元来获取采集的生物电信号的电位差值信号作为所述用户生物电信号。

上述实施方式中所提到的求电位差的处理具体可以是对所采集的生物电信号进行差分处理,因为从耳侧,尤其是耳道获取脑电信号难度较高,所获取的脑电信号强度相对较弱,受噪声干扰时对信号后续的判断可能会产生较大的影响,因此为了保证耳侧获取那电信号的可实施性,以及后续对于用户注意力分析的结论的准确性,需要对耳道采取的生物电信号进行有针对性的去噪处理,而差分电路则可以去除所采集生物电信号中的噪声。耳侧佩戴装置属于电子产品,在运行过程中,虽然电路已进行电磁屏蔽设计,但可能会在某种特殊场景下,受到电路板上电信号、空气中电磁波的影响,从而导致波形的失真,采用差分技术,在两个耳朵上都贴上电极,从两个耳道中采集信号,确保信号的正确性。

具体原理图如图6所示,是两个耳道上的信号接收电路模型,当外界噪声寄居在线路上时,通过差分电路,消除干扰,便于后续提取正确的波形,601为左耳道生物电信号,602为右耳道生物电信号,603为噪声信号,601a为参杂噪声后的左耳道生物电信号,602a为参杂噪声后的右耳道生物电信号,604为差分处理后得到的生物电信号即第一生物电信号。图6仅为一种情况的示例,也可以601为右耳道生物电信号,602为左耳道生物电信号。

当前差分电路设计上,一般采用芯片直接实现,本发明实施例实现的电路如图5所示,501、502为左右耳道采集的生物电信号的输入,503为经过差分电路差分处理后输出的第一生物电信号。波形示意见如图7所示,V+为左耳道生物电信号,V-为右耳道生物电信号,(V+)-(V-)为差分处理后的生物电信号。同样,图7仅为一种情况的示例,也可以V+为右耳道生物电信号,V-为左耳道生物电信号。

对于图2a中S101中获取的到的用户生物电信号,可以根据具体的应用需要,从中提取脑电信号。

S102:从所述用户生物电信号中获取用户的脑电信号;

所述生物电信号包括,了人体的多种特征信号如心电ECG信号,眼电EOG信号,肌电EMG信号以及脑电EEG信号中的一种或多种。可以通过进行特征分解来提取不同类的生物特征信号的方法有多种,可以根据不同类信号存在的频谱不同而进行提取,较为常用的是利用盲信源分离算法独立成分分析(ICA)分解得到多个生物特征信号的成分,通过这种方式提取脑电信号。

除了对脑电信号进行提去外。还可以对脑电信号选择性的进行一些常规的处理。所述处理可以包括去伪迹、小波分析、数字化编码等常规的生物电信号处理操作中的一个或者多个,用于得到更加准确真实能反映用户脑电特征的脑电信号。也可以是经过其他的去躁处理和数字换转换后的脑电信号,在此不做限定。其中各种处理操作的处理方式和作用为:

去伪迹:在人体内部,有很多地方都产生电现象,最常见的就是神经传导,一个神经元接收刺激后传递生物电给下一个神经元,这种电现象是随着人类的存活无时无刻都在发生的,人类的每一个微小的表情都与神经电流的传导息息相关。不仅神经细胞如此,人体内的器官也能产生不同程度、不同强弱的生物电信号,然而,在测量脑电时,其他生物电信号也同样的混杂其中,因为不能完全提取到初凝的脑电原始信号,基本都是混杂着来自人体不同的生物电,其影响或大或小。除此之外,人类的表情、肢体动作也能很大的影响脑电信号,如心脏跳动、肌肉动作、眨眼动作、深呼吸、皮肤排汗等等。同时,温度的差异也会噪声生物电信号不同程度的强弱变化,若环境温度较低,会引起少数人的寒颤及抖动,这些动作幅度都比较大,对脑电也可以造成干扰。图8a为颈关节动作产生肌电伪迹,图8b为眨眼产生的眼电伪迹。这些伪迹与有用的脑电信号混杂在一起,加大了数据处理的难度,所以在采集到脑电信号之后需要对脑电信号中的伪迹进行去除。小波分析:是一种时频分析方法,由于脑电信号是一种非稳态信号,传统的傅里叶变换无法很好的提取细节(只能提取频率信息,时间信息无法提取),小波变换是一种信号的分析方法,能够在频域上较好的体现信号的时间特性,通过小波分析可以很好的表征信号局部特征。

数字化编码:是对脑电信号进行数字化编码,将脑电信号转化为数字信号。

其中去伪迹处理可以对生物电信号进行,也可以是针对特征提取的后脑电信号来进行。

所获取的脑电信号可以用于对用户的注意力进行分析判断,对提取的用户脑电信号还可以执行S103步骤。

S103:根据所述用户脑电信号基于机器学习模型获得所述用户的注意力类型。具体包括:

根据所获取的脑电信号来分析用户的注意力类型,通常的处理方式是对所获取的脑电信号进行注意力特征提取。脑电信号即脑电EGG(electroencephalogram)信号,是大脑活动的外在体现,不同的大脑活动表现为具有不同特征的脑电信号。研究表明,通过检测到的脑电信号,可以清晰的检测到人处在在状态。

在平时的人类活动中,会产生α、β、γ、θ、δ波段,波形情况如图3所示。

δ波:频率分布在1Hz到4Hz之间,波幅在20uv到200uv之间,在鼎业和脑垂体的表现比较明显,在婴儿时期或者智力发育还不成熟的时期表现较为显著,和θ波一样,也属于慢波。正常情况下,δ波只存在于极度缺乏氧气,深睡状态或者存在脑科病变等状态。

θ波:频率分布在4Hz到7Hz之间,幅度在20uf到40uf之间,属于慢波,主要出现在枕部和顶枕部,且左右两边对称,在人困倦或者浅睡时一般可以测到,同时与人的心理状态存在着普遍的联系。通常在情绪低落、遇到挫折、或者困倦时,中枢神经处于抑制状态下该波会出现。

α波:频率分布在8Hz到12Hz之间,波幅在25uf到75uf之间,主要出现在顶枕部,并且双侧基本保持同步,是正常人EEG该有的基本节律。处于思考、静息状态时改波表现较为明显,当个体发生具有目标性的活动、睁眼或收到其他刺激时,该波会消失,β波取而代之。

β波:频率分布于14Hz到30Hz之间,波幅约为δ波的一半,主要出现在额头部位和中央区,该波的频率显著代表了大脑皮层的亢奋层度,个体在清醒状态和睡觉期会出现。

因此通过分析所获取脑电信号的波形特征可以判断出用户当前的注意力状态,是清醒还是睡眠,是注意力集中还是不集中。

在本申请的具体实施例S103步骤又可以进一步划分为如图4所示:

S1031:基于脑电信号来获取样本熵。

基于脑电信号来获取样本熵的获取过程包括:

A:截取预设时间长度的所述脑电信号,从所述预设时间长度的脑电信号获得N个信号采样点,u(1),u(2),...,u(N)。

通常所述采样点为等时间间隔采样点,中截取的预设时间长度可选的。

B:基于所述N个信号采样点,分别以u(1),u(2),…,u(N-m+1)为起始点依次截取m个采样点来构造出N-m+1个m维向量;

所构建的N-m+1个m维向量为X(1),X(2),...,X(N-m+1),其中X(i)=[u(i),u(i+1),...,u(i+m-1)],1≤i≤N-m+1;m<N;

C:针对N-m+1个向量中的每一个m维向量,计算所述m维向量与每个其他向量之间的距离小于r的向量的数目的平均值,计算获得的N-m+1个所述平均值的平均值得到第一平均值。

针对N-m+1个向量中的每一个m维向量,统计满足以下条件的向量个数:

Bi(r)=(number of X(j)such that d[X(i),X(j)]≤r)/(N-m),i≠j,i的取值范围为[1,N-m+1],j的取值范围为除i以外的[1,N-m+1],r为一个预设值,例如,r的取值可以和上述采样点的标准差δ值相关,取值可以在0.1δ至0.3δ之间。其中,d[X(i),X(j)]定义为d[X(i),X(j)]=max|u(a)-u*(a)|,i≠j;u(a)为向量X(i)的元素,u*(a)为向量X(j)的对应维度的元素,d表示向量X(i)与X(j)的距离,向量X(i)与X(j)的距离由对应元素的差值中的最大差值决定,例如X(1)=[2,3,4,6],X(2)=[4,5,7,10],则对应元素的最大差值为|6-10|=4,因此d[X(1),X(2)]=4。求Bi(r)对所有i值的平均值,记为Bm(r),即

D:基于所述N个信号采样点,分别以u(1),u(2),…,u(N-m)为起始点依次截取m+1个采样点来构造出N-m个m+1维向量;

所构建的N-m个m+1维向量为Y(1),Y(2),...,Y(N-m),其中X(i)=[u(i),u(i+1),...,u(i+m)],1≤i≤N-m;m<N;

E:针对N-m个向量中的每一个m+1维向量,计算所述m+1维向量与每个其他向量之间的距离小于r的向量的数目的平均值,计算获得的N-m个所述平均值的平均值得到第二平均值。

针对N-m个向量中的每一个m+1维向量,统计满足以下条件的向量个数:

Ai(r)=(number of Y(j)such that d[Y(i),Y(j)]≤r)/(N-m-1),i≠j,i的取值范围为[1,N-m],j的取值范围为除i以外的[1,N-m],r为一个预设值,例如,r的取值可以和上述采样点的标准差δ值相关,取值可以在0.1δ至0.3δ之间。其中,d[Y(i),Y(j)]定义为d[Y(i),Y(j)]=max|u(a)-u*(a)|,i≠j;u(a)为向量Y的元素,d表示向量Y(i)与Y(j)的距离,由对应元素的最大差值决定。求Ai(r)对所有i值的平均值,记为Am(r),即

F:基于第一平均值与第二平均值比值来计算样本熵(SampEn)的值。

SampEn=lim(N→∞){-ln[Am(r)/Bm(r)]}。

其中A-F的顺序并不固定,比如B、C和D、E的实施并没有固定的先后顺序,D、E可以在B、C之前进行也可以同时进行,或者时间上部分重叠的实施。

S1032:基于所采集的脑电信号获得的样本熵的值判断用户的注意力状态。

根据所获得的样本熵的值来判断用户的注意力的情况。具体实现过程中可以有多种实现方式,如,可以是用户或者产品研发人员根据历史经验设定一个或多个预设数值,如用于区别注意力集中还是涣散的分割值,用于区分是清醒还是睡眠的分割值。如对于用于区别注意力集中还是涣散的分割值,大于或大于等于这个分割值时表示注意力集中,小于等于或小于这个分割值时表示注意力分散。所述分割值的大小以及个数根据所要区分的注意力状态的数量,以及注意力状态的类型来确定。

此外,也可以通过SVM分类器,用于机器学习模型训练的方式获得分割值,并根据所述分割值和所述样本熵值判断用户的注意力类型。

所述模型训练方式,为采用多种一直不同注意力类型的一定时长的脑电信号样本,并计算获取脑电信号样本的样本熵值,通过样本熵值和对应的注意力类型构建的样本来进行SVM模型的训练。然后将训练完成的模型用于后续的注意力分析,即输入相应脑电信号的样本熵值,输出对应的注意力类型,或注意力类型的概率。

SVM是一个由分类超平面定义的判别分类器,通过给定一组带标签的训练样本,算法将会输出一个最优超平面对新样本(测试样本)进行分类。图9a,9b是一个最优超平面获取的示意图,圆点和方块代表两类不同的数据,对于一个由二维坐标点构成的线性可分集合,如果能找到一条分割线离两类样本点都尽可能的远,则认为是这个二维坐标空间的最优超平面,即图9b中的实线。SVM机器学***面,并且它在区分两类数据的同时能够做到离他最近的训练样本的距离要最大。即最优分割超平面最大化训练样本边界。

通过SVM机器学习方式,输入多个样本熵取值及其对应的注意力状态后,SVM分类器会输出一个或多个分割值,用于判断用户的脑电信号的样本熵所对应的注意力状态。分割值可以是一个或者多个,如用于区别注意力集中还是涣散的分割值,用于区分是清醒还是睡眠的分割值。如对于用于区别注意力集中还是涣散的分割值,大于或大于等于这个分割值时表示注意力集中,小于等于或小于这个分割值时表示注意力分散。样本熵分析方法只需要较短数据就可得出稳健的估计值,是一种具有较好的抗噪和抗干扰能力的注意力分析方法。

图10是本发明实施例示例性的一种注意力检测系统图。包括:

其中耳侧佩戴装置11000,用于从耳侧采集的用户生物电信号;从所述用户生物电信号获得脑电信号;

耳侧佩戴装置11000具体可以分为单侧或双侧测量,其中耳侧佩戴装置11000为单侧测量其结构如图11a所示,其中单侧耳侧信号测量单元1011用于从左耳道或者右耳道获取用户生物电信号。

耳侧佩戴装置11000为双侧测量其结构如图11b所示,其中左耳耳侧信号测量单元101a用于从左耳道获取用户生物电信号,右耳耳侧信号测量单元101b用于从右耳道获取用户生物电信号。

对应于双侧测量的耳侧佩戴装置11000,即耳侧佩戴装置包括左耳耳侧信号测量单元101a和右耳耳侧信号测量单元101b,耳侧佩戴装置11000通过判断所述左耳耳侧信号测量单元101a和所述右耳耳侧信号测量单元101b之间的阻抗是否低于预设阈值,来判断耳侧佩戴装置是否可以正常进行测量,当判断耳侧佩戴装置可以正常进行测量,根据所述左耳耳侧信号测量单元采集的生物电信号和所述右耳耳侧信号测量单元采集的生物电信号的电位差值信号来获取所述用户生物电信号,当判断结果为耳侧佩戴装置无法正常进行测量,分别判断所述多个左耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值,以及所述多个右耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值。根据阻抗低于所述预设阈值的一侧耳道的两个生物电测量装置采集的生物电信号的电位差值信号来获取所述用户生物电信号。具体的判断方式可以参数步骤S201-S6203。

对应于耳侧佩戴装置11000为单侧耳道测量,即耳侧佩戴装置11000仅包括左耳耳侧信号测量单元或右耳耳侧信号测量单元1011,在此实施方式下,左耳耳侧信号测量单元或右耳耳侧信号测量单元需要为多个,即单侧耳侧信号测量单元为多个。耳侧佩戴装置11000通过判断所述单侧耳侧信号测量单元中的两个信号测量单元之间的阻抗是否低于预设阈值,来判断耳侧佩戴装置是否可以正常进行测量,当判断耳侧佩戴装置可以正常进行测量,根据所述多个单侧耳侧信号测量单元中的两个采集的生物电信号的电位差值信号来获取所述用户生物电信号。具体的判断方式参考步骤S211-S212。注意力检测装置1200,根据所述脑电信号检测所述用户的注意力类型。

其中耳侧佩戴装置11000具体采集脑电信号的细节在图2的S101,S102中已经详细描述过,同样注意力检测装置1200用于对用户注意力检测的技术细节也已经在图2的S102,以及图4中详细描述过,在此不再赘述。

图11c是本发明实施例示例性的一种具备注意力检测能力的耳侧佩戴装置11000的结构图,在本发明的有些实施例中,还可以将注意力检测装置和耳侧佩戴装置集成在一起,如图11所示,对应于本申请实施例的一种集成了注意力检测功能的耳侧佩戴装置1100。装置包括:

耳侧信号测量单元111,用于从耳侧采集的用户生物电信号。可选的,所述耳侧信号测量单元111可以包括左耳耳侧信号测量单元111a和右耳耳侧信号测量单元111b。当耳侧佩戴装置1100为单侧测量装置时,耳侧信号测量单元111可以仅包括单侧耳侧信号测量单元111c。

特征分解单元112,用于从所述用户生物电信号中提取脑电信号。

注意力检测单元113,用于根据所述脑电信号基于机器学习模型来获得所述用户的注意力分类结果。具体分析方式可以参考上文具体实施例,在此不再赘述。

第一判断单元114,用于判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值;将所述两个耳侧信号测量单元测量的生物电信号采集的生物电信号的电位差值信号作为所述用户生物电信号。

对应于双侧测量情况,所述耳侧佩戴装置还可以可选的包括第二判断单元。

第一断单元114,用于判断所述左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗是否低于预设阈值(具体判断方式上文中已经介绍,在此不再赘述);当所述左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗低于预设阈值;将所述左耳耳侧信号测量单元采集的生物电信号和所述右耳耳侧信号测量单元采集的生物电信号的电位差值信号作为所述用户生物电信号。

第二判断单元115,用于当第一判断单元114判断所述耳侧佩戴装置无法正常测量(具体判断方式上文中已经介绍,在此不再赘述),所述第二判断单元115分别判断所述多个左耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值,以及所述多个右耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值;并将阻抗低于所述预设阈值的一侧耳道的两个生物电测量装置采集的生物电信号的电位差值信号作为所述用户生物电信号。所述第二判断单元115为可选单元,第二判断单元115应用于所述左耳耳侧信号测量单元,右耳耳侧信号测量单元均为多个的情况。

对应于单侧测量情况,所述耳侧佩戴装置的包括第一判断单元114,用于判断其中两个所述单侧耳侧信号测量单元之间的阻抗是否低于预设阈值(具体判断方式上文中已经介绍,在此不再赘述),当所述两个所述单侧耳侧信号测量单元之间的阻抗低于预设阈值,将所述多个单侧耳侧信号测量单元中的两个采集的生物电信号的电位差值信号作为所述用户生物电信号。

本发明实施例还公开了一种测量用户脑电信号的方法,如图16所示:其中步骤S1601,S1602同图2相同,S1603为将所述脑电信号发送给信号分析装置,信号分析装置在本申请实施例中具体可以为注意力检测装置。

对应的本发明实施例还公开一种用于测量用户相关信号的耳侧佩戴装置,如图11d所示,耳侧信号测量单元121,用于从耳侧采集的用户生物电信号。可选的,所述耳侧信号测量单元121可以包括左耳耳侧信号测量单元121a和右耳耳侧信号测量单元121b。当耳侧佩戴装置120为单侧测量装置时,耳侧信号测量单元121可以仅包括单侧耳侧信号测量单元121c。

特征分解单元122,用于从用户生物电信号获取脑电信号。

发送单元123,用于将所述生物特征信号发送给信号分析装置;信号分析装置在本申请实施例中具体可以为注意力检测装置。

第一判断单元124,用于判断其中两个耳侧信号测量单元之间的阻抗是否低于预设阈值;当所述两个耳侧信号测量单元之间的阻抗低于预设阈值;将所述两个耳侧信号测量单元测量的生物电信号采集的生物电信号的电位差值信号作为所述用户生物电信号。

对应于双侧测量情况,所述耳侧佩戴装置还可以可选的包括第二判断单元125。

第一断单元124,用于判断所述左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗是否低于预设阈值(具体判断方式上文中已经介绍,在此不再赘述);当所述左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗低于预设阈值;将所述左耳耳侧信号测量单元采集的生物电信号和所述右耳耳侧信号测量单元采集的生物电信号的电位差值信号作为所述用户生物电信号。

第二判断单元125,用于当第一判断单元124判断所述耳侧佩戴装置无法正常测量(具体判断方式上文中已经介绍,在此不再赘述),所述第三判断单元分别判断所述多个左耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值,以及所述多个右耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值;并将阻抗低于所述预设阈值的一侧耳道的两个生物电测量装置采集的生物电信号的电位差值信号作为所述用户生物电信号。所述第二判断单元125为可选单元,第二判断单元125应用于所述左耳耳侧信号测量单元,右耳耳侧信号测量单元均为多个的情况。

对应于单侧测量情况,所述耳侧佩戴装置的第一判断单元124,用于判断其中两个所述单侧耳侧信号测量单元之间的阻抗是否低于预设阈值(具体判断方式上文中已经介绍,在此不再赘述),当所述两个所述单侧耳侧信号测量单元之间的阻抗低于预设阈值,将所述多个单侧耳侧信号测量单元中的两个采集的生物电信号的电位差值信号作为所述用户生物电信号。

图12为图11中的耳侧佩戴装置的一种具体产品结构示意图,耳侧佩戴装置可以有多种形态,例如可以是耳机形态,也可以是耳塞的形态,本示例给出的耳侧佩戴装置是耳塞形态,但在本申请中并不作为限定,耳侧佩戴装置包括耳塞本体301,柔性电极载体302和多个表面柔性电极303。柔性电极载体302提供一个足够弹性的支撑,确保附着在柔性电极载体302表面的多个柔性电极303和用户的耳侧表面形成紧密贴合,确保稳定地采集用户的脑电波信号。310部分示例性地呈现了一种表面柔性电极303的构成,包括呈现等角120度分布的生物感测柔性电极303A,生物感测柔性电极303B,接地的公共柔性电极303G,304是耳塞孔。针对另一些可行的实施例,附着在柔性电极载体302表面的生物感测柔性电极303可以只有1个或2个,而将耳塞本体301连接接地的公共柔性电极。或者在其他一些可行的实施例中,接地的公共柔性电极也可以采取耳廓支架上的电极触电来实现等多种方式。图12中耳塞形态的耳侧佩戴装置的佩戴示意图如图13所示,其中401为用户的耳道,402为脑电信号测量的入耳式的耳塞,403为柔性电极,404为用户的耳廓。从图3可以看出,佩戴时柔性电极载体表面的多个柔性电极403和用户的耳道401内表面形成紧密贴合,和用户的头部形成一个测量系统。虽然图中没有示出,耳侧佩戴装置还可以,包括通信模块用于接收或者发送脑电信号,还可以可选的包括注意力检测单元用于通过脑电信号分析用户的注意力类型。

其中图11a-d中的耳侧信号测量单元可以选择通过柔性电极的方式来实现。

本发明实施例还公开了一种分析用户相关信号的方法,如图17所示:其中步骤S1702同图7中的S603相同,S1701为从耳侧佩戴装置接收脑电信号。

对应的,本发明实施例还公开一种注意力检测装置130,如图14所示。装置包括:

接收单元131,用于从耳侧佩戴装置接收脑电信号;

注意力检测单元132,用于根据所述脑电信号获得所述用户的注意力类型。

相应的,注意力检测单元132,根据所述脑电信号分析所述用户的注意力类型,所述注意力检测单元可以是用户的终端设备如手机,或其他可佩戴或便携终端,也可以是设置于云端的服务器中。

所述注意力检测单元包括样本熵获取模块,注意力识别模块。

样本熵获取模块,用于基于脑电信号来获取样本熵;

基于脑电信号来获取样本熵的获取过程包括:

A:截取预设时间长度的所述脑电信号,从所述预设时间长度的脑电信号获得N个信号采样点,u(1),u(2),...,u(N)。

通常所述采样点为等时间间隔采样点,从所述脑电信号中截取的预设时间长度可以根据分析的需要来进行设定。

B:基于所述N个信号采样点,分别以u(1),u(2),…,u(N-m+1)为起始点依次截取m个采样点来构造出N-m+1个m维向量;

所构建的N-m+1个m维向量为X(1),X(2),...,X(N-m+1),其中X(i)=[u(i),u(i+1),...,u(i+m-1)],1≤i≤N-m+1;m<N;

C:针对N-m+1个向量中的每一个m维向量,计算所述m维向量与每个其他向量之间的距离小于r的向量的数目的平均值,计算获得的N-m+1个所述平均值的平均值得到第一平均值。

针对N-m+1个向量中的每一个m维向量,统计满足以下条件的向量个数:

Bi(r)=(number of X(j)such that d[X(i),X(j)]≤r)/(N-m),i≠j,i的取值范围为[1,N-m+1],j的取值范围为除i以外的[1,N-m+1],r为一个预设值,例如,r的取值可以和上述采样点的标准差δ值相关,取值可以在0.1δ至0.3δ之间。其中,d[X(i),X(j)]定义为d[X(i),X(j)]=max|u(a)-u*(a)|,i≠j;u(a)为向量X(i)的元素,u*(a)为向量X(j)的对应维度的元素,d表示向量X(i)与X(j)的距离,向量X(i)与X(j)的距离由对应元素的差值中的最大差值决定,例如X(1)=[2,3,4,6],X(2)=[4,5,7,10],则对应元素的最大差值为|6-10|=4,因此d[X(1),X(2)]=4。求Bi(r)对所有i值的平均值,记为Bm(r),即

D:基于所述N个信号采样点,分别以u(1),u(2),…,u(N-m)为起始点依次截取m+1个采样点来构造出N-m个m+1维向量;

所构建的N-m个m+1维向量为Y(1),Y(2),...,Y(N-m),其中X(i)=[u(i),u(i+1),...,u(i+m)],1≤i≤N-m;m<N;

E:针对N-m个向量中的每一个m+1维向量,计算所述m+1维向量与每个其他向量之间的距离小于r的向量的数目的平均值,计算获得的N-m个所述平均值的平均值得到第二平均值。

针对N-m个向量中的每一个m+1维向量,统计满足以下条件的向量个数:

Ai(r)=(number of Y(j)such that d[Y(i),Y(j)]≤r)/(N-m-1),i≠j,i的取值范围为[1,N-m],j的取值范围为除i以外的[1,N-m],r为一个预设值,例如,r的取值可以和上述采样点的标准差δ值相关,取值可以在0.1δ至0.3δ之间。其中,d[Y(i),Y(j)]定义为d[Y(i),Y(j)]=max|u(a)-u*(a)|,i≠j;u(a)为向量Y的元素,d表示向量Y(i)与Y(j)的距离,由对应元素的最大差值决定。求Ai(r)对所有i值的平均值,记为Am(r),即

F:基于第一平均值与第二平均值比值来计算样本熵(SampEn)的值。

SampEn=lim(N→∞){-ln[Am(r)/Bm(r)]}。

其中A-F的顺序并不固定,比如B、C和D、E的实施并没有固定的先后顺序,D、E可以在B、C之前进行也可以同时进行,或者时间上部分重叠的实施。

注意力识别模块,用于基于所采集的脑电信号获得的样本熵的值判断用户的注意力状态。

其中注意力识别模块可以包括:

SV分类器,用于机器学习获得分割值;具体可以是通过SVM机器学习方式,输入多个样本熵取值及其对应的注意力状态后,SVM分类器会输出一个或多个分割值,用于判断用户的脑电信号的样本熵所对应的注意力状态。

其中SVM分类器可以设置与注意力识别模块中,也可以设置与其他装置中进行训练获得分割值,然后将分割值发送给注意力识别模块,或者由用户或者开发人员根据训练结果手动进行设置。

判断模块,用于根据所述分割值和所述样本熵值判断用户的注意力类型。

分割值可以是一个或者多个,如用于区别注意力集中还是涣散的分割值,用于区分是清醒还是睡眠的分割值。如对于用于区别注意力集中还是涣散的分割值,大于或大于等于这个分割值时表示注意力集中,小于等于或小于这个分割值时表示注意力分散。

其中具体技术实现细节在实现上可以采用图2中的相关说明。

注意力检测装置130的具体实现形式可以是手持终端,或是车载终端,或是其他可用于计算和分析脑电信号的装置。

图15a,是对应于是本申请实施例耳侧佩戴装置的处理器结构示意图。

如图15a所示集成了注意力检测功能的耳侧佩戴装置1400可以包括一个或者多个处理器1406、一个或多个存储器1401,特征分解单元1403。具体实现中,耳侧佩戴装置还可以进一步包括通信单元1405。处理器1406可通过总线分别连接存储器1401、测量电极1402,特征分解电路1403等部件。分别描述如下:

处理器1406是耳侧佩戴装置的控制中心,利用各种接口和线路连接耳侧佩戴装置的各个部件,在可能实施例中,处理器1406还可包括一个或多个处理核心。处理器1400可通过执行程序指令来判断测量电极是否能正常测量(耳侧佩戴装置是否能正常测量),以及根据测量信号进行用户注意力分析。当处理器1406可以为专用处理器也可以为通用处理器,当处理器1406为通用处理器时,处理器1406通过运行或执行存储在存储器1401内的软件程序(指令)和/或模块。

存储器1401可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器1401还可以包括存储器控制器,以提供处理器1400和输入单元对存储器1401的访问。存储器1401可具体用于存储软件程序(指令)、以及采集的用户生物电信号。

耳侧信号测量单元1402,用于从耳侧采集的用户生物电信号。可选的,所述耳侧信号测量单元1402可以包括左耳耳侧信号测量单元和右耳耳侧信号测量单元。当耳侧佩戴装置1400为单侧测量装置时,耳侧信号测量单元1402可以仅包括单侧耳侧信号测量单元。耳侧信号测量单元1402通常通过硬件方式来实现,例如耳侧信号测量单元1402可以为电极,耳侧信号测量单元1402可以为一个或者多个。

特征分解单元1403,用于从用户生物电信号获取脑电信号。特征分解单元1403通常通过硬件方式来实现,例如特征分解电路,ICA组件。

通信单元1405用于通过无线或有线通信技术和耳侧佩戴装置以及其他设备之间进行通信连接,如蜂窝移动通信技术,WLAN,蓝牙等。

本领域技术人员可以理解,本申请实施例中耳侧佩戴装置可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,耳侧佩戴装置还可以进一步包括扬声器、摄像头等,在此不再赘述。

具体的,处理器1406可通过读取,并分析判断存储在存储器1401中的测量信号来判断测量电极是否能正常测量(耳侧佩戴装置是否能正常测量),以及根据测量信号进行用户注意力分析。包括:

对应于双侧测量情况,处理器1406用于判断所述左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗是否低于预设阈值(具体判断方式上文中已经介绍,在此不再赘述);当所述左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗低于预设阈值;根据所述左耳耳侧信号测量单元采集的生物电信号和所述右耳耳侧信号测量单元采集的生物电信号的电位差值信号获取所述用户生物电信号;当判断所述耳侧佩戴装置无法正常测量(具体判断方式上文中已经介绍,在此不再赘述),分别判断所述多个左耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值,以及所述多个右耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值;并根据阻抗低于所述预设阈值的一侧耳道的两个生物电测量装置采集的生物电信号的电位差值信号获取所述用户生物电信号,电位差值信号可以通过处理器1406执行指令来获取,也通过电位差值获取单元即硬件电路来实现。

对应于单侧测量情况,处理器1406用于判断其中两个所述单侧耳侧信号测量单元之间的阻抗是否低于预设阈值(具体判断方式上文中已经介绍,在此不再赘述),当所述两个所述单侧耳侧信号测量单元之间的阻抗低于预设阈值,根据所述多个单侧耳侧信号测量单元中的两个采集的生物电信号的电位差值信号获取所述用户生物电信号。

处理器1406还用于根据所述脑电信号获得所述用户的注意力类型。具体分析方式可以参考上文具体实施例,在此不再赘述。

还需要说明的是,虽然图14仅仅是本申请耳侧佩戴装置的一种实现方式,所述耳侧佩戴装置中处理器1406和存储器1401,在可能的实施例中,还可以是集成部署的。

图14还可以为本发明实施例的一种用于测量用户脑电信号的耳侧佩戴装置可以包括一个或者多个处理器1406、一个或多个存储器1401,耳侧信号测量单元1402,特征分解单元1403。具体实现中,耳侧佩戴装置还可以进一步包括通信单元1405(包括发送单元和接收单元)。处理器1406可通过总线分别连接存储器1401、测量电极1402,特征分解电路1403等部件。分别描述如下:

处理器1406是耳侧佩戴装置的控制中心,利用各种接口和线路连接耳侧佩戴装置的各个部件,在可能实施例中,处理器1406还可包括一个或多个处理核心。处理器1400可通过执行程序指令来判断测量电极是否能正常测量(耳侧佩戴装置是否能正常测量)。当处理器1406可以为专用处理器也可以为通用处理器,当处理器1406为通用处理器时,处理器1406通过运行或执行存储在存储器1401内的软件程序(指令)和/或模块。

存储器1401可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器1401还可以包括存储器控制器,以提供处理器1400和输入单元对存储器1401的访问。存储器1401可具体用于存储软件程序(指令)、以及采集的用户生物电信号。

耳侧信号测量单元1402,用于从耳侧采集的用户生物电信号。可选的,所述耳侧信号测量单元1402可以包括左耳耳侧信号测量单元和右耳耳侧信号测量单元。当耳侧佩戴装置1400为单侧测量装置时,耳侧信号测量单元1402可以仅包括单侧耳侧信号测量单元。耳侧信号测量单元1402通常通过硬件方式来实现,例如耳侧信号测量单元1402可以为电极,耳侧信号测量单元1402可以为一个或者多个。

可选的,在某些实施例中还可以包括特征分解单元1403,用于从用户生物电信号获取脑电信号。特征分解单元1403通常通过硬件方式来实现,例如特征分解电路,I CA组件。

通信单元1405用于通过无线或有线通信技术和耳侧佩戴装置以及其他设备之间进行通信连接,如蜂窝移动通信技术,WLAN,蓝牙等,用于将生物电信号或采集并处理后的脑电信号发送给信号分析装置;信号分析装置在本申请实施例中具体可以为注意力检测装置。除了注意力检测装置外,由于获取的脑电信号还可以应用于用户其他特征的分析,例如睡眠状态,情绪状态的识别,因此信号分析装置还可以是睡眠测装置,情绪检测装置等其他的需要通过脑电信号分析来获得信息的装置。

本领域技术人员可以理解,本申请实施例中耳侧佩戴装置可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,耳侧佩戴装置还可以进一步包括扬声器、摄像头等,在此不再赘述。

具体的,处理器1406可通过读取,并分析判断存储在存储器1401中的测量信号来判断测量电极是否能正常测量(耳侧佩戴装置是否能正常测量),以及根据测量信号进行用户注意力类型的分析。包括:

对应于双侧测量情况,处理器1406用于判断所述左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗是否低于预设阈值(具体判断方式上文中已经介绍,在此不再赘述);当所述左耳耳侧信号测量单元和所述右耳耳侧信号测量单元之间的阻抗低于预设阈值;根据所述左耳耳侧信号测量单元采集的生物电信号和所述右耳耳侧信号测量单元采集的生物电信号的电位差值信号获取所述用户生物电信号;当判断所述耳侧佩戴装置无法正常测量(具体判断方式上文中已经介绍,在此不再赘述),分别判断所述多个左耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值,以及所述多个右耳耳侧信号测量单元中的两个之间的阻抗是否低于预设阈值;并根据阻抗低于所述预设阈值的一侧耳道的两个生物电测量装置采集的生物电信号的电位差值信号获取所述用户生物电信号,电位差值信号可以通过处理器1406执行指令来获取,也通过电位差值获取单元即硬件电路来实现。

对应于单侧测量情况,处理器1406用于判断其中两个所述单侧耳侧信号测量单元之间的阻抗是否低于预设阈值(具体判断方式上文中已经介绍,在此不再赘述),当所述两个所述单侧耳侧信号测量单元之间的阻抗低于预设阈值,根据所述多个单侧耳侧信号测量单元中的两个采集的生物电信号的电位差值信号获取所述用户生物电信号。

同样,图14仅仅是本申请耳侧佩戴装置的一种实现方式,所述耳侧佩戴装置中处理器1406和存储器1401,在可能的实施例中,还可以是集成部署的。

图15b是本申请实施例提供的一种注意力检测装置的另一种终端形式的结构示意图,如图15所示,注意力检测装置可以包括一个或者多个处理器1500、一个或多个存储器1501。具体实现中,注意力检测装置还可以进一步包括输入单元1506、显示单元1503,通信单元1502等部件,处理器2011可通过总线分别连接存储器1501、通信单元1502、输入单元1506、显示单元1503等部件。分别描述如下:

处理器1500是注意力检测装置的控制中心,利用各种接口和线路连接注意力检测装置的各个部件,在可能实施例中,处理器1500还可包括一个或多个处理核心。处理器1500可通过执行程序指令来进行脑电信号的注意力检测。当处理器1500可以为专用处理器也可以为通用处理器,当处理器1500为通用处理器时,处理器1500通过运行或执行存储在存储器1501内的软件程序(指令)和/或模块。

存储器1501可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器1501还可以包括存储器控制器,以提供处理器1500和输入单元1506对存储器1501的访问。存储器1501可具体用于存储软件程序(指令)、以及脑电信号。

输入单元1506可用于接收用户输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元1506可包括触敏表面1505以及其他输入设备1507。触敏表面1505也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作,并根据预先设定的程式驱动相应的连接装置。具体地,其他输入设备1507可以包括但不限于物理键盘、功能键、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1503可用于显示由用户输入的检索请求或检索装置提供给用户的检索结果以及检索装置的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。具体的,显示单元1503可包括显示面板1504,可选的,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-EmittingDiode,OLED)等形式来配置显示面板1504。虽然在图15中,触敏表面1505与显示面板1504是作为两个独立的部件,但是在某些实施例中,可以将触敏表面1505与显示面板1504集成而实现输入和输出功能。例如,触敏表面1505可覆盖显示面板1504,当触敏表面1505检测到在其上或附近的触摸操作后,传送给处理器1500以确定触摸事件的类型,随后处理器1500根据触摸事件的类型在显示面板1504上提供相应的视觉输出。

通信单元1502用于通过无线或有线通信技术和耳侧佩戴装置以及其他设备之间进行通信连接,如蜂窝移动通信技术,WLAN,蓝牙等。用于接收耳侧佩戴装置发送的脑电信号,以及可能根据判断结果向耳侧佩戴装置返回提示信号,或者是直接通过扬声器进行提示,或者通过显示单元1503显示提醒界面。

本领域技术人员可以理解,本申请实施例中检索装置可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,检索装置还可以进一步包括扬声器、摄像头等,在此不再赘述。

具体的,处理器1500可通过读取,并分析判断存储在存储器1501中的脑电信号来实现本申请实施例的步骤S103中的基于所述脑电信号检测所述用户的注意力类型。包括:

基于脑电信号来获取样本熵,所述样本熵的获取过程在上文中已经详细介绍,因此在此不再赘述。

基于所采集的脑电信号获得的样本熵的值判断用户的注意力状态。

根据SVM分类器通过机器学习获得分割值和所述样本熵值判断用户的注意力类型。

处理器1500执行用户注意力分析的方法的具体实施过程可参考前文的方法实施例,这里不再赘述。

还需要说明的是,虽然图15b仅仅是本申请检索装置的一种实现方式,所述检索装置中处理器1500和存储器1501,在可能的实施例中,还可以是集成部署的。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者任意组合来实现。当使用软件实现时,可以全部或者部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令,在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述处理器可以是通用处理器或者专用处理器。所述检索装置可以是一个,也可以是多个检索装置组成的计算机网络。所述计算机指令可存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网络站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、微波等)方式向另一个网络站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质,也可以是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD等)、或者半导体介质(例如固态硬盘)等等。

示例性的,本申请实施例的方案,执行主体可选的可以为ASIC、FPGA、CPU、GPU等,通过硬件或软件方式实现,存储器可选的可以为DDR、SRAM、HDD、SSD等易失或非易失性的存储设备。所述数据检索装置可以应用于多种场景,例如用于视频监控系统的服务器上,示例性的可以是以PCIe扩展卡的形式。

其中ASIC、FPGA属于硬件实现,即在硬件设计时通过硬件描述语言的方式将本申请的方法落地;CPU、GPU属于软件实现,即在软件设计时通过软件程序代码的方式将本申请的方法落地。

在上述实施例中,对各个实施例的描述各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

45页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种用于经颅电刺激和迷走神经刺激的脑电采集系统

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!