一种基于运动想象脑电与头姿的智能轮椅及控制方法
阅读说明：本技术 一种基于运动想象脑电与头姿的智能轮椅及控制方法 (Intelligent wheelchair based on motor imagery electroencephalogram and head posture and control method ) 是由 王强 徐国政 孙星 高翔 谭彩铭 朱博 于 2021-08-23 设计创作，主要内容包括：本发明公开了一种基于运动想象脑电与头姿的智能轮椅及控制方法,智能轮椅装置包括电动轮椅和附加装置脑电采集设备、头姿采集设备、颈部肌电采集设备、头部姿态估计模块、虚拟光标控制模块、轮椅人机交互接口模块、疲劳感知模块和智能轮椅。控制方法包括：(1)运动想象脑电控制模式使用感觉运动节律控制虚拟光标,头姿交互控制模式使用头部姿态控制虚拟光标；(2)根据用户颈部肌肉的疲劳状态切换运动想象脑电与头姿两种控制方式；(3)根据虚拟光标的坐标位置并通过差分运动学模型计算轮椅左右轮对应的转速。利用该控制方法及装置,可连续调节智能轮椅的速度和转向角度,缓解了用户操作时颈部肌肉的疲劳程度,提升了智能轮椅的连续性和舒适性。(The invention discloses an intelligent wheelchair based on motor imagery electroencephalogram and head posture and a control method. The control method comprises the following steps: (1) the motor imagery brain electric control mode uses the sensory motor rhythm to control the virtual cursor, and the head posture interaction control mode uses the head posture to control the virtual cursor; (2) switching two control modes of motor imagery electroencephalogram and head posture according to the fatigue state of the neck muscles of the user; (3) and calculating the corresponding rotating speeds of the left wheel and the right wheel of the wheelchair through a differential kinematics model according to the coordinate position of the virtual cursor. By utilizing the control method and the control device, the speed and the steering angle of the intelligent wheelchair can be continuously adjusted, the fatigue degree of neck muscles during operation of a user is relieved, and the continuity and the comfort of the intelligent wheelchair are improved.)
技术领域
本发明涉及脑-机接口与机器视觉技术领域，具体涉及一种基于运动想象脑电和头姿交互的智能轮椅连续控制方法及系统。
背景技术
随着当今社会对于老年人群和残疾人群关注度的提升，如何满足上述群体的出行需求，成为亟待解决的社会热点问题。近年来，智能轮椅在解决老年和残疾群体的出行问题中扮演了重要的角色。脑-机接口是一项新兴的技术，其最终研究目标之一是通过实时解码用户的大脑活动来实现对外部设备的控制，可以帮助高位截瘫和偏瘫用户重新和外部世界建立联系。运动想象脑电信号作为一种典型的自发脑电，在受试者想象某种特定的动作而没有做出实际的肢体动作时，大脑皮层的感觉运动区域也会产生相应的电位变化。根据对应信号的增强和减弱变化现象，称之为事件相关同步和事件相关去同步现象。执行不同的运动想象动作，会使不同位置的Mu和Beta节律产生对应的变化。将事件相关同步和事件相关去同步现象作为判断不同的运动想象动作的重要依据，更能直观体现受试者的主观意愿，使运动想象脑-机接口被广泛使用。头姿交互利用摄像头实时获取用户头部的特定动作，将其转化为控制指令，实现对外部设备的控制。头姿交互控制可以通过直观的头部运动，帮助用户完成轮椅的人机交互，但容易因颈部肌肉疲劳给用户带来二次损伤。传统的脑-机接口控制智能轮椅，主要基于对脑电信号的四分类识别进行控制。通常只能每采集一段脑电信号，对脑电信号分类后，得到一个离散的前进、后退、左转或右转控制指令，其乘坐体验与其他传统方式控制的差距较大，且无法调节速度，不具备连续性和舒适性。
本发明所提出的连续控制方法基于运动想象脑电和头姿交互，并实时监测受试者颈部肌肉的疲劳状态作为切换为运动想象脑电控制的条件。在头姿控制模式下，当检测到用户颈部肌肉产生疲劳时切换到运动想象控制模式。在运动想象控制模式下，首先将解码后的运动想象脑电信号转化为虚拟光标的控制指令，然后将光标实时映射到轮椅控制界面，根据光标的位置实时连续输出智能轮椅左右轮的转速。
发明内容
发明目的：本发明的目的是提供一种基于运动想象脑电与头姿的智能轮椅及控制方法，实时监测用户颈部肌肉的疲劳生理相应，并以疲劳评估的结果为条件切换两种控制方式。其中的运动想象脑电控制模式解码用户运动想象时的脑电信号转化为一个虚拟光标的控制指令，并将光标实时映射到轮椅控制界面，根据光标位置连续实时对轮椅输出控制指令，使其具备调节速度和转向角度的能力。
技术方案：本发明所述的一种基于运动想象脑电与头姿的智能轮椅及控制方法，系轮椅系统包括：脑电采集设备、头姿采集设备、颈部肌电采集设备、头部姿态估计模块、虚拟光标控制模块、轮椅人机交互接口模块、疲劳感知模块和智能轮椅装置。一方面，Kinect传感器捕获的头姿深度图像经头姿估计模块估计出头部实时姿态后，进一步映射至机器人轮椅人机交互接口产生控制指令，实现轮椅的头姿交互控制；另一方面，Neuroscan脑电控制器实时采集运动想象脑电信号，经前期处理后用于虚拟光标的控制，受控的虚拟光标同步映射到机器人轮椅人机交互接口，产生连续脑电控制指令实现轮椅的交互；Delsys肌电传感器采集的颈部表面肌电信号经疲劳感知模块评估后，根据疲劳状态确定是否产生切换指令，实现头姿与脑电两种交互方式的切换。
方法主要包括以下步骤：
S1、在头姿控制模式下，利用Kinect深度相机实时获取用户的头部图像信息；
(1)利用随机森林融合最近点迭代算法估计受试者的头部姿态；
(2)将受试者的实时头部姿态坐标映射到轮椅控制模块；
(3)根据头部姿态坐标的变化，实时连续输出轮椅的速度指令。
S2、运动想象脑电控制需要通过筛选实验，获取受试者感觉运动节律参数，分析实验数据找到每位受试者各自最优的参数配置；
在此步骤中，脑电采集设备为Neuroscan公司研制的Synamp2放大器和64通道Quik-Cap电极帽，选用其中的FC6、FP4、FC2、FC1、FC3、FC5、C6、C4、C2、C5、C3、C1、CP6、CP4、CP2、CP5、CP3、CP1通道，使用Scan4.5采集软件采集用户的脑电信号。
S3、经过特征提取和特征转化，将受试者的脑电信号转化为虚拟光标的控制指令；
在此步骤中，使用共同平均参考滤波器对采集到的脑电信号进行空间滤波，计算出中心电极以外的所有电极的平均值，将其作为参考,其公式为
其中，sh(t)为t时刻目标电极的原始电位，为经过CAR空间滤波后的电位，si(t)为记录到的第i个电极处的电位。
再利用基于自回归模型的最大熵法(burg算法)进行时间滤波，将Mu节律和Beta节律的时域信号转换为频域特征进行分析。AR模型可表示为：
其中，u(n)为均值为零，方差为δ2的白噪声，p为阶数，ak为AR模型参数。计算出AR模型参数后，再计算功率谱：
根据对比用户进行运动想象和休息两种状态之间谱能量的变化，找出差异最大处的通道和频率代表与用户的运动想象最为相关，并将此处的脑电信号幅值作为最终的信号特征。
最后通过线性回归的方法，将信号特征转换为光标的控制信号，虚拟光标垂直运动分量公式为：
Mv＝ωrvRv+ωlvLv+bv
其中Rv为大脑右侧特定频段的幅值，Lv为左侧特定频段的幅值。ωrv和ωrv为对应权重系数。虚拟光标水平运动分量公式为：
Mh＝ωrhRh+ωlhLh+bh
其中Rh为大脑右侧特定频段的幅值，Lh为左侧特定频段的幅值。ωrh和ωlh为对应的权重系数。初始状态下，系数ωrv＝ωrv＝1，ωrh＝1，ωlh＝-1。在经历一次完整的实验过程后，根据先前的实验数据采用最小均方误差算法更新权重系数和偏移量。
S4、将S3步骤中受控的虚拟光标同步映射到机器人轮椅人机交互接口，生成轮椅左右轮的速度指令驱动轮椅运动。
在此步骤中，根据虚拟光标位置坐标(x，y)的变化实时连续输出轮椅的速度指令。其公式如下：
其中x和y为虚拟光标的坐标，x′和y′为映射后控制光标的坐标，vl和vr为左右轮轴心的移动速度，R为驱动轮半径，L为驱动轮轮距，v和ω为轮椅的线速度和角速度。将生成的速度指令按照差分运动学模型分解发送给底层的PID控制器调节左右轮电机的转速，驱动轮椅运动。
S5、实时监测用户颈部肌肉的疲劳生理响应，根据疲劳评估模型判断受试者颈部肌肉的疲劳状态，确定是否在运动想象脑电与头姿两种交互控制方式中进行切换。
在此步骤中，疲劳评估模型主要根据颈部肌肉疲劳生理响应的积分肌电值和平均功率频率，在一个评估周期内如果积分肌电值上升而平均功率频率降低，则判断用户处于疲劳状态，反之为非疲劳状态。当用户处于疲劳状态时，由头姿交互模式切换到运动想象脑电控制模式；当用户处于非疲劳状态时，由运动想象脑电控制模式切换到头姿交互模式。
附图说明
图1为智能轮椅结构图；
图2为基于运动想象脑电和头姿交互的智能轮椅连续控制系统结构图；
图3为轮椅控制模块界面示意图；
图4为运动想象脑电与头姿交互控制切换方法流程图。
有益效果
本发明提供一种基于运动想象脑电和头姿交互的智能轮椅连续控制方法及系统，将用户的脑电控制意图转化为一个虚拟光标的控制指令，并同时将受控光标实时映射到轮椅人机交互接口，根据光标位置连续实时对轮椅输出控制指令；同时，根据实时监测的用户颈部肌肉疲劳状态，在运动想象脑电与头姿两种交互控制方式中进行切换，缓解了用户的肌肉疲劳，提升了用户驾驶智能轮椅的连续性和舒适性。
具体实施方式
为了更清晰地阐明本发明的技术内容，下面结合附图及具体实施例来详细说明本发明，其中具体实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
参见图1为本发明使用的智能轮椅结构图，智能轮椅拥有以基本电动轮椅结构为主题以及安装在主体上的附属结构，包括Kinect深度相机101、PC控制器托盘102、轮椅主体103、前轮104、电机105、SynAmps2脑电采集设备106、蓄电池及逆变器107、后轮108。如图所示，SynAmps2脑电采集设备安装在智能轮椅背部，通过蓄电池经逆变器进行供电。Kinect深度相机安装在用户正前方，需确保能将用户的整个头部包含在采集画面中。脑电与头姿信号处理和轮椅控制由PC控制器进行处理，PC控制器放在用户正前方的托盘上，方便进行视觉反馈和人机交互。
参见图2为基于运动想象脑电与头姿结合的智能轮椅连续控制系统结构图，其主要的实现方案为：Kinect传感器捕获的头姿深度图像经头姿估计模块估计出头部实时姿态后，进一步映射至机器人轮椅人机交互接口产生控制指令，实现轮椅的头姿交互控制；Neuroscan脑电控制器实时采集运动想象脑电信号，经前期处理后用于虚拟光标的控制，受控的虚拟光标同步映射到机器人轮椅人机交互接口，产生连续脑电控制指令实现轮椅的交互；Delsys肌电传感器采集的颈部表面肌电信号经疲劳感知模块评估后，根据疲劳状态确定是否产生切换指令，实现头姿与脑电两种交互方式的切换；
参见图3为轮椅人机交互接口控制模块界面示意图，矩形区域为虚拟光标的运动区域，圆形区域为轮椅控制模块映射光标运动区域。
参见图4为运动想象脑电控制与头姿交互控制切换方法流程图，实时监测受试者颈部肌肉的疲劳状态；当判断出疲劳状态时，由头姿交互控制方式切换到运动想象脑电连续控制；当判断结果为肌肉处于恢复状态时，切换到头姿交互控制。
下面结合附图所示，更加具体地描述基于运动想象脑电与头姿的智能轮椅连续控制方法的实施例实现。
S1，受试者佩戴好与SynAmps2放大器相连的64导联Quik-Cap电极帽和Trigno无线表面肌电测试系统中的肌电传感器，在电极帽的FC6、FP4、FC2、FC1、FC3、FC5、C6、C4、C2、C5、C3、C1、CP6、CP4、CP2、CP5、CP3、CP1通道中注入导电膏，使用Scan4.5采集软件采集用户的脑电信号，并将Kinect深度相机放置在用户的正前方。
S2，首先启动头姿交互控制模式；
S21，利用随机森林融合最近点迭代算法估计受试者的头部姿态；
S22，将受试者的实时头部姿态坐标映射到轮椅控制模块；
S23，根据头部姿态坐标的变化，实时连续输出轮椅的速度指令。用户通过抬头、低头、向左侧头、向右侧头控制轮椅连续运动。
S3，经过特征提取和特征转化，将受试者的脑电信号转化为虚拟光标的控制指令。
S31，在BCI2000脑电处理软件中，先进行特征提取。用户根据提示想象左手或右手运动，使用共同平均参考滤波器对采集到的脑电信号进行空间滤波，计算出中心电极以外的所有电极的平均值，将其作为参考,其公式为
S32，再通过AR模型来计算空间滤波之后信号的频谱，AR模型可表示为：计算出AR模型参数后，再计算功率谱，其公式为：
S33，分析对比受试者在休息状态和想象左手或右手状态的频谱信息，找出差异最大处的通道和频率，并以该处的幅值作为最终提取的信号特征组成虚拟光标水平运动分量，其公式为：
Mh＝ωrhRh+ωlhLh+bh
分析对比受试者在休息状态和想象双手运动或放松状态的频谱信息，找出差异最大处的通道和频率，并以该处的幅值作为最终提取的信号特征组成虚拟光标垂直运动分量，其公式为：
Mv＝ωrvRv+ωlvLv+bv
初始状态下，系数ωrv＝ωrv＝1，ωrh＝1，ωlh＝-1。在经历一次完整的实验过程后，根据先前的实验数据采用最小均方误差算法更新权重系数和偏移量。
S4，在头姿交互控制过程中，每隔2分钟记录一次用户的头夹肌共6个传感器的肌电数据，每次记录30秒的肌电数据作为一次疲劳程度评估。
具体在一个评估周期内，以1000的数据点为时间窗，步长为500点进行重叠率为50％的滑动窗口计算。每次进行两种计算，分别得到每个窗口时间内的积分肌电值和平均功率频率，依次计算得到完整30秒内所有的积分肌电值和平均功率频率；然后对每次评估周期内的数据进行一维的最小二乘拟合，根据拟合后直线的斜率来判断对应评价指标在评价周期内的变化；当用户的积分肌电值上升而平均功率频率降低试，则判断用户处于疲劳状态，切换为运动想象脑电控制模式；其他情况则判断为非疲劳状态，继续保持头姿交互控制模式。
S5，将S3步骤中虚拟光标的位置通过TCP通信实时发送到轮椅控制模块，生成轮椅左右轮的速度指令驱动轮椅运动。根据虚拟光标位置坐标(x，y)的变化实时连续输出轮椅的速度指令，如图3所示。其公式如下：
将生成的速度指令按照差分运动学模型分解发送给底层的PID控制器调节左右轮电机的转速，驱动轮椅运动。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则范围之内所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种自动洗护装置