长时程脑-肌电耦合的上肢运动功能训练与评测方法
阅读说明：本技术 长时程脑-肌电耦合的上肢运动功能训练与评测方法 (Long-time-course brain-myoelectric coupled upper limb movement function training and evaluating method ) 是由 王仲朋 明东 陈龙 刘爽 许敏鹏 何峰 于 2020-12-23 设计创作，主要内容包括：本发明涉及脑-肌电耦合技术、医疗器械领域,为提出长时程的运动神经反馈训练系统,构建长时程脑-肌电特征的上肢运动功能训练装置和评测方法,训练提升上肢运动神经功能,建立运动神经反馈训练效果的客观评测标准,进一步研究可以得到完善脑-机交互式运动神经反馈训练系统,本发明采取的技术方案是,长时程脑-肌电耦合的上肢运动功能训练与评测方法,设计用户长时程运动神经反馈训练系统范式；搭建脑-肌电同步采集装置,以同步采集脑-肌电数据；实时计算匹配神经反馈的用户脑电特征参数,进行正向激励反馈训练；评测运动神经反馈训练前后的脑-肌电耦合关系和效果差异。本发明主要应用于脑-肌电耦合场合。(The invention relates to the field of brain-myoelectricity coupling technology and medical instruments, in order to provide a long-time-range motor nerve feedback training system, construct a long-time-range brain-myoelectricity characteristic upper limb motor function training device and an evaluation method, train and promote the upper limb motor nerve function, establish an objective evaluation standard of the motor nerve feedback training effect, and further research can obtain a perfect brain-machine interactive motor nerve feedback training system; a brain-myoelectricity synchronous acquisition device is built to synchronously acquire brain-myoelectricity data; calculating user electroencephalogram characteristic parameters matched with neural feedback in real time, and performing forward excitation feedback training; evaluating the brain-myoelectricity coupling relation and effect difference before and after the motor nerve feedback training. The invention is mainly applied to the occasion of brain-myoelectricity coupling.)
技术领域
本发明涉及脑-肌电耦合技术、医疗器械领域，具体涉及长时程脑-肌电耦合的上肢运动功能训练装置与评测方法。
背景技术
生物反馈训练技术(Biofeedback Training)通过呈现可被人体感知的生理信息，并以此作为信号标识不断训练人体学习、调控自身固有或特有机能，达到自主调节(self-regulation)的目标[1]。近年来，生物反馈用于特定人群或任务的神经功能训练，提升或改善某些特定的控制能力已成为主动式神经训练的热点手段。其中，特别是神经反馈训练(Neurofeedback training，NFT)作为一种直接训练大脑机能的主动式干预手段，通过传感装置实时获取神经生理信号，并借助先进的信息处理技术完成大脑信息的快速解码，匹配以视觉、触觉等多种刺激方式，可实现在线反馈大脑工作状态与运行性能的闭环训练(神经反馈训练系统模型如图1所示)。
神经反馈具有简单、安全、方便的特点及无创、无刺激、无副作用等优点，值得在人工智能领域应用和推广。已有研究发现，利用神经反馈技术调控大脑活动的同时，会伴随个体相应的认知和行为的改变[2]，故该项技术越来越多在军事、航天等领域被应用于增强大脑神经功能。在运动神经训练层面，研究表明，通过运动想象任务，用户通过实时神经反馈训练可以学会增强对躯体运动皮层的控制，诱导出辅助运动区(Supplementary MotorArea，SMA)的激活，且程度可达到真实运动造成的躯体运动皮层的激活水平，为运动功能训练提供了可能[3]。
然而，如何解码复杂的脑信息并利用神经反馈技术建立完整有效的反馈环路是在智能控制中面临的重要挑战，因此有效提取相关脑特征、综合评价神经功能表现并根据不同人群基于神经反馈训练得出的不同性能指标(包括静息态活动、解剖型脑结构、人格特质)制定相应的训练方法亟需进一步深入的研究[4][5]。此外，在脑-机接口的研究中，运动想象作为一种主动式人机交互范式，更加符合正常人大脑思维活动方式，在一定程度的训练后，使用者便可进行在线运动想象脑-机接口(Motor Imagery based BCI，MI-BCI)系统的交互控制。此外，系统控制信号源一般使用来自于使用者运动想象过程中头皮脑电的能量特征，可进行一段较长时间段的累加或优化来控制指令输出，有较强的可操作性。基于上述优点我们可以看出，对于运动想象的深入研究及开发一种脑-机交互式运动神经反馈系统方法，更加清楚地了解人类大脑，实现真正的人机交互，具有很强的理论与应用价值[6]-[8]。
参考文献：
[1]Oujamaa L,Relave I,Froger J,et al.Rehabilitation of arm functionafter stroke.Literature review[J].Annals of physical and rehabilitationmedicine,2009,52(3):269-293.
[2]Sitaram R,Ros T,Stoeckel L,et al.Closed-loop brain training:thescience of neurofeedback[J].Nature Reviews Neuroscience,2017,18(2):86.
[3]Zich C,Debener S,Kranczioch C,et al.Real-time EEG feedback duringsimultaneous EEG–fMRI identifies the cortical signature of motor imagery[J].Neuroimage,2015,114:438-447.
[4]Young B M,Nigogosyan Z,Walton L M,et al.Changes in functionalbrain organization and behavioral correlations after rehabilitative therapyusing a brain-computer interface[J].Frontiers in Neuroengineering,2014,7:26.
[5]Reynolds C,Osuagwu B A,Vuckovic A.Influence of motor imaginationon cortical activation during functional electrical stimulation[J].ClinicalNeurophysiology,2015,126(7):1360-1369.
[6]Kaiser V,Bauernfeind G,Kreilinger A,et al.Cortical effects of usertraining in a motor imagery based brain-computer interface measured by fNIRSand EEG.[J].Neuroimage,2014,85(1):432-444.
[7]Kaiser V,Daly I,Pichiorri F,et al.Relationship between electricalbrain responses to motor imagery and motor impairment in stroke[J].Stroke,2012,43(10):2735-2740.
[8]Várkuti B,Guan C,Pan Y,et al.Resting state changes in functionalconnectivity correlate with movement recovery for BCI and robot-assistedupper-extremity training after stroke[J].Neurorehabilitation and NeuralRepair,2013,27(1):53-62。
发明内容
为克服现有技术的不足，本发明旨在提出长时程的运动神经反馈训练系统，构建长时程脑-肌电特征的上肢运动功能训练装置和评测方法。将MI-BCI系统指令输出及意念控制过程变得可视化、可感知，训练提升上肢运动神经功能，建立运动神经反馈训练效果的客观评测标准，有望为新型运动功能训练提供关键技术保障，进一步研究可以得到完善脑-机交互式运动神经反馈训练系统，获得可观的社会效益和经济效益。为此，本发明采取的技术方案是，长时程脑-肌电耦合的上肢运动功能训练与评测方法，设计用户长时程运动神经反馈训练系统范式；搭建脑-肌电同步采集装置，以同步采集脑-肌电数据；实时计算匹配神经反馈的用户脑电特征参数，进行正向激励反馈训练；评测运动神经反馈训练前后的脑-肌电耦合关系和效果差异。
设计用户长时程运动神经反馈训练系统范式具体内容包括共包含5个任务阶段，训练前标准评测阶段，其结果作为初始运动想象水平的评判标准；然后是运动神经反馈训练阶段；之后进行训练中标准评测阶段；再一次的运动神经反馈训练阶段；最后进行训练后标准任务阶段，根据标准任务阶段所采集的用户脑电和肌电数据分析，作为用户运动功能训练效果的评判标准。
其中，标准评测任务范式设计共包含4个部分session，首先用户进行1个session左手LHME、右手RHME运动执行任务各30个试次trial，顺序随机，用于熟悉系统范式及运动感觉，此外对于用户同步采集了EMG信号；之后是1个session基于左手LHMI、右手RHMI运动想象任务的系统校准各30个trial，顺序随机，用于构建后续在线运动想象任务的脑电识别模型，每个trial开始显示器出现绿色十字，作为提示任务Cue准备，1s后提示出现带有红色箭头，表示用户需进行相应箭头方向的手运动想象任务，4s后进入静息，用户可放松等待下一个trial的开始；然后是2个session在线左、右手运动想象脑-机接口MI-BCI，每个session包含左、右手各30个trial，顺序随机，用于评判用户运动想象特征水平与分类识别性能，每个trial开始显示器出现绿色十字，作为为提示任务准备，1s后提示出现带有红色箭头，表示用户需进行相应箭头方向的手运动想象任务，此时箭头的长短会随用户运动想象脑电特征即相对ERD能量值变化，以提供视觉反馈信息，4s后声音反馈该trial的识别决策结果，并进入静息，用户可放松等待下一个trial的开始。
脑-肌电数据同步采集内容包括：
用户坐在靠背座椅上，距离电脑显示器75～90cm，双手保持舒适姿态，为期两周的每个阶段各session间隔可适当休息，头部佩戴EEG采集头帽进行训练任务，具体信号采集传感器包括：EEG采集电极按照国际标准10-20系统为15个电极导联位置：F3，FZ，F4，FC3，FC4，C5，C3，CZ，C4，C6，CP3，CP4，P3，PZ，P4，并采用标准Ag/AgCl材料的头皮脑电采集电极，头皮与电极之间采用专用脑电介质保证良好导特性，采集过程中阻抗控制10kΩ以下，采集过程以鼻尖作为参考，前额即FPZ与FZ中间作为接地，EMG采集电极为专用设备配置的标准肌电信号采集电极，采集电极位置贴于前臂外侧中间即尺侧腕伸肌位置，两电极间距2cm，接地电极贴于尺骨远端；
EEG采集部分应用64导脑电采集系统及其采集软件，数据采集参数设置为采样率1000Hz，0.5～100Hz硬件带通滤波，50Hz工频陷波，EMG采集部分应用多生理信号采集系统及其专用肌电采集模块，数据采集参数设置为采样率5000Hz，0.5～1000Hz硬件带通滤波，50Hz工频陷波，EEG与EMG设备均与刺激电脑硬件连接，采集过程中支持精准时间标记触发方式以保证数据同步；所有系统范式界面同样采用MATLAB专用工具箱Psychtoolbox编写实现，在呈现视觉提示的同时向脑电放大器及EMG采集设备发送同步事件代码以保证数据同步性。
实时脑电数据特征计算步骤
应用实时脑电特征控制神经反馈指令触发，用户可根据实时反馈内容不断训练调节自身运动想象特征水平，形成以体感动力学为主导的运动想象模式，对于运动想象诱发的事件相关去同步ERD/同步ERS(Event-Related(de)synchronization)脑电特征信号，使用短时傅里叶分析是目前常用的时频分析，具体首先使用一个有限宽度的观察窗W(t)对信号x(t)进行观察，然后对加窗后的信号进行傅立叶变换得到的，
这里w是角频率，W*(τ-t)是W(τ-t)的复共轭函数，当把有限取值长度的观察窗沿时间轴平移，即可在二维的时频平面上得到信号的频谱分布随时间变化的信息，得到脑电信号的二维时频图谱，进而得到ERD能量值的实时变化情况；
计算左右手运动想象特征能量方法为相对ERD能量差值，计算公式如下：
其中，Pn为瞬时能量谱，Prelax为基态平均能量谱，Ptask为任务态平均能量谱，则对应计算实时左右手运动想象脑电神经反馈训练参数计算为：
左手MI：NFeegleft(t)＝[RPleft(relax)-RPleft(t)]/RPleft(relax) (3)
右手MI：NFeegright(t)＝[RPright(relax)-RPright(t)]/RPright(relax) (4)
式中，当二者参数超过对应侧肢体放松状态的脑电特征0阈值，则触发系统正向激励反馈指令，包括视觉、听觉、体感刺激等神经反馈模式。
长时程脑-肌电运动功能评测方法
假设时域EEG信号序列表示为：X＝{x1,x2,x3…,xN}，EMG信号序列表示为：Y＝{y1,y2,y3…,yN}，N为时间序列长度，针对不同特征频段对应的时间序列表征为{Xk}和{Yk}，k＝1,2,3,…,m，其中m为关注的EEG和EMG特征频段数量，在给定上述两组时间序列信号基础上，首先计算各自熵值，序列X的熵率计算公式如下：
在两个时间序列信号独立的情况下，定义另一组熵率如下：
式中，设定时间预测窗口步长为t，离散时间窗口宽度为n，则xn k和yn k分别为两个时间序列信号的第k个组分的信号窗，p()为二者之间的联合概率。进一步计算从Yk到Xk传递熵为：
同理可求Xk到Yk传递熵，该传递熵值的大小表征特定传递方向下的特定频段信号分量的皮层肌肉耦合强弱。
本发明应用经典多元经验模态分解MEMD(Multivariate Empirical ModeDecomposition)方法，对EEG、EMG信号进行成分分解，把信号分解为若干本征模态函数IMF(Intrinsic Mode Function)，每个IMF分量包含原信号在不同尺度的局部特征信号。进而求取特定频带下的信号分量用于计算传递熵值，此外，为对比不同肢体运动在不同传递方向下的皮层肌肉耦合关系，进一步计算了各分量传递熵值占所有分量总和的百分比，表示为：
由上式计算感觉运动皮层信号与肌肉运动信息之间的耦合关系，值越大表征二者信息流向的耦合关系越强，进而提供评测长时程运动神经反馈训练效果基本方法依据。
本发明的特点及有益效果是：
本发明设计了一种长时程脑-肌电耦合的上肢运动功能训练装置与评测方法，提出多感官通路融合的神经反馈训练范式，可实时动态提升用户运动想象相关能力，克服了传统MI-BCI系统单向控制缺陷，优化引导运动功能训练过程，并根据脑-肌电关联耦合效应评测运动功能训练效果，更接近实际应用，有望为新型神经反馈训练系统设计提供关键技术，也为脑-机接口关联人工智能系统快速步入大范围应用阶段奠定基础。
附图说明：
图1长时程运动神经反馈训练系统框架。
图2长时程运动神经反馈训练系统范式设计。图中：
(a)整体训练时程流程设计；(b)标准评测任务流程设计。
图3训练场景及信号采集设置。图中：
(a)EEG电极覆盖区域与EMG电极位置示意图；(b)应用场景与采集设备。
具体实施方式
本发明属于生物医学工程领域，设计了长时程脑-肌电耦合的上肢运动功能训练装置与评测方法。依据大脑神经可塑性基本原理，人体运动神经可通过有效训练发生功能性改变。近年来，伴随人工智能、神经工程相关领域技术的进步，可通过特定任务范式设计与新型BCI技术的结合有效替代、修复、增强、改善、补充特定的神经功能。为此，本发明旨在应用脑电、肌电耦合分析技术，构建长时程的上肢运动功能评测装置和方法。
其技术流程是：设计用户长时程运动神经反馈训练系统范式，搭建脑-肌电同步采集装置，实时计算匹配神经反馈的用户脑电特征参数，评测运动神经反馈训练前后的脑-肌电耦合关系和效果差异。
本发明技术方案详述如下：
一、上肢运动功能训练范式与系统装置设计
本发明总体系统设计如图1所示，其系统架构与技术流程包括：设计用户长时程的运动神经反馈训练系统范式呈现，搭建脑电(Electroencephalogram，EEG)、肌电(Electromyogram，EMG)信号数据同步采集装置，实时计算匹配神经反馈的用户脑电特征参数，评测长时程运动神经反馈训练的脑-肌电耦合关系和效果差异。各系统模块详述如下：
①神经反馈训练系统范式呈现模块
本发明任务运行流程设计如图2(a)所示，以训练时程为期两周(共14天，记为day1～day14)为例进行说明，共包含5个任务阶段。用户系统训练的主要任务包括：参与训练前标准评测任务(day1进行)，作为初始运动想象水平的评判标准；然后须参与运动神经反馈训练任务(day2～6进行，隔天训练3次，每次30min)；之后进行训练中标准评测任务(day7进行)；再次参与运动神经反馈训练任务(day8～13进行，隔天训练3次，每次30min)；最后进行训练后标准任务(day14进行)，根据标准评测任务过程所采集的用户脑电和肌电数据分析，作为用户运动功能训练效果的评判标准。
其中，标准评测任务范式设计如图2(b)所示，共包含4个部分(session)。首先用户进行1个session左、右手运动执行(记为LHME和RHME)任务各30个试次(trial)，顺序随机，用于熟悉系统范式及运动感觉，此外对于用户同步采集了EMG信号；之后是1个session基于左、右手运动想象(记为LHMI和RHMI)任务的系统校准(各30个trial)，顺序随机，用于构建后续在线运动想象任务的脑电识别模型，每个trial开始显示器出现绿色十字，作为提示任务(Cue)准备，1s后提示出现带有红色箭头，表示用户需进行相应箭头方向的手运动想象任务，4s后进入静息，用户可放松等待下一个trial的开始；然后是2个session在线左、右手运动想象脑-机接口(MI-BCI)，每个session包含左、右手各30个trial，顺序随机，用于评判用户运动想象特征水平与分类识别性能，每个trial开始显示器出现绿色十字，作为为提示任务准备，1s后提示出现带有红色箭头，表示用户需进行相应箭头方向的手运动想象任务，此时箭头的长短会随用户运动想象脑电特征(相对ERD能量值)变化，以提供视觉反馈信息，4s后声音反馈该trial的识别决策结果，并进入静息，用户可放松等待下一个trial的开始。
②脑-肌电数据同步采集模块
用户坐在靠背座椅上，距离电脑显示器75～90cm，双手保持舒适姿态，系统应用场景如图3所示。为期两周的每个阶段各session间隔可适当休息。头部佩戴EEG采集头帽进行训练任务，具体信号采集传感器配置如图3(a)所示。其中，EEG采集电极按照国际标准10-20系统为15个电极导联位置(F3，FZ，F4，FC3，FC4，C5，C3，CZ，C4，C6，CP3，CP4，P3，PZ，P4)，并采用标准Ag/AgCl材料的头皮脑电采集电极，头皮与电极之间采用专用脑电介质保证良好导特性，采集过程中阻抗控制10kΩ以下，采集过程以鼻尖作为参考，前额(FPZ与FZ中间)作为接地。EMG采集电极为专用设备配置的标准肌电信号采集电极，采集电极位置贴于前臂外侧中间(尺侧腕伸肌)位置，两电极间距2cm，接地电极贴于尺骨远端。
本发明系统所需设备主要涉及脑电采集设备和肌电采集设备。EEG采集部分应用64导脑电采集系统及其采集软件，数据采集参数设置为采样率1000Hz，0.5～100Hz硬件带通滤波，50Hz工频陷波。EMG采集部分应用多生理信号采集系统及其专用肌电采集模块，数据采集参数设置为采样率5000Hz，0.5～1000Hz硬件带通滤波，50Hz工频陷波。EEG与EMG设备均与刺激电脑硬件连接(串口/并口通讯模式)，采集过程中支持精准时间标记触发方式以保证数据同步。另外，所有系统范式界面同样采用MATLAB专用工具箱(Psychtoolbox)编写实现，在呈现视觉提示的同时向脑电放大器及EMG采集设备发送同步事件代码以保证数据同步性。
③实时脑电数据特征计算模块
应用实时脑电特征控制神经反馈指令触发，用户可根据实时反馈内容不断训练调节自身运动想象特征水平，形成以体感动力学为主导的运动想象模式(左、右手腕伸动作)。对于运动想象诱发的事件相关去同步/同步(Event-Related(de)synchronization,ERD/ERS)脑电特征信号，一般使用功率谱时频分析，短时傅里叶分析是目前常用的时频分析方法之一，它假设脑电信号具有一定程度的短时平稳性，也即是在一个有限的时间窗内信号的频谱分布式不变的。短时傅里叶变换的方法是首先使用一个有限宽度的观察窗W(t)对信号x(t)进行观察，然后对加窗后的信号进行傅立叶变换得到的，
这里w是角频率，W*(τ-t)是W(τ-t)的复共轭函数。当把有限取值长度的观察窗沿时间轴平移，即可在二维的时频平面上得到信号的频谱分布随时间变化的信息，这样可以得到脑电信号的二维时频图谱，进而得到ERD能量值的实时变化情况。
本发明中神经反馈训练系统计算左右手运动想象特征能量方法为相对ERD能量差值，计算公式如下：
其中，Pn为瞬时能量谱，Prelax为基态(肢体放松状态)平均能量谱，Ptask为任务态平均能量谱。则对应计算实时左右手运动想象脑电神经反馈训练参数计算为：
左手MI：NFeegleft(t)＝[RPleft(relax)-RPleft(t)]/RPleft(relax) (3)
右手MI：NFeegright(t)＝[RPright(relax)-RPright(t)]/RPright(relax) (4)
式中，当二者参数超过对应侧肢体放松状态的脑电特征0阈值，则触发系统正向激励反馈指令，可以是视觉、听觉、体感刺激等神经反馈模式。
二、长时程脑-肌电运动功能评测方法
传递熵(Transfer entropy,TE)是在信息熵的基础上提出的，可用于表征两个时间序列信号之间的有向信息传递，序列I到序列II的传递熵表示I信息对II信息的不确定性的改变，即I传递给II的信息量大小。
假设时域EEG信号序列表示为：X＝{X1,X2,X3…,XN}，EMG信号序列表示为：Y＝{y1,y2,y3…,yN}，N为时间序列长度，针对不同特征频段对应的时间序列可进一步表征为{Xk}和{Yk}(k＝1,2,3,…,m)，其中m为关注的EEG和EMG特征频段数量。在给定上述两组时间序列信号基础上，首先计算各自熵值(率)，序列X的熵率计算公式如下：
在两个时间序列信号独立的情况下，定义另一组熵率如下：
式中，设定时间预测窗口步长为t，离散时间窗口宽度为n，则xn k和yn k分别为两个时间序列信号的第k个组分的信号窗，p()为二者之间的联合概率。进一步计算从Yk到Xk传递熵为：
同理可求Xk到Yk传递熵，该传递熵值的大小可表征特定传递方向下的特定频段信号分量的皮层肌肉耦合强弱。
本发明应用经典多元经验模态分解(Multivariate Empirical ModeDecomposition,MEMD)方法，对EEG、EMG信号进行成分分解，把信号分解为若干本征模态函数(Intrinsic Mode Function，IMF)，每个IMF分量包含原信号在不同尺度的局部特征信号。进而求取特定频带下的信号分量用于计算传递熵值，此外，为对比不同肢体运动在不同传递方向下的皮层肌肉耦合关系，进一步计算了各分量传递熵值占所有分量总和的百分比，可表示为：
依据上述方法，可计算感觉运动皮层信号与肌肉运动信息之间的耦合关系，值越大表征二者信息流向的耦合关系越强，进而提供评测长时程运动神经反馈训练效果基本方法依据。
本发明设计了一种长时程脑-肌电耦合的上肢运动功能训练装置与评测方法。该项发明可以用于残疾人康复、电子娱乐、工业控制、航天工程等领域，进一步研究可以得到完善的神经反馈智能训练系统，有望获得可观的社会效益和经济效益。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：多能谱射线探测器及多能谱成像系统