阅读说明：本技术 多步态意图识别和运动预测方法、系统、终端以及介质 (Multi-modal intent recognition and motion prediction method, system, terminal, and medium ) 是由 段有康 陈小刚 桂剑 马斌 赵婷 崔毅 沈芸 李顺芬 宋志棠 于 2019-11-15 设计创作，主要内容包括：本申请提供一种多步态意图识别和运动预测方法、系统、终端以及介质,包括：采集穿戴者双腿在不同步态下的肌电信号及各关节角度值,并对其进行预处理；根据经预处理后的肌电信号及各关节角度值提取步态特征向量；根据所述步态特征向量构建运动意图识别模型,以用于预测运动意图；以及/或者,根据所述步态特征向量构建关节角度识别模型,以用于预测关节角度。解决了现有技术中依赖物理传感器的人机交互系统由于会产生一定的滞后问题,不能实时连续的识别和预测的缺陷,对于在提前于人体动作的肌电信号方面,使用肌电信号针对下肢运动的识别和预测远落后于上肢的运动模式识别和预测的问题。本申请对人典型的几种步态进行准确分类和预测,使行走模式及时识别、并能实时连续的识别和预测运动轨迹。(The application provides a multi-modal intention recognition and motion prediction method, system, terminal and medium, comprising: collecting electromyographic signals and joint angle values of two legs of a wearer in different states, and preprocessing the electromyographic signals and the joint angle values; extracting gait feature vectors according to the preprocessed electromyographic signals and the angle values of all joints; constructing a movement intention recognition model according to the gait feature vector to predict a movement intention; and/or constructing a joint angle identification model according to the gait feature vector to predict a joint angle. The problem that a human-computer interaction system depending on a physical sensor in the prior art cannot continuously identify and predict in real time due to the fact that a certain lag problem is generated is solved, and the problem that the identification and prediction of the lower limb movement by using the electromyographic signals are far behind the identification and prediction of the movement pattern of the upper limb in the aspect of the electromyographic signals ahead of the human body movement is solved. The method and the device accurately classify and predict several typical gaits of people, so that the walking mode can be recognized in time, and the motion trail can be recognized and predicted continuously in real time.)

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、““下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。

在通篇说明书中，当说某部分与另一部分“耦接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部分“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素，排除在外，而是意味着可以还包括其它构成要素。

其中提到的第一、第二及第三等术语是为了说明多样的部分、成份、区域、层及/或段而使用的，但并非限定于此。这些术语只用于把某部分、成份、区域、层或段区别于其它部分、成份、区域、层或段。因此，以下叙述的第一部分、成份、区域、层或段在不超出本申请范围的范围内，可以言及到第二部分、成份、区域、层或段。

再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

现有技术中大多使用的依赖物理传感器的人机交互系统由于会产生一定的滞后问题，不能实时连续的识别和预测的缺陷，对于在提前于人体动作的肌电信号方面，使用肌电信号针对下肢运动的识别和预测远落后于上肢的运动模式识别和预测，在连续预测方面更是如此。

因此，本申请提供一种多步态意图识别和运动预测方法，用于解决现有技术中依赖物理传感器的人机交互系统由于会产生一定的滞后问题，不能实时连续的识别和预测的缺陷，对于在提前于人体动作的肌电信号方面，使用肌电信号针对下肢运动的识别和预测远落后于上肢的运动模式识别和预测的问题。本申请对人典型的几种步态进行准确分类和预测，使行走模式及时识别、并能实时连续的识别和预测运动轨迹。

所述方法包括：

采集穿戴者双腿在不同步态下的肌电信号及各关节角度值，并对其进行预处理；

根据经预处理后的肌电信号及各关节角度值提取步态特征向量；

根据所述步态特征向量构建运动意图识别模型，以用于预测运动意图；以及/或者，根据所述步态特征向量构建关节角度识别模型，以用于预测关节角度。

如图1所示，展示本申请实施例中的多步态意图识别和运动预测方法的流程示意图。

所述方法包括：

S101：采集穿戴者双腿在不同步态下的肌电信号及各关节角度值，并对其进行预处理。

可选的，采集外骨骼穿戴者在不同的步态下的多通道下的肌电信号及各关节角度值，并对所述肌电信号以及所述关节角度值分别进行预处理。

可选的，实时采集外骨骼穿戴者在不同的步态下的多通道下的肌电信号及各关节角度值。

可选的，对所述肌电信号进行去噪，对所述关节角度值进行平滑处理。

可选的，所述肌电信号采集是由安装在不同行走模式下能起作用的皮肤表层肌肉肌腹位置的表面肌电信号传感器采集的。

可选的，所述各关节角度是由放置于关节附近的角度传感器或电机内置的角度传感器测得。

S102：根据经预处理后的肌电信号及各关节角度值提取步态特征向量；

可选的，根据经处理后的肌电信号及各关节角度值提取步态特征向量，包括多个特征值。

可选的，特征值提取中提取的特征向量的每一个特征向量是由所述肌电信号中每帧数据的各个采集通道的肌电信号的积分值、各个采集通道的肌电信号的肌电信号状态值以及与该帧数据中第一个采样点对应的右腿三个关节的角度值构成的多维特征向量。

可选的，肌电信号状态值述肌电信号状态是肌肉的活跃状态，对表面肌电信号进行端点检测后，把开始和结束端点之间的肌电信号状态定义为“1”值，其他的肌电放松状态定义为“0”值。

可选的，所述肌电信号状态根据利用肌电信号积分值以及过零数来确定。

可选的，所述肌电信号状态是肌肉的活跃状态，其中通过对肌电信号进行端点检测来提取一帧数据的各个采集通道的肌电信号的肌电信号状态。

可选的，所述端点检测方法为检测肌电信号活跃开始时刻以及活跃结束时刻来检测。

可选的，所述活跃开始时刻的检测条件为：肌电信号的积分值大于最大积分值且过零数大于等于静止轻松状态下肌电信号的过零数门限值。

可选的，所述活跃结束时刻的检测条件：肌电信号的积分值小于最大积分值且过零数小于静电放松状态下的过零数门限值。

可选的，所述过零门限值为静止放松状态下肌电信号的最大值和最小值较大的绝对值。

可选的，第i帧过零数的计算公式如下：

计算静止放松状态下肌电信号的最大和最小值中较大的绝对值记为Th,作为计算过零数的门限值，n是从1到N的正整数。

可选的，以静止放松状态的肌电信号的最大肌电积分值作为检测检测阈值，同时根据静止放松状态的肌电信号的过零数设定一个合适的过零数阈值，当某帧肌电积分值和过零数大于等于设定的阈值并持续一段时间则认为此帧是肌电信号活跃开始时刻，同样的当某帧肌电积分值和过零数小于设定的阈值并持续一段时间则认为此帧是肌电信号活跃结束时刻。

可选的，所述第i帧肌电信号的积分值的计算公式为：

其中，N为采样点，Xi(n)为第i帧第n个采样点的肌电信号。

可选的，所述第i帧过零数的计算公式：

ZCR(i)为第i帧第n个采样点的过零数。

S103：根据所述步态特征向量构建运动意图识别模型，以用于预测运动意图；以及/或者，根据所述步态特征向量构建关节角度识别模型，以用于预测关节角度。

可选的，根据所述步态特征向量构建运动意图识别模型预测运动意图。

可选的，根据所述步态特征向量构建关节角度识别模型预测关节角度。

可选的，根据所述步态特征向量构建运动意图识别模型预测运动意图，以及根据所述步态特征向量构建关节角度识别模型预测关节角度。

可选的，所述运动意图识别模型训练使用对基于表面肌电信号的下肢运动预测准确性和普适性较好的使用高斯核函数的支持向量机来进行运动意图识别模型的训练，将多维特征向量的肌电积分值和其对应的运动状态相位标签组成训练数据集对高斯核支持向量机进行运动意图识别模型的训练。

可选的，所述关节角度预测模型训练使用线性核支持向量机进行关节角度预测模型的训练，把属于同一步态相位的特征向量和其对应的关节角度组成各个步态相位的数据集，进行线性核支持向量机的关节角度预测模型训练。

以下结合实施例

实施例1：

一种下肢实时多步态意图识别和运动预测方法，针对一名成年男子穿戴者，在水平放置的跑步机上以6KM/h的速度匀速慢跑前进的运动状态进行步态相位的识别和右腿髋关节、膝关节、踝关节的关节角度值进行预测。

具体实施步骤如下：

第一步，采集穿戴者在水平放置的跑步机上以6KM/h速度的匀速慢跑前进的运动状态下趾长伸肌、腓肠肌内侧、胫骨前肌、股直肌、股外侧肌、股内侧肌和股二头肌的肌腹位置的表面肌电信号和髋关节、膝关节、踝关节关节角度值，将获得的表面肌电信号进行降噪，和将关节角度值平滑处理。

第二步，将获得的降噪后的表面肌电信号数据和关节角度数据进行特征提取特征值并组成特征向量。其中所述特征向量由各个通道的表面肌电信号的肌电积分值、各个采集通道的肌电信号的肌电信号状态和当前时刻的三个关节的角度值组成。

第三步，基于经训练的运动意图识别模型预测运动意图，其中，将所述特征向量和其对应的步态相位类别输入高斯核支持向量机进行运动意图识别模型训练，慢跑状态下将步态划分为四个相位，分别是编号为1的摆动前期、编号为2的摆动后期、编号为3的支撑前期、编号为4的支撑后期。

存储M1、m11、m12、m13，m21、m22、m23，m31、m32、m33，m41、m42、m43，存储站立静止放松状态的各个位置表面肌电信号的最大肌电积分值作和平均过零数。

与上述实施例原理相似的是，本申请提供一种多步态意图识别和运动预测系统，所述系统包括：

预处理模块，用于采集穿戴者双腿在不同步态下的肌电信号及各关节角度值，并对其进行预处理；

特征向量获取模块，耦接所述预处理模块，用于将预处理的肌电信号及各关节角度值提取特征值；

运动意图预测模块，耦接所述特征向量获取模块，用于基于经训练的运动意图识别模型预测运动意图；

关节角度预测模块，耦接所述特征向量获取模块，用于基于经训练的关节角度识别模型预测关节角度。

以下结合附图提供具体实施例：

如图2所示展示本申请实施例中的一种多步态意图识别和运动预测系统的结构示意图。

所述系统包括：

预处理模块21，用于采集穿戴者双腿在不同步态下的肌电信号及各关节角度值，并对其进行预处理；

特征向量获取模块22，耦接所述预处理模块21，用于用于根据经预处理后的肌电信号及各关节角度值提取步态特征向量；

运动意图预测模块23，耦接所述特征向量获取模块22，用于根据所述步态特征向量构建运动意图识别模型，以用于预测运动意图；以及/或者，根据所述步态特征向量构建关节角度识别模型，以用于预测关节角度。

可选的，实时采集外骨骼穿戴者在不同的步态下的多通道下的肌电信号及各关节角度值。

可选的，对所述肌电信号进行去噪，对所述关节角度值进行平滑处理。

可选的，所述肌电信号采集是由安装在不同行走模式下能起作用的皮肤表层肌肉肌腹位置的表面肌电信号传感器采集的。

可选的，所述各关节角度是由放置于关节附近的角度传感器或电机内置的角度传感器测得。

可选的，根据经处理后的肌电信号及各关节角度值提取步态特征向量，包括多个特征值。

可选的，特征值提取中提取的特征向量的每一个特征向量是由所述肌电信号中每帧数据的各个采集通道的肌电信号的积分值、各个采集通道的肌电信号的肌电信号状态值以及与该帧数据中第一个采样点对应的右腿三个关节的角度值构成的多维特征向量。

可选的，肌电信号状态值述肌电信号状态是肌肉的活跃状态，对表面肌电信号进行端点检测后，把开始和结束端点之间的肌电信号状态定义为“1”值，其他的肌电放松状态定义为“0”值。

可选的，所述肌电信号状态根据利用肌电信号积分值以及过零数来确定。

可选的，所述肌电信号状态是肌肉的活跃状态，其中通过对肌电信号进行端点检测来提取一帧数据的各个采集通道的肌电信号的肌电信号状态。

可选的，所述端点检测方法为检测肌电信号活跃开始时刻以及活跃结束时刻来检测。

可选的，所述活跃开始时刻的检测条件为：肌电信号的积分值大于最大积分值且过零数大于等于静止轻松状态下肌电信号的过零数门限值。

可选的，所述活跃结束时刻的检测条件：肌电信号的积分值小于最大积分值且过零数小于静电放松状态下的过零数门限值。

可选的，所述过零门限值为静止放松状态下肌电信号的最大值和最小值较大的绝对值。

可选的，第i帧过零数的计算公式如下：

计算静止放松状态下肌电信号的最大和最小值中较大的绝对值记为Th,作为计算过零数的门限值，n是从1到N的正整数。

可选的，以静止放松状态的肌电信号的最大肌电积分值作为检测检测阈值，同时根据静止放松状态的肌电信号的过零数设定一个合适的过零数阈值，当某帧肌电积分值和过零数大于等于设定的阈值并持续一段时间则认为此帧是肌电信号活跃开始时刻，同样的当某帧肌电积分值和过零数小于设定的阈值并持续一段时间则认为此帧是肌电信号活跃结束时刻。

可选的，所述第i帧肌电信号的积分值的计算公式为：

其中，N为采样点，Xi(n)为第i帧第n个采样点的肌电信号。

可选的，所述第i帧过零数的计算公式：

ZCR(i)为第i帧第n个采样点的过零数。

可选的，根据所述步态特征向量构建运动意图识别模型预测运动意图。

可选的，根据所述步态特征向量构建关节角度识别模型预测关节角度。

可选的，根据所述步态特征向量构建运动意图识别模型预测运动意图，以及根据所述步态特征向量构建关节角度识别模型预测关节角度。

可选的，所述运动意图识别模型训练使用对基于表面肌电信号的下肢运动预测准确性和普适性较好的使用高斯核函数的支持向量机来进行运动意图识别模型的训练，将多维特征向量的肌电积分值和其对应的运动状态相位标签组成训练数据集对高斯核支持向量机进行运动意图识别模型的训练。

可选的，所述关节角度预测模型训练使用线性核支持向量机进行关节角度预测模型的训练，把属于同一步态相位的特征向量和其对应的关节角度组成各个步态相位的数据集，进行线性核支持向量机的关节角度预测模型训练。

如图3所示，展示本申请实施例中的多步态意图识别和运动预测终端30的结构示意图。

所述多步态意图识别和运动预测终端30包括：存储器31及处理器32，所述储器31用于存储计算机程序；所述处理器32运行计算机程序实现如图1所述的多步态意图识别和运动预测方法。

可选的，所述存储器31的数量均可以是一或多个，所述处理器32的数量均可以是一或多个，而图3中均以一个为例。

可选的，所述多步态意图识别和运动预测终端30中的处理器32会按照如图2所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器31中，并由处理器32来运行存储在存储器31中的应用程序，从而实现如图1所述多步态意图识别和运动预测方法中的各种功能。

可选的，所述存储器31，可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备；所述处理器32，可能包括但不限于中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可选的，所述处理器32可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请还提供计算机可读存储介质，存储有计算机程序，所述计算机程序运行时实现如图1所示的多步态意图识别和运动预测方法。所述计算机可读存储介质可包括，但不限于，软盘、光盘、CD-ROM(只读光盘存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品，也可以是已接入计算机设备使用的部件。

综上所述，本申请多步态意图识别和运动预测方法、系统、终端及介质，解决了现有技术中下肢助力外骨骼机器人在运动过程中无法进行高实时识别和预测的问题，本申请采用机器学习相关技术，进行人体下肢运动意图的高速实时意图识别和在线运动预测，可以针对人的下肢运动进行意图识别和运动助力。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。