具体实施方式

肌体的肌肉动作能够在一定程度上带动肌体表面活动，而肌肉动作是基于使用者意识控制而产生的，因此肌体表面肌电信号能够有效地反映使用者的运动意图，是活动监测和康复应用中常用的信号。肌体表面在肌肉不动作时肌电信号是非平稳的，在肌肉动作的时间范围内肌电信号的幅值变化很大。但目前基于肌电信号这一变化特性对肌体动作进行分析识别，识别出的动作准确性并不高。

为此，本申请中提供了一种能够在一定程度上提升肌体动作识别准确性的技术方案。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，图1为本申请实施例提供的肌体动作识别方法的流程示意图，该肢体动作识别方法可以包括：

S11：通过贴合肢体设置的肌电信号传感器和加速度传感器，分别获得肌电信号和加速度信号。

在实际进行动作识别时，可以将肌电信号传感器和加速度传感器贴合设置在需要进行动作识别的肢体上，可以是使用者的手臂、小腿、大腿等肢体部位。当然也并不排除使用者的躯体部位；甚至贴合于动物身体上用于检测动物的肌肉动作等等。

一般情况下肌电信号传感器和加速度传感器的数量并不仅限一个。以手臂为例，一般肌电信号传感器需要设置6个，分别在手臂的内臂、外臂各设置3个，因此在进行肌电信号采集时，同一采样时间点即可获得6个肌电信号；而加速度传感器可以为三轴加速度传感器，可以在两个不同位置各设置一个三轴加速度传感器，显然每个三轴加速度传感器可以获得三个不同方向的加速度信号，两个三轴加速度传感器在同一采样时间点即可获得6个加速度信号。

通过肌电信号传感器和加速度传感器即可分别获得肢体动作时对应的肌电信号和加速度信号。

但基于肌电信号传感器的工作原理，肌电信号都是叠加在直流偏置电压上的，所以采集到的原始肌电信号都存在直流偏置电压；此外，在运动过程中，常常会将运动伪迹带入肌电信号，运动伪迹的频率一般低于20Hz。为了将运动伪迹和直流偏置电压滤除，可以通过数字高通滤波器对采集到的原始肌电信号进行滤波处理，获得频率在20Hz～200Hz之间的肌电信号作为可用的肌电信号。

而对于加速度传感器采集的原始加速度信号的幅值也不可避免的存在较为剧烈的跳变，为了便于后续进行数据分析，也同样需要对该原始加速度信号进行平滑处理。

可选地，本实施例中具体可以采用递推平均滤波的原理对原始加速度信号进行滤波，过程可以包括：

按照每N个连续采样的原始加速度信号的平均值作为第N个原始加速度信号对应的采样时刻的加速度信号，获得各个原始加速度信号对应的采样时刻的加速度信号。

例如，设定N为10，对于采集的原始加速度信号中，第10个采样时间点对应的加速度信号即可为第1至10个原始加速度信号的平均值，第11个采样时间点对应的加速度信号即为第2个至第11个原始加速度信号的平均值，以此类推即可确定各个采样点可用的加速度信号。

S12：根据肌电信号和加速度信号进行有效活动时间段识别，并获得有效活动时间段对应的有效肌电信号和有效加速度信号。

对于肌电信号传感器和加速度传感器都是按照周期性的无间断的采样，且周期时间非常短，甚至可以近似认为是对肢体进行实时采样的。而对应肢体而言，显然不可能是无间歇的动作。当肢体不动作时，采集的肌电信号和加速度信号显然并没有分析研究的价值。为此就需要识别出肢体进行动作活动是的有效活动时间段，在该有效活动时间段内采集的肌电信号和加速度信号即为识别肢体动作的数据依据。

但是对于加速度传感器和肌电信号传感器而言，二者的采样频率一般不相同，为了更准确的确定出有效肌电信号和有效加速度信号；在本申请的一种可选地实施例中，是对肌电信号和加速度信号分别进行有效活动时间段的识别，具体过程可以包括：

根据肌电信号识别肌电信号对应的第一有效活动时间段；

根据加速度信号识别加速度信号对应的第二有效活动时间段。

可选地，本实施例中对肌电信号对应的第一有效活动时间段的识别过程可以包括：

基于能量均值公式确定每个采样点对应的能量均值；其中，E(i)为第i个采样点对应的能量均值；S_k(i)为第k个肌电信号传感器的第i个采样点对应的肌电信号；I为肌电信号传感器的数量；N为递推滑动窗口长度；

判断各个采样点中对应的能量均值大于能量阈值的连续的采样点数量是否大于数量阈值；若是，则对应的能量均值大于能量阈值的多个连续采样点对应的采样时间段为第一有效活动时间段。

本实施例中首先将各个肌电信号传感器在同一采样点的肌电信号和相邻采样肌电信号之间的差分平方进行平均值运算，获得各个采样点对应的瞬时平均能量；在基于递推移动平均算法，以每个采样点的瞬时平均能量和其之后N-1个采样点对应的瞬时平均能量的平均值作为该采样点的能量均值。显然当肢体进行某些动作时，该能量均值相对较大。为此可以将该能量均值和能量阈值相比较，显然若是连续多个采样点对应的能量均值均大于数量阈值，且该连续多个采样点的数量大于数量阈值，显然可以确认该连续多个采样点对应的采样时间段为有效活动时间段。

对于加速度信号对应的第二有效活动时间段而言，可以采用和上述类似的方式进行识别确定，具体过程不再详述。

需要说明的是，正常情况下对于同一肢体动作的第一有效活动时间段和第二有效活动时间段应当是基本重合的时间段，仅仅是应采样频率不同导致首尾时间点略有差异。

S13：对每个有效活动时间段对应的有效肌电信号和有效加速度信号均分别进行AR模型特征提取、小波分析特征提取以及模糊熵特征提取，获得有效肌电信号对应的肌电第一特征数据、肌电第二特征数据、肌电第三特征数据，以及有效加速度信号对应的加速度第一特征数据、加速度第二特征数据和加速度第三特征数据。

需要说明的是，在对肢体动作进行识别判断时，一般包含有多个有效活动时间段，在进行AR模型特征提取、小波分析特征提取以及模糊熵特征提取时，每个有效活动时间段对应的有效肌电信号可以提取一个对应的肌电第一特征数据；依次类推，对于每个有效活动时间段的有效肌电信号均存在一个对应的肌电第二特征数据、肌电第三特征数据；同理，对于加速度信号而言，其每个有效活动时间段均对应一个加速度第一特征数据、加速度第二特征数据以及加速度第三特征数据。

对于AR模型可表示为u(i)是白噪声残差，a_k是AR模型各阶系数，p为AR模型阶数参数，当AR模型的阶数取得太高时会导致运算量增加；阶数取得太低，又会使谱估计的分辨率不足，本实施例中可以取p＝4。

对于小波分析的特征提取，可通过Matlab自带的小波函数对肌电信号以及加速度信号进行小波分解[C,L]＝wavedec(x,p,’wave_mother function’)；

其中，C为输出向量，由各层分量的小波系数组成，L为每个信号分量的长度，wavedec多尺度一维小波分解函数，x为表面肌电信号，p为分解的层数，wave_motherfunction为所用母小波函数，母小波函数选用db3。

上述函数可将表面肌电信号以及加速度信号分别分解为p+1个分信号，对于二进离散小波变换，第j层的信号能量可记为：

其中，F_j为小波能量系数，K为第j层分解的系数个数，为第j层分解的第k个系数，由此生成特征向量[F₁，F₂，…F_p+1]。

对于模糊熵特征提取是利用指数函数将相似性度量模糊化，对序列进行复杂性计算。模糊熵只需要较短的数列就可以得到稳定的值，受参数约束小，具有较强的鲁棒性。模糊熵的定义如下：

设信号采集的时间序列信号为X(i),1≤i≤N,随后按顺序形成m维的矢量X^m(i)＝{x(i),x(i+1)......,x(i+m-1)}，i＝1,2,......,N-m。

定义d[X^m(i),X^m(j)]是X^m(i)和X^m(j)中两两相对应的信号元素距离差值的最大值，因此：

i,j＝1,2,L,N-m,i≠j；

由模糊熵函数定义元素X^m(i),X^m(j)的相似度n,r分别代表模糊熵函数边界的梯度和宽度，即：

定义函数：以此类推，对维数m+1重复上述过程得：

最后模糊熵定义为：

需要说明的是，基于AR模型、小波分析、模糊熵进行信号特征分析，属于业内公知的三种不同的特征提取方式，对于进行三方面特征提取的具体实施方式，本申请中不再详细说明。

S14：以肌电第一特征数据、肌电第二特征数据和肌电第三特征数据作为第一样本矩阵，加速度第一特征数据、加速度第二特征数据和加速度第三特征数据作为第二样本矩阵，对第一样本矩阵中的各个特征数据和第二样本矩阵中的特征数据进行相关性分析，获得融合特征矩阵。

一般情况下对于同一肢体动作的第一有效活动时间段内的肌电信号和第二有效活动时间段内的加速度信号之间应当存在一定的相关性；而针对肢体不同的动作，肌电信号和加速度信号之间的相关性特征也并不相同。因此在本实施例中，为了提升对肢体动作识别的准确性，在分别提取肌电信号和加速度信号的特征的基础上，还进一步地对肌电信号对应的特征和加速度信号对应的特征之间相关性进行分析获得不仅仅能够表征肌电信号的特征、加速度信号的特征还能够表征同一有效活动时间段的肌电信号的特征和加速度信号的特征之间相关性的融合特征。

显然以此融合特征作为识别肢体动作的特征依据能够在很大程度上提升识别肢体动作的准确性。

S15：利用预先创建获得的支持向量机对融合特征矩阵进行识别，获得肢体动作信息。

需要说明的是，本申请中的支持向量机是通过预先基于大量的肌电信号样本、加速度样本训练获得的。

例如可以在不存在肢体缺陷的使用者上，和上述实施例相同的方式设置加速度传感器以及肌电传感器。然后检测该使用者进行各种握拳、抓物、或其他各种手势动作时对应的肌电信号和加速度信号，并以该肌电信号和加速度信号标记动作标签后按照上述步骤S11至S14的步骤形成肌电信号和加速度信号的融合特征矩阵，并以该融合特征矩阵作为学习训练样本对支持向量机进行训练，即可获得能够识别肢体各种不同的动作的支持向量机。整个训练过程和本领域中常规的训练支持向量机的过程类似，对此，本申请中不再赘述。

需要说明的是，本申请中的肢体动作方法可以用用于假肢控制，通过检测未残缺部分肢体的肌肉动作识别判断出使用者想要控制代替其残缺肢体部分的假肢所执行的动作，从而基于识别出的动作结果对假肢进行相应的驱动，从而提升假肢控制效果，带给使用者一种假肢即为其自身肢体的一部分的感受，提升假肢控制效果。

当然，本申请中的肢体动作识别技术也并不只有这一种用途，也可以用于某些通过手势控制的智能设备中，例如智能机器人、智能游戏机的控制等等。

综上所述，本申请中在肢体动作进行识别时，同时参考了肢体的加速度信号和肌电信号，并分别从三种不同方面提取每种信号的三方面特征；在此基础上还将两种信号的三个方面的特征进行相关性运算，获得能够表征每种信号的不同方面特征的基础上还能表征两种信号的特征相关性的融合特征，并以此融合特征作为识别依据对肢体动作进行识别，在很大程度上提升即肢体动作识别的准确性，有利于肢体动作识别技术的广泛应用。

基于上述实施例，在本申请的另一可选地实施例中，确定上述实施例中的融合特征的过程可以包括：

S21：设定第一样本矩阵和第二样本矩阵分别满足的第一线性关系式和第二线性关系式

其中，X为第一样本矩阵X＝(x₁,x₂,......,x_n)；x_i为第一样本矩阵中的第i个特征数据，i∈[1,n]；该第一样本矩阵中每个元素也就分别代表一个如前所述的多个肌电第一特征数据、肌电第二特征数据肌电信号特征数据；a_i为第一线性关系式中第i个特征数据对应的第一相关变量；a＝(a₁,a₂,......,a_n)。

Y为第二样本矩阵Y＝(y₁,y₂,......,y_n)；y_i为第二样本矩阵中的第i个特征数据；b_i为第二线性关系式中第i个特征数据对应的第二相关变量；b＝(b₁,b₂,......,b_n)；该第二样本矩阵中每个元素也就分别代表一个加速度信号。

S22：利用基于广义典型相关判别准则构建的拉格朗日目标函数以a^T·S_xx·a_i＝1，b^T·S_yy·b_i＝1为约束条件，确定各组(a_i,b_i)。

基于广义典型相关判别准则：可以构建拉格朗日目标函数

其中，ρ(u,v)为第一样本矩阵中的特征数据和第二样本数据中的特征数据之间的相关性；S_xx为第一样本矩阵X中各个特征数据的方差；S_yy为第二样本矩阵Y中各个特征数据的方差；为第一样本矩阵X和第二样本矩阵Y之间的协方差；cov(m,n)为协方差运算函数。

计算拉格朗日目标函数的偏导数并令偏导数为0，可得：

将上式分别乘a^T和b^T，因a^T·S_xx·a_i＝1、b^T·S_yy·b_i＝1，可得：

由此可得λ₁＝λ₂＝λ，再将上式分别乘因a^T·S_xx·a_i＝1、b^T·S_yy·b_i＝1，可得：即

如前所示，ρ(u,v)为第一样本矩阵中的特征数据和第二样本数据中的特征数据之间的相关性，且有因为a^T·S_xx·a_i＝1，b^T·S_yy·b_i＝1这一约束条件，以及上述运算中推导得出的可以确定ρ(u,v)＝λ。而显然，本实施例中也即是需要提取第一样本矩阵和第二样本矩阵中相关性最高的特征，因此即可基于求解ρ(u,v)＝λ最大时，对应的第一相关变量a_i和第二相关变量b_i。按照上述相同方式即确定a＝(a₁,a₂,......,a_n)、b＝(b₁,b₂,......,b_n)中的各个相关变量，从而提取出第一样本矩阵和第二样本矩阵之间的全部相关性信息。

S23：根据各组(a_i,b_i)，提取第一样本矩阵、第二样本矩阵对应的广义正则判别特征，获得第一广义正则判别特征W_x＝(a₁x₁,a₂x₂,......,a_nx_n)和第二广义正则判别特征W_y＝(b₁y₁,b₂y₂,......,b_ny_n)。

由GCPV(广义正则射影向量)构成的线性变换提取的组合特征称为广义正则判别特征。针对肌电信号的第一广义正则判别特征为W_x＝(a₁x₁,a₂x₂,......,a_nx_n)，针对加速度信号的第二广义正则判别特征为W_y＝(b₁y₁,b₂y₂,......,b_ny_n)。

由上式两个线性变换形成组合的特征投影矩阵即为新的特征空间，然后用于动作识别分类。

由于待分类的肢体动作种类较多，只采取表面肌电信号提取的手势特征无法实现手势精准分类，为提高动作识别率，因此本发明将表面肌电信号提取的特征和加速度信号提取的特征进行融合，以达到较高的动作识别率。

S24：根据第一广义正则判别特征和第二广义正则判别特征获得融合特征矩阵。

由上式两个线性变换形成组合的特征投影矩阵即为新的特征空间，然后用于动作识别分类。

由于待分类的肢体动作种类较多，只采取表面肌电信号提取的手势特征无法实现手势精准分类，为提高动作识别率，因此本发明将表面肌电信号提取的特征和加速度信号提取的特征进行融合，以达到较高的动作识别率。

在此基础上，本实施例中还可以进一步地表面肌电信号提取的特征和加速度信号提取的特征进行权重分配，以进一步提高识别率。

具体可以包括：

在第一广义正则判别特征中找出最大特征值max(a_ix_i)，在第二广义正则判别特征中找出最大特征值max(b_iy_i)；

基于上述两个最大特征值设定第一权重系数为第二权重系数为

最终确定出的融合特征矩阵为

下面对本发明实施例提供的肢体动作识别装置进行介绍，下文描述的肢体动作识别装置与上文描述的肢体动作识别方法可相互对应参照。

图2为本发明实施例提供的肢体动作识别装置的结构框图，参照图2中的肢体动作识别装置可以包括：

信号获取模块100，用于通过贴合肢体设置的肌电信号传感器和加速度传感器，分别获得肌电信号和加速度信号；

信号识别模块200，用于根据所述肌电信号和所述加速度信号进行有效活动时间段识别，并获得有效活动时间段对应的有效肌电信号和有效加速度信号；

特征提取模块300，用于对每个所述有效活动时间段对应的所述有效肌电信号和所述有效加速度信号均分别进行AR模型特征提取、小波分析特征提取以及模糊熵特征提取，获得所述有效肌电信号对应的肌电第一特征数据、肌电第二特征数据、肌电第三特征数据，以及所述有效加速度信号对应的加速度第一特征数据、加速度第二特征数据和加速度第三特征数据；

融合特征模块400，用于以所述肌电第一特征数据、所述肌电第二特征数据和所述肌电第三特征数据作为第一样本矩阵，所述加速度第一特征数据、所述加速度第二特征数据和所述加速度第三特征数据作为第二样本矩阵，对所述第一样本矩阵中的各个特征数据和所述第二样本矩阵中的特征数据进行相关性分析，获得融合特征矩阵；

动作识别模块500，用于利用预先创建获得的支持向量机对所述融合特征矩阵进行识别，获得所述肢体动作信息。

在本申请的一种可选地实施例中，所述融合特征模块100具体包括：

线性关系单元，用于设定所述第一样本矩阵和所述第二样本矩阵分别满足的第一线性关系式和第二线性关系式其中，X为所述第一样本矩阵；x_i为所述第一样本矩阵中的第i个特征数据；a_i为所述第一线性关系式中第i个特征数据对应的第一相关变量；Y为所述第二样本矩阵；y_i为所述第二样本矩阵中的第i个特征数据；b_i为所述第二线性关系式中第i个特征数据对应的第二相关变量；

变量运算单元，用于利用基于广义典型相关判别准则构建的拉格朗日目标函数以a^T·S_xx·a_i＝1，b^T·S_yy·b_i＝1为约束条件，确定各组(a_i,b_i)；S_xx为所述第一样本矩阵中各个特征数据的方差；S_yy为所述第二样本矩阵中各个特征数据的方差；为所述第一样本矩阵和所述第二样本矩阵之间的协方差；λ₁、λ₂分别为第一系数和第二系数；

判别特征单元，用于根据各组(a_i,b_i)，提取所述第一样本矩阵、所述第二样本矩阵对应的广义正则判别特征，获得第一广义正则判别特征W_x＝(a₁x₁,a₂x₂,......,a_nx_n)和第二广义正则判别特征W_y＝(b₁y₁,b₂y₂,......,b_ny_n)；

特征矩阵单元，用于根据所述第一广义正则判别特征和所述第二广义正则判别特征获得融合特征矩阵。

在本申请的另一可选地实施例中，特征矩阵单元，用于根据所述第一广义正则判别特征和所述第二广义正则判别特征确定所述融合特征矩阵为其中，第一权重系数为第二权重系数为

在本申请的一种可选地实施例中，信号获取模块100用于利用数字高通滤波算法对所述肌电信号传感器采集的原始肌电信号进行滤波，获得频率在20Hz～200Hz之间的肌电信号。

在本申请的一种可选地实施例中，信号获取模块100用于利用递推平均滤波的原理将所述加速度传感器采集的原始加速度信号中，按照每N个连续采样的原始加速度信号的平均值作为第N个原始加速度信号对应的采样时刻的加速度信号，获得各个所述原始加速度信号对应的采样时刻的加速度信号。

在本申请的一种可选地实施例中，信号识别模块200用于根据所述肌电信号识别所述肌电信号对应的第一有效活动时间段；根据所述加速度信号识别所述加速度信号对应的第二有效活动时间段；

信号识别模块200包括第一识别单元，用于基于能量均值公式确定每个采样点对应的能量均值；其中，E(i)为第i个采样点对应的能量均值；S_k(i)为第k个肌电信号传感器的第i个采样点对应的肌电信号；I为所述肌电信号传感器的数量；N为递推滑动窗口长度；判断各个所述采样点中对应的能量均值大于能量阈值的连续的采样点数量是否大于数量阈值；若是，则对应的能量均值大于能量阈值的多个连续采样点对应的采样时间段为所述第一有效活动时间段。

本实施例的肢体动作识别装置用于实现前述的肢体动作识别方法，因此肢体动作识别装置中的具体实施方式可见前文中的肢体动作识别方法的实施例部分，例如，信号获取模块100，信号识别模块200，特征提取模块300，融合特征模块400，动作识别模块500分别用于实现上述肢体动作识别方法中步骤S11，S12，S13，S14和S15，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本申请还提供了一种肢体动作识别系统的实施例，该系统可以包括：

用于贴合肢体设置的肌电信号传感器和加速度传感器；分别和肌电信号传感器以及加速度传感器相连接的处理器；

处理器用于分别通过肌电信号传感器以及加速度传感器获得肌电信号和加速度信号，并执行实现如上任一项的肢体动作识别方法的步骤。

本申请中的处理器基于肌电信号传感器和加速度传感器分别检测获得的肌电信号和加速度信号，对基于肌体上肌肉在动作时产生的肌电信号和加速度信号分别进行三个不同方面的特征提取，并在此基础上，进一步分析针对肌体的肌电信号和加速度信号之间三个不同方面提取的三种特征之间的相关性特征，并以此作为识别肌体肌肉动作的特征依据，输入至预先训练获得的支持向量机进行动作识别，提升肢体动作识别的准确性。

本申请还提供了一种计算机可读存储设备的实施例，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的肢体动作识别方法的步骤。

该计算机可读存储介质可以包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。