具体实施方式

肌电信号，又称之为表面肌电信号(Surface Electromyography，sEMG)是由肌肉收缩时，多路运动单位动作电位序列经肌肉、皮下组织和皮肤传导后，最终在皮肤表面形成的微弱生物电信号，具有与肌肉激活直接相关的信息，能有效体现肢体的动作。但由于sEMG在采集过程中需要稳定的信号分量，易受噪声影响，抗干扰能力差，导致sEMG的鲁棒性较差。

本申请中考虑到肌电信号主要是为了获得肢体在活动时，肌肉收缩和放松的信息，而这一信息也并不仅仅只能通过肌电信号的形式获得，也可以考虑从其他途径获取。

为此，本申请中提出了一种能够从不同途径获得肢体动作信息，进而在一定程度上提升对肢体动作识别的准确度，实现更准确的控制假肢动作的技术方案。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，图1为本申请实施例提供的假肢控制方法的流程示意图，该方法可以包括：

S11：获取假肢对应肢体的肌电信号、肌音信号以及肌力信号。

肌音信号(Mechanomyography，MMG)是肌肉收缩时肌肉纤维发生滑动摩擦时所产生的低频振动信号，MMG的采集对肌音传感器的要求较低，一般的压电或加速度传感器就可以实现，其不与皮肤进行直接接触也能被采集，故肌音信号受皮肤表面的状况影响较小。但同时由于MMG整体的信噪比较sEMG低，易受肢体移动伪迹的影响。

肌力信号(Forcemyography，FMG)是肌肉收缩时，肌肉形变对皮肤表面产生的压力信号当肢体动作时，通过紧贴在皮肤的压电材料，检测肌肉收缩对表面皮肤产生的压力，其中，PVDF压电薄膜传感器、FSR传感器(Force Sensing Resisto，电阻式压力传感器)均可作为采集肌力信号的传感器，具有易加工、柔软、韧性好等特点，是优良的压电信号采集设备。

基于肌电信号、肌音信号、肌力信号等三种生物信号的特点，三种生物信号的结合不仅可以弥补单一生物信号在传感检测中出现的问题，还可以减少由于传感错误引起的假肢控制故障，能够提高假肢控制的整体性能。

参考图2，图2为本申请实施例提供的多模态传感器装置的剖面结构示意图。本实施例中用于检测肌电信号、肌音信号以及肌力信号的三种传感器可以集成设置于同一个多模态传感器装置中。其中，肌电信号对应的肌电传感器的电极可以选用银/氯化银材质的干电极11；肌音传感器可以选用TD-3加速度传感器12采集肌肉收缩时产生的振动信号；肌力传感器可以选用FSR传感器13采集肌肉收缩时产生的压力信号。

此外，多模态传感器装置中还设置有通讯部件，用于和主控制器相连接，通过该通讯部件，将肌电传感器、肌音传感器以及肌力传感器采集的肌电信号、肌音信号以及肌力信号分别传输至主控制器，通过主控制器分析这三种生物信号实现肢体动作的分类识别。对于多模态传感器装置中的通讯部件可以是蓝牙、WIFI、NFC等无线通讯模块，也可以是直接和主控制器进行有线连接的有线通讯模块，对此本申请中并不进行具体限制。

并且考虑到在肢体活动时，不同位置的肌肉伸缩是各不相同的，为此一般情况下，并不仅仅只采用一组多模态传感器装置，而是会同时设置多组多模态传感器装置，每组多模态传感器装置中包括一个肌电传感器、肌音传感器以及肌力传感器，而在同一采样时间点，各个多模态传感器装置中，同一类型的传感器可以同时采集一个同类型的信号。后续进行肢体动作判断时，也就可以结合各个传感器采集的肌电信号、肌音信号以及肌力信号进行综合分析。

S12：根据肌电信号识别有效活动时间段，并以有效活动时间段内的肌电信号、肌音信号以及肌力信号分别作为有效肌电信号、有效肌音信号、有效肌力信号。

可以理解的是，当使用者想要控制假肢运动时，可以控制肢体才会产生动作，而肢体动作时对应的三种生物信号才能够作为分析肢体动作的信号。而对于三种生物信号的传感器而言，其信号采集是不间断的，也即是说肢体不存在动作时，传感器也会进行信号采集，为此就需要将肢体动作时对应的时间段内的三种生物信号识别提取出来作为有效时间段信号，以便作为后续动作识别分析的信号数据；也即是说肢体活动动作的时间段即为有效活动时间段；有效活动时间段内采集的肌电信号、肌音信号以及肌力信号即为有效肌电信号、有效肌音信号以及有效肌力信号。

一般情况下，肌电信号、肌音信号以及肌力信号分别对应的有效活动时间段应当是相同的时间段，因此，在实际识别过程中，可以以其中任意一种信号为依据识别有效活动时间段。

以肌电信号作为识别有效活动时间段的信号依据为例，在本申请的一种可选地实施例中，该有效活动时间段的识别过程可以包括：

对多个肌电传感器在同一采样时间点采集的原始肌电信号的绝对值进行求和运算，获得每个采样时间点对应的第一肌电信号；

利用最小二乘法，对设定大小的滑动窗口内第i次采样对应的第一肌电信号y_i进行满足线性方程的线性拟合，获得拟合参数向量A＝(a₀,a₁,…,a_k-1)；其中，i∈[1,L]，L为滑动窗口内的总采样次数；k为常数参数；

将拟合参数向量代入线性方程，获得每个采样点对应的平滑处理后的第二肌电信号；

判断第二肌电信号中连续大于阈值的第二肌电信号的数量是否超过预设数量，若是，则连续大于阈值的第二肌电信号对应的采样时间段为有效活动时间段。

需要说明的是，本实施例中考虑对于肢体的肌电信号其是在0点附近上下波动的，且波动幅值也是随机变化的。且某些采样点因为噪声等因素的影响，其幅值会存在过大的突变，这在一定程度上影响后续识别有效活动时间段的准确性。

为此，本申请中在基于肌电信号进行有效活动段识别之前，先将肌电信号采集的原始肌电信号进行绝对值运算，获得进行绝对值运算后的肌电信号，在一定程度上对肌电信号起到增大的作用；再将同一采样时间点对应的多个肌电传感器测得的原始肌电信号的绝对值进行叠加运算，以叠加运算后的信号数据作为该采样时间点对应的第一肌电信号；再对进行该第一肌电信号进行平滑处理，在一定程度上缩小了第一肌电信号幅值的波动范围，便于后续进行有效活动时间段的识别。

下面对绝对值运算后求和的肌电信号平滑处理的原理进行说明。

设定在长度为L的滑动窗口内的第一肌电信号y_i组成的第一肌电信号向量为Y＝(y₁,y₂,......,y_L)。显然，对于不同的采样时间点，第一肌电信号y_i的大小也不相同，由此，也可以将第一肌电信号视为随采样时间点变化而变化的变量信号。

为此可以滑动窗口内各次采样对应的采样次数表示各个采样点，每个采样时间点对应一个采样次数，采样时间点越靠后，对应的采样次数越大；设定第一肌电信号和各个采样次数之间满足一定的线性关系，对第一肌电信号随采样次数，变化而变化的线性关系进行线性拟合。

基于线性拟合的特性可知，对离散性的数据点进行线性拟合的过程在一定程度上就是舍弃某些偏离中心较远的点，而获得一条大多数数据点都满足，或者是说位于大多数数据点的中心的曲线方程。

而对第一肌电信号进行平滑处理的过程也是需要舍弃部分偏移其相邻肌电信号过远的肌电信号的过程，或者是说将偏移相邻肌电信号过远的肌电信号拟合转换为幅值大小和其相邻肌电信号更相近的肌电信号。

由此本实施例中直接利用线性拟合的过程实现第一肌电信号的平滑处理过程。具体过程可以包括：

设定第一肌电信号和采样次数之间通过线性拟合满足其中，a_j-1为线性系数；k为常数参数且为正整数，其具体大小可以基于肌电信号设定，但k的大小应当小于L；L为滑动窗口长度，也即是滑动窗口内总的采样次数。

基于上述第i个采样点的第一肌电信号的线性拟合方程，可得L个k元方程组合的k元线性方程组：也即是：Y＝X·A^T；其中，A＝(a₀,a₁,…,a_k-1)；基于已知的Y＝(y₁,y₂,......,y_L)和对应的采样点，代入上述线性方程组中，通过最小二乘法进行线性拟合，即可拟合获得A中的每一个线性系数参数a_j-1。

在确定出拟合参数向量A＝(a₀,a₁,…,a_k-1)之后，显然，对于各个采样点对应的第一肌电信号应当是在线性方程对应的曲线上下波动的，而各个采样点对应的位于线性方程的曲线上的肌电信号大小即可视为第一肌电信号平滑处理后对应的肌电信号。

由此，只需要将各个采样点i和拟合参数向量A代入上述线性方程组中，运算获得的肌电信号即为平滑处理后的第二肌电信号。

在完成肌电信号的平滑处理后，即可将各个第二肌电信号大小和阈值相比较，如果连续多个第二肌电信号均大于阈值，则该连续大于阈值的多个第二肌电信号对应的采样时间点所在的时间段即为有效活动时间段。

需要说明的是，对于有效活动时间段的识别过程可以仅仅基于肌电传感器采集的肌电信号进行识别，也可以基于肌音信号或者肌力信号进行识别，识别方式可以和上述通过肌电信号识别有效活动时间段的方式相同，对此，本申请中不做具体限制。

此外，进一步地考虑到对于肌电传感器、肌音传感器以及肌力传感器而言，三种传感器的采样频率一般情况下并不相同，因此对于分别基于肌电信号、肌音信号以及肌力信号识别确定的有效活动时间段可能在首尾时间点存在一定的偏差而无法完全重合。为此，在实际应用过程中，可以分别依据肌电信号、肌音信号以及肌力信号识别其各自对应的有效活动时间段，后续提取有效活动时间段的有效信号，也以各自的有效活动时间段也为准。

还可以基于分别依据肌电信号、肌音信号以及肌力信号各识别一个有效活动时间段，最后综合选取一个平均时间段或者是最大时间段作为三种信号共同的有效活动时间段，都属于本申请中可选的实施例。

S13：将每个有效活动时间段对应有效肌电信号、有效肌音信号、有效肌力信号通过DS-CNN模型进行特征提取，获得肌电特征数据、肌音特征数据以及肌力特征数据。

需要说明的是，对有效肌电信号、有效肌音信号、有效肌力信号进行特征提取的模型也需要通过预先采集的信号样本数据进行训练，以确定特征提取模型中的参数。

对有效肌电信号、有效肌音信号、有效肌力信号等多模生物信号提取特征值时，考虑到生理信号样本数量级小，特征提取模型容易过度拟合数据特征，泛化性较差，使得训练集和测试集在模型上的表现差异较大，产生过拟合现象，最终确定出的特征提取模型在实际应用中提取出的特征数据准确性也就相对不高。

为此，本实施例中选择DS-CNN(深度可分离卷积网络)模型获取有效肌电信号、有效肌音信号、有效肌力信号的时序特征和空间特征，同时参数量少，有利于避免在训练过程中出现过拟合的问题，从而保证了在实际应用过程中对有效肌电信号、有效肌音信号、有效肌力信号的特征提取的准确性。

S14：利用预先训练获得的3D分层卷积融合模型，对肌电特征数据、肌音特征数据以及肌力特征数据进行特征识别分类，确定肢体的控制动作。

在获得肌电特征数据、肌音特征数据以及肌力特征数据之后，可以先对三种特征数据进行增维拼接，组成多维特征数据。

假设肌电特征数据、肌音特征数据以及肌力特征数据分别为三种一维特征数据，即可将三种特征数据拼接形成三维特征数据，如果肌电特征数据、肌音特征数据以及肌力特征数据原本就属于二维或者更多维特征数据，也可以将三种特征数据拼接形成更高维度的数据。

对三种特征数据进行增维拼接之后，通过3D分层卷积融合模型对増维拼接后的特征数据进行两两特征之间的交互和全局数据之间的全局相互，进而可以提取各个特征数据之间的融合特征，而基于该融合特征即可确定其对应的肢体动作类型，进而实现肢体动作分类的识别，而该肢体动作即为需要对假肢进行控制的动作。

S15：基于控制动作对假肢驱动装置进行控制驱动。

确定出对假肢控制驱动的动作后，直接控制假肢的驱动部件进行驱动假肢动作即可。

假肢为根据人手骨骼-肌肉的结构组成的仿生结构，骨骼用3D打印材料仿生，肌肉用尼龙绳和弹簧仿生。假肢驱装置包括：舵机、舵盘、舵机驱动、锂电池等。以手部假肢为例，假肢的手指组件共五组对应人手的五指，每只手指由三个指节、尼龙绳、弹簧、柔性缓冲垫、销轴；其中尼龙绳是带动指尖弯曲的安装在手指模拟人手韧带；手掌支撑板固定手指组件以及安装舵机驱动，舵盘安装在舵机驱动的传动轴上，拉动尼龙绳从而控制手指弯曲；舵机驱动在接收到动作指令驱动舵机转动进而假肢手做出相应动作。

综上所述，本申请中在控制假肢基于使用者的主观意图进行控制时，同时对假肢对应的肌体的肌电信号、肌音信号以及肌力信号等三种不同的信号进行采集，并融合三种信号的特征对使用者想要进行的肢体动作进行识别，能够在一定程度上提升肢体动作识别的准确性，也就在一定程度上提升假肢动作控制的准确性，从而提升假肢的使用体验。

基于上述实施例，在本申请的另一可选的实施例中，还可以进一步地包括：

在对假肢驱动装置进行控制驱动之后，还采集假肢之间的温度数据和滑触觉数据；

根据温度数据对肢体进行温度刺激反馈控制；

根据滑触觉数据对肢体进行滑触觉刺激反馈控制。

在实际应用中可以在假肢手指部位设置触滑觉传感器和温度传感器。触觉传感模块有两个作用：一是检测假手抓取物体时，假手与物体的接触情况，即作用在物体上的垂直作用力的大小；二是根据物体的滑动趋势产生控制物体的作用力。温度传感模块可以采用温度传感器HDC1080接触式温湿度传感器，可以同时测量精度较高的温湿度信息。

本实施例中考虑到，假肢在受主控制器控制动作时，使用者并不能直接接触到假肢抓取触碰的物件，对抓取的物件的力度掌控并没有直观感受，因此可能存在力度控制不准确的问题。为此本申请中将假肢的指尖上进一步地设置触滑觉传感器用于检测之间抓取物件的力度，如果力度过大不仅仅可能对抓取的物件产生损坏还可能对假肢造成不可逆的损伤，为此，本实施例中进一步地在假肢上设置触滑觉传感器，检测假肢抓取物件的压力大小，并将检测结果反馈给控制器，以便对假肢抓取力度进行适当调节。

为了进一步地提升使用者对假肢动作掌控自如的体验，在本实施例中进一步地将该假肢上设置和肢体相贴合的电极片，当触滑觉传感器检测到不同大小的压力时，可以主控制器可以通过该电极片向肢体输出不同大小的电流刺激，使得使用者可以直观感受到抓握物体的松紧度，进而根据感受到的电极片刺激强烈程度控制自主控制假肢动作，提升使用者控制假肢的自主性。

对于假肢材料而言，一般也不适合长时间接触温度过高或过低的物体，因此，本申请中进一步地在假肢上设置温度传感器，用于检测和假肢直接接触的物体的表面温度，并对该温度大小进行反馈。进而上述触滑觉传感器原理近似，为了使用者对假肢接触的物体表面温度有更直观的感受，可以进一步地在假肢上设置可以和肢体相贴合的半导体制冷片，通过主控制器接收温度传感器测得的温度大小，可以控制该半导体制冷片的温度，从而使得使用者能够切身的感受到抓取接触物体的实际温度，以确定是否继续接触该物体。

下面对本发明实施例提供的假肢控制装置进行介绍，下文描述的假肢控制装置与上文描述的假肢控制方法可相互对应参照。

图3为假肢控制为本发明实施例提供的假肢控制装置的结构框图，参照图3中假肢控制装置可以包括：

信号采集模块100，用于获取假肢对应的肢体的肌电信号、肌音信号以及肌力信号；

活动段识别模块200，用于根据所述肌电信号识别有效活动时间段，并以所述有效活动时间段内的肌电信号、肌音信号以及肌力信号分别作为有效肌电信号、有效肌音信号、有效肌力信号；

特征提取模块300，用于将每个所述有效活动时间段对应所述有效肌电信号、所述有效肌音信号、所述有效肌力信号通过DS-CNN模型进行特征提取，获得肌电特征数据、肌音特征数据以及肌力特征数据；

动作分类模块400，用于利用预先训练获得的3D分层卷积融合模型，对所述肌电特征数据、所述肌音特征数据以及所述肌力特征数据进行特征识别分类，确定所述肢体的控制动作；

控制驱动模块500，用于基于所述控制动作对假肢驱动装置进行控制驱动。

在本申请的一种可选地实施例中，所述活动段识别200模块包括：

绝对值运算单元，用于对多个肌电传感器在同一采样时间点采集的原始肌电信号的绝对值进行求和运算，获得每个采样时间点对应的第一肌电信号；

线性拟合单元，用于利用最小二乘法，对对设定大小的滑动窗口内第i次采样对应的第一肌电信号y_i进行满足线性方程的线性拟合，获得拟合参数向量A＝(a₀,a₁,…,a_k-1)；其中，i∈[1,L]，L为滑动窗口内的总采样次数；k为常数参数；

平滑处理单元，用于将所述拟合参数向量代入所述线性方程，获得每个采样点对应的平滑处理后的第二肌电信号；

判断识别单元，用于判断所述第二肌电信号中连续大于阈值的第二肌电信号的数量是否超过预设数量，若是，则连续大于阈值的所述第二肌电信号对应的采样时间段为有效活动时间段。

在本申请的一种可选地实施例中，还包括反馈模块，用于在基于所述控制动作对假肢驱动装置进行控制驱动之后，采集假肢指尖的温度数据和滑触觉数据；根据所述温度数据对所述肢体进行温度刺激反馈控制；根据所述滑触觉数据对所述肢体进行滑触觉刺激反馈控制。

在本申请的一种可选地实施例中，所述反馈模块用于根据所述温度数据对贴合于所述肢体的半导体制冷片的温度进行反馈控制。

在本申请的一种可选地实施例中，所述反馈模块用于根据所述滑触觉数据对贴合所述肢体的导电片的刺激电流大小进行反馈控制。

本实施例的假肢控制装置用于实现前述的假肢控制方法，因此假肢控制装置中的具体实施方式可见前文中的假肢控制方法的实施例部分，例如，信号采集模块100，活动段识别模块200，特征提取模块300，动作分类模块400，控制驱动模块500，分别用于实现上述假肢控制方法中步骤S11，S12，S13，S14和S15，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本申请还提供了一种假肢设备的实施例，该假肢设备包括：

假肢本体；

用于贴合假肢本体对应的肢体上的肌电传感器、肌音传感器、肌力传感器；

分别和肌电信号传感器、肌音传感器以及肌力传感器相连接的主控制器；

主控制器用于获取肌电传感器采集获得的肌电信号、肌音传感器采集获得的肌音信号以及肌力传感器采集获得的肌力信号，执行如上任一项所述的假肢控制方法的步骤，以控制假肢本体动作。

如图4所示，图4为本申请实施例提供的右手假肢手示意图，假肢手20为根据人手骨骼-肌肉的结构组成的仿生结构，骨骼用3D打印材料仿生，肌肉用尼龙绳和弹簧绳仿生，假肢手指21共五组对应人手的五指，其中大拇指组件安装在手掌支撑板22侧面，食指组件、中指组件、无名指组件和小指组件安装在手掌支撑板22前端。假肢手20包括六个舵机23分别安装在手指组件与手掌支撑板22连接处，用于带动手指组件动作。如图5所示，图5为图4中假肢手指的结构示意图，假肢手指21配有一个舵机23，控制一根尼龙绳拉线形成的控制线24，舵机23进行正转拉动控制线1控制假肢手指21的弯曲，弹簧25控制假肢手指21恢复伸直状态。

以上肢对应的假肢为例，集成有肌电传感器、肌音传感器以及肌力传感器的多模态传感器装置可以包含6个多模态传感器，分别分布在尺侧曲腕肌，尺侧伸腕肌，伸指肌，肱桡肌，指浅曲肌，拇长曲肌。

每个多模态传感器装置结合了EMG电极和振动检测以及测力探头的功能；如图2所示，采集EMG的三个干电极11可以在非常小的范围内(大约0.5毫米)沿其z轴(垂直于肢体表面的方向)浮动，传到皮肤施加压力的力梁14由自粘硅橡胶垫15连接到FSR传感器13，然后固定在底部收纳盒10；由于自粘硅橡胶垫15具有弹性，它会起到一个短“弹簧”的作用，电极将在没有外力作用的情况下保持在预紧力之下，TD-3加速度传感器12位于力梁14的横梁下。

可选地，该假肢设备还进一步地包括温度传感器和触滑觉传感器，可以采用PVDF压电薄膜元件形成的PVDF传感器，由于PVDF传感器在外力触碰情况下产生的是电荷信号，所以需要设计PVDF传感器的信号调理电路来采集触滑觉信号，信号调理电路可以包括电荷放大器，滤波放大器，主放大电路，陷波电路组成，具体电路可以参照常规技术中PVDF传感器常用的信号调理电路，对此本申请中不做详细赘述。

可选地，还可以进一步地包括电极片，该电极片结合触滑觉传感器对人体产生反馈，触滑觉传感器实时采集假肢手的抓握状态，将触滑觉传感器采集到的压力分为5个不同等级：Ⅰ、Ⅱ、Ⅲ、Ⅳ、Ⅴ，分别对应5中不同的电刺激模式：Ⅰ、Ⅱ、Ⅲ、Ⅳ、Ⅴ，电刺激强度与触滑觉传感器采集到的压力呈正相关关系。其中，刺激等级Ⅴ仅为微量电流刺激佩戴者，对人体无伤害。

可选地，该假肢设备上还进一步地包括温度传感器，用于检测假肢接触物体表面的温度。

相应的还包括半导体制冷片，该半导体制冷片结合温度传感器对人体产生温度反馈，温度传感器实时采集假肢指尖温度，为提高向肢体反馈假肢温度的舒适度和精准性，半导体制冷片采用了闭环控制，两端能够一段吸热降温，另一端能够放热。为实现温控系统的实时反馈能力，采用常用的PID算法实现对温度的精准反馈。在实际情况下，低温对假肢的伤害远低于高温，假肢采用的PLA材料温度耐受能力较好，日常所接触到的温度不会对假肢造成过大的物理性损伤，而遇到过高温度时(大于80℃)，通过设置报警装置以提醒使用者控制假肢离开温度源，从而达到高温时的保护与日常温度的反馈感知功能。

进一步地，该假肢设备中还配置有电源模块，主控制器的电源适配电压一般为5V，可以采用5V/2A的锂电池供电。

本申请还提供了一种计算机可读存储介质的实施例，计算机可读存储介质中存储有计算机程序，计算机程序被主控制器执行以实现如上任一项所述的假肢控制方法的步骤。

该计算机可读存储介质可以包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。