具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种面向手势控制的人机交互系统，包括：腕带本体203、所述腕带本体203内设置有微针阵列电极204、安装在机械手201的每个手指位置均安装压力传感器202和与腕带本体203内设置的微针阵列电极204电连接的数据处理与发送模块205。所述腕带本体203内设置有微针阵列电极204；所述压力传感器202用于检测机械手201与物体之间的接触信号，经过无线通信方式将所检测到的接触信号传输至所述腕带本体203内设置的数据处理与发送模块205；与腕带本体203内设置的微针阵列电极204电连接，用于对所接收到的信号进行分析并判断感觉信息所属的类型，最后利用判断结果来编码电刺激参数，并将编码好的电流脉冲通过腕带本体203上的微针阵列电极204施加于使用者手部来刺激诱发和传导手部感觉信息。

当机械手201或虚拟手接触到物体时，对于机械手201，根据从手指表面传感器接收到的感觉信息来编码电刺激参数(对于虚拟手，通过程序模拟手抓握物体时接触面的形变等来表示是否接触以及接触的紧密程度等感觉信息)，然后在佩戴者的手腕进行表面电刺激来实现感觉信息向大脑的传递，从而使操作者可以根据所感受到的接触信息来调整自己的抓握姿势和抓握力，使得操作者可以通过更加直接、自然、有效的方式与虚拟世界进行交互，这大大增强了互动性和沉浸感，提升了人机交互体验。此外，还为操作者提供了一种通用的人机交互方式，特别适用于需要多自由度手模型对虚拟物体进行复杂操作的虚拟现实系统。

本发明实施例提供了一种面向手势控制的人机交互系统包括两个部分，第一部分是感觉信息获取，由信号采集、传输和处理几个模块，在机械手201安装压力传感器 202(虚拟手则用程序模拟)，用于在抓握过程中检测机械手201与物体接触或握紧的状态，将所采集的信号传送至感觉腕带本体203，在腕带中的数据处理模块对所接收到的信号进行分析并判断感觉信息所属的类型，最后利用判断结果来编码电刺激参数，用于诱发使用者手部真实的感觉；第二部分是感觉信息反馈，根据第一部分中所获得的感觉信息分析的结果对电刺激参数进行编码和设置，并将编码好的电流脉冲通过腕带上的电极施加于使用者手部来刺激诱发和传导手部感觉信息。

(1)感觉信息获取

对于机械手201，传感器空间结构示意图如图1所示，101为机械手201手指表面。102为压力传感器202层，根据需要可制作成数十微米厚度，不影响机械手201日常使用。103为覆盖在压力传感器202表面的保护层，可用塑封工艺，保护压力传感器202，延长使用寿命。可以根据使用需求，在机械手201的每个手指位置均安装压力传感器 202，以识别不同位点接触物体的状态。如果交互控制的是虚拟手，则通过在软件中判断接触状态。

信号处理方面，使用高灵敏度的压力传感器202，通过实时监测传感器输出信号值，设定不同阈值来判断接触状态(包括接触感觉的类型、接触的位置、以及接触的紧密程度：分为轻、中、重等不同等级，每种感觉类型的每个等级设为一个感觉类别)，将传感器采集到的数据传输至下一部分用于感觉反馈的腕带。

(2)感觉信息反馈

如前面所述，将所检测到的压力与设定的阈值进行比较和归类之后，用于编码电刺激参数并通过腕带进行感觉反馈，本发明中使用腕部的经皮电刺激方法来诱发感觉，实现感觉反馈。

电刺激诱发感觉信息传入：通过微针电极施加一个短时间(50ms-200ms)的电流脉冲到皮肤表面。根据机械手201产生接触的不同位置，选择腕带中对应于控制不同手指活动的神经(主要包括正中神经、尺神经和桡神经及其分支等)的正上方的手腕皮肤位置的电极作为目标刺激电极，激活相应神经，诱发感觉信息并将所诱发的感觉信息传递至大脑，使得使用者产生对所接触物体的直观感受，从而来调整抓握物体的力度等，实现感觉反馈。电刺激电极位置与机械手201的手指与物体接触位置的对应关系如图2所示。

图中，在机械手201的手指上对应于数字1、2、3、4和5的位置分别安装柔性压力传感器202，在腕带上与数字1、2、3、4和5的位置安装能够分别诱发对应的真实手指感觉的微针阵列电极204。微针阵列由可固化的磁性液滴在柔性基底上经过按压、拉伸、破裂，在磁场力、表面张力、重力的共同作用下制作而成，并在微针表面喷涂具有生物安全性的导电金属膜，从而完成微针阵列电极204的制作。制作完成的电极被安装在具有生物安全性且可拉伸的柔性腕带上，因此手臂粗细不同的操作者都可以使用。

信号处理模块CPU206与低功耗蓝牙模块BLE207被封装在面向手势控制的人机交互系统的外表面，低功耗蓝牙模块207能够接收从机械手201柔性压力传感器202传出的感官信息并能提高反馈系统的续航能力；在信号处理模块206中，首先对压力传感器202传入的信号进行滤波、去噪等预处理，获得清晰的压力信号，然后对信号进行加窗、特征提取(峰值和能量相关的时域特征)、模式识别等处理，将计算的结果与上一部分设定的阈值进行比较，最后判断识别结果、确定感觉信息的类型、并将所判断的感觉强度与设定的阈值对比来对感觉强度进行分级，根据识别和分级的结果来编码刺激参数(频率、脉宽和幅度)和刺激位置，再通过导线将电信号传递至对应的电极来将电刺激施加于电极下方的皮肤和神经等，从而诱发手部不同位置的不同强度的感觉。

此外，因为经皮电刺激的电流脉宽、幅度、频率等参数都可调，可不同程度地刺激到皮肤中的多种感受器及神经末梢，从而能够诱发不同类型的感觉，如轻触、按压、嗡鸣，震动、麻木、疼痛等。因此，可以极大程度地将机械手201与所抓握物体的接触面的压力、温度等一系列感官信息经过信号处理后通过电刺激电极传递到皮肤、神经以及大脑，使得操作者能够直观的感受到机械手201的抓握感觉，并根据所感受到的感觉类型和强度对抓握的姿势和力度等进行调整，从而可以实现基于自然感觉反馈的闭环控制，提高控制机械手201完成精细动作任务的性能。

感觉腕带本体203结构如图3所示，总体分为三层，最外侧为无纺布层，与具有弹性的腕带相连；中间层为基底层，微针阵列电极204就安装在这层，且外接信号处理模块206和蓝牙通信模块；最内侧与皮肤直接接触的这一层为硅胶层，硅胶层在对应基底层中电极的位置都已预先打好孔，为电极与皮肤接触做好准备。

如图4所示，本发明工作原理如下：

操作者使用手势去控制机械手201或虚拟手；

通过安装在机械手201上的柔性压力传感器202检测压力等接触信号；

经过无线通信方式将所检测到的压力等接触信号传输至面向手势控制的人机交互系统；

在腕带中经过信号处理、模式识别后用于编码对应感觉的电刺激参数，并将相应的刺激电流传递至特定位置微针阵列电极204，实施电刺激；

诱发操作者真实的手部感觉并将其传递至大脑；

使操作者可以根据感受到的感觉信息来自行调整手势与握力。

该系统是一个闭环控制系统，相比于传统的手势控制，操作者因为没有了手套的束缚，可以控制机械手201做出更多手势，实现多种模式的灵活控制；而自然的感觉反馈功能的加入，使得操作者能够不断凭着自己的感觉去修正手势与握力，实现更为精准的机械手201控制。

(1)本发明包括一种人机交互腕带，用于实现机械手201或虚拟手控制的感觉反馈功能。根据机械手201或虚拟手抓握物体(或虚拟物体)时与物体的接触的程度，通过交互腕带将接触信息反馈到真实人手。

(2)基于电刺激的感觉腕带包括电极层、保护层、数据处理与发送模块205。

(3)在机械手201上安装压力传感器202检测机械手201和物体的接触情况，压力传感器202包括但不限于压敏传感器、压电传感器等。

(4)处理和发送模块由柔性线路板制成，封装在一起，固定于腕带外表面处。

(5)用于电刺激的电极包括但不限于凝胶湿电极和微针阵列电极204等各类电极及其组合。

(6)通过电极层来实施电刺激。

(7)通过保护层防止磨损。

(8)通过数据处理和发送模块来处理信号和编码刺激参数并将刺激电流发送到电极层。

(9)通过包括但不限于热熔胶，双面胶等粘合剂固定各层，粘合剂干结后不影响压力信号和电信号的传输。

(10)电刺激电极手环可固定于弹性绑带上以满足手腕粗细不同的操作者使用。

(11)该人机交互设备可以取下并移动到另外一只手臂上使用。

本发明经过论证和预实验，证明是可行的。一方面，本发明所提出的表面电刺激诱发并传导手部感觉信息的方法，已经在大于5名受试者身上完成了验证实验，确定了合适的刺激参数，诱发了受试者不同手指和手掌区域的多种感觉。另一方面，本发明所提出的微针阵列电极204，已经被设计和制作完成，并在人体手腕完成了电刺激诱发感觉信息的实验验证，仅使用微小电流可以诱发受试者的手部感觉。

此外，本发明所提出的数据分析方法，计算量小，易于集成于系统，额外添加成本小，在技术上容易实现。

本发明中所提出的基于感觉反馈的人机交互方法不仅限于机械手201或虚拟手的控制，还可用于生活、工作、实验等多种控制场景中的感觉反馈。如利用手势控制温度，根据温度不同进行感觉反馈；利用手势控制飞行器，根据飞行器速度进行感觉反馈等；生物实验中对不同材料、装有不同溶剂等的试管拿取、转移时，根据试管的位置和形变等进行感觉反馈等；在游戏训练中，通过手势控制虚拟物体的移动根据程序模拟的接触感觉进行反馈；以及各种需要用到手势控制的日常情境中都可以使用本发明中所提出的感觉反馈方法。

本发明中的腕带材料可以用各种对人体皮肤没有危险的柔性材料，例如柔性硅胶材料等替代，且腕带的形状可以根据使用者的需求设计。腕带中刺激电极的大小、形状、数量、排列方式等可以根据使用者的需求以及不同使用者手腕神经分布不同来做出调整。

使用到的微针阵列电极204，其微针的数量、形状、高度、直径、排列方式等都可以根据实际需求进行调整。

这里的电极包括但不仅限于湿电极或接触式干电极及微针阵列电极204，微针阵列电极204是一种特殊的干电极，主要以可固化的磁性液滴为原材料，通过操作杆在柔性基板上经过按压、拉伸和破裂，在磁场力、表面张力和重力的共同作用下，形成微针阵列，之后在其表面镀上一层导电膜，导电膜包括但不限于金、银、钛、氯化银等材料。这种柔性微针阵列电极204具有以下一些特点：

1、体积小，厚度薄；

2、加工步骤简单、可复现性强，适合大批量生产；

3、阻抗特性优异，易于电刺激信号的传输；

4、跟皮肤接触稳固，不易产生运动伪影；

5、对比凝胶湿电极，长时间使用阻抗特性稳定。

因此，这种电极能在一定程度上弥补导电凝胶湿电极用作电刺激电极的缺陷，可以最大限度的发挥感觉腕带本体203的潜力，本发明方案可达到以下目的：

1、更精准、更灵活的手势控制；

2、更优异的感觉反馈，增强操作者的沉浸感；

3、更紧密贴合皮肤的电极，具有可调节性的腕带；

4、更低的接触面阻抗、更快的刺激响应；

5、更强的抗干扰性能；

6、更低的成本。

利用手势对虚拟手或机械手201控制时，如果是虚拟手，从软件程序中加入判断虚拟手是否触碰到物体，以及与物体接触紧密程度；如果是用手势控制机械手201，则在机械手201上安装力学传感器，用于判断是否接触以及接触紧密程度。使用者穿戴腕带，腕带内嵌电极且集成有信号处理和信号收发模块。当虚拟手或者机械手201 发生接触时，通过感觉信号分析的结果来编码电刺激参数，然后将电流脉冲发送给刺激电极，电极释放微电流来刺激使用者的手腕，从而诱发手掌和手指的接触感觉并通过上行神经传导通路传送至使用者大脑，大脑会根据接收到的信息发出运动控制指令并通过下行神经通路传送至该使用者用于控制虚拟手或机械手201的肌肉，从而实现感觉反馈。在人机交互过程中，可以通过相应的不同位点电刺激来实现对虚拟手或机械手201的不同手指接触物体时的准确的感觉反馈功能。

本发明提出了一种面向手势控制的人机交互系统和系统，通过神经反馈技术实现手势控制中的实时信息反馈，达到闭环控制和人机交互的目的。感觉是人手精准运动控制中不可或缺的部分，即使在没有视觉的情况下，人手依然可能实现抓握和精确操作。对于健康的人手，在运动和抓取物体过程中，手部皮肤上的机械感受器会响应交互环境给予的刺激，获取手的位置和姿势等状态信息以及与物体的接触时间、位置和压力等交互信息，传入纤维将这些感官信息通过上行神经传导通路传递至大脑，大脑经过信息整合、分析，然后产生运动控制指令，通过下行神经传导通路将指令传至手的运动神经，从而控制和调整手的肌肉和关节活动。本发明中，我们首先采集系统中装有柔性薄膜压力传感器202的机械手201在抓取物体时所接触物体对手指接触面的压力分布信号，然后通过无线传输、信号处理和模式分类技术识别当前的接触信息类别，并使用分类识别的结果对电刺激参数进行编码，设置刺激电流参数并将其输送至腕带中的刺激电极，最后使用本发明所制备的基于微针阵列式电极的感觉腕带本体 203在皮肤表面进行电刺激，达到刺激神经末梢的目的，从而实现感觉信号的神经传入，为人机交互的感觉反馈和机械手201的精准控制提供了一种可实行的方案。

本发明提供一种面向手势控制的人机交互方法，包括如下步骤：

提供一种面向手势控制的人机交互系统；面向手势控制的人机交互系统包括：腕带本体203、所述腕带本体203内设置有微针阵列电极204、安装在机械手201的每个手指位置均安装压力传感器202和与腕带本体203内设置的微针阵列电极204电连接的数据处理与发送模块205；

通过所述压力传感器202检测机械手201与物体之间的接触信号，经过无线通信方式将所检测到的接触信号传输至所述腕带本体203内设置的数据处理与发送模块205；

通过数据处理与发送模块205对所接收到的信号进行分析并判断感觉信息所属的类型，最后利用判断结果来编码电刺激参数，并将编码好的电流脉冲通过腕带本体203 上的微针阵列电极204施加于使用者手部来刺激诱发和传导手部感觉信息。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。