具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

相关技术中，医生通过手术机器人电控操作手术机器人的末端器械动作，但该操作模式下，医生难以感知末端器械在动作时的动作力度，容易出现器械末端用力过大对动物组织造成伤害，或用力过小使得夹持的物件掉落的情况，手术过程中存在操作不便的情况。

有鉴于此，本发明实施例提出一种手术器械操作应力感知方法及系统，应用于控制设备，控制设备的握持端511设有触觉反馈装置，且控制设备的末端连接有目标器械42，目标器械42上安装有应力感应器，其感知方法包括以下步骤：建立多个应力数值与色彩之间的第一预设对应关系，以及建立多个应力数值与反馈力度之间的第二预设对应关系；通过应力感应器，获取目标器械42的当前应力数值；基于当前应力数值、第一预设对应关系以及第二预设对应关系，确定目标色彩和目标反馈力度；控制显示设备显示包含目标色彩的图像，并控制触觉反馈装置输出目标反馈力度。通过在控制设备的握持端511进行触觉反馈以及显示器上进行视觉反馈，使医生在手术操作过程中能直观获得当前手术机器人末端器械的动作力度的感知，使医生通过手术机器人操作器械安全、方便。

实施例一

参照图2，示出了本发明一实施例提出的设备主体和触觉反馈装置的结构示意图，如图2所示，本发明实施例公开了一种手术器械操作应力感知系统，包括控制设备和显示设备，控制设备包括设备主体51和处理器，显示设备与处理器电连接，设备主体51的末端接触有目标器械42。

其中，设备主体51为可以为手术机器人，本实施例中，目标器械42可以为钳子、镊子、剪子等可用作于夹持、剪裁等动作的手术器械。

目标器械42上设置有应力感应器，应力感应器与处理器电连接，应力感应器用于感应目标器械42在执行动作过程中的应力。

感应器可以为置于目标器械42钳口之间的应变片，用于获取目标器械42动作过程中的夹合力。在其他实施例中，目标器械42也可以为其他可进行动作的器械，感应器用于获取器械在动作过程中的力的大小数值。

显示设备可以为独立的显示器，显示设备的显示界面上可以显示能够反馈目标器械42夹合力大小的图像。

设备主体51上设置有触觉反馈装置，触觉反馈装置与处理器电连接。

在本发明的一种实施例中触觉反馈装置可以为线性马达513。线性马达513安装于设备主体51的握持端511，通过控制线性马达513的输出功率大小，从而改变对握持握持端511的操作人员手部输出不同大小的力度反馈。

参照图3，示出了本发明另一实施例提出的设备主体51和触觉反馈装置的结构示意图，如图3所示，在本发明的另一实施例中，触觉反馈装置可以包括电磁铁514。设备主体51上转动安装有作为控制设备操作端512的手柄，电磁铁514设置在握持端511上，手柄上固定有可被磁场吸附的连接杆，通过向电磁铁514输入不同大小的电流，就可控制电磁铁514发出不同大小的磁场，以对连接杆和手柄产生不同大小的吸附力，从而向操作人员操作手柄的手部输出不同大小的力度反馈。

参照图4，示出了本发明又一实施例提出的设备主体51和触觉反馈装置的结构示意图，如图4所示，在本发明的又一实施例中，触觉反馈装置还可以为气缸516。设备主体51上转动安装有作为控制设备操作端512的手柄，气缸516的主体安装在握持端511上，气缸516的活动端连接在手柄上，通过控制气缸516所属的电磁阀控制气缸516的起源接口端中气流的进入和释放，从而控制气缸516的活动端伸缩，以向操作人员操作手柄的手部输出不同大小的力度反馈。

参照图5，示出了本发明再一实施例提出的设备主体51和触觉反馈装置的结构示意图，如图5所示，在本发明的又一实施例中，触觉装置还可包括电极触点515。电极触点515可安装于控制设备上与操作人员手部接触的持握端等位置。通过向电极触点515输入不同大小的中低频脉冲电流，使电流刺激人体肌肉神经，从而使手部肌肉收缩以向操作人员反馈不同大小的力度。

处理器用于执行本发明实施例提供的手术器械操作应力感知方法。

在本发明实施例中，手术器械应力感知系统还包括图像采集设备，图像采集设备与处理器电连接，图像采集设备用于采集包含有目标器械42的图像。

其中，图像采集设备可以为内窥镜，图像采集设备还与显示设备电连接，显示设备的显示界面上还可显示图像采集设备所采集的图像。

进一步地，手术器械操作应力感知系统包括多个控制设备，显示设备的显示界面的显示区域52包括与多个控制设备一一对应的子区域，每个子区域用于显示包含一个控制设备的当前应力值对应的目标色彩的图像。通过将每个子区域对应显示一个控制设备的当前应力值对应的目标色彩的图像，从而在手术中同时操作多个器械动作时，可通过一个显示设备直观获取多个器械的动作力度的视觉反馈。

实施例二

参照图1，示出了本发明一实施例提出的手术器械操作应力感知方法的步骤流程图，如图1所示，基于同一发明构思，本发明另一实施例提供了一种手术器械操作应力感知方法，应用于控制设备。所述方法可以包括以下步骤。

S101：建立多个应力数值与色彩之间的第一预设对应关系，以及建立多个应力数值与反馈力度之间的第二预设对应关系。

其中，在本发明的一种实施例中，第一预设对应关系是通过以下步骤建立的：控制目标器械42执行动作，记录目标器械42在执行动作的过程中的多个应力数值，将多个应力数值与色彩之间相对应，具体可以是不同的应力数值与不同的色彩一一对应，从而建立多个应力数值与色彩之间的对应关系。

其中，第二预设对应关系可通过以下步骤建立：控制目标器械42执行动作，记录目标器械42在执行动作的过程中的多个应力数值，将多个应力数值与触觉反馈装置的多个输出动作一一对应，从而建立多个应力数值与触觉反馈装置的输出动作之间的对应关系。

S102：通过应力感应器，获取目标器械42的当前应力数值。

其中，应力感应器可以为目标器械42中安装的应力片，用于实时感应目标器械42在执行动作过程中钳头的夹合力等动作力度。

S103：基于当前应力数值与第一预设对应关系，确定目标色彩。

其中，在获取目标器械42当前应力数值的基础上，根据当前应力数值，查询多个应力数值与色彩之间的第一预设对应关系，确定当前应力数值对应的目标色彩。

可选地，本发明实施例中，应力数值与色彩之间的第一预设对应关系可以理解为包含该应力数值和用于指示该色彩的色彩标识的数据记录。因此，实施过程中，基于当前应力数值可以查询到包含该当前应力数值的数据记录，所查询到的数据记录中的色彩标识所指示的色彩即为目标色彩。

其中，目标色彩可以为单一色彩，或者，目标色彩可以为自目标器械42的最小应力数值至当前应力数值之间的多个连续应力数值所对应的多个连续色彩。

多个连续应力数值所对应的多个连续色彩中，多个连续应力数值可以按照大小顺序排列，多个连续色彩对应应力数值的排序方式排列，可呈现出色彩渐变效果。

S104：基于当前应力数值与第二预设对应关系，确定目标反馈力度。

其中，在获取目标器械42的当前应力数值后，根据当前应力数值，查询第二预设对应关系，确定当前应力数值对应的触觉反馈装置的目标输出动作，并生成执行信号。

可选地，本发明实施例中，应力数值与反馈力度之间的第二预设对应关系可以理解为包含该应力数值和用于指示触觉反馈装置输出该反馈力度的控制信号的数据记录。因此，实施过程中，基于当前应力数值可以查询到包含该当前应力数值的数据记录，所查询到的数据记录中的控制信号所指示的触觉反馈装置输出的反馈力度即为目标反馈力度。

其中，确定当前应力数值对应的触觉反馈装置的目标输出动作，并生成执行信号，可以包括以下至少一者：

在控制设备的握持端511安装有线性马达513的情况下，根据当前应力数值，确定线性马达513的目标输出功率，并生成执行信号，使线性马达513响应执行信号并以目标输出功率振动；

在控制设备的握持端511设置有电磁铁514，且通过电磁铁514对控制设备的操作端512施加作用力的情况下，根据当前应力数值，确定电磁铁514中通过的电流的第一目标数值，通过对电磁铁514输入第一目标数值的电流，使电磁铁514对控制设备的操作端512施加作用力；

在控制设备的握持端511设置有电极触点515，且电极触点515与用户身体可靠接触的情况下，根据当前应力数值，确定向电极触点515输入的电流的第二目标数值，通过电极触点515输入第二目标数值的电流，使电流通过电极触点515对用户的肌肉神经进行刺激；

在控制设备的握持端511设置有气缸516，且通过气缸516对控制设备的操作端512施加作用力的情况下，根据当前应力数值，确定气缸516的气源接口端中气流的目标流动状态，基于目标流动状态，使气缸516的输出端活动并对控制设备的操作端512施加作用力。

可以理解，本发明实施例中，也可以基于上述步骤中的两个及以上步骤共同实现确定所述当前应力数值对应的触觉反馈装置的目标输出动作，并生成执行信号。

在本发明实施例中，步骤S103与步骤S104并无必要的先后执行顺序，目标色彩和目标反馈力度两者可任一在先确定，也可同时确定，只要在S105之前执行即可。

S105：控制显示设备显示包含目标色彩的图像，并控制触觉反馈装置输出目标反馈力度。

其中，控制触觉反馈装置输出目标反馈力度，是通过处理器响应执行信号，根据执行信号控制向触觉反馈装置输入合适大小的电流或气流等，从而控制触觉反馈装置执行目标输出动作，以使操作人员的手部等身体部位感受到合适的力度反馈。

参照图6，示出了本发明一实施例提出的显示界面上包括目标色彩的图案的显示模式，如图6所示，在本发明的一种实施例中，控制显示设备显示包含目标色彩的图像之前，先通过预先建立显示设备的显示界面上不同面积的显示区域52与应力数值之间的第三预设对应关系，在获得当前应力数值后，控制显示设备显示包含目标色彩的图像包括：查询第三预设对应关系，获得目标面积的显示区域52，再由显示设备在该目标面积的显示区域52中显示包含有目标色彩的图像。

本发明实施例的一种实现方式中，第三预设对应关系可以理解为包含应力数值和用于指示显示区域在显示界面上以一定面积所占区域的区域标识的数据记录。因此，实施过程中，基于当前应力数值可以查询到包含该当前应力数值的数据记录，所查询到的数据记录中的区域标识所指示的显示区域（例如显示区域52）在显示界面上以一定面积所占区域即为目标面积的显示区域52。

本发明实施例的另一种实现方式中，第三预设对应关系可以理解为一条数据记录，该数据记录包含应力数值和边界位置，所述边界位置可以用于界定一定面积的显示区域。值得说明的是，在此情况下，不同第三预设对应关系中的边界位置所界定出的显示区域的面积不同。实施过程中，基于当前应力数值可以查询到包含该当前应力数值的数据记录，所查询到的数据记录中的边界位置所界定出的显示区域，即为当前应力数值对应的目标面积的显示区域52。

本发明实施例的又一实现方式中，第三预设对应关系可以理解为一条数据记录，该数据记录包含应力数值以及显示区域的初始显示区域、预设扩大规则以及第一面积。实施过程中，基于当前应力数值可以查询到包含该当前应力数值的数据记录，从而可以获取所查询到的数据记录中的初始显示区域、预设扩大规则和第一面积，将该初始显示区域沿该预设扩大规则扩大，可形成该第一面积（即，所查询到的数据记录中的第一面积）的显示区域，即为目标面积的显示区域52。示例性地，若初始显示区域为第二面积的矩形区域，则预设扩大规则可以是在不改变宽度的情况下、沿初始显示区域的长度方向扩大初始显示区域，直至所形成的显示区域的面积达到第一面积。可以理解，这里的第一面积大于第二面积。在第三预设对应关系中，初始显示区域可以通过初始显示区域在显示界面中的边界位置表征。

通过针对不同大小的应力数值，在显示界面上对应面积的显示区域52中显示出图像，可以在应力增大时，提高显示区域52中图像相对于显示界面的占比，使图像醒目，以及使操作人员在视觉上接收的反馈更加直观。

在本发明的一种实施例中，目标面积的显示区域52中显示的包含有目标色彩的图像可以为，在目标面积的显示区域52中填充显示单一色彩，该色彩为当前应力数值对应的目标色彩。

通过将应力数值与色彩联系对应，操作人员可通过当前图像色彩获得当前应力数值的大小。进一步地，随着应力数值的由小变大，色彩可以由蓝色向红色过渡，当应力数值过大时，接近红色的色彩可以为操作人员提供视觉上紧张感，进一步增强操作人员在视觉上接收的反馈感受。

在本发明的另一种实施例中，在目标面积的显示区域52中显示的包含有目标色彩的图像，可以为显示设备在目标面积的显示区域52中按照前述多个连续色彩的排列顺序，顺序排列在目标面积的显示区域52中的渐变色彩图像。

通过在显示区域52中同时显示最小应力值至当前应力值中的多个应力值对应的顺序排列的多个连续色彩，操作人员可通过当前渐变色彩的图像获得当前应力值距离最小应力值之间的直观差距，方便操作人员对目标器械42的执行动作力度作出调整。

参照图7，示出了本发明另一实施例提出的显示界面上包括目标色彩的图案的显示模式，如图7所示，在本发明的另一实施例中，显示设备显示的目标色彩的图像，还可以为：控制显示设备在显示界面中显示包含目标器械42的图像，以及，控制显示设备在目标器械42的末端的图像区域中填充显示目标色彩。

其中，包含有目标器械42的图像由图像采集设备进行采集，并由处理器对图像采集设备采集的图像进行处理，以识别出图像中的目标器械42所在区域，以及目标器械42上的特定标识区域，特定标识区域可通过对目标器械42的表面上色、表面凸起或凹陷、标记特殊图案等方式获得，特定标识区域即为目标器械42的末端的图像区域，也是目标色彩的显示区域52。接着，再在图像上特定标识区域位置覆盖目标色彩，从而使操作人员可以从显示设备的显示界面上直观获得器械与其自身当前执行动作力度之间关系的视觉反馈。

参照图8，示出了本发明又一实施例提出的显示界面上包括目标色彩的图案的显示模式，如图8所示，在本发明的又一实施例中，显示设备显示的目标色彩的图像，还可以为：控制显示设备在显示界面中显示包含目标器械42的图像，以及，控制显示设备在显示界面的边界中填充显示目标色彩。通过将显示界面的边缘区域作为目标色彩的显示区域52，并填充显示目标色彩，可以将显示设备的显示界面用于显示包含有目标器械42的图像，有效减少对包含有目标器械42的图像的干涉。

参照图9，示出了本发明再一实施例提出的显示界面上包括目标色彩的图案的显示模式，如图9所示，在本发明的又一实施例中，显示设备显示的目标色彩的图像，还可以为：在显示界面上显示色彩为目标色彩的当前应力数值的数字53。以数字53形式可直接向操作人员显示应力值的大小，并且不同的色彩可对操作人员起到警示作用。

参照图11，示出了本发明一实施例提出的显示界面上二级菜单54常显状态的示意图，如图11所示，进一步地，在显示设备的显示界面上包括至少一个二级菜单54，二级菜单54通过以下方式触发：

控制显示设备在显示界面上中显示包含目标器械42的图像，在检测到显示界面上显示的目标器械42的器械位置为二级菜单54所在的位置的情况下，检测器械位置停留在二级菜单54所在的位置的持续时长；在持续时长超过第一预设时长时，触发二级菜单54的菜单功能。

其中，第一预设时长可以为1-2秒，通过移动目标器械42至二级菜单54中的预设位置，并在该预设位置悬停一段时间后，即可触发预设位置对应的菜单功能选项，方便施术者独自通过无接触操作开启菜单功能选项，操作方便且卫生。

参照图12，示出了本发明一实施例提出的显示界面上二级菜单54常隐藏、主菜单55常显的示意图，参照图13，示出了本发明一实施例提出的显示界面上目标器械42悬停主菜单55将二级菜显示的示意图，如图12、13所示，在本发明的另一实施例中，显示界面上包括主菜单55，主菜单55关联有至少一个可触发的二级菜单54。二级菜单54的功能选项的触发方法包括：在检测到显示界面上显示的目标器械42的器械位置为主菜单55所在的位置时，检测器械42位置停留在主菜单55所在的位置的持续时长；在持续时长超过第二预设时长时，在显示界面上显示至少一个二级菜单54；其中，主菜单55所在的位置隐藏在导航坐标56所在的位置，或者，主菜单55所在的位置为与导航坐标56所在的位置不同的位置。

其中，第二预设时长可以为1-2秒，通过将二级菜单54隐藏在显示界面中，并通过触发一个主菜单55将二级菜单54显示在显示界面中，可以在二级菜单54数量较多时，减小二级菜单54对显示界面的占用面积，简洁显示界面，方便施术者观察更完整的空间图像。

参照图14，示出了本发明一实施例提出的显示界面上目标器械42悬停主菜单55将二级菜显示的示意图，如图14所示，进一步地，将主菜单55所在的位置隐藏在导航坐标56所在的位置。导航坐标56可以使施术者直接将目标器械42移动至导航坐标56所在位置，并持续悬停第二预设时长，以触发显示显示界面上的二级菜单54。

在本发明实施例中，二级菜单54中可以包括：感应力显示模式切换菜单。

在检测到器械位置为感应力显示模式切换菜单所在的位置，且在感应力显示模式切换菜单所在的位置的持续时长超过第三预设时长时，切换显示界面上的目标色彩的图案的显示模式。

参照图10，示出了本发明再一实施例提出的显示界面上包括目标色彩的图案的融合显示模式，如图10所示，其中，图案的显示模式包括上述的：不同面积的显示区域52中填充单一色彩、不同面积的显示区域52中显示多个连续色彩、在图像中的目标器械42上显示包含目标色彩的图像、在显示界面的边缘显示包含目标色彩的图像以及在显示界面上显示色彩为目标色彩的当前应力数值的数字53中任意一种模式以及其中的多种模式的融合组合显示模式。

其中，在本发明实施例中，第一预设时长、第二预设时长以及第三预设时长可以为相同时长，比如1-2秒。在其他实施例中，第一预设时长、第二预设时长以及第三预设时长可以为不同时长。

本发明实施例中，通过获取目标器械42在执行动作过程中的动作应力，并将该应力以图像方式反馈在显示界面上，同时，将该应力以触觉反馈方式，反馈在设备主体51的握持端511上，大大提升了医生在进行手术过程中的操作体验，使显示界面中手术机器人进行的手术操作有了直接操纵器械，身临其境的感觉，即保证了机器人手术的精细化优势，又让医生获得了较好的手术操作体验，大大减少了手术过程中因医生操作失误而对病人造成伤害的危险。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。