具体实施方式

将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，通过提供相同的标记来省略具有大致相同功能配置的配置元件的冗余描述。

注意，将按以下顺序给出描述。

1.内窥镜系统的配置示例

2.支撑臂装置的配置示例

3.斜视内窥镜的基本配置

4.医疗臂系统的功能配置

5.臂的控制

5.1.概要

5.2.环境映射生成方法

5.3.处理

5.4.修改

5.5.示例

6.硬件配置

7.应用

8.结论

《1.内窥镜系统的配置示例》

图1是示出可应用根据本公开的技术的内窥镜手术系统5000的示意性配置的示例的示图。图1示出了操作者(外科医生)5067使用内窥镜手术系统5000对病床5069上的患者5071正执行手术的状态。如图所示，内窥镜手术系统5000包括内窥镜装置5001、其他手术工具5017、支撑内窥镜装置5001的支撑臂装置5027以及安装有用于内窥镜手术的各种装置的推车5037。

在腹腔镜手术中，被称为套管针5025a至5025d的多个圆柱形穿刺器械穿刺到腹壁中而不是切割腹壁并且打开腹部。然后，内窥镜装置5001的透镜镜筒5003(换句话说，内窥镜单元)和其他手术工具5017通过套管针5025a至5025d插入到患者5071的体腔中。在所示的示例中，作为其他手术工具5017，气腹管5019、能量治疗工具5021和镊子5023插入到患者5071的体腔中。此外，能量治疗工具5021是用于利用高频电流或超声波振动来执行组织的切割和剥离、血管的密封等的治疗工具。注意，所示的手术工具5017仅是示例，并且内窥镜手术中通常使用的诸如镊子和牵引器的各种手术工具可以用作手术工具5017。

在显示装置5041上显示由内窥镜装置5001捕获的患者5071的体腔中的手术部位的图像。例如，操作者5067在实时观看显示在显示装置5041上的操作部位的图像的同时使用能量治疗工具5021和镊子5023执行诸如切除患部的治疗。注意，尽管省略了图示，但是气腹管5019、能量治疗工具5021和镊子5023在手术期间由操作者5067、助手等支撑。

(支撑臂装置)

支撑臂装置5027包括从基座单元5029延伸的臂单元5031。在所示的示例中，臂单元5031包括关节单元5033a、5033b和5033c以及连杆5035a和5035b，并且在臂控制装置5045的控制下被驱动。内窥镜装置5001由臂单元5031支撑，并且控制内窥镜装置5001的位置和姿态。通过该控制，可以实现内窥镜装置5001的位置的稳定固定。

(内窥镜装置)

内窥镜装置5001包括透镜镜筒5003(内窥镜单元)和相机头5005。距透镜镜筒5003的远端具有预定长度的区域被插入患者5071的体腔中。相机头5005连接至透镜镜筒5003的近端。在所示的示例中，示出了被配置为包括硬透镜镜筒5003的所谓的硬内窥镜的内窥镜装置5001。然而，内窥镜装置5001可以被配置为包括软透镜镜筒5003的所谓的软内窥镜。

装配有物镜的开口部分设置在透镜镜筒5003(内窥镜单元)的远端中。光源装置5043连接至内窥镜装置5001，并且由光源装置5043生成的光通过在透镜镜筒5003内部延伸的光导被引导至透镜镜筒5003的远端，并且患者5071的体腔中的观察目标被通过物镜的光照射。注意，连接至相机头5005的透镜镜筒5003可以是直视内窥镜、斜视内窥镜或侧视内窥镜。

光学系统和成像元件设置在相机头5005内部，并且来自观察目标的反射光(观察光)通过光学系统聚光至成像元件。观察光被成像元件光电转换，并且生成对应于观察光的电信号，换句话说，对应于观察图像的图像信号。图像信号作为原始数据被发送至相机控制单元(CCU)5039。注意，相机头5005具有通过适当地驱动光学系统来调整放大率和焦距的功能。

注意，例如，可以在相机头5005中设置多个成像元件来支撑三维(3D)显示等。在这种情况下，在透镜镜筒5003内部设置多个中继光学系统以将观察光引导至多个成像元件中的每一个成像元件。

(安装在推车中的各种装置)

CCU 5039包括中央处理单元(CPU)、图形处理单元(GPU)等，并且集中控制内窥镜装置5001和显示装置5041的操作。具体地，例如，CCU 5039从相机头5005接收图像信号，并且对图像信号应用诸如显影处理(去马赛克处理)的用于基于图像信号显示图像的各种类型的图像处理。CCU 5039将已经应用图像处理的图像信号提供至显示装置5041。此外，CCU5039将控制信号发送至相机头5005以控制相机头5005的驱动。控制信号可以包括关于诸如放大率和焦距的成像条件的信息。

显示装置5041在CCU 5039的控制下基于已经由CCU 5039应用了图像处理的图像信号来显示图像。例如，在内窥镜装置5001支持诸如4K(水平像素数3840×垂直像素数2160)或8K(水平像素数7680×垂直像素数4320)的高分辨率捕获的情况下和/或在内窥镜装置5001支持3D显示的情况下，可以对应于每种情况使用可以执行高分辨率显示和/或3D显示的显示装置5041。在内窥镜装置5001支持诸如4K或8K的高分辨率捕获的情况下，可以通过使用具有55英寸或更大尺寸的显示装置5041来获得更大的沉浸感。此外，可以根据应用设置具有不同分辨率和尺寸的多个显示装置5041。

光源装置5043例如包括诸如发光二极管(LED)的光源，并且在捕获手术部位时将照射光供应至内窥镜装置5001。

臂控制装置5045包括诸如CPU的处理器，并且根据预定程序操作，从而根据预定控制方法控制支撑臂装置5027的臂单元5031的驱动。

输入装置5047是用于内窥镜手术系统5000的输入接口。用户可以通过输入装置5047将各种类型的信息和指令输入至内窥镜手术系统5000。例如，用户通过输入装置5047输入关于手术的各种类型的信息，诸如患者的身体信息和手术的操作过程的信息。此外，例如，用户通过输入装置5047输入驱动臂单元5031的指令、改变内窥镜装置5001的成像条件(诸如照射光的类型、放大率和焦距)的指令、驱动能量治疗工具5021的指令等。

输入装置5047的类型不受限制，并且输入装置5047可以是各种已知输入装置中的一个输入装置。例如，鼠标、键盘、触摸面板、开关、脚踏开关5057、操纵杆等可以应用于输入装置5047。在触摸面板用作输入装置5047的情况下，触摸面板可以设置在显示装置5041的显示表面上。

可选地，输入装置5047例如是由用户穿戴的装置，诸如眼镜型可穿戴装置或头戴式显示器(HMD)，并且根据由装置检测到的用户的手势或视线来执行各种输入。此外，输入装置5047包括能够检测用户的移动的相机，并且根据从由相机捕获的视频检测到的用户的手势或视线来执行各种输入。此外，输入装置5047包括能够收集用户的语音的麦克风，并且通过麦克风由音频来执行各种输入。以这种方式，输入装置5047被配置为能够以非接触方式输入各种类型的信息，从而尤其属于清洁区域的用户(例如，操作者5067)能够以非接触方式操作属于不清洁区域的装置。此外，由于用户可以在不将他/她的手从所持有的手术工具上松开的情况下操作该装置，因此提高了用户的便利性。

治疗工具控制装置5049控制能量治疗工具5021的驱动，用于组织的烧灼和切割、血管的密封等。气腹装置5051通过气腹管5019将气体输送至患者5071的体腔中以扩大体腔，从而确保内窥镜装置5001的视野和操作者的工作空间。记录仪5053是可以记录关于手术的各种类型的信息的装置。打印机5055是可以以诸如文本、图像或图表的各种形式打印关于手术的各种类型的信息的装置。

在下文中，将进一步详细描述内窥镜手术系统5000中的具体特征配置。

(支撑臂装置)

支撑臂装置5027包括作为基座的基座单元5029和从基座单元5029延伸的臂单元5031。在所示的示例中，臂单元5031包括多个关节单元5033a、5033b和5033c以及通过关节单元5033b连接的多个连杆5035a和5035b，但是图1以简化的方式示出了臂单元5031的配置来帮助说明。实际上，可以适当地设置关节单元5033a至5033c及连杆5035a和5035b的形状、数量和布置、关节单元5033a至5033c的旋转轴的方向等，使得臂单元5031具有期望的自由度。例如，臂单元5031可以被优选地配置为具有六个或更多自由度。通过该配置，内窥镜装置5001可以在臂单元5031的可移动范围内自由移动。因此，内窥镜装置5001的透镜镜筒5003可以从期望的方向插入到患者5071的体腔中。

致动器设置在关节单元5033a至5033c中，并且关节单元5033a至5033c被配置为可通过致动器的驱动而围绕预定的旋转轴旋转。通过臂控制装置5045控制致动器的驱动，使得控制关节单元5033a至5033c的旋转角度并且控制臂单元5031的驱动。通过该控制，可以实现内窥镜装置5001的位置和姿态的控制。此时，臂控制装置5045可以通过诸如力控制或位置控制的各种已知的控制方法来控制臂单元5031的驱动。

例如，可以根据操作输入通过臂控制装置5045适当地控制臂单元5031的驱动，并且可以通过由操作者5067经由输入装置5047(包括脚踏开关5057)输入的适当操作来控制内窥镜装置5001的位置和姿态。通过该控制，臂单元5031的远端处的内窥镜装置5001可以从任意位置移动至任意位置，并且然后可以被固定地支撑在移动之后的位置。注意，可以通过所谓的主从系统来操作臂单元5031。在这种情况下，用户可以经由安装在手术室中与从属装置分离的位置或与手术室分离的位置处的输入装置5047(主装置)来远程操作臂单元5031(从装置)。

此外，在施加力控制的情况下，臂控制装置5045可以执行所谓的动力辅助控制，其中，臂控制装置5045接收来自用户的外力并且驱动关节单元5033a至5033c的致动器，使得臂单元5031根据外力平稳地移动。通过该控制，当在与臂单元5031直接接触的同时移动臂单元5031时，用户可以以相对较轻的力移动臂单元5031。因此，用户可以以更简单的操作更直观地移动内窥镜装置5001，并且可以提高用户的便利性。

此处，在内窥镜手术中，内窥镜装置5001通常由被称为内窥镜医师(scopist)的医生支撑。相反，通过使用支撑臂装置5027，可以可靠地固定内窥镜装置5001的位置而无需手动操作，并且因此可以稳定地获得手术部位的图像并且可以平稳地执行手术。

注意，臂控制装置5045不必设置在推车5037中。此外，臂控制装置5045不必是一个装置。例如，臂控制装置5045可以设置在支撑臂装置5027的臂单元5031的关节单元5033a至5033c中的每一个关节单元中，并且可以通过多个臂控制装置5045的相互协作来实现臂单元5031的驱动控制。

(光源装置)

光源装置5043将用于捕获手术部位的照射光供应至内窥镜装置5001。光源装置5043例如包括LED、激光光源或由激光光源的组合配置的白光源。在由RGB激光光源的组合配置白光源的情况下，可以以较高的精度控制相应颜色(波长)的输出强度和输出定时。因此，可以在光源装置5043中调整所捕获的图像的白平衡。此外，在这种情况下，以时分方式用来自每个RGB激光光源的激光照射观察目标，并且与照射定时同步地控制相机头5005的成像元件的驱动，使得可以以时分方式捕获分别对应于RGB的图像。根据该方法，可以在不向成像元件提供滤色器的情况下获得彩色图像。

此外，可以控制光源装置5043的驱动以每隔预定的时间改变要输出的光的强度。与光的强度的改变定时同步地控制相机头5005的成像元件的驱动，并且以时分方式获取并合成图像，从而可以生成没有遮挡阴影和闪光高光的高动态范围图像。

此外，光源装置5043可以被配置为能够供应对应于特殊光观察的预定波长带的光。在特殊光观察中，例如，通过使用身体组织中光吸收的波长依赖性，在正常观察时照射以比照射光(换句话说，白光)更窄的波段中的光来执行所谓的窄带成像以较高的对比度捕获诸如粘膜表层中的血管的预定组织。可选地，在特殊光观察中，可以执行荧光观察以通过由激发光的照射生成的荧光来获得图像。在荧光观察中，可以用激发光照射身体组织以观察来自身体组织的荧光(自荧光观察)，将诸如吲哚菁绿(ICG)的试剂注入身体组织中，并且用对应于试剂的荧光波长的激发光照射身体组织以获得荧光图像等。光源装置5043可以被配置为能够供应对应于这种特殊光观察的窄带光和/或激发光。

(相机头和CCU)

将参考图2更详细地描述内窥镜装置5001的相机头5005和CCU 5039的功能。图2是示出图1所示的相机头5005和CCU 5039的功能配置的示例的框图。

参考图2，相机头5005包括透镜单元5007、成像单元5009、驱动单元5011、通信单元5013和相机头控制单元5015作为其功能。此外，CCU 5039包括通信单元5059、图像处理单元5061和控制单元5063作为其功能。相机头5005和CCU 5039通过传输电缆5065彼此通信连接。

首先，将描述相机头5005的功能配置。透镜单元5007是设置在透镜单元5007与透镜镜筒5003之间的连接部分中的光学系统。通过透镜镜筒5003的远端拍摄的观察光被引导至相机头5005并且进入透镜单元5007。透镜单元5007由包括变焦透镜和聚焦透镜的多个透镜的组合配置。调整透镜单元5007的光学特征以将观察光聚光在成像单元5009的成像元件的光接收表面上。此外，变焦透镜和聚焦透镜被配置为使其在光轴上的位置可移动以调整所捕获的图像的放大率和焦点。

成像单元5009包括成像元件，并且设置在透镜单元5007的后级。已经通过透镜单元5007的观察光聚焦在成像元件的光接收表面上，并且通过光电转换生成对应于观察图像的图像信号。由成像单元5009生成的图像信号被提供至通信单元5013。

作为配置成像单元5009的成像元件，例如，使用具有能够颜色捕获的拜耳阵列的互补金属氧化物半导体(CMOS)型图像传感器。注意，作为成像元件，例如，可以使用可以捕获4K或更高的高分辨率图像的成像元件。通过以高分辨率获得手术部位的图像，操作者5067可以更详细地掌握手术部位的状态，并且可以更平稳地进行手术。

此外，配置成像单元5009的成像元件包括用于分别获得对应于3D显示的右眼和左眼的图像信号的一对成像元件。通过3D显示，操作者5067可以更准确地掌握手术部位的生物组织的深度。注意，在成像单元5009被配置为多板成像单元的情况下，对应于成像元件设置透镜单元5007的多个系统。

此外，成像单元5009不必设置在相机头5005中。例如，可以紧接在透镜镜筒5003内部的物镜之后设置成像单元5009。

驱动单元5011包括致动器，并且通过相机头控制单元5015的控制将透镜单元5007的变焦透镜和聚焦透镜沿着光轴移动预定的距离。通过移动，可以适当地调整由成像单元5009捕获的图像的放大率和焦点。

通信单元5013包括用于将各种类型的信息发送至CCU 5039或从CCU 5039接收各种类型的信息的通信装置。通信单元5013通过传输电缆5065将从成像单元5009获得的图像信号作为原始数据发送至CCU 5039。此时，为了以较低的延迟显示手术部位的所捕获的图像，通过光通信优选地发送图像信号。这是因为在手术中，操作者5067在利用所捕获的图像观察患部的状态的同时执行手术，并且因此为了更安全和可靠的手术，需要尽可能实时地显示手术部位的移动图像。在光通信的情况下，通信单元5013设置有将电信号转换为光信号的光电转换模块。图像信号由光电转换模块转换为光信号，并且然后经由传输电缆5065发送至CCU 5039。

此外，通信单元5013从CCU 5039接收用于控制相机头5005的驱动的控制信号。控制信号例如包括关于成像条件的信息，诸如用于指定所捕获的图像的帧速率的信息、用于指定成像时的曝光值的信息和/或用于指定所捕获的图像的放大率和焦点的信息。通信单元5013将所接收的控制信号提供至相机头控制单元5015。注意，还可以通过光通信发送来自CCU 5039的控制信号。在这种情况下，通信单元5013设置有将光信号转换为电信号的光电转换模块，并且控制信号由光电转换模块转换为电信号，并且然后被提供至相机头控制单元5015。

注意，由CCU 5039的控制单元5063基于所获取的图像信号自动设置诸如帧速率、曝光值、放大率和焦点的成像条件。即，所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能包含在内窥镜装置5001中。

相机头控制单元5015基于通过通信单元5013从CCU 5039接收的控制信号来控制相机头5005的驱动。例如，相机头控制单元5015基于用于指定所捕获的图像的帧速率的信息和/或用于指定成像时的曝光的信息来控制成像单元5009的成像元件的驱动。此外，例如，相机头控制单元5015基于用于指定所捕获的图像的放大率和焦点的信息经由驱动单元5011适当地移动透镜单元5007的变焦透镜和聚焦透镜。相机头控制单元5015可以进一步具有存储用于识别透镜镜筒5003和相机头5005的信息的功能。

注意，透镜单元5007、成像单元5009等的配置被布置在具有高气密性和防水性的密封结构中，从而相机头5005可以具有耐高压灭菌处理性。

接下来，将描述CCU 5039的功能配置。通信单元5059包括用于将各种类型的信息发送至相机头5005或从相机头5005接收各种类型的信息的通信装置。通信单元5059通过传输电缆5065接收从相机头5005发送的图像信号。此时，如上所述，可以通过光通信优选地发送图像信号。在这种情况下，通信单元5059设置有将光信号转换为对应于光通信的电信号的光电转换模块。通信单元5059将转换为电信号的图像信号提供至图像处理单元5061。

此外，通信单元5059将用于控制相机头5005的驱动的控制信号发送至相机头5005。还可以通过光通信发送控制信号。

图像处理单元5061对从相机头5005发送的作为原始数据的图像信号应用各种类型的图像处理。图像处理例如包括各种类型的已知信号处理，诸如显影处理、高图像质量处理(诸如频带增强处理、超分辨率处理、降噪(NR)处理和/或相机抖动校正处理)和/或放大处理(电子变焦处理)。此外，图像处理单元5061对用于执行AE、AF和AWB的图像信号执行波检测处理。

图像处理单元5061由诸如CPU或GPU的处理器配置，并且该处理器根据预定程序操作，从而可以执行上述图像处理和波检测处理。注意，在图像处理单元5061包括多个GPU的情况下，图像处理单元5061适当地划分关于图像信号的信息，并且通过多个GPU并行执行图像处理。

控制单元5063执行与内窥镜装置5001对手术部位的成像和所捕获的图像的显示有关的各种类型的控制。例如，控制单元5063生成用于控制相机头5005的驱动的控制信号。此时，在用户输入成像条件的情况下，控制单元5063基于用户的输入生成控制信号。可选地，在内窥镜装置5001中包含AE功能、AF功能和AWB功能的情况下，控制单元5063根据图像处理单元5061的波检测处理的结果适当地计算最佳曝光值、焦距和白平衡，并且生成控制信号。

此外，控制单元5063基于由图像处理单元5061已经应用了图像处理的图像信号在显示装置5041上显示手术部位的图像。此时，控制单元5063使用各种图像识别技术来识别手术部位的图像中的各个对象。例如，控制单元5063可以通过检测包括在操作部位图像中的对象的边缘形状、颜色等在使用能量治疗工具5021时识别诸如镊子、特定活体部分、血液、雾气等的手术器械。在使用识别结果在显示装置5041上显示手术部位的图像时，控制单元5063将各种类型的手术支持信息叠加并显示在手术部位的图像上。手术支持信息被叠加、显示并且呈现给操作者5067，使得可以更安全和可靠地进行手术。

连接相机头5005和CCU 5039的传输电缆5065是支持电信号的通信的电信号电缆、支持光通信的光纤或其复合电缆。

此处，在所示的示例中，已经使用传输电缆5065以有线方式执行通信。然而，可以无线地执行相机头5005与CCU 5039之间的通信。在无线地执行相机头5005与CCU 5039之间的通信的情况下，不必在手术室中铺设传输电缆5065。因此，可以消除传输电缆5065妨碍手术室中的医务人员的移动的情形。

已经描述了可应用根据本公开的技术的内窥镜手术系统5000的示例。注意，此处，已经描述了内窥镜手术系统5000作为示例。然而，可应用根据本公开的技术的系统不限于该示例。例如，根据本公开的技术可以应用于用于检查的柔性内窥镜系统或显微手术系统。

《2.支撑臂装置的配置示例》

接下来，下面将描述可以应用根据本公开的技术的支撑臂装置的配置的示例。以下所述的支撑臂装置是被配置为在臂单元的远端处支撑内窥镜的支撑臂装置的示例。然而，本实施例不限于该示例。此外，在根据本公开的实施例的支撑臂装置应用于医疗领域的情况下，支撑臂装置可以用作医疗支撑臂装置。

图3是示出根据本实施例的支撑臂装置400的外观的示意图。如图3所示，根据本实施例的支撑臂装置400包括基座单元410和臂单元420。基座单元410是支撑臂装置400的基座，并且臂单元420从基座单元410延伸。此外，尽管图3中未示出，但是可以在基座单元410中设置集中控制支撑臂装置400的控制单元，并且可以由该控制单元控制臂单元420的驱动。控制单元例如包括诸如CPU和DSP的各种信号处理电路。

臂单元420包括多个主动关节单元421a至421f、多个连杆422a至422f以及设置在臂单元420的远端处的作为远端单元的内窥镜装置423。

连杆422a至422f是大致杆状构件。连杆422a的一端经由主动关节单元421a连接至基座单元410，连杆422a的另一端经由主动关节单元421b连接至连杆422b的一端，并且连杆422b的另一端经由主动关节单元421c连接至连杆422c的一端。连杆422c的另一端经由被动滑动机构431连接至连杆422d，并且连杆422d的另一端经由被动关节单元200连接至连杆422e的一端。连杆422e的另一端经由主动关节单元421d和421e连接至连杆422f的一端。内窥镜装置423经由主动关节单元421f连接至臂单元420的远端，换句话说，连杆422f的另一端。如上所述，多个连杆422a至422f的相应端通过主动关节单元421a至421f、被动滑动机构431以及被动关节单元433以基座单元410作为支点彼此连接，使得配置从基座单元410延伸的臂形状。

驱动并且控制设置在臂单元420的相应主动关节单元421a至421f中的致动器，使得控制内窥镜装置423的位置和姿态。在本实施例中，内窥镜装置423使远端进入作为手术部位的患者的体腔，并且捕获手术部位的部分区域。然而，设置在臂单元420的远端处的远端单元并不限于内窥镜装置423，并且可以使用外部内窥镜代替内窥镜。此外，各种医疗器械可以连接至臂单元420的远端作为远端单元。因此，根据本实施例的支撑臂装置400被配置为设置有医疗器械的医疗支撑臂装置。

此处，在下文中，将通过定义如图3所示的坐标轴来描述支撑臂装置400。此外，将根据坐标轴定义上下方向、前后方向和左右方向。换句话说，相对于安装在地板上的基座单元410的上下方向被定义为z轴方向和上下方向。此外，与z轴正交并且臂单元420从基座单元410延伸的方向(换句话说，内窥镜装置423相对于基座单元410定位的方向)被定义为y轴方向和前后方向。此外，与y轴和z轴正交的方向被定义为x轴方向和左右方向。

主动关节单元421a至421f将连杆可旋转地连接至彼此。主动关节单元421a至421f包括致动器，并且具有通过致动器的驱动围绕预定旋转轴旋转地驱动的旋转机构。例如，通过控制主动关节单元421a至421f中的每一个主动关节单元的旋转驱动，可以控制臂单元420的驱动，诸如臂单元420的延伸或收缩(折叠)。此处，可以通过例如已知的全身协调控制和理想关节控制来控制主动关节单元421a至421f的驱动。如上所述，由于主动关节单元421a至421f具有旋转机构，因此在以下描述中，主动关节单元421a至421f的驱动控制具体指主动关节单元421a至421f的旋转角度和/或生成扭矩(由主动关节单元421a至421f生成的扭矩)的控制。

被动滑动机构431是被动形式改变机构的一个方面，并且连接连杆422c和连杆422d以能够沿着预定方向向前和向后移动。例如，被动滑动机构431可以以线性可移动的方式连接连杆422c和连杆422d。然而，连杆422c和连杆422d的向前/向后运动并不限于线性运动，并且可以在形成弧的方向上向前/向后运动。被动滑动机构431例如由用户操作以向前/向后运动，并且使位于连杆422c的一端侧的主动关节单元421c与被动关节单元433之间的距离可变。由此，可以改变臂单元420的整体形式。

被动关节单元433是被动形式改变机构的一个方面，并且将连杆422d和连杆422e旋转地连接至彼此。被动关节单元433例如由用户旋转地操作，并且使连杆422d与连杆422e形成的角度可变。由此，可以改变臂单元420的整体形式。

注意，在本说明书中，“臂单元的姿态”指示配置臂的部分的至少一部分可通过驱动控制等改变的臂单元的状态。作为具体示例，在跨一个或多个连杆相邻的主动关节单元之间的距离恒定的状态下，通过控制单元对设置在主动关节单元421a至421f中的致动器的驱动控制可改变的臂单元的状态对应于“臂单元的姿态”。此外，“臂单元的形式”指示可随着配置臂的零部件的位置或姿态之间的关系的改变而改变的臂单元的状态。作为具体示例，由于跨连杆相邻的主动关节单元之间的距离或连接相邻的主动关节单元之间的连杆之间的角度可随着被动形式改变机构的操作改变而改变的臂单元的状态对应于“臂单元的形式”。

根据本实施例的支撑臂装置400包括六个主动关节单元421a至421f并且实现相对于臂单元420的驱动的六个自由度。即，尽管通过控制单元对六个主动关节单元421a至421f的驱动控制来实现支撑臂装置400的驱动控制，但是被动滑动机构431和被动关节单元433并不是控制单元的驱动控制的目标。

具体地，如图3所示，主动关节单元421a、421d和421f被设置为将连接的连杆422a和422e的长轴方向以及连接的内窥镜装置423的捕获方向作为旋转轴方向。主动关节单元421b、421c和421e被设置为将x轴方向作为旋转轴方向，该x轴方向是连接的连杆422a至422c、422e和422f以及连接的内窥镜装置423的连接角度在y-z平面(由y轴和z轴限定的平面)内改变的方向。如上所述，在本实施例中，主动关节单元421a、421d和421f具有执行所谓的偏航的功能，并且主动关节单元421b、421c和421e具有执行所谓的俯仰的功能。

通过臂单元420的上述配置，根据本实施例的支撑臂装置400实现了相对于臂单元420的驱动的六个自由度，由此在臂单元420的可移动范围内自由移动内窥镜装置423。图3示出了作为内窥镜装置423的可移动范围的示例的半球。在半球的中心点远程运动中心(RCM)是由内窥镜装置423捕获的手术部位的捕获中心的情况下，在内窥镜装置423的捕获中心被固定至半球的中心点的状态下，可以通过在半球的球面上移动内窥镜装置423来从各个角度捕获操作部位。

已经描述了可以应用根据本公开的技术的支撑臂装置的配置的示例。

《3.斜视内窥镜的基本配置》

接下来，将描述斜视内窥镜的基本配置作为内窥镜的示例。

图4是示出根据本公开的实施例的斜视内窥镜4100的配置的示意图。如图4所示，斜视内窥镜4100附接至相机头4200的远端。斜视内窥镜4100对应于图1和图2中描述的透镜镜筒5003，并且相机头4200对应于图1和图2中描述的相机头5005。斜视内窥镜4100和相机头4200可以彼此独立地旋转。与关节单元5033a、5033b和5033c相似，致动器可以设置在斜视内窥镜4100与相机头4200之间，并且斜视内窥镜4100可以通过致动器的驱动而相对于相机头4200旋转。由此，控制下面所述的旋转角度θ_Z。

斜视内窥镜4100由支撑臂装置5027支撑。支撑臂装置5027具有以下功能：代替内窥镜医师保持斜视内窥镜4100并且允许通过操作者或助手的操作移动斜视内窥镜4100，使得可以观察期望的部位。

图5是示出比较斜视内窥镜4100与直视内窥镜4150的示意图。在直视内窥镜4150中，物镜朝向被摄体的方向(C1)与直视内窥镜4150的纵向方向(C2)一致。另一方面，在斜视内窥镜4100中，物镜朝向被摄体的方向(C1)相对于斜视内窥镜4100的纵向方向(C2)具有预定角度

已经描述了斜视内窥镜的基本配置作为内窥镜的示例。

《4.医疗臂系统的功能配置》

接下来，将参考图6描述根据本公开的实施例的医疗臂系统的配置示例。图6是示出根据本公开的实施例的医疗臂系统的配置示例的功能框图。注意，在图6所示的医疗臂系统中，将主要示出与支撑臂装置的臂单元的驱动控制有关的配置。

参考图6，根据本公开的实施例的医疗臂系统1包括支撑臂装置10、控制装置20以及显示装置30。在本实施例中，控制装置20根据支撑臂装置10的臂单元的状态执行各种操作，并且基于操作结果控制臂单元的驱动。此外，支撑臂装置10的臂单元保持成像单元140，并且在显示装置30的显示屏幕上显示由成像单元140捕获的图像。在下文中，将详细描述支撑臂装置10、控制装置20以及显示装置30的配置。

支撑臂装置10包括作为包括多个关节单元和多个连杆的多连杆结构的臂单元，并且在可移动范围内驱动臂单元以控制设置在臂单元的远端处的远端单元的位置和姿态。支撑臂装置10对应于图8所示的支撑臂装置400。

参考图6，支撑臂装置10包括臂控制单元110和臂单元120。此外，臂单元120包括关节单元130和成像单元140。

臂控制单元110整体控制支撑臂装置10并且控制臂单元120的驱动。具体地，臂控制单元110包括驱动控制单元111。通过驱动控制单元111的控制来控制关节单元130的驱动，使得控制臂单元120的驱动。更具体地，驱动控制单元111控制被供应至关节单元130的致动器中的电机的电流量以控制电机的转数，从而控制关节单元130中的旋转角度和生成扭矩。注意，如上所述，基于控制装置20中的操作结果来执行驱动控制单元111对臂单元120的驱动控制。因此，要供应至由驱动控制单元111控制的关节单元130的致动器中的电机的电流量是基于控制装置20中的操作结果确定的电流量。此外，控制单元可以设置在每个关节单元中并且可以控制每个关节单元的驱动。

例如，臂单元120被配置为包括多个关节单元和多个连杆的多连杆结构，并且通过臂控制单元110的控制来控制臂单元120的驱动。臂单元120对应于图1所示的臂单元5031。臂单元120包括关节单元130和成像单元140。注意，由于包括在臂单元120中的多个关节单元的功能和配置彼此相似，因此图6示出了一个关节单元130的配置作为多个关节单元的代表。

关节单元130将臂单元120中的连杆彼此旋转地连接，并且当通过臂控制单元110的控制来控制关节单元130的旋转驱动时来驱动臂单元120。关节单元130对应于图8所示的关节单元421a至421f。此外，例如，关节单元130包括致动器，并且致动器的配置与图3和图9所示的配置相似。

关节单元130包括关节驱动单元131和关节状态检测单元132。

关节驱动单元131是关节单元130的致动器中的驱动机构，并且当关节驱动单元131被驱动时旋转地驱动关节单元130。通过驱动控制单元111控制关节驱动单元131的驱动。例如，关节驱动单元131是对应于用于驱动分别设置在图1所示的关节单元5033a至5033c中的致动器的驱动器的配置，并且被驱动的关节驱动单元131的驱动对应于根据来自驱动控制单元111的命令以电流量驱动致动器的驱动器。

关节状态检测单元132检测关节单元130的状态。此处，关节单元130的状态可以指关节单元130的运动状态。例如，关节单元130的状态包括指示关节单元130的旋转状态的旋转角度、旋转角速度、旋转角加速度、关节单元130的生成扭矩等的信息。在本实施例中，关节状态检测单元132具有检测关节单元130的旋转角度的旋转角度检测单元133以及检测关节单元130的生成扭矩和外部扭矩的扭矩检测单元134。关节状态检测单元132将所检测的关节单元130的状态发送至控制装置20。

成像单元140是设置在臂单元120的远端处的远端单元的示例，并且获取捕获目标的图像。成像单元140的具体示例包括图3所示的内窥镜装置423。具体地，成像单元140指可以以移动图像或静止图像形式捕获捕获目标的相机等。更具体地，成像单元140包括以二维方式布置的多个光接收元件，并且可以通过光接收元件中的光电转换获得表示捕获目标的图像的图像信号。成像单元140将所获取的图像信号发送至显示装置30。

注意，与图3所示的支撑臂装置400的情况一样，内窥镜装置423设置在臂单元420的远端处，成像单元140实际上设置在支撑臂装置10中的臂单元120的远端处。图6通过示意性地示出关节单元130与成像单元140之间的连杆示出了成像单元140经由多个关节单元130和多个连杆设置在最终连杆的远端处的状态。

注意，在本实施例中，各种医疗器械可以连接至作为远端单元的臂单元120的远端。医疗器械的示例包括诸如手术刀和镊子的各种治疗器械以及诸如超声波检查装置的探针的各种检测装置的单元的治疗中使用的各种单元。此外，在本实施例中，医疗器械中还可以包括图6所示的成像单元140或诸如内窥镜或显微镜的具有成像功能的单元。因此，根据本实施例的支撑臂装置10可以被视为是设置有医疗器械的医疗支撑臂装置。类似地，根据本实施例的医疗臂系统1可以被视为是医疗臂系统。注意，图6所示的支撑臂装置10还可以被视为是设置有具有成像功能的单元作为远端单元的视频内窥镜支撑臂装置。

以上已经描述了支撑臂装置10的功能和配置。接下来，将描述控制装置20的功能和配置。参考图6，控制装置20包括输入单元210、存储单元220以及控制单元230。

控制单元230整体控制控制装置20并且执行用于控制支撑臂装置10中的臂单元120的驱动的各种操作。具体地，例如，为了控制支撑臂装置10的臂单元120的驱动，控制单元230在例如已知的全身协调控制和理想关节控制中执行各种操作。

控制单元230包括全身协调控制单元240和理想关节控制单元250。

全身协调控制单元240使用广义逆动力学来执行关于全身协调控制的各种操作。在本实施例中，全身协调控制单元240基于由关节状态检测单元132检测的关节单元130的状态来获取臂单元120的状态(臂状态)。此外，全身协调控制单元240基于臂单元120的臂状态以及运动目的和约束条件使用广义逆动力学计算用于手术空间中的臂单元120的全身协调控制的控制值。注意，例如，手术空间是用于描述作用在臂单元120上的力与臂单元120中生成的加速度之间的关系的空间。在本实施例中，全身协调控制单元240控制臂单元。

全身协调控制单元240包括臂状态单元241、算术条件设置单元242、虚拟力计算单元243以及实际力计算单元244。

臂状态单元241基于由关节状态检测单元132检测的关节单元130的状态获取臂单元120的状态。此处，臂状态可以指臂单元120的运动状态。例如，臂状态包括诸如臂单元120的位置、速度、加速度以及力的信息。如上所述，关节状态检测单元132获取每个关节单元130中的旋转角度、旋转角速度、旋转角加速度、生成扭矩的信息等作为关节单元130的状态。此外，尽管将在下面描述，但是存储单元220存储要由控制装置20处理的各种类型的信息。在本实施例中，存储单元220可以存储关于臂单元120的各种类型的信息(臂状态信息)，例如，关于臂单元120的配置的信息，换句话说，配置臂单元120的关节单元130和连杆的数量、连杆与关节单元130之间的连接情形以及连杆的长度等。臂状态单元241可以从存储单元220获取臂状态信息。因此，臂状态单元241可以基于关节单元130的状态和臂信息获取诸如多个关节单元130、多个连杆以及成像单元140的空间中的位置(坐标)(换句话说，臂单元120的形状以及成像单元140的位置和姿态)以及作用在关节单元130、连杆和成像单元140上的力的信息作为臂状态。

换句话说，臂状态单元241可以获取关于使用臂单元120的至少一部分作为基点设置的作用点的位置和姿态的信息作为臂状态。作为具体示例，臂状态单元241可以基于配置臂单元120的关节单元130和连杆的位置、姿态、形状的信息将作用点的位置识别为相对于臂单元120的一部分的相对位置。此外，可以通过考虑由臂单元120保持的远端单元(例如，成像单元140)的位置、姿态、形状将作用点设置在对应于远端单元的一部分(例如，远端等)的位置处。此外，设置作用点的位置并不仅限于远端单元的一部分或臂单元120的一部分。例如，在远端单元不由臂单元120支撑的状态下，可以将作用点设置在对应于远端单元由臂单元120支撑的情况下的远端单元的位置(空间)处。注意，关于上述获取的作用点的位置和姿态的信息(换句话说，作为臂状态获取的信息)对应于“臂状态信息”的示例。

然后，臂状态单元241将所获取的臂信息发送至算术条件设置单元242。

算术条件设置单元242使用广义逆动力学设置关于全身协调控制的操作中的操作条件。此处，操作条件可以是运动目的和约束条件。运动目的可以是关于臂单元120的运动的各种类型的信息。具体地，运动目的可以是成像单元140的位置和姿态(坐标)、速度、加速度、力的目标值或者臂单元120的多个关节单元130和多个连杆的位置和姿态(坐标)、速度、加速度、力的目标值。此外，约束条件可以是限制(约束)臂单元120的运动的各种类型的信息。具体地，约束条件可以包括臂单元的每个配置组件不能移动的区域的坐标、不可移动速度、加速度的值、不能生成的力的值等。此外，可以根据无法在结构上实现臂单元120而设置或可以由用户适当地设置各个物理量在约束条件下的限制范围。此外，算术条件设置单元242包括用于臂单元120的结构的物理模型(其中，例如，对配置臂单元120的连杆的数量和长度、连杆经由关节单元130的连接状态、关节单元130的可移动范围等进行建模)，并且可以通过生成在物理模型中反映期望的运动条件和约束条件的控制模型来设置运动条件和约束条件。

此外，算术条件设置单元242可以基于根据诸如各个传感器的检测器的检测结果的信息来设置运动条件和约束条件。作为具体示例，算术条件设置单元242可以考虑通过由臂单元120支撑的单元(例如，成像单元140)获取的信息(例如，关于单元周围的空间的信息)来设置运动条件和约束条件。作为更具体示例，算术条件设置单元242可以基于臂信息估计作用点的位置和姿态(换句话说，作用点的自身位置)，并且基于估计结果和由上述单元获取的信息生成或更新关于作用点周围的空间的环境映射(例如，关于体腔或外科手术区的三维空间的映射)。关于自身位置的估计和环境映射的生成的技术的示例包括被称为即时定位和映射(SLAM)的技术。然后，算术条件设置单元242可以基于作用点的自身位置和环境映射来设置运动条件和约束条件。注意，在这种情况下，以上单元(传感器单元)对应于“获取单元”的示例，并且由单元获取的信息(传感器信息)对应于“环境信息”的示例。此外，环境映射对应于“映射信息”的示例。

在本实施例中，适当地设置运动目的和约束条件可以使得臂单元120能够执行期望的操作。例如，不仅可以通过将成像单元140的位置的目标值设置为运动目的来将成像单元140移动至目标位置，而且可以通过约束条件提供移动的约束来防止臂单元120侵入到空间的预定区域中来驱动臂单元120。此外，例如，通过使用环境映射，根据成像单元140周围的情形设置约束条件，诸如避免成像单元140与另一对象(例如，器官等)之间的接触，并且可以通过约束条件提供移动约束来驱动臂单元120。

运动目的的具体示例包括例如在成像单元140的捕获方向被固定至手术部位的状态下的枢转操作(例如，以锥体的轴用作枢转轴的转动操作，其中，成像单元140在将手术部位设置为顶部的锥面上移动)。此外，在枢转操作中，可以在成像单元140与对应于椎体的顶部的点之间的距离保持恒定的状态下执行转动操作。通过执行这样的枢转操作，可以从相等的距离和不同的角度观察观察部位，由此可以提高执行外科手术的用户的便利性。

此外，作为另一具体示例，运动目的可以是控制每个关节单元130中生成的扭矩的内容。具体地，运动目的可以是动力辅助操作以控制关节单元130的状态来抵消作用在臂单元120上的重力，并且进一步控制关节单元130的状态来支撑臂单元120在从外部提供的力的方向上的移动。更具体地，在动力辅助操作中，控制每个关节单元130的驱动以使每个关节单元130生成由于臂单元120的每个关节单元130的重力而抵消外部扭矩的生成扭矩，由此臂单元120的位置和姿态保持在预定状态。在前述状态下，在从外部(例如，从用户)进一步添加外部扭矩的情况下，控制每个关节单元130的驱动以使每个关节单元130在与所添加的外部扭矩相同的方向上生成生成扭矩。通过执行这样的动力辅助操作，在用户手动移动臂单元120的情况下，用户可以以较小的力移动臂单元120。因此，可以向用户提供如同用户在失重状态下移动臂单元120的感觉。此外，可以组合上述枢转操作和动力辅助操作。

此处，在本实施例中，运动目的可以指通过全身协调控制实现臂单元120的操作(运动)或可以指操作中的瞬时运动目的(换句话说，运动目的的目标值)。例如，在上述枢转操作中，执行枢转操作的成像单元140自身是运动目的。在执行枢转操作的动作中，将位于锥面上的成像单元140在枢转操作中的位置、速度的值设置为瞬时运动目的(运动目的的目标值)。此外，在上述动力辅助操作中，例如，执行动力辅助操作来支撑臂单元120在从外部自身施加的力的方向上移动是运动目的。在执行动力辅助操作的动作中，将与施加至每个关节单元130的外部扭矩相同的方向上生成的扭矩的值设置为瞬时运动目的(运动目的的目标值)。本实施例中的运动目的是包括瞬时运动目的(例如，臂单元120的配置构件在特定时间的位置、速度、力的目标值)和臂单元120的配置构件随着时间实现的操作两者作为已经连续实现的瞬时运动目的的结果的概念。在全身协调控制单元240中，在全身协调控制的操作的每个步骤中每次都设置瞬时运动目的，并且重复执行操作，使得最终实现期望的运动目的。

注意，在本实施例中，当设置运动目的时，可以适当地设置每个关节单元130的旋转运动的粘性阻力系数。如上所述，根据本实施例的关节单元130被配置为能够适当地调整致动器的旋转运动的粘性阻力系数。因此，例如，当设置运动目的时，通过设置每个关节单元130的旋转运动的粘性阻力系数，可以针对从外部施加的力实现易于旋转的状态或较不易于旋转的状态。例如，在上述动力辅助操作中，当关节单元130的粘性阻力系数被设置得较小时，可以使用户移动臂单元120所需的力较小，并且可以促进提供给用户的失重感。如上所述，可以根据运动目的的内容适当地设置每个关节单元130的旋转运动的粘性阻力系数。

在本实施例中，存储单元220可以存储关于诸如有关全身协调控制的操作中使用的运动目的和约束条件的操作条件的参数。算术条件设置单元242可以将存储在存储单元220中的约束条件设置为用于全身协调控制的操作的约束条件。

此外，在本实施例中，算术条件设置单元242可以通过多种方法设置运动目的。例如，算术条件设置单元242可以基于从臂状态单元241发送的臂状态来设置运动目的。如上所述，臂状态包括臂单元120的位置的信息和作用在臂单元120上的力的信息。因此，例如，在用户尝试手动移动臂单元120的情况下，还通过臂状态单元241获取关于用户如何移动臂单元120的信息作为臂状态。因此，算术条件设置单元242可以基于所获取的臂状态将用户移动臂单元120的位置、速度、力设置为瞬时运动目的。通过这样设置运动目的，控制臂单元120的驱动以跟随并且支撑用户对臂单元120的移动。

此外，例如，算术条件设置单元242可以基于用户从输入单元210输入的指令来设置运动目的。尽管将在下面描述，但是输入单元210是用户将信息、关于支撑臂装置10的驱动控制的命令输入至控制装置20的输入接口。在本实施例中，可以基于用户从输入单元210输入的操作来设置运动目的。具体地，例如，输入单元210具有由用户操作的操作单元，诸如操纵杆和踏板。可以响应于操纵杆、踏板等的操作由算术条件设置单元242将臂单元120的配置构件的位置、速度设置为瞬时运动目的。

此外，例如，算术条件设置单元242可以将存储在存储单元220中的运动目的设置为用于全身协调控制的操作的运动目的。例如，在成像单元140在空间中的预定点保持静止的运动目的的情况下，可以将预定点的坐标预先设置为运动目的。此外，例如，在成像单元140在空间中的预定轨迹上移动的运动目的的情况下，可以将表示预定轨迹的每个点的坐标预先设置为运动目的。如上所述，在可以预先设置运动目的的情况下，可以将运动目的预先存储在存储单元220中。此外，例如，在上述枢转操作的情况下，运动目的并不局限于将锥面上的位置、速度等设置为目标值的运动目的。在动力辅助操作的情况下，运动目的限于将力设置为目标值的运动目的。在以这种方式预先设置诸如枢转操作或动力辅助操作的运动目的的情况下，可以将关于可设置为这样的运动目的中的瞬时运动目的目标值的范围、类型等的信息存储在存储单元220中。算术条件设置单元242还可以将关于这样的运动目的的各种类型的信息设置为运动目的。

注意，用户能够根据支撑臂装置10的应用等适当地设置算术条件设置单元242设置运动目的的方法。此外，算术条件设置单元242可以通过适当地组合上述方法来设置运动目的和约束条件。注意，可以在存储在存储单元220中的约束条件中设置运动目的的优先级，或在存在彼此不同的多个运动目的的情况下，算术条件设置单元242可以根据约束条件的优先级设置运动目的。算术条件设置单元242将臂状态和所设置的运动目的和约束条件发送至虚拟力计算单元243。

虚拟力计算单元243使用广义逆动力学计算关于全身协调控制的操作中的虚拟力。注意，对于虚拟力计算处理，可以应用关于使用广义逆动力学的全身协调控制的公知技术。因此，省略细节描述。虚拟力计算单元243将所计算的虚拟力f_v发送至实际力计算单元244。

实际力计算单元244使用广义逆动力学计算关于全身协调控制的操作中的实际力。注意，关于实际力计算处理，可以应用关于使用广义逆动力学的全身协调控制的公知技术。因此，省略细节描述。实际力计算单元244将所计算的实际力(生成扭矩)τ_a发送至理想关节控制单元250。注意，在本实施例中，就关节单元130在全身协调控制中的控制值而言，由实际力计算单元244计算的生成扭矩τ_a也被称为控制值或控制扭矩值。

理想关节控制单元250执行关于基于理论模型实现理想响应的理想关节控制的各种操作。在本实施例中，理想关节控制单元250校正由实际力计算单元244计算的生成扭矩τ_a的干扰影响以计算实现臂单元120的理想响应的扭矩命令值τ。注意，关于由理想关节控制单元250执行的操作处理，可以应用关于理想关节控制的公知技术。因此，省略细节描述。

理想关节控制单元250包括干扰估计单元251和命令值计算单元252。

干扰估计单元251基于扭矩命令值τ和从由旋转角度检测单元133检测的旋转角度q计算的旋转角速度来计算干扰估计值τ_d。注意，此处提及的扭矩命令值τ是表示臂单元120中生成的扭矩最终被发送至支撑臂装置10的命令值。

命令值计算单元252使用由干扰估计单元251计算的干扰估计值τ_d计算扭矩命令值τ，即，表示臂单元120中生成的扭矩并且最终被发送至支撑臂装置10的命令值。具体地，命令值计算单元252将由干扰估计单元251计算的干扰估计值τ_d与扭矩目标值τ^ref相加来计算扭矩命令值τ。注意，例如，可以从表达为已知的理想关节控制中的二阶时滞系统的运动等式的理想模型中计算扭矩目标值τ^ref。例如，在不计算干扰估计值τ_d的情况下，扭矩命令值τ变成扭矩目标值τ^ref。

如上所述，在理想关节控制单元250中，在干扰估计单元251与命令值计算单元252之间重复交换信息，使得执行关于理想关节控制的一系列处理(换句话说，关于理想关节控制的各种操作)。理想关节控制单元250将所计算的扭矩命令值τ发送至支撑臂装置10的驱动控制单元111。驱动控制单元111执行控制以将对应于所发送的扭矩命令值τ的电流量供应至关节单元130的致动器中的电机，由此控制电机的转数并且控制关节单元130的旋转角度和生成扭矩。

在根据本实施例的医疗臂系统1中，在使用臂单元120的作业期间连续地执行支撑臂装置10中的臂单元120的驱动控制，使得重复执行支撑臂装置10和控制装置20中的上述处理。换句话说，关节单元130的状态通过支撑臂装置10的关节状态检测单元132检测并且被发送至控制装置20。控制装置20基于关节单元130的状态以及运动目的和约束条件执行关于全身协调控制的各种操作以及用于控制臂单元120的驱动的理想关节控制，并且将扭矩命令值τ作为操作结果发送至支撑臂装置10。支撑臂装置10基于扭矩命令值τ以及由关节状态检测单元132再次检测驱动期间或之后的关节单元130的状态来控制臂单元120的驱动。

将继续描述关于包括在控制装置20中的其他配置。

输入单元210是用于使用户将信息、关于支撑臂装置10的驱动控制的命令输入至控制装置20的输入接口。在本实施例中，可以基于用户从输入单元210输入的操作来控制支撑臂装置10的臂单元120的驱动，并且可以控制成像单元140的位置和姿态。具体地，如上所述，将关于用户从输入单元210输入的臂的驱动的指令的指令信息输入至算术条件设置单元242，使得算术条件设置单元242可以基于指令信息设置全身协调控制的运动目的。使用基于由上述用户输入的指令信息的运动目的执行全身协调控制，使得实现根据用户的操作输入的臂单元120的驱动。

具体地，例如，输入单元210包括由用户操作的操作单元，诸如鼠标、键盘、触摸面板、按钮、开关、操纵杆以及踏板。例如，在输入单元210具有踏板的情况下，用户可以通过用脚操作踏板来控制臂单元120的驱动。因此，即使在用户使用双手对患者的手术部位执行治疗的情况下，用户也可以调整成像单元140的位置和姿态，换句话说，用户可以通过用脚操作踏板来调整手术部位的捕获位置和捕获角度。

存储单元220存储由控制装置20处理的各种类型的信息。在本实施例中，存储单元220可以存储关于由控制单元230执行的全身协调控制和理想关节控制的操作中所使用的各种参数。例如，存储单元220可以存储关于全身协调控制单元240的全身协调控制的操作中所使用的运动目的和约束条件。如上所述，例如，存储在存储单元220中的运动目的可以是可以预先设置的运动目的，诸如成像单元140在空间中的预定点处保持静止。此外，约束条件可以由用户预先设置并且根据臂单元120的几何配置、支撑臂装置10的应用等存储在存储单元220中。此外，存储单元220还可以存储关于臂状态单元241获取臂状态时所使用的臂单元120的各种类型的信息。此外，存储单元220可以存储操作结果、关于由控制单元230控制的全身协调控制和理想关节控制的操作的操作过程中计算的各种数值。如上所述，存储单元220可以存储关于由控制单元230执行的各种类型的处理的任意参数，并且控制单元230可以在与存储单元220相互交换信息的同时执行各种类型的处理。

以上已经描述了控制装置20的功能和配置。注意，例如，可以通过诸如个人计算机(PC)和服务器的各种信息处理装置(算术处理装置)配置根据本实施例的控制装置20。接下来，将描述显示装置30的功能和配置。

显示装置30在显示屏幕上显示诸如文本和图像的各种格式的信息以将各种类型的信息视觉地通知给用户。在本实施例中，显示装置30在显示屏幕上显示由支撑臂装置10的成像单元140捕获的图像。具体地，显示装置30具有对通过成像单元140获取的图像信号应用各种类型的图像处理的图像信号处理单元(未示出)执行控制以基于所处理的图像信号在显示屏幕上显示图像的显示控制单元(未示出)等的功能和配置。注意，除上述功能和配置之外，显示装置30还可以具有显示装置通常具有的各种功能和配置。例如，显示装置30对应于图1所示的显示装置5041。

以上已经参考图6描述了根据本实施例的支撑臂装置10、控制装置20以及显示装置30的功能和配置。可以使用通用构件或电路配置、或者可以由专用于每个组成元件的功能的硬件配置上述组成元件中的每一个。此外，可以由CPU等执行配置元件的所有功能。因此，可以根据实施本实施例的时间的技术水平适当地改变要使用的配置。

如上所述，根据本实施例，臂单元120(即，支撑臂装置10中的多连杆结构)至少具有六个或更多自由度，并且通过驱动控制单元111控制配置臂单元120的多个关节单元130中的每个关节单元的驱动。然后，医疗器械设置在臂单元120的远端处。如上所述，控制每个关节单元130的驱动，使得以较高的自由度实现臂单元120的驱动控制，并且实现对用户具有较高操作性的支撑臂装置10。

更具体地，根据本实施例，关节状态检测单元132检测支撑臂装置10中的关节单元130的状态。然后，控制装置20基于关节单元130的状态以及运动目的和约束条件使用用于控制臂单元120的驱动的广义逆动力学执行关于全身协调控制的各种操作，并且计算扭矩命令值τ作为操作结果。此外，支撑臂装置10基于扭矩命令值τ控制臂单元120的驱动。如上所述，在本实施例中，通过使用广义逆动力学的全身协调控制来控制臂单元120的驱动。因此，通过力控制实现臂单元120的驱动控制，并且实现了对用户具有较高操作性的支撑臂装置。此外，例如，在本实施例中，在全身协调控制中可以实现对进一步提高用户的便利性的各种运动目的(诸如枢转操作和动力辅助操作)的控制。此外，例如，在本实施例中，实现了各种驱动单元，诸如手动移动臂单元120，并且通过从踏板输入的操作移动臂单元120。因此，实现了用户的便利性的进一步提高。

此外，在本实施例中，将理想关节控制与全身协调控制一起应用于臂单元120的驱动控制。在理想关节控制中，估计诸如关节单元130内的摩擦力和惯性的干扰分量，并且使用所估计的干扰分量执行前馈控制。因此，即使在存在诸如摩擦力的干扰分量的情况下，也可以针对关节单元130的驱动实现理想响应。因此，在臂单元120的驱动控制中，实现了具有较低振动影响等的较高准确性响应以及较高定位准确性和稳定性。

此外，例如，如图3所示，在本实施例中，配置臂单元120的多个关节单元130中的每个关节单元具有适配于理想关节控制的配置，并且可以通过电流值控制每个关节单元130的旋转角度、生成扭矩以及粘性阻力系数。如上所述，通过电流值控制每个关节单元130的驱动，并且在掌握整个臂单元120的状态的同时通过全身协调控制来控制每个关节单元130的驱动。因此，不需要平衡力并且实现了支撑臂装置10的小型化。

注意，已经描述了臂单元120被配置为多连杆结构的情况的示例。然而，示例并不必限制根据本公开的实施例的医疗臂系统1的配置。换句话说，只要识别臂单元120的位置和姿态，则臂单元120的配置不受具体限制，并且可以根据识别结果而基于关于全身协调控制和理想关节控制的技术控制臂单元120的操作。作为具体示例，类似于所谓的柔性内窥镜的远端部分，对应于臂单元120的部分可以被配置为柔性构件，在该柔性构件中，至少一部分是可弯曲的，由此控制设置在远端处的医疗器械的位置和姿态。注意，例如，尽管此处已经将控制装置的全身协调控制单元240描述为使用逆动力学计算全身协调控制的控制命令值，但是这是非限制性示例。确切地，可以考虑用于控制一些或全部多连杆结构的任何合适的技术(或铰接医疗臂的任何其他形式)。

《5.臂的控制》

<5.1.概要>

接下来，将描述根据本公开的实施例的医疗臂系统中的臂的控制。在根据本实施例的医疗臂系统1中，使用由单元获取的信息以及关于臂单元120的位置和姿态的信息(臂信息)生成或更新关于作用点集周围的空间(例如，由臂单元120支撑的单元(例如，诸如内窥镜的远端单元)周围的空间)的信息(出于方便，在下文中，信息还被称为“环境映射”)。例如，通过这样的配置，还可以生成患者的体腔中的空间的环境映射。在根据本实施例的医疗臂系统中，在这样的配置下，环境映射用于控制臂单元120的操作(例如，控制位置和姿态、反馈对抗外力的反作用力等)。

此处，为了使根据本实施例的医疗臂系统中的臂控制的特征更易于理解，将参考图7和图8描述使用斜视内窥镜执行观察的情况下的臂控制的示例。图7和图8是用于描述使用斜视内窥镜执行观察的情况下的臂控制的示例的概要的说明图。

例如，在图7和图8所示的示例中，将图5的右图所示的示例中的硬内窥镜轴C2设置为实际连杆(实际旋转连杆)的轴，并且将斜视内窥镜光轴C1设置为虚拟连杆(虚拟旋转连杆)的轴。如图7和图8所示，将斜视内窥镜单元建模成多个互锁连杆并且在这种设置下执行臂控制，使得可以控制保持操作者的手眼协调。

具体地，图7是用于描述考虑到斜视内窥镜的变焦操作而更新虚拟旋转连杆的示图。图7示出了斜视内窥镜4100和观察目标4300。例如，如图7所示，在执行变焦操作的情况下，通过改变虚拟旋转连杆的距离和方向(在图7所示的放大操作的情况下，使虚拟旋转连杆的距离较短并且虚拟旋转连杆相对于镜体轴的方向大幅度地倾斜)而变得可以控制为在相机的中心处捕获观察目标4300。

此外，图8是用于描述考虑到斜视内窥镜的旋转操作而更新虚拟旋转连杆的示图。图8示出了斜视内窥镜4100和观察目标4300。如图8所示，在执行旋转操作的情况下，通过使虚拟旋转连杆的距离恒定而变得可以控制为在相机的中心处捕获观察目标4300。

接下来，将参考图9聚焦于使用斜视内窥镜执行观察的情况描述难以使用患者内部的信息(例如，环境映射)的情况所引起的技术问题的示例。如同参考图8描述的示例，图9是用于描述使用斜视内窥镜执行观察的情况下的技术问题的示例的说明图，并且示出了通过执行旋转操作从不同的方向观察观察目标4300的情况的示例。图9示意性地示出了从彼此不同的方向观察观察目标4300的情况下的斜视内窥镜4100的相应位置4100a和4100b。

例如，在从不同的方向观察观察目标4300的情形下保持在相机的中心处捕获观察目标4300的状态的情况下，期望控制斜视内窥镜4100的位置和姿态，使得观察目标4300(具体地，观察目标4300的受关注点)位于斜视内窥镜4100的光轴上。作为具体示例，图9中的左图示意性地示出了即使在改变斜视内窥镜4100的位置和姿态的情况下，也保持观察目标4300位于斜视内窥镜4100的光轴上的状态的情形。

相反，图9中的右图示意性地示出了在斜视内窥镜4100位于位置4100b的情况下，观察目标4300不位于斜视内窥镜4100的光轴上的情形。在这种情形中，当改变斜视内窥镜4100的位置和姿态时，难以保持在相机的中心处捕获观察目标4300的状态。换句话说，在距屏幕的中心较远的位置处呈现观察目标4300，并且因此可以假设不在屏幕上呈现观察目标4300的情形(换句话说，观察目标4300位于屏幕之外的情形)。鉴于这种情形，更期望三维地识别观察目标4300的位置和姿态。

此外，如同参考图7描述的示例，在通过斜视内窥镜4100(换句话说，内窥镜单元)的插入/移除操作执行变焦操作的情形下，已经仅在斜视内窥镜4100的纵向方向上执行插入/移除操作的情况下，观察目标4300可能不位于斜视内窥镜4100的光轴上。换句话说，即使在执行变焦操作的情形下，为了保持在相机的中心处捕获观察目标4300的状态，也需要控制斜视内窥镜4100的位置和姿态以保持观察目标4300位于斜视内窥镜4100的光轴上的状态。

注意，根据本公开的医疗臂系统1，可以将由臂单元120支撑的内窥镜装置(斜视内窥镜4100)的位置和姿态识别为根据臂单元120的状态的臂信息。换句话说，可以基于臂单元120自身的机械信息(旋转编码器或线性编码器)和动态信息(质量、惯性、重心位置、扭矩传感器或力传感器)识别由臂单元120支撑的单元的三维位置和姿态(换句话说，作用点)。然而，在一些情况下，仅从上述机械信息和动态信息中难以识别臂单元120的外部环境。

鉴于这种情形，本公开提出了一种用于使得能够根据周围的情形以更优选的形式控制臂单元120的操作的技术。具体地，根据本公开的实施例的医疗臂系统1基于从由臂单元120支撑的成像单元(例如，内窥镜装置等)或各种传感器获取的信息而生成或更新关于臂单元120的外部环境(具体地，作用点周围的空间)的环境映射。医疗臂系统1基于环境映射更准确地识别观察目标4300的位置和姿态并且使用识别结果控制臂单元120(例如，位置控制、速度控制、力控制等)。

<5.2.环境映射生成方法>

接下来，下面将描述关于臂单元120的外部环境的环境映射的生成或更新的方法的示例。

(使用捕获图像的方法)

通过使用由诸如作为远端单元的臂单元120支撑的内窥镜装置的成像单元(图像传感器)捕获的图像(静止图像或移动图像)重构三维空间可以生成或更新环境映射。具体示例包括使用从捕获图像中提取的特征点而生成或更新环境映射的方法。在这种情况下，通过对所捕获的图像应用图像分析来提取特征点(例如，对象的顶点、边缘等)，并且通过从多个捕获图像中提取的特征点之间的对应性应用三角测量来重构三维空间。在成像单元(内窥镜装置)捕获广泛使用的2D图像的情况下，可以通过使用从不同的位置捕获的多个图像重构三维空间。此外，在成像单元被配置为立体相机的情况下，可以同时捕获多个(例如，两个)图像。因此，可以基于从多个图像之间中的图像中提取的特征点之间的对应性重构三维空间。

此外，在使用内窥镜图像作为捕获图像的情况下，可以在不向支撑内窥镜装置的臂单元120额外地提供传感器的情况下重构三维空间，并且可以基于重构结果而生成或更新环境映射。

注意，在使用捕获图像重构三维空间的情况下，可能难以从捕获图像中指定真实空间的单元(例如，SI单元系统等)。在这种情况下，还可以通过组合用于重构三维空间的捕获图像和捕获所捕获的图像时的臂单元120的机械信息(运动学)来指定单元。

臂单元的位置和姿态与基于捕获图像的分析结果的位置和姿态可以建模成如下面的(表达式1)和(表达式2)所述。

[数学式1]

s_c→rp_c+t_c→r＝p_r

…(表达式1)

R_c→r.R_c＝R_r

…(表达式2)

在以上(表达式1)中，p_c表示特征点在捕获图像的坐标系中的位置(三维向量)。相反，p_r表示特征点在臂单元的坐标系中的位置(三维向量)。此外，R_c表示特征点在捕获图像的坐标系中的姿态(3×3矩阵)。相反，R_r表示特征点在臂单元的坐标系中的姿态(3×3矩阵)。此外，S_c→r表示捕获图像的坐标系与臂单元的坐标系之间的比例系数(标量值)。此外，t_c→r表示用于使捕获图像的坐标系与臂单元的坐标系相关联(例如，大致匹配)的偏移量(三维向量)。此外，R_c→r表示用于使捕获图像的坐标系与臂单元的坐标系相关联(例如，大致匹配)的旋转矩阵(3×3矩阵)。换句话说，如果基于以上(表达式1)和(表达式2)已知两个或多个特征点的p_c和p_r以及R_c和R_r，则可以计算S_c→r、t_c→r以及R_c→r。

此外，作为另一示例，通过基于关于从捕获图像中提取的颜色(换句话说，颜色空间)的信息重构三维空间可以生成或更新环境映射。注意，在这种情况下，用作颜色空间的信息不受具体限制。作为具体示例，可以应用RGB比色系统的模型或可以应用HSV模型。

(使用距离测量传感器的方法)

通过使用真实空间中的对象与由臂单元120的一部分支撑的距离测量传感器之间的距离(深度)的测量结果重构三维空间可以生成或更新环境映射。距离测量传感器的具体示例包括飞行时间(ToF)传感器。ToF传感器测量从光源投射光时至检测由对象反射的反射光时的时间，由此基于测量结果计算到对象的距离。在这种情况下，例如，由于可以获取检测反射光的图像传感器的每个像素的距离(深度)信息，因此可以以相对较高的分辨率构建三维空间信息。

(如何使用图案光)

通过由臂单元120的一部分支撑的成像单元捕获从光源投射的图案光的图像并且基于图像中所捕获的图案光的形状重构三维空间可以生成或更新环境映射。例如，即使在使用图像变化较小的对象作为成像目标的情形下，该方法也可以重构三维空间信息。此外，可以以比使用ToF传感器的情况更低的成本实现环境映射。此外，例如，通过引入控制以在投射图案光的状态下执行成像并且在不投射图案光的状态下以时分方式执行成像，该方法可以通过提供将图案光投射至成像装置(内窥镜装置)的光源来实现。注意，在这种情况下，例如，仅需要将不投射图案光的状态下捕获的图像作为用于观察观察目标的图像呈现给显示装置。

(如何使用特殊光)

存在在观察诸如窄带光、自荧光、红外光等特殊光时执行的程序，并且可以使用特殊光的成像结果重构三维空间。在这种情况下，例如，除重构三维空间之外，还可以记录损伤、血管、淋巴等的额外信息。

(使用偏振图像传感器的方法)

偏振图像传感器是仅可以检测包含在入射光中的各种类型的偏振光的部分偏振光的图像传感器。通过使用由这样的偏振图像传感器捕获的图像重构三维空间可以生成或更新环境映射。

例如，通过使用该方法，可以防止由于大量的光出现被称为闪光高光的现象而降低关于三维空间的重构的准确度。此外，作为另一示例，通过使用该方法，可以更稳定地重构存在透明或半透明的对象(例如，身体组织)或具有不同偏振程度的对象(即，用肉眼难以识别)的环境的三维空间。例如，图10是用于描述通过使用偏振图像传感器获得的效果的示例的说明图，示出了在出现闪光高光的情形下通过偏振图像传感器捕获的图像的示例。图10中的左图示出了在光量相对较大的情形下使用一般图像传感器捕获观察目标的图像的情况的示例。换句话说，在该示图中，已经出现闪光高光。相反，与左图相似，图10中的右图示出了在光量相对较大的情形下使用偏振图像传感器捕获观察目标的图像的情况的示例。通过参考该示图可以看出，与左图相比，要检测的光量减少，并且更清晰地捕获观察目标。因此，提高了从捕获图像中提取观察目标的特征量的准确度，并且因此可以进一步提高使用捕获图像重构三维空间的准确度。

此外，通过使用该方法，例如，即使在捕获图像中出现噪音或捕获图像的对比度由于使用电刀等出现雾气而降低的情形下，也可以减少雾气的影响。例如，图11是用于描述通过使用偏振图像传感器获得的效果的示例的说明图，示出了在已经出现雾气的环境中通过偏振图像传感器捕获的图像的示例。图11中的左图示出了在已经出现雾气的环境中使用一般图像传感器捕获观察目标的图像的情况的示例。换句话说，在示图中，对比度由于雾气的影响而降低。相反，与左图相似，图11中的右图示出了在已经出现雾气的环境中使用偏振图像传感器捕获观察目标的图像的情况的示例。通过参考该示图可以看出，抑制了对比度下降，并且更清晰地捕获观察目标。因此，提高了从捕获图像中提取观察目标的特征量的准确度，并且因此可以进一步提高使用捕获图像重构三维空间的准确度。

(补充)

在关于环境映射的生成或更新的上述方法中，可以组合使用两种或多种方法。作为具体示例，可以使用“使用捕获图像的方法”与“使用距离测量传感器的方法”、“使用图案光的方法”、“使用特殊光的方法”以及“使用偏振图像传感器的方法”中的任一种的组合。在这种情况下，例如，除内窥镜装置之外，通过使用用于获取捕获图像的内窥镜装置，可以根据要应用的方法通过单独提供获取单元(传感器等)而实现上述方法的组合。如上所述，例如，通过组合多种方法，可以进一步提高生成或更新环境映射的准确度。

此外，只要其他信息可以用于估计作用点的位置和姿态(换句话说，估计自身位置)或识别周围空间，则不仅可以使用上述信息，而且还可以使用其他信息。作为具体示例，检测作用点(例如，内窥镜)的位置或姿态的变化的加速度传感器或角速率传感器的信息可以用于估计作用点的自身位置。

此外，获取用于生成或更新环境映射的臂信息的方法也不受具体限制。作为具体示例，可以通过基于用外部相机捕获臂单元获得的图像识别臂单元的状态来获取根据识别结果的臂信息。作为具体示例，将标记附接至臂单元的每个部分，并且通过用外部相机捕获臂单元获得的图像可以用于识别臂单元的位置和姿态(因此，识别作用点的位置和姿态)。在这种情况下，从捕获图像中提取被附接至臂单元的每个部分的标记，并且基于多个提取标记的位置与姿态之间的关系识别臂单元的位置和姿态。

已经描述了关于生成或更新有关臂单元120的外部环境的环境映射的方法的示例。

<5.3.处理>

接下来，将参考图12聚焦关于环境映射的生成或更新以及环境映射的使用的操作描述根据本实施例的控制装置20的一系列处理的流程的示例。图12是示出根据本实施例的控制装置20的一系列处理的流程的示例的流程图。注意，在本部分中，将描述将内窥镜装置(成像单元140)的远端设置为作用点，并且使用由内窥镜装置捕获的图像执行环境映射的生成或更新的情况的示例。

控制装置20(操作条件设置单元242)获取由内窥镜装置(成像单元140)捕获的图像(换句话说，关于内窥镜装置周围的空间的信息)。控制装置20从所获取的捕获图像中提取特征点。如上所述，控制装置20根据内窥镜装置的位置和姿态(换句话说，作用点)通过内窥镜装置依次获取捕获图像并且从捕获图像中提取特征点(S101)。

控制装置20(臂状态单元241)基于由关节状态检测单元132检测的关节单元130的状态从支撑臂装置10中获取臂单元120的状态(换句话说，臂状态)。控制装置20基于所获取的臂状态估计作用点(例如，成像单元140)在三维空间中的位置和姿态(换句话说，作用点的自身位置)(S103)。

控制装置20(操作条件设置单元242)基于从多个捕获图像中提取的特征点之间的对应性以及在捕获多个捕获图像中的每个捕获图像时的内窥镜装置的自身位置(换句话说，作用点的自身位置)重构三维空间。控制装置20基于三维空间的重构结果生成关于作用点周围的空间的环境映射。此外，在此时已经生成环境映射的情况下，控制装置20可以基于三维空间的重构结果更新环境映射。具体地，控制装置20可以使用新重构的三维空间信息补充环境映射中尚未生成的三维空间的部分(S105)。

此外，控制装置20(操作条件设置单元242)基于所生成或更新的环境映射和作用点的自身位置的估计结果估计作用点与位于作用点周围的对象(例如，诸如器官的部分)之间的位置关系(S107)。然后，控制装置20(虚拟力计算单元243、实际力计算单元244、理想关节控制单元250等)根据作用点与对象之间的位置关系的估计结果控制臂单元120的操作(S109)。

例如，通过应用以上控制，可以以更优选的方式实现参考图7和图8描述的臂控制(换句话说，使用斜视内窥镜执行观察的情况下的臂控制)。换句话说，在这种情况下，基于环境映射控制臂单元120的操作，使得根据观察目标与斜视内窥镜之间的位置和姿态的关系保持观察目标位于斜视内窥镜的光轴上的状态。注意，下面将使用环境映射控制臂单元的另一方法的示例单独描述为示例。

已经参考图12聚焦关于环境映射的生成或更新以及环境映射的使用的操作描述了根据本实施例的控制装置20的一系列处理的流程的示例。

<5.4.修改>

接下来，将描述根据本实施例的医疗臂系统1的修改。

(修改1：内窥镜装置的配置示例)

首先，作为第一修改，将描述由根据本实施例的医疗臂系统1中的臂单元120支撑为远端单元的内窥镜装置的配置的示例的概要。例如，图13是用于描述根据第一修改的内窥镜装置的示意性配置的示例的说明图。

在将感测臂单元120的外部环境的方法描述为关于生成或更新环境映射的方法的部分中(具体地，在除使用捕获图像的方法之外的方法中)，存在需要从内窥镜装置单独提供传感器的情况。同时，就侵入性的观点而言，存在难以安装与用于将内窥镜装置插入到患者的体腔中的端口分开的用于插入传感器的端口的情况。在这种情况下，可能促进内窥镜装置获取用于重构三维空间的信息。图13公开了用于解决该问题的内窥镜装置的配置示例。

具体地，图13所示的内窥镜装置1000包括内窥镜单元1001和相机头1003。内窥镜单元1001示意性地示出了对应于所谓的内窥镜镜筒(换句话说，被插入到患者的体腔中的镜筒)的部分。换句话说，通过相机头1003对由内窥镜单元1001获取的观察目标(例如，患部)的图像成像。

此外，相机头1003包括分支光学系统1005、成像单元1007以及获取单元1009。

成像单元1007对应于所谓的图像传感器。换句话说，经由内窥镜单元1001进入相机头1003的光在成像单元1007上形成图像，使得观察目标的图像成像。

获取单元1009示意性地示出了用于获取用于重构三维空间的信息的配置。作为具体示例，获取单元1009可以被配置为“5.2.环境映射生成方法”中描述的成像单元(图像传感器)或偏振图像传感器。

例如，分支光学系统1005可以被配置为半反射镜。在这种情况下，分支光学系统1005经由内窥镜单元1001反射已经进入相机头1003的光的一部分并且投射光的其他部分。换句话说，分支光学系统将入射在分支光学系统中的光束分割成多个光束。在图13所示的示例中，通过分支光学系统1005透射的光束到达成像单元1007。由此，捕获观察目标的图像。此外，通过分支光学系统1005反射的光束到达获取单元1009。基于由获取单元1009获取的信息重构三维空间，并且在这样的配置下，使用重构结果生成或更新环境映射。

此外，分支光学系统1005可以被配置为使用根据诸如二向色膜的波长特征分离入射光的光学膜配置的颜色分离光学系统。在这种情况下，分支光学系统1005反射已经通过内窥镜单元1001进入相机头1003的光中属于波段的一部分的光并且透射属于波段的其他部分的光。例如，通过这样的配置，在已经进入相机头1003的光中，可以将属于可见光区域的光引导至成像单元1007并且可以将属于另一波段的光(例如，红外光等)引导至获取单元1009。

注意，成像单元1007和获取单元1009中的至少一个可以被配置为可从相机头1003拆卸。例如，通过这样的配置，可以根据要执行的程序或观察观察目标的方法选择性地切换应用为成像单元1007和获取单元1009中的至少一个的装置。

作为第一修改，已经参考图13描述了由根据本实施例的医疗臂系统1中的臂单元120支撑为远端单元的内窥镜装置的配置的示例的概要。

(修改2：关于使用成像单元获取信息的控制示例)

接下来，作为第二修改，将描述使用诸如内窥镜装置的成像单元单独获取用于观察观察目标的图像和用于生成或更新环境映射的图像的控制方法的示例。例如，图14是用于描述根据第二修改的医疗臂系统的操作的概要的说明图，示出了关于获取用于生成或更新环境映射的信息的控制的示例。

在图14所示的示例中，内窥镜装置(成像单元)获取用于观察观察目标的图像(换句话说，经由诸如显示器的输出单元而呈现的图像)和用于以时分方式生成或更新环境映射的图像。具体地，通过在显示单元上进行显示而将在定时t、t+2以及t+4获取的图像呈现给外科医生(用户)。相反，使用在定时t+1和t+3获取的图像进行关于环境映射的生成或更新的处理。换句话说，成像单元以指定的时间间隔捕获作用点周围的空间的图像并且使用这些图像中的每个图像进行关于环境映射的生成或更新的处理。换句话说，执行从图像中提取特征点，基于特征点的提取结果重构三维空间，并且使用三维空间的重构生成或更新环境映射。

通过应用上述控制，可以在不向内窥镜装置单独提供传感器的情况下实现观察目标的成像结果的显示以及环境映射的生成或更新。

作为第二修改，已经参考图14描述了使用诸如内窥镜装置的成像单元单独获取用于观察观察目标的图像和用于生成或更新环境映射的图像的控制方法的示例。

(修改3：掩模处理的应用示例)

接下来，作为第三修改，将描述从重构三维空间的目标(换句话说，生成或更新环境映射的目标)中排除所获取的周围环境的信息的一部分的处理的示例。例如，图15是用于描述根据第三修改的医疗臂系统的操作的概要的说明图，示出了关于获取用于生成或更新环境映射的信息的控制的示例。

图15示出了由内窥镜装置(成像单元)捕获的图像V101。换句话说，图15中的示例示出了在使用由内窥镜装置捕获的图像V101观察患者的体腔的同时对患部执行各种类型的处理的情形。在这样的情形下，存在除患者的体腔中的部分之外，在图像中捕获除患者的体腔中的部位(例如，器官等)之外的另一对象(诸如用于对患部应用治疗的医疗器械)的一些情况。例如，除患者的体腔中的部位之外，在图像V101中捕获医疗器械。在这样的情形下，存在获取关于医疗器械的信息用于重构作用点周围的三维空间所使用的信息(换句话说，用于生成或更新环境映射的信息)的一些情况。例如，信息V103是用于重构三维空间的信息。换句话说，在图15所示的示例中，除关于患者的体腔中的部位的信息(例如，该部分的特征点的提取结果)之外，在信息V103中获取关于医疗器械的信息(例如，医疗器械的特征点的提取结果)。

同时，关于医疗器械，由于通过外科医生的操作改变位置和姿态的特征，位置和姿态变化的变化频率高于患者的体腔中的部位的频率。因此，如果这种频繁移动的对象旨在用于生成或更新环境映射，则可以假设与环境映射的生成或更新相关联的处理负荷增加并且影响其他处理。鉴于该情形，可以从重构三维空间的目标(换句话说，生成或更新环境映射的目标)中排除在位置和姿态的变化中具有较大频率的对象。此外，不仅可以从重构三维空间的目标中排除医疗器械，而且还可以排除在位置、姿态、形状等的变化中具有较高频率的对象(固体、液体等)(诸如血液)。

注意，只要可以从用于重构作用点周围的三维空间的信息中指定关于要排除的对象(例如，医疗器械、血液等)的信息，则排除方法不受具体限制。作为具体示例，可以基于根据支撑医疗器械的臂单元120的状态(例如，位置和姿态)的臂信息识别医疗器械的位置和姿态。作为具体示例，可以根据基于内窥镜装置的位置和姿态识别的内窥镜装置的成像范围与医疗器械的位置和姿态之间的相对关系识别医疗器械在捕获图像中的位置和姿态。此外，通过检测对象的形状特征或颜色特征可以识别要排除的对象的位置和姿态。可以通过从上述已经获得的对象的位置和姿态的识别结果中指定对应于用于重构作用点周围的三维空间的信息中的对象的区域将掩模处理应用于对应于要排除的对象的区域。此外，作为另一示例，可以从重构三维空间的目标中排除用于重构作用点周围的三维空间的信息之中位置和姿态的变化量超过阈值(例如，移动量超过阈值的特征点)的信息。

作为第三修改，已经参考图15描述从重构三维空间的目标(换句话说，生成或更新环境映射的目标)中排除所获取的周围环境信息的一部分的处理的示例。

<5.5.示例>

接下来，将通过具体示例描述根据本实施例的医疗臂系统1的操作的示例。

(第一示例：使用环境映射的力控制)

首先，作为第一示例，将描述使用环境映射识别观察目标与作用点之间的位置关系，并且根据位置关系的识别结果执行臂单元的力控制的示例。

例如，图16是用于描述根据第一示例的臂控制的示例的概要的说明图。图16示出了内窥镜装置1000。换句话说，示出了内窥镜装置1000中的内窥镜单元1001和相机头1003。此外，示意性地示出了患者的体腔中的部位(例如，器官等)M101。

在根据第一示例的臂控制中，根据要观察的部位M101与内窥镜单元1001的远端(换句话说，作用点)之间的位置关系调整关于支撑内窥镜装置1000的臂单元120的力控制的参数。

具体地，如图16的上图所示，在部位M101与内窥镜单元1001的远端之间的距离较短的情况下(例如，距离等于或小于阈值)，可以将关于臂单元120的控制的虚拟惯性力矩和虚拟质量控制地较大。换句话说，在这种情况下，调整参数，使得操作内窥镜装置1000的外科医生感觉到内窥镜的惯性和质量比实际的更重，由此在直接操作时减少相机抖动的影响。

相反，如图16的下图所示，在部位M101与内窥镜单元1001的远端之间的距离较大的情况下(例如，距离超过阈值)，可以将关于臂单元120的控制的虚拟惯性力矩和虚拟质量控制地较小。换句话说，在这种情况下，调整参数，使得操作内窥镜装置1000的外科医生感觉到内窥镜的惯性和质量比实际的更轻，由此实现较轻的操作感并且减少操作负荷。

此外，在部位M101与内窥镜单元1001的尖端之间的距离较短的情况下，可以控制臂单元120的操作，使得诸如库仑摩擦和粘性摩擦的摩擦参数较大。通过该控制，即使在对内窥镜装置1000不期望地施加强力的情况下，也可以抑制位置和姿态的快速变化。此外，可以控制臂单元120的操作，使得保持对内窥镜装置1000施加固定力的状态而不在内窥镜装置1000以恒定速度移动的情形下使外科医生(操作者)调整细微的力。

此外，图17是用于描述根据第一示例的臂控制的另一示例的概要的说明图。在图17中，与图16相似的参考数字类似地表示以与图16所示的示例中的相同参考数字表示的对象。此外，示意性地示出了患者的体腔中的部位(例如，器官等)M103，并且该部位M103对应于与部位M101不同的另一部位。

例如，图17中的示例示意性地示出了外科医生从由内窥镜装置1000捕获的图像中难以确认部位M103的存在性的情形。例如，即使在这种情形中，也基于环境映射识别部位M103与内窥镜装置1000之间的位置关系，使得可以调整上述动力学参数来避免部位M103与内窥镜装置1000之间的接触。作为具体示例，如图17所示，在外科医生操作内窥镜装置1000的情况下，控制臂单元120的操作以通过操作生成抵消被添加至内窥镜装置1000的力F105的反作用力F107，使得可以避免内窥镜装置1000与部位M103之间的接触。

作为第一示例，已经参考图16和图17描述了使用环境映射识别观察目标与作用点之间的位置关系，并且根据位置关系的识别结果执行臂单元的力控制的示例。

(第二示例：使用环境映射的速度控制)

接下来，作为第二示例，将描述使用环境映射识别观察目标与作用点之间的位置关系，并且根据位置关系的识别结果执行作用点的速度控制的示例。

例如，图18是用于描述根据第二示例的臂控制的示例的概要的说明图。在图18中，与图16和图17相似的参考数字类似地表示以图16和图17所示的示例中的相同参考数字表示的对象。

在根据第二示例的臂控制中，在由远程控制、音频指令等执行内窥镜装置1000的插入的情形下，根据要观察的部位M103与内窥镜单元1001的远端(换句话说，作用点)之间的位置关系控制内窥镜装置1000的插入速度。

具体地，如图18的上图所示，在部位M103与内窥镜单元1001的远端之间的距离较短的情况下(例如，距离等于或小于阈值)，可以将内窥镜装置1000的插入速度控制地较慢(例如，插入速度变得等于或小于阈值)。相反，如图18的下图所示，在部位M103与内窥镜单元1001的远端之间的距离较长的情况下(例如，插入速度超过阈值)，可以将内窥镜装置1000的插入速度控制地较快(例如，插入速度超过阈值)。

此外，图19是用于描述根据第二示例的臂控制的另一示例的概要的说明图。在图19中，与图16和图17相似的参考数字类似地表示以图16和图17所示的示例中的相同参考数字表示的对象。

例如，图19中的示例示意性地示出了外科医生从由内窥镜装置1000捕获的图像中难以确认部位M103的存在性的情形。例如，即使在这种情形中，也基于环境映射识别部位M103与内窥镜装置1000之间的位置关系，使得可以出于避免部位M103与内窥镜装置1000之间的接触的目的而控制关于内窥镜装置1000的位置和姿态的变化速度。

作为具体示例，如图19的上图所示，在部位M101和M103中的每个部位与内窥镜单元1001的远端之间的距离较短的情况下(例如，距离等于或小于阈值)，可以将关于内窥镜装置1000的位置和姿态的速度控制地较慢(例如，速度变得等于或小于阈值)。相反，如图19的下图所示，在部位M101和M103中的每个部位与内窥镜单元1001的远端之间的距离较长的情况下(例如，距离超过阈值)，可以将关于内窥镜装置1000的位置和姿态的速度控制地较快(例如，速度超过阈值)

作为第二示例，已经参考图18和图19描述了使用环境映射识别观察目标与作用点之间的位置关系，并且根据位置关系的识别结果执行作用点的速度控制的示例。

(第三示例：使用环境映射调整控制量)

接下来，作为第三示例，将描述使用环境映射识别观察目标与作用点之间的位置关系，并且根据位置关系的识别结果调整关于臂单元的位置和姿态的变化的控制量的示例。

例如，图20是用于描述根据第三示例的臂控制的示例的概要的说明图。在图20中，与图16和图17相似的参考数字类似地表示以图16和图17示出的示例中的相同参考数字表示的对象。

在根据第三示例的臂控制中，在由远程控制、音频指令等执行内窥镜装置1000的插入的情形下，根据要观察的部位M103与内窥镜单元1001的远端(换句话说，作用点)之间的位置关系控制关于内窥镜装置1000的插入的移动量。

具体地，如图20的上图所示，在部位M103与内窥镜单元1001的远端之间的距离较短的情况下(例如，距离等于或小于阈值)，可以将关于内窥镜装置1000的插入的移动量调整地较小(例如，移动量变得等于或小于阈值)。相反，如图20的下图所示，在部位M103与内窥镜单元1001的远端之间的距离较长的情况下(例如，距离超过阈值)，可以将关于内窥镜装置1000的插入的移动量调整地较大(例如，移动量超过阈值)。

此外，图21是用于描述根据第三示例的臂控制的另一示例的概要的说明图。在图21中，与图16和图17相似的参考数字类似地表示以图16和图17示出的示例中的相同参考数字表示的对象。

例如，图21中的示例示意性地示出了外科医生从由内窥镜装置1000捕获的图像中难以确认部位M103的存在性的情形。例如，即使在这种情形中，也基于环境映射识别部位M103与内窥镜装置1000之间的位置关系，使得可以出于避免部位M103与内窥镜装置1000之间的接触的目的而控制关于内窥镜装置1000的位置和姿态的变化的控制量。

作为具体示例，如图21的上图所示，在部位M101和M103中的每个部位与内窥镜单元1001的远端之间的距离较短的情况下(例如，距离等于或小于阈值)，可以将关于内窥镜装置1000的位置和姿态的变化的控制量(变化量)调整地较小(例如，控制量变得等于或小于阈值)。相反，如图21的下图所示，在部位M101和M103中的每个部位与内窥镜单元1001的远端之间的距离较长的情况下(例如，距离超过阈值)，可以将关于内窥镜装置1000的位置和姿态的变化的控制量(变化量)调整地较大(例如，控制量超过阈值)。

作为第三示例，已经参考图20和图21描述了使用环境映射识别观察目标与作用点之间的位置关系，并且根据位置关系的识别结果调整关于臂单元的位置和姿态的变化的控制量的示例。

(第四示例：使用环境映射的移动路线的控制示例)

接下来，作为第四示例，将描述规划朝向观察目标移动作用点的路线并且在移动作用点时使用环境映射控制路线的情况的示例。

可以使用预先生成的环境映射识别难以从内窥镜装置1000捕获的图像识别的部位的位置和姿态。通过使用这样的特征，可以在将内窥镜装置1000移动至可观察所需部位(观察目标)的位置时预先规划移动的路线。

例如，图22是用于描述根据第四示例的臂控制的另一示例的概要的说明图。在图22中，与图16和图17相似的参考数字类似地表示以图16和图17示出的示例中的相同参考数字表示的对象。此外，示意性地示出了患者的体腔中的部位(例如，器官等)M105，并且该部位M105对应于与部位M101和M103不同的另一部位。

图22示意性地示出了使用部位M101作为观察目标将内窥镜装置1000移动至可观察部位M101的位置的情形。此外，在图22所示的示例中，除要观察的部位M101之外，存在部位M103和M105。即使在这种情形下，通过使用预先生成的环境映射也可以预先识别部位M101、M103以及M105的相应位置和姿态。因此，通过使用识别结果可以在避免部位M103和M105中的每个部位与内窥镜装置1000之间的接触的同时预先规划内窥镜装置1000移动至可观察部位M101的位置的路线。此外，即使在内窥镜装置1000移动至可观察部位M101的位置的情形下，也可以将内窥镜装置1000控制为沿着路线移动。

作为第四示例，已经参考图22描述了规划朝向观察目标移动作用点的路线并且在移动作用点时使用环境映射控制路线的情况的示例。

(第五示例：使用环境映射的加速度控制)

接下来，作为第五示例，将描述使用环境映射识别观察目标与作用点之间的位置关系，并且根据位置关系的识别结果执行作用点的加速度控制的示例。

例如，图23是用于描述根据第五示例的臂控制的示例的概要的说明图。在图23中，与图16和图17相似的参考数字类似地表示以图16和图17示出的示例中的相同参考数字表示的对象。

在根据第五示例的臂控制中，在由远程控制、音频指令等执行内窥镜装置1000的插入的情形下，根据要观察的部位M103与内窥镜单元1001的远端(换句话说，作用点)之间的位置关系控制关于内窥镜装置1000的位置和姿态的变化的加速度。

具体地，如图23的上图所示，在部位M101与内窥镜单元1001的远端之间的距离较短的情况下(例如，距离等于或小于阈值)，可以将关于内窥镜装置1000的位置和姿态的变化的加速度控制地较小(例如，加速度变得等于或小于阈值)。相反，如图23的下图中所示，在部位M101与内窥镜单元1001的远端之间的距离较长的情况下(例如，距离超过阈值)，可以将关于内窥镜装置1000的位置和姿态的变化的加速度控制地较大(例如，加速度超过阈值)。

在使用诸如远程控制器或控制杆通过上述控制执行内窥镜装置1000的位置和姿态的操作的情况下，可以根据每次的情形改变对操作的反馈。由此，例如，可以以伪方式将操作的权重反馈给外科医生(操作者)。

作为第五示例，已经参考图23描述了使用环境映射识别观察目标与作用点之间的位置关系，并且根据位置关系的识别结果执行作用点的加速度控制的示例。

(第六示例：根据对象的表面形状进行控制的示例)

接下来，作为第六示例，将描述使用环境映射识别观察目标的表面形状，并且根据观察目标的表面与作用点之间的位置与生成的关系而控制作用点的位置和姿态的情况的示例。

如上所述，可以使用所生成或更新的环境映射识别位于作用点(例如，内窥镜等)周围的对象的位置、姿态、形状。换句话说，可以识别对象的表面形状。例如，可以使用这样的特征控制臂单元的操作，使得作用点(例如，医疗器械的远端等)沿着对象的表面移动。

此外，可以控制臂单元的操作，使得作用点相对于对象的表面(换句话说，表面的法向量)的位置变化落在预定范围内。作为具体示例，可以控制内窥镜的姿态，使得内窥镜的光轴与位于光轴的路线上的对象的表面上的点处的表面的法向量所形成的角度的变化落在预定范围内。这种控制使得能够抑制观察观察目标的角度变化。

此外，作为另一示例，可以根据外科手术工具相对于要观察的对象的表面(换句话说，表面的法向量)的姿态控制内窥镜装置的姿态(例如，内窥镜的光轴定向的方向)。这种控制使得能够控制内窥镜的姿态，使得相机相对于观察目标的角度根据外科手术工具的状态变得处于优选状态。

作为第六示例，已经描述了使用环境映射识别观察目标的表面形状，并且根据观察目标的表面与作用点之间的位置与生成的关系控制作用点的位置和姿态的情况的示例。

(第七示例：根据所获取信息的可靠性进行控制的示例)

接下来，作为第七示例，将描述评估由成像单元(内窥镜)等获取的周围空间的信息的可靠性(概率)并且根据评估结果控制环境映射的生成或更新的示例。

例如，在使用由成像单元(内窥镜等)捕获的图像生成或更新环境映射的情形下，存在难以根据成像条件识别图像中捕获的对象的一些情况。作为具体示例，在存在被称为捕获较亮的图像的“闪光高光”的现象(例如，亮度超过阈值)或相反地存在被称为捕获较暗的图像的“遮挡阴影”的现象的情况下，存在对比度降低或信噪比(SN比)变低的一些情况。在这种情况下，例如，假设图像中的对象变得难以识别或辨别的情况，并且与适当的曝光相比较，从图像中提取的特征点的可靠性(概率)趋于下降。鉴于这种情形，可以将信息的可靠性与用于生成或更新环境映射的信息相关联。

例如，图24是用于描述根据第七示例的关于生成或更新环境映射的控制的示例的说明图。图24中的示例示出了指示使用由成像单元(内窥镜)捕获的图像生成或更新环境映射的情况下的图像的可靠性的可靠性映射的示例。在图24中，图像V151指在已经出现闪光高光的状态下捕获的图像。相反，图像V155指在适当曝光下捕获的图像。此外，信息V153和V157指通过以二维方式映射对应于图像V151和V155中的相应像素的信息的可靠性而获得的信息(以下也被称为“可靠性映射”)。注意，在可靠性映射V153和V157中，将像素的信息设置为使得随着可靠性越高像素越亮。换句话说，与对应于通过适当曝光捕获的图像V153的可靠性映射V157相比，发现对应于已经出现闪光高光的图像V151的可靠性映射V155中的每个像素的亮度较暗并且可靠性下降。

通过基于上述可靠性控制是否使用关于所获取的周围空间的信息来生成或更新环境映射可以以较高的准确度构建环境映射。作为具体示例，在新获取的信息的可靠性高于已经应用于环境映射的信息(例如，特征点)的情况下，可以基于所获取的信息更新环境。相反，在新获取的信息的可靠性低于已经应用于环境映射的信息(例如，特征点)的情况下，可以基于所获取的信息抑制环境映射的更新。通过上述控制更新环境映射，可以构建更可靠的环境映射(例如，与实际空间具有较小误差的环境映射)。

注意周围环境时刻变化的情形。在这种情形下，可以假设随着时间从已经获取信息时的定时进一步流逝，信息的可靠性进一步下降的情形。因此，例如，即使在使用关于周围空间的获取信息而生成或更新环境映射的情况下，通过随着时间降低信息的可靠性也可以基于周围空间的时间变化而实现环境映射的生成或更新。例如，图25是用于描述关于生成或更新根据第七示例的环境映射的控制的示例的说明图，示出了应用控制随着时间减小可靠性映射的情况下的可靠性映射的示例。

注意，可以考虑到时间变化执行可靠性的控制以使整个环境映射中的预定值均匀地减小，或可以执行控制以根据各种条件减小偏差。作为具体示例，例如，在控制患者的体腔的环境映射的生成环境映射的可靠性的情况下，可以根据组织或部位的类型控制所降低的可靠性的值。更具体地，因为骨骼与器官等相比具有较小的时间变化，所以与对应于器官的部分相比，在对应于环境映射中的骨骼的部分中，可以将所降低的可靠性的值设置得更小。此外，因为与其他部位相比，在外科手术中应用治疗的部位附近，时间变化往往相对较大，所以可以将部位附近的可靠性的值设置得比其他部位更低。

此外，可以使用CT图像、MRI图像、人体模式等预先构建环境映射。在这种情况下，可以将与环境映射相关联的可靠性设置得充分低于通过利用内窥镜等的直接观察获取的信息的情况下的可靠性。此外，在预先构建人体的环境映射的情况下，可以使用关于人体的各种类型的信息构建环境映射。作为具体示例，可以使用诸如身高、体重、胸围以及腹围的信息估计各个器官的近似位置，使得可以在环境映射中反映估计结果。

此处，将聚焦于执行由臂单元支撑的内窥镜装置的操作的情况描述使用根据本实施例的环境映射的方法的示例。例如，在前列腺癌外科手术中，要治疗的部位往往是大面积的，因此，可以假设内窥镜每次根据要治疗的位置而移动的情形。在这种情形下，在对应于内窥镜的远端移动的位置的环境映射中的信息的可靠性较低的情况下，在生成或更新环境映射时尚未获取信息的部位的存在可能性可能较高。在这种情形下，当内窥镜以较高的速度移动时，存在内窥镜与尚未获取信息的部位接触的可能性。因此，在这种情况下，将环境映射的移动速度设置得较低，并且在对应于环境映射中的部位的部分的可靠性由于新获取的信息而变得较高的情况下，可以再次控制内窥镜的移动速度(例如，可以将内窥镜控制地移动较快)。通过控制，可以在避免内窥镜与身体中的部位之间的接触的同时更安全地执行观察。

此外，关于可靠性的信息还可以用于力控制的参数调整。作为具体示例，在具有较高可靠性的位置处，可以将内窥镜的虚拟质量、惯性力矩以及摩擦参数控制为具有较小的值。通过控制，可以减少外科医生用手直接保持并且操作内窥镜装置的负担。相反，在具有较低可靠性的位置处，可以将上述各个参数控制为具有较大的值。通过控制，可以控制对不期望地开始移动的抑制。

此外，关于可靠性的信息还可以用于关于作用点(例如，内窥镜等)的移动的速度控制。作为具体示例，在执行内窥镜的插入操作的情形下，可以执行控制，使得关于插入的速度在具有较低可靠性的区域(区间)中变得较低，并且关于插入的速度在具有较高可靠性的区域(区间)中变得较高。通过该控制，例如，即使在器官移动至所构建的环境映射中存在空间的位置的情形下，也可以通过停止内窥镜的插入操作而避免内窥镜与器官之间的接触。相反，在可靠性较高的情况下，内窥镜可以快速地移动至目标位置。

作为第七示例，已经参考图24和图25描述了评估由成像单元等获取的周围空间的信息的可靠性并且根据评估结果控制环境映射的生成或更新的示例。

(第八示例：使用预测模型进行控制的示例)

接下来，作为第八示例，将描述使用基于机器学习构建的预测模型评估关于周围空间的获取信息的可靠性的情况的示例。在本示例中，将主要描述基于监督学习构建预测模型并且使用所构建的预测模型来确定可靠性的情况的示例。

首先，将参考图26描述构建预测模型(AI)的方法的示例。图26是用于描述根据第八示例的医疗臂系统中使用预测模型进行控制的示例的说明图，示出了构建预测模型的方法的示例。图26示出了在定时t根据臂单元120的状态的臂信息p(t)。换句话说，p(t-k₁)、...、p(t-k_n)表示先前获取的臂信息。此外，信息(为了方便起见，在下文中也被称为“传感器信息”)。s(t)是关于诸如在定时t获取的捕获图像的周围空间的信息。换句话说，s(t-k₁)、...、s(t-k_n)表示先前获取的传感器信息。

如图26所示，在本示例中，使在先前的各个定时(例如，t-k₁、...、t-k_n)获取的臂信息与传感器信息相关联并且用作教师数据，并且基于监督学习构建预测模型(AI)。例如，在具有多层神经网络的机器学习的情况下，通过学习在先前作为学习数据获取的臂信息和传感器信息调整神经网络中的输入层、输出层以及隐藏层的各层之间的加权因子(参数)，并且构建预测模型(学习模型)。然后，通过将在定时t获取的臂信息p(t)作为输入数据输入到预测模型中，使得预测模型预测定时t的传感器信息。注意，假设在此时作为预测结果输出的预测数据是预测传感器信息s’(t)。然后，基于从预测模型输出的预测传感器信息s’(t)(换句话说，预测数据)与获取单元在定时t实际获取的传感器信息(t)(换句话说，教师数据)之间的比较计算误差。换句话说，执行学习以消除预测传感器信息s’(t)与传感器信息(t)之间的误差，使得更新预测模型。

接下来，将参考图27描述关于使用所构建的预测模型确定传感器信息的可靠性的处理的示例。图27是用于描述根据第八示例的医疗臂系统中使用测模型进行控制的示例的说明图，示出了使用预测模型确定传感器信息的可靠性的方法的示例。

如图27所示，在本示例中，将在定时t获取的臂信息p(t)输入至基于先前获取的臂信息和传感器信息所构建的预测模型，使得输出定时t的预测传感器信息s’(t)作为预测数据。然后，根据在定时t作为实际数据获取的传感器信息s(t)与预测传感器信息s’(t)之间的误差计算可靠性。换句话说，在预测模型的预测正确的前提下，可以进行确定，使得当误差较大时，传感器信息s(t)的可靠性较低，并且当误差较小时，可靠性较高。

例如，通过使用上述获得的可靠性的确定结果，可以从环境映射的生成或更新目标中排除关于这样的区域的信息，即，由于闪光高光或遮挡阴影而难以识别对象的位置和姿态。作为具体示例，在由于医疗器械反射的光出现闪光高光的情况下，可以从环境映射的生成或更新目标中排除已经发生反射的区域(换句话说，已经出现闪光高光的区域)。此外，在这种情况下，可以使用具有较高可靠性的另一部分的信息局部执行环境映射的生成或更新。

此外，作为另一示例，在可靠性等于或小于阈值的状态(换句话说，预测数据与实际数据之间的误差等于或大于阈值的状态)持续超过预定周期的情况下，可以执行环境映射的更新。通过应用这种控制，可以防止出现由于噪音而频繁地执行环境映射的生成或更新的情形。

注意，只要信息可以用于生成或更新环境映射，则用作传感器信息的信息不受具体限制。换句话说，如上所述，可以使用成像单元的成像结果、距离测量传感器的测量结果、图案光的成像结果、特殊光的成像结果、偏振图像传感器的成像结果等作为传感器信息。此外，可以使用多种类型的信息作为传感器信息。在这种情况下，例如，可以对每种类型的传感器信息执行可靠性确定，并且可以考虑到每种可靠性的确定结果来计算最终可靠性。

此外，可以使用其他信息作为学习数据而提高预测模型的预测准确度。例如，可以通过将外科手术先前通过CT、MRI等获取的数据与外科手术期间获取的数据(例如，臂信息、传感器信息、预测传感器信息等)进行比较来提高预测的准确度。此外，还可以使用执行程序的环境的信息。作为具体示例，可以使用手术床的倾斜信息来识别患者身体的姿态的变化，由此，例如，可以根据姿态的变化预测器官的形状的变化。通过使用这些信息，可以根据此时的情形校正预测模型的预测结果的偏差。

作为第八示例，已经参考图26和图27描述了使用基于机器学习构建的预测模型评估关于周围空间的获取信息的可靠性的情况的示例。

(第九示例：环境映射的呈现)

接下来，作为第九示例，将描述环境映射的呈现。例如，可以经由诸如显示器的输出单元将环境映射的生成或更新结果呈现给操作者。此时，例如，通过将所生成或更新的环境映射叠加在人体模型上，可以将已经构建环境映射的区域呈现给操作者。此外，不仅可以将所生成或更新的环境映射叠加并显示在人体模型上，而且还可以叠加并显示在诸如外科手术前获取的CT图像或MRI图像的所谓的术前规划信息上。

《6.硬件配置》

接下来，将描述图28所示的信息处理设备900的硬件配置的示例，该信息处理设备900与根据本公开的实施例的支撑臂装置10和控制装置20一样配置根据本实施例的医疗臂系统。图28是示出根据本公开的实施例的信息处理设备的硬件配置的配置示例的功能框图。

根据本实施例的信息处理设备900主要包括CPU 901、ROM 902以及RAM 903。此外，信息处理设备900包括主机总线907、桥接器909、外部总线911、接口913、存储装置919、驱动器921、连接端口923以及通信装置925。此外，信息处理设备900还可以包括输入装置915和输出装置917中的至少一个。

CPU 901用作算术处理单元和控制单元，并且根据记录在ROM 902、RAM 903、存储装置919或可移动记录介质927中的各种程序来控制信息处理设备900的整体操作或一部分。ROM 902存储由CPU 901使用的程序、操作参数等。RAM 903主要存储由CPU 901使用的程序、执行程序时适当地改变的参数等。CPU 901、ROM 903以及RAM 905通过由诸如CPU总线的内部总线配置的主机总线907相互连接。注意，可以通过CPU 901实现图6所示的示例中的支撑臂装置10的臂控制单元110和控制装置20的控制单元230。

主机总线907经由桥接器909连接至诸如外围组件互连/接口(PCI)总线的外部总线911。此外，输入装置915、输出装置917、存储装置919、驱动器921、连接端口923以及通信装置925经由接口913连接至外部总线911。

例如，输入装置915是由用户操作的操作单元，诸如鼠标、键盘、触摸面板、按钮、开关、操纵杆以及踏板。此外，输入装置915例如可以是使用红外线或其他无线电波的远程控制单元(所谓的远程控制器)或者诸如对应于信息处理设备900的操作的移动电话或PDA的外部连接装置929。此外，输入装置915例如由输入控制电路配置，该输入控制电路用于基于用户使用上述操作单元输入的信息来生成输入信号并且将输入信号输出至CPU 901等。信息处理设备900的用户可以通过操作输入装置915来输入各种数据并且将关于处理操作的指令赋予信息处理设备900。

输出装置917由可以将所获取的信息视觉或听觉地通知给用户的装置配置。这样的装置包括诸如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置、灯等的显示装置，诸如扬声器和耳机的声音输出装置以及打印机装置。输出装置917例如输出通过由信息处理设备900执行的各种类型的处理获得的结果。具体地，显示装置将由信息处理设备900执行的各种类型的处理的结果显示为文本或图像。同时，声音输出装置将包括再现声音数据、语音数据等的音频信号转换为模拟信号并且输出该模拟信号。

存储装置919是被配置为信息处理设备900的存储单元的示例的用于数据存储的装置。存储装置919由诸如硬盘驱动器(HDD)、半导体存储装置、光存储装置、磁光存储装置等的磁性存储装置配置。存储装置919存储由CPU 901执行的程序、各种数据等。注意，可以通过例如ROM 902、RAM 903以及存储装置919中的至少一个或者两个或多个的组合来实现图6所示的示例中的存储单元220。

驱动器921是用于记录介质的读取器/写入器，并且内置于或外部附接至信息处理设备900。驱动器921读出记录在诸如安装磁盘、光盘、磁光盘或半导体存储器的可移动记录介质927上的信息，并且将该信息输出至RAM 903。此外，驱动器921还可以在诸如安装磁盘、光盘、磁光盘或半导体存储器的可移动记录介质927上写入记录。可移动记录介质927例如是DVD介质、HD-DVD介质、蓝光(注册商标)介质等。此外，可移动记录介质927可以是紧凑式闪存(CF(注册商标))、闪存存储器、安全数字(SD)存储卡等。此外，可移动记录介质927例如可以是其上安装有非接触式IC芯片的集成电路(IC)卡、电子装置等。

连接端口923是用于直接连接至信息处理设备900的端口。连接端口923的示例包括通用串行总线(USB)端口、IEEE 1394端口、小型计算机系统接口(SCSI)端口等。连接端口923的其他示例包括RS-232C端口、光学音频终端、高清多媒体接口(HDMI)(注册商标)端口等。通过将外部连接装置929连接至连接端口923，信息处理设备900从外部连接装置929直接获取各种数据并且将各种数据提供至外部连接装置929。

通信装置925例如是由连接至通信网络(网络)931等的通信装置配置的通信接口。通信装置925例如是用于有线或无线局域网(LAN)、蓝牙(注册商标)、无线USB(WUSB)等的通信卡。此外，通信装置925可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器、用于各种通信的调制解调器等。例如，通信装置925可以根据诸如TCP/IP的预定协议将信号等发送至因特网和其他通信装置并且从因特网和其他通信装置接收信号等。此外，连接至通信装置925的通信网络931由通过有线或无线连接的网络等配置，并且可以例如是因特网、家用LAN、红外通信、无线电波通信、卫星通信等。

以上，已经描述了可以实现根据本公开的本实施例的信息处理设备900的功能的硬件配置的示例。可以使用通用构件配置或可以由专用于每个组成元件的功能的硬件配置上述组成元件中的每一个。因此，可以根据实施本实施例时的技术水平适当地改变要使用的硬件配置。此外，尽管图28中未示出，但是信息处理设备900可以具有用于根据可以执行的功能来实现功能的各种配置。

注意，可以在个人计算机等上准备和实现用于根据上述本实施例实现信息处理设备900的功能的计算机程序。此外，可以提供存储这种计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。此外，可以例如经由网络而不使用记录介质来递送以上计算机程序。此外，执行计算机程序的计算机的数量不受具体限制。例如，多个计算机(例如，多个服务器等)可以相互协作地执行计算机程序。

《7.应用》

接下来，作为根据本公开的实施例的医疗观察系统的应用，将参考图29描述医疗观察系统被配置为包括显微镜单元的显微镜成像系统的示例。

图29是用于描述根据本公开的实施例的医疗观察系统的应用的说明图，示出了显微镜成像系统的示意性配置的示例。具体地，图29示出了将使用设置有臂的手术视频显微镜装置的情况的示例描述为使用根据本公开的实施例的显微镜成像系统的情况的应用。

例如，图29示意性地示出了使用手术视频显微镜装置的治疗的状态。具体地，参考图29，示出了作为从业者(用户)的外科医生520使用诸如手术刀或镊子的手术器械521对手术台530上的手术目标(患者)540执行手术的状态。注意，在以下描述中，术语“手术”是由作为用户520的外科医生对作为手术目标540的患者执行的用于诸如外科手术和检查的各种类型的医疗治疗的通用术语。此外，图29中的示例示出了外科手术的状态作为手术的示例，但是使用手术视频显微镜装置510的手术并不限于外科手术并且可以用于其他各种手术。

手术视频显微镜装置510设置在手术台530旁边。手术视频显微镜装置510包括作为基座的基座单元511、从基座单元511延伸的臂单元512以及连接至臂单元512的远端作为远端单元的成像单元515。臂单元512包括多个关节单元513a、513b和513c、由关节单元513a和513b连接的多个连杆514a和514b以及设置在臂单元512的远端处的成像单元515。在图29所示的示例中，为了简单起见，臂单元512包括三个关节单元513a至513c以及两个连杆514a和514b。然而，实际上，可以考虑臂单元512和成像单元515的位置和姿态的自由度适当地设置关节单元513a至513c以及连杆514a和514b的数量和形状、关节单元513a至513c的驱动轴的方向等。

关节单元513a至513c具有将连杆514a和514b彼此旋转地连接的功能，并且当驱动关节单元513a至513c的旋转时，控制臂单元512的驱动。此处，在以下描述中，手术视频显微镜装置510的每个配置构件的位置指针对驱动控制而限定的空间中的位置(坐标)，并且每个配置构件的姿态指相对于针对驱动控制而限定的空间中的任何轴的方向(角度)。此外，在以下描述中，臂单元512的驱动(或驱动控制)指通过关节单元513a至513c的驱动(驱动控制)以及关节单元513a至513c的驱动(驱动控制)而改变(控制改变)的臂单元512的每个配置构件的位置和姿态。

成像单元515连接至臂单元512的远端作为远端单元。成像单元515是获取成像目标对象的图像的单元并且例如是可以捕获移动图像或静止图像的相机。如图29所示，通过手术视频显微镜装置510控制臂单元512和成像单元515的位置和姿态，使得设置在臂单元512的远端处的成像单元515捕获手术目标540的手术部位的状态。注意，连接至作为远端单元的臂单元512的远端的成像单元515的配置不受具体限制。例如，成像单元515被配置为获取成像目标对象的放大图像的显微镜。此外，成像单元515可以被配置为可附接至臂单元512并且可从臂单元512拆卸。通过这样的配置，例如，根据应用的成像单元515可以适当地连接至臂单元512的远端作为远端单元。注意，作为成像单元515，例如，可以应用应用根据上述实施例的分支光学系统的成像装置。换句话说，在本应用中，成像单元515或包括成像单元515的手术视频显微镜装置510可以对应于“医疗观察装置”的示例。此外，尽管已经聚焦于将成像单元515应用为远端单元的情况进行了描述，但是连接至臂单元512的远端的远端单元不必限于成像单元515。

此外，在面向用户520的位置处，安装诸如监控器或显示器的显示装置550。由成像单元515捕获的手术部位的图像在显示装置550的显示屏幕上显示为电子图像。用户520在观察显示装置550的显示屏幕上显示的治疗部位的电子图像的同时执行各种类型的治疗。

通过上述配置，可以在通过手术视频显微镜装置510对治疗部位成像的同时执行外科手术。

注意，可以在不偏离根据本公开的实施例的医疗观察系统的基本思想的范围内应用根据上述本公开的技术。作为具体示例，根据上述本公开的技术不仅可以适当地应用于应用上述内窥镜或手术显微镜的系统，而且还可以应用于能够通过由成像装置以期望的形式捕获患部的图像来观察患部的系统。

作为根据本公开的实施例的医疗观察系统的应用，已经参考图29描述了医疗观察系统被配置为包括显微镜单元的显微镜成像系统的示例。

《8.结论》

如上所述，根据本公开的实施例的医疗臂系统包括臂单元和控制单元。臂单元可以被配置为至少部分地可弯曲，并且被配置为能够支撑医疗器械。控制单元控制臂单元的操作，使得控制使用臂单元的至少一部分作为参考而设置的作用点的位置和姿态。获取周围空间的信息的获取单元由臂单元的至少一部分支撑。控制单元基于由获取单元获取的环境信息以及根据臂单元的状态的关于作用点的位置和姿态的臂状态信息来生成或更新至少关于作用点周围的空间的映射信息。

根据以上配置，根据本公开的实施例的医疗臂系统生成或更新关于臂单元的外部环境(具体地，由臂单元支撑的医疗器械等周围的环境)的环境映射，并且可以使用环境映射准确地识别观察目标的位置和姿态。具体地，根据本实施例的医疗臂系统，可以使用环境映射识别位于内窥镜装置的成像范围外的对象(例如，器官等)的位置、姿态。由此，根据本实施例的医疗臂系统可以根据臂周围的环境(例如，观察目标和周围对象的位置、姿态)以更优选的形式更准确地控制臂单元的操作。

尽管已经参考附图详细描述了本公开的优选实施例，但是本公开的技术范围并不限于这样的示例。显而易见的是，本公开的技术领域的普通技术人员可以在权利要求描述的技术思想的范围内构想各种改变和更改，并且应自然理解，这些改变和更改属于本公开的技术范围。

作为具体示例，可以单独提供负责生成或更新环境映射的装置以及负责使用环境映射控制臂单元的操作的装置。换句话说，特定的控制装置可以使用由另一控制装置生成或更新的环境映射来控制与特定的控制装置相关联的臂单元的操作。注意，在这种情况下，例如，特定的控制装置和另一控制装置可以互相识别通过在控制装置之间交换关于与控制装置相关联的臂单元的状态的信息(例如，臂信息)而被分别控制的臂单元的状态。因此，使用环境映射的一侧上的控制装置可以根据与由和执行环境映射的生成或更新的一侧上的控制装置相关联的臂单元支撑的医疗器械的相对关系，识别由与控制装置相关联的臂单元支撑的医疗器械(换句话说，作用点)在环境映射中的位置和姿态。

此外，支撑获取关于环境映射的生成或更新的信息的获取单元(例如，内窥镜装置)的臂单元和使用环境映射控制的臂单元可以不同。因此，例如，基于通过由特定臂单元支撑的内窥镜装置获取的信息生成或更新环境映射，并且能够使用环境映射控制支撑与前述内窥镜装置不同的医疗器械的另一臂单元的操作。在这种情况下，可以根据臂单元的状态(例如，位置和姿态)识别由各个臂支撑的医疗器械(内窥镜装置等)的自身位置。换句话说，通过将每个医疗器械的自身位置与环境映射进行对照，可以识别医疗器械与位于医疗器械周围的空间中的另一对象(例如，器官等)之间的位置和姿态的关系。当然，即使在这种情况下，也可以使用环境映射来控制支撑获取单元的臂单元的操作。

此外，在以上描述中，已经主要聚焦于医疗臂装置的臂单元的控制描述了根据本实施例的臂控制。然而，本实施例并不限制根据本实施例的臂控制的应用目的(换句话说，应用领域)。作为具体示例，根据本公开的实施例的臂控制可以应用于工业臂装置。作为更具体的示例，将设置有臂单元的作业机器人带入人难以进入的区域，并且可以远程操作作业机器人。在这种情况下，根据本公开的实施例的臂控制(换句话说，使用环境映射的控制)可以应用于作业机器人的臂单元的远程控制。

此外，本说明书中描述的效果仅是说明性或示例性的，而不是限制性的。即，根据本公开的技术可以与上述效果一起或代替上述效果表现出对本领域技术人员从本说明书的描述中显而易见的其他效果。

注意，以下配置也属于本公开的技术范围。

(1)一种医疗臂系统，包括：

臂单元，被配置为支撑医疗器械并且调试医疗器械相对于医疗器械上的作用点的位置和姿态；以及

控制单元，被配置为控制臂单元的操作以调试医疗器械相对于作用点的位置和姿态；以及

一个或多个获取单元，被配置为获取作用点周围的空间的环境信息；其中，

控制单元被配置为基于由一个或多个获取单元获取的环境信息和根据臂单元的状态表示医疗器械相对于作用点的位置和姿态的臂状态信息来生成或更新映射作用点周围的空间的映射信息。

(2)根据(1)的医疗臂系统，其中，控制单元基于环境信息和臂状态信息生成或更新映射信息，并且臂状态信息表示医疗器械相对于作用点的位置和姿态中的至少一个的变化。

(3)根据(1)或(2)的医疗臂系统，其中，一个或多个获取单元包括捕获作用点周围的空间的图像并且生成表示作用点周围的空间的图像的信息的成像单元；并且控制单元基于环境信息和臂状态信息生成或更新映射信息，并且环境信息包括由成像单元捕获的图像的图像信息。

(4)根据(3)的医疗臂系统，其中，成像单元被配置为捕获作用点周围的空间的图像并且生成表示作用点周围的空间的图像的图像信息。

(5)根据(1)至(4)中任一项的医疗臂系统，其中，一个或多个获取单元包括成像单元、距离测量传感器、偏振图像传感器和IR图像传感器中的一个或多个。

(6)根据(5)的医疗臂系统，其中：

环境信息包括由成像单元生成的图像、由距离测量传感器测量的距离、由偏振图像传感器生成的偏振图像和由IR图像传感器生成的红外图像中的一个或多个。

(7)根据(6)的医疗臂系统，包括：

分支光学系统，被配置为将入射到分支光学系统上的光束分割成多个光束，其中，一个或多个获取单元中的每一个获取单元单独检测多个光束中的一个光束，并且使用所检测的光束来获取环境信息。

(8)根据(7)的医疗臂系统，其中，一个或多个获取单元被配置为能附接至支撑分支光学系统的壳体并且能从壳体拆卸。

(9)根据(5)至(8)中任一项的医疗臂系统，其中，成像单元以指定的时间间隔捕获作用点周围的空间的图像，由成像单元捕获的每个图像构成环境信息的一部分。

(10)根据(1)至(9)中任一项的医疗臂系统，其中，医疗器械包括一个或多个获取单元中的一个或多个。

(11)根据(10)的医疗臂系统，其中，医疗器械包括内窥镜单元，该内窥镜单元包括要被插入到患者的体腔中的镜筒。

(12)根据(1)至(11)中任一项的医疗臂系统，其中，环境信息包括关于患者的体腔中的空间的信息，并且基于环境信息和臂状态信息生成或更新映射信息。

(13)根据(12)的医疗臂系统，其中，关于患者的体腔中的空间的信息包括关于患者的体腔中的部位的信息和关于体腔中的对象的信息，并且控制单元在生成或更新映射信息时排除关于体腔中的对象的信息。

(14)根据(1)至(13)中任一项的医疗臂系统，其中，控制单元根据环境信息的可靠性确定是否基于环境信息生成或更新映射信息。

(15)根据(14)的医疗臂系统，其中，

环境信息包括作用点周围的空间的图像的图像信息；并且

根据图像的至少一部分的亮度确定图像信息的可靠性。

(16)根据(14)的医疗臂系统，其中，基于图像信息与预测图像信息的比较来确定图像信息的可靠性，其中，使用在较早时间点处作用点周围的空间的图像的先前图像信息和表示在较早时间点处作用点的位置和姿态的先前臂状态信息的组合生成预测图像信息。

(17)根据(16)的医疗臂系统，其中，先前图像信息和先前臂状态信息是用于训练用于生成预测图像信息的机器学习预测模型的训练数据。

(18)根据(1)至(17)中任一项的医疗臂系统，其中，臂单元被配置为具有通过关节单元能旋转至彼此的多个连杆；并且

获取单元由多个连杆的至少一部分支撑。

(19)根据(1)的医疗臂系统，其中，控制单元基于由映射信息指定的对象与作用点之间的相对位置关系来控制臂单元的操作。

(20)根据(19)的医疗臂系统，其中，控制单元基于由映射信息指定的对象与作用点之间的距离来控制臂单元的操作以生成反作用力以抵抗施加到臂单元的外力。

(21)根据(19)的医疗臂系统，其中，控制单元根据对象与作用点之间的距离控制臂单元的移动速度。

(22)根据(19)的医疗臂系统，其中，控制单元根据对象与作用点之间的距离调整最大移动阈值，其中，最大移动阈值限定臂单元的位置和姿态的最大允许调整。

(23)根据(19)的医疗臂系统，其中，控制单元控制臂单元的操作，使得作用点沿着对象的表面移动。

(24)根据(23)的医疗臂系统，其中，控制单元控制臂单元的操作，使得作用点相对于对象的表面上的法向量的姿态的变化被限制为落在预定范围内。

(25)根据(19)至(24)中任一项的医疗臂系统，其中，控制单元根据尚未生成映射信息的区域与作用点之间的相对位置关系来控制臂单元的操作。

(26)根据(25)的医疗臂系统，其中，控制单元控制臂单元的操作，使得抑制作用点进入尚未生成映射信息的区域。

(27)根据(1)至(26)中任一项的医疗臂系统，其中，控制单元被配置为通过基于由成像单元捕获的图像的图像信息重构三维空间来生成或更新映射信息。

(28)根据(1)至(27)中任一项的医疗臂系统，其中，重构三维空间包括从由成像单元捕获的作用点周围的空间的图像中提取多个特征点。

(29)根据(1)至(28)中任一项的医疗臂系统，其中，多个特征点是由成像单元捕获的作用点周围的空间的图像内的对象的顶点和边缘中的一个或两个。

(30)根据(1)至(29)中任一项的医疗臂系统，其中，成像单元捕获作用点周围的空间的多个图像，并且重构三维空间包括从多个图像中的每一个图像中提取多个特征点，并且基于多个图像中的至少一个图像的多个特征点与多个图像中的至少另一图像的多个特征点之间的对应性来重构三维空间。

(31)根据(1)至(30)中任一项的医疗臂系统，其中，重构三维空间包括组合由成像单元捕获的作用点周围的空间的图像的图像信息和臂状态信息。

(32)根据(1)至(30)中任一项的医疗臂系统，其中，组合图像信息和臂状态信息包括计算映射参数以使得能够在所捕获的图像的参考系中的多个特征点中的至少一个特征点的位置和姿态与臂单元的参考系中的对应特征点的位置和姿态之间进行映射。

(33)根据(1)至(27)中任一项的医疗臂系统，其中，重构三维空间包括从由成像单元捕获的周围空间的图像中提取颜色信息。

(34)根据(1)至(5)中任一项的医疗臂系统，其中，控制单元被配置为通过使用对象与距离测量传感器之间的距离重构三维空间来生成或更新映射信息。

(35)根据(1)至(5)中任一项的医疗臂系统，其中，控制单元被配置为通过基于由偏振传感器捕获的偏振图像的偏振图像信息重构三维空间来生成或更新映射信息。

(36)根据(1)至(35)中任一项的医疗臂系统，其中，控制单元被配置为响应于用户输入来控制医疗器械相对于作用点的位置和姿态。

(37)一种控制装置，包括：

控制单元，被配置为控制臂单元的操作以调试医疗器械相对于医疗器械上的作用点的位置和姿态，臂单元被配置为支撑医疗器械；以及一个或多个获取单元，被配置为获取作用点周围的空间的信息；其中，

控制单元被配置为基于由一个或多个获取单元获取的环境信息和根据臂单元的状态表示医疗器械相对于作用点的位置和姿态的臂状态信息来生成或更新映射作用点周围的空间的映射信息。

(38)根据(37)的控制装置，其中，

控制单元基于映射作用点周围的空间的映射信息来控制臂单元的操作。

(39)一种控制方法，包括：

由计算机控制臂单元以调试医疗器械相对于医疗器械上的作用点的位置和姿态，臂单元被配置为支撑医疗器械；

获取作用点周围的空间的环境信息；并且

基于由获取单元获取的环境信息和根据臂单元的状态表示医疗器械相对于作用点的位置和姿态的臂状态信息来生成或更新映射作用点周围的空间的映射信息。

(40)根据(39)的控制方法，其中，

基于映射作用点周围的空间的映射信息来控制臂单元的操作。

本领域技术人员应当理解，只要在所附权利要求或其等同物的范围内，可以根据设计要求和其他因素进行各种修改、组合、子组合和改变。

参考标记列表

1 医疗臂系统

10 支撑臂装置

20 控制装置

30 显示装置

110 臂控制单元

111 驱动控制单元

120 臂单元

130 关节单元

131 关节驱动单元

132 关节状态检测单元

133 旋转角度检测单元

134 扭矩检测单元

140 成像单元

200 被动关节单元

210 输入单元

220 存储单元

230 控制单元

240 全身协调控制单元

241 臂状态单元

242 算术条件设置单元

243 虚拟力计算单元

244 实际力计算单元

250 理想关节控制单元

251 干扰估计单元

252 命令值计算单元

1000 内窥镜装置

1001 内窥镜单元

1003 相机头

1005 分支光学系统

1007 成像单元

1009 获取单元。