具体实施方式

在下文中，将描述实现本技术的模式。将按以下顺序进行描述。

1.第一实施方式(手术期间使用)

2.第二实施方式(用于训练)

3.应用示例

4.硬件配置

5.其他

《1.第一实施方式(手术期间使用)》

<手术辅助系统的配置示例(由内窥镜操作员握持内窥镜的示例)>

图1是示出根据本技术的第一实施方式的手术辅助系统的配置示例的示图。

例如，图1示出了在腹部的内窥镜手术中使用的内窥镜手术系统的示例，在医学场所代替相关技术的剖腹手术来执行内窥镜手术。

在图1的手术辅助系统1中，在腹部的内窥镜手术中，并没有像相关技术中那样切开腹壁以打开腹部，而是使用称为套管针25a和25b的开孔器械在几个位置刺穿腹壁。然后，作为用于观察患者身体内部的观察医学装置的腹腔镜(以下也称为内窥镜)11、能量治疗工具22、镊子23等通过设置在套管针25a和25b中的孔插入身体。

当观察由内窥镜11实时捕捉的患者体内的患部(肿瘤等)U的图像时，操作者执行治疗，例如，用能量治疗工具22等切除患部U。内窥镜11、能量治疗工具22和镊子23由操作者、机器人等握持。注意，操作者被称为参与在手术室中执行的手术的医务人员，并且操作者包括例如除了手术外科医生、助手、内窥镜操作员和护士之外，从不同于手术室的地方监视手术的医生。在图1的示例中，内窥镜11由例如内窥镜操作员握持。内窥镜11包括插入患者体内的内窥镜，和包括接收由内窥镜引导的光并对其成像的成像元件的摄像头。注意，内窥镜可以是刚性的，也可以是柔性的。此外，内窥镜和成像元件可以集成在一起。

在进行这种内窥镜手术的手术室中，安装有在其上安装有用于内窥镜手术的装置的推车31、患者躺在其上的病床33、脚踏开关35等。例如，诸如相机控制单元(CCU)13、光源装置17、治疗工具装置21、吹气装置24、显示装置15、记录器26和打印机27等装置作为医学装置放置在推车31上。

通过内窥镜11的观察光学系统成像的患部U的图像信号经由作为信号传输电缆的相机电缆传输到CCU 13。CCU 13除了经由相机电缆连接到内窥镜11之外，还可以经由无线通信路径连接到内窥镜11。CCU 13对从内窥镜11输出的图像信号进行信号处理，并将信号处理后获得的图像信号输出到显示装置15。在这种配置中，在显示装置15上显示患部U的手术野图像。

注意，CCU 13可以通过将信号处理后获得的图像信号输出到记录器26，使记录器26将患部U的手术野图像记录为图像数据(例如，运动图像的数据)。此外，CCU 13可以通过将信号处理后获得的图像信号输出到打印机27来使打印机27打印患部U的手术野图像。

光源装置17经由光导电缆连接到内窥镜11，并且可以切换各种波长的光，以将光辐射到患部U。从光源装置17辐射的光可以用作例如辅助光。

治疗工具装置21对应于例如高频输出装置，该高频输出装置向能量治疗工具22输出高频电流，该能量治疗工具22通过使用电加热来切断患部U。

吹气装置24包括空气供应装置和空气抽吸装置，并向例如患者体内的腹部区域供应空气。

脚踏开关35通过使用操作者、助手等的脚踏操作作为触发信号来控制CCU 13、治疗工具装置21等。

<手术辅助系统的功能配置示例>

(CCU 13周围的配置)

图2是示出手术辅助系统的功能配置示例的框图。

图2中的手术辅助系统100包括成像单元101、信息处理单元102和显示单元103。

成像单元101对应于图1中的内窥镜11。成像单元101根据内窥镜操作人员的操作对手术野进行成像，并将通过成像获得的图像信号输出到信息处理单元102。成像单元101是输出通过对手术野成像获得的手术野数据的医学观察装置。作为医学观察装置，可以使用显微镜来代替内窥镜。注意，用于执行成像处理和处理生成的图像信号的电路(例如，CPU(中央处理单元)、RAM(随机存取存储器)、ROM(只读存储器)或FPGA(现场可编程门阵列))堆叠在医学观察装置中。

信息处理单元102对应于图1中的CCU 13。信息处理单元102获取从成像单元101提供的图像信号，对图像信号执行信号处理，并将通过执行信号处理而生成的手术野图像的信号输出到显示单元103。注意，信息处理单元102可以由不同于CCU 13的装置构成。

显示单元103对应于图1中的显示装置15。显示单元103基于从信息处理单元102提供的图像信号显示手术野图像。

(信息处理单元102的详细配置)

信息处理单元102包括光学系统变化检测单元111、参数估计单元112、三维信息生成单元113和显示信息生成单元114。

信息处理单元102的至少一部分由包括图1中的CCU 13的CPU等的电路实现，该电路执行预定的程序。从成像单元101输出的图像信号被输入到光学系统变化检测单元111、三维信息生成单元113和显示信息生成单元114。注意，信息处理单元102的至少一部分功能可以由FPGA实现。

光学系统变化检测单元111

光学系统变化检测单元111检测手术期间成像单元101中发生的光学系统的变化。例如，在成像单元101执行光学系统的调整(例如，变焦(视角)的调整(变焦透镜的移动)或焦点的调整(聚焦透镜的移动))的情况下，在当内窥镜包括在成像单元101中时替换内窥镜的情况下，光学系统发生变化。

可以从成像单元101以电子获得光学系统的信息的情况

例如，由于包括在成像单元101中的光学系统的一些光学构件在变焦的调节和焦点的调节中基于CCU 13的输出而移动，所以指示光学系统的变化的信息(例如，指示变焦透镜的位置和聚焦透镜的位置的信息)存储在CCU 13中。在这种情况下，光学系统变化检测单元111基于存储在CCU 13中的指示光学系统变化的信息来检测光学系统的变化。

此外，存在这样的情况，其中，成像单元101包括可拆卸的镜，并且存储指示镜的类型的信息的存储单元设置在镜中。此时，包括在成像单元101中的电路可以获取镜的信息并将镜的信息输出到CCU 13。在这种情况下，光学系统变化检测单元111基于从成像单元101获得的信息检测光学系统的变化。

不能从成像单元101电子获得光学系统的信息的情况

在这种情况下，光学系统变化检测单元111基于从成像单元101获得的图像信号检测光学系统的变化。

例如，光学系统变化检测单元111重复检测从成像单元101依次提供的图像信号中的遮蔽区域。如图3所示，在从图像信号生成的手术野图像中，遮蔽区域是在手术野出现的有效区域周围形成的渐晕区域。当执行镜等的替换时，渐晕改变，从而遮蔽区域改变，并且圆形有效区域的直径改变。

光学系统变化检测单元111通过检测掩模区域中的这种变化来检测成像单元101中发生的光学系统的变化。

此外，光学系统变化检测单元111通过使用相机矩阵(帧的基本矩阵)的奇异值来检测成像单元101中发生的光学系统的变化。可以基于相机矩阵的奇异值来检测焦距的变化。因此，可以检测光学系统的变化，例如，聚焦透镜的移动或变焦透镜的移动。

在此处，使用相机矩阵的奇异值的检测方法是在焦距相同的情况下，通过使用在两个视点计算的基本矩阵的非零奇异值相同的特性，以基本矩阵的奇异值的比率来检测焦距的变化的方法。在例如“Kazuki Nozawa的“具有未知焦距的输入图像组的三维恢复的稳定性”，CVIM-182，第2012卷，第19号”中，描述该方法。

具体地，在光学系统变化检测单元111中执行以下处理(a)至(d)。

(a)光学系统变化检测单元111记录关键帧，该关键帧用作在SLAM中生成三维信息的参考。

(b)光学系统变化检测单元111通过使用关键帧依次计算基本矩阵E。

(c)光学系统变化检测单元111计算基本矩阵E的非零奇异值。

在此处，基本矩阵E是3×3矩阵。在满足作为三维恢复的基础的外极条件的情况下，当对E进行奇异值分解(遵循等式(1))时，对角矩阵Σ的第三行的奇异值为零，并且帧i中的对角矩阵Σ_i如以下等式(2)所示。

[数学公式1]

E＝U∑V^T…(1)

[数学公式2]

在此处，σ_i2<σ_i1。

(d)光学系统变化检测单元111通过比较每次非零奇异值的比率来检测焦距的变化。

即，在基于以相同焦距捕捉的图像执行计算的情况下，第一行中的奇异值等于第二行中的奇异值。从这个性质来看，在σ_i2/σ_i1小于1的情况下，意味着焦距发生了变化。因此，如下式(3)所示，通过比较帧i中对角矩阵Σ的奇异值与阈值th的比值，可以检测光学系统的变化。

[数学公式3]

如上所述，光学系统变化检测单元111将通过检测光学系统的变化而获得的检测结果输出到参数估计单元112。输出到参数估计单元112的检测结果还包括关于成像单元101的光学系统的信息。注意，检测光学系统中的变化的方法不限于上述方法，并且可以采用其他方法。

参数估计单元112

图2中的参数估计单元112估计基于手术野图像的用作三维信息的生成条件的参数。该参数是根据光学系统确定的参数，并且是例如指示焦距、图像中心、放大率和透镜失真系数的信息。配置参数的信息仅需要包括根据光学系统确定的至少一个参数，并且仅需要包括例如焦距、图像中心、放大率或失真系数中的至少一个。注意，根据光学系统确定的参数包括根据成像单元101中的光学系统的设置确定的参数。例如，即使对于相同的内窥镜，也可以通过移除内窥镜来稍微改变图像中心。

可以从成像单元101电子获得光学系统的信息的情况

在这种情况下，参数估计单元112参考表示光学系统的信息和参数之间的关系的表，并且获得与从成像单元101获得的光学系统的信息相对应的参数。预先生成并表示光学系统的信息和参数之间的关系的表被提供给参数估计单元112。

不能从成像单元101电子获得光学系统的信息的情况

在这种情况下，参数估计单元112估计基于从成像单元101获得的图像信号的参数矩阵，作为参数。

例如，使用了一种估计方法，该方法应用能够在不使用校准模式的情况下估计参数矩阵的自校准。在例如“O.D.Faugeras的“相机自校准：理论和实验”，欧洲计算机视觉会议，1992年，第321-334页”中，描述自校准。参数估计单元112计算用作估计的参数矩阵的可靠性指标的信息。

参数估计单元112通过使用参数的估计结果来确定是否新设置三维信息的生成条件，即，是否使用估计的参数更新用作三维信息的生成条件的参数。在确定要更新用作三维信息的生成条件的参数的情况下，更新用作三维信息的生成条件的参数。

作为确定是否更新参数的方法，具有参数估计单元112自己执行确定的自动确定方法以及用户促使执行确定的手动确定方法。

在使用自动确定方法的情况下，参数估计单元112根据使用在估计之后获得的参数矩阵的可靠性指标的阈值确定来确定是否更新参数。例如，在估计之后获得的参数矩阵的可靠性指标高于预设阈值的情况下，确定更新参数，并且在可靠性指标低于阈值的情况下，确定未更新参数。

在使用手动确定方法的情况下，参数估计单元112在显示单元103上呈现估计结果，并且根据已经看到估计结果的用户的选择来确定是否更新参数。

三维信息生成单元113

三维信息生成单元113基于由从成像单元101提供的图像信号表示的手术野图像的每一帧，通过使用用作三维信息的生成条件的参数来生成三维信息。三维信息是基于手术野图像通过使用上述参数生成的信息。三维信息包括表示手术野图像中出现的对象(在器官或体腔中)的三维结构的三维图，以及表示成像单元101的自身位置和方向的位置和方向信息。

作为三维信息生成的算法，使用仅输入手术野图像的Visual SLAM、通过ToF传感器、激光雷达等测量深度信息并输入手术野图像和深度信息的RGB-D-SLAM等。

在光学系统变化检测单元111检测到光学系统的变化的情况下，三维信息生成单元113停止生成三维信息，直到参数估计单元112估计新参数。在估计新参数的情况下，三维信息生成单元113通过使用新参数来恢复三维信息的生成。

此外，在光学系统变化检测单元111检测到光学系统的变化的情况下，三维信息生成单元113通过区分光学系统变化之前的三维信息和光学系统变化之后的三维信息来存储三维信息，而不停止三维信息的生成。当在估计新参数之后成像与光学系统变化之前成像的地点相同的地点时，三维信息生成单元113通过用通过使用新参数生成的三维信息(光学系统变化之后的三维信息)替换该地点的三维信息(光学系统变化之前的三维信息)来更新三维信息。

三维信息生成单元113将以这种方式生成的三维信息输出到显示信息生成单元114。

显示信息生成单元114

显示信息生成单元114基于从成像单元101提供的图像信号使显示单元103显示手术野图像。

此外，显示信息生成单元114基于从三维信息生成单元113提供的三维信息使显示单元103显示三维地图。可以通过在更新参数之前和之后改变颜色等的显示方法来显示三维地图。

此外，显示信息生成单元114显示在光学系统变化检测单元111中光学系统的变化的检测结果。此时，可以显示指示已经替换成像单元101中的镜的信息，或者可以显示替换后的信息，例如，镜的类型。

此外，显示信息生成单元114可以使显示单元103显示新参数集，作为三维信息的生成条件。

<手术辅助系统的操作示例>

图4是示出手术辅助系统100中的三维信息生成处理的流程图。

在步骤S111中，三维信息生成单元113通过使用基于由从成像单元101获得的图像信号表示的手术野图像的参数来生成三维信息。

在步骤S112中，三维信息生成单元113通过使用新生成的三维信息来更新迄今为止生成的三维信息。

在步骤S113中，显示信息生成单元114基于从三维信息生成单元113提供的三维信息使显示单元103显示三维地图。

在步骤S114中，光学系统变化检测单元111确定是否检测到光学系统的变化。

在步骤S114中确定检测到光学系统的变化的情况下，参数估计单元112在步骤S115中估计参数。三维信息的生成停止，直到更新参数。

在步骤S116中，参数估计单元112通过使用估计的参数来确定是否更新用作三维信息的生成条件的参数。此处的确定基于如上所述的参数估计结果的可靠性指标来执行。

在步骤S116中确定参数没有更新的情况下，处理返回到步骤S115，并且重复参数估计。

另一方面，在步骤S116中确定更新参数的情况下，在步骤S117中，参数估计单元112根据新参数更新用作三维信息的生成条件的参数。由参数估计单元112更新的参数被提供给三维信息生成单元113。

在三维信息生成单元113中，例如，在检测到光学系统的变化之前，通过使用新参数调整三维地图的比例，来继续三维信息的生成，以便与三维地图兼容。

在步骤S118中，三维信息生成单元113确定是否结束三维信息生成处理。在步骤S118中确定三维信息生成处理没有结束的情况下，或者在步骤S114中确定没有检测到光学系统的变化的情况下，处理返回到步骤S111，并且重复步骤S111和后续步骤中的处理。

另一方面，在步骤S118中确定三维信息生成处理结束的情况下，手术辅助系统100的处理结束。

在上述处理中，在成像单元101的光学系统中发生变化的情况下，更新用作三维信息的生成条件的参数，并且通过使用更新的参数继续三维信息的生成。

为了在Visual-SLAM中生成准确的三维信息，需要将包括焦距、图像中心和失真系数的参数设置为适当的值。在一般的Visual-SLAM中，通过相机校准获得参数，在手术过程中(在手术期间)，将预先获得的参数作为固定值，生成三维信息。

另一方面，在手术期间，可以进行光学系统的调整，例如，变焦或更换镜本身，因此，改变了参数。在光学系统变化之前和之后，所生成的三维信息的比例等发生变化，或者出现误差。为了使用改变后的三维信息，只需要重新调整参数，但是由于需要拆下内窥镜来手动进行相机校准，所以在手术过程中进行相机校准是不现实的。

如上所述，通过使用更新的参数继续生成三维信息，即使在手术期间成像单元101的光学系统发生变化的情况下，也可以保持三维信息的准确性，而无需再次校准参数等。

<手术辅助系统的另一配置示例(机械臂握持内窥镜的示例)>

图5是示出手术辅助系统的另一配置示例的示图。

在图5所示的配置中，对应于图1中的配置的部分由相同的附图标记表示。将适当省略重叠的描述。图5中示出的手术辅助系统200的配置与图1中示出的配置的不同之处在于，提供了包括机械臂211和推车213的机械臂装置212，用于内窥镜手术的各种装置安装在推车213上。

机械臂装置212用机械臂211保持内窥镜11。由机械臂装置212获取的内窥镜11的位置和方向信息被提供给CCU 13(图2中的信息处理单元102)。

在内窥镜11由机械臂211保持的情况下，从机械臂装置212提供的内窥镜11的位置和方向信息用于检测光学系统的变化和估计参数。

<手术辅助系统的功能配置示例>

图5中的手术辅助系统200的功能配置与参考图2描述的配置相同。再次参照图2，将针对手术辅助系统200描述检测光学系统中的变化的方法、使用成像单元101(内窥镜11)的位置和方向信息的方法以及估计参数的方法。

从机械臂装置212提供的成像单元101的位置和方向信息被输入到光学系统变化检测单元111和三维信息生成单元113。

光学系统变化检测单元111

光学系统变化检测单元111基于从机械臂装置212提供的成像单元101的自身位置的轨迹来检测光学系统的变化。

根据SLAM，当光学系统以类似于三维地图的方式改变时，由三维信息生成单元113估计的成像单元101的自身位置导致误差。光学系统变化检测单元111将从机械臂装置212获得的成像单元101的自身位置的实际轨迹与由三维信息生成单元113估计的自身位置的轨迹进行比较，并且在轨迹的误差较大的情况下检测出光学系统发生变化。

此外，一般而言，在视角改变的情况下，难以区分放大和缩小与成像单元101在光轴方向上的移动。然而，在成像单元101由机械臂211保持的情况下，可以检测成像单元101的移动的存在与否。因此，可以通过使用视角来检测光学系统的变化。即，即使在手术野图像的视角发生变化的情况下，当成像单元101没有移动时，也检测到光学系统有变化。

注意，即使在成像单元101由内窥镜保持的情况下，当成像单元101的移动的存在与否可以由传感器等检测时，可以以类似于机械臂211的情况的方式，通过使用视角的变化和成像单元101的移动的存在或不存在，来检测光学系统的变化。

作为检测光学系统中的变化的方法，例如，存在通过记录帧之间的特征点并跟踪靠近手术野图像的外周侧的特征点的变化来检测变化的方法。

参数估计单元112

参数估计单元112通过使用从机械臂装置212获得的成像单元101的位置和方向信息来估计参数。在例如“Radu Horaud的“The Advantage of Mounting a Camera onto aRobot Arm”，中欧计算机视觉几何建模和不变量研讨会，1995，第206-213页中”，公开基于从机械臂获得的信息的参数估计。

图5中的手术辅助系统200的操作基本上与参考图4描述的操作相同。

如上所述，根据第一实施方式，即使在手术期间光学系统改变的情况下，也可以保持改变后的三维信息的准确性，并且可以连续使用改变前生成的三维信息和改变后生成的三维信息。

《2.第二实施方式(用于训练)》

<手术辅助系统的配置示例>

图6是示出配置根据本技术第二实施方式的手术辅助系统的信息处理装置300的硬件配置的示例的框图。

包括图6的信息处理装置300的手术辅助系统例如是在手术等期间显示图像的系统，该图像在手术后记录在图1的手术辅助系统中，该手术辅助系统用于训练操作者或学生。包括信息处理装置300的手术辅助系统也可以被称为内窥镜手术训练系统。

如图6所示，信息处理装置300包括例如计算机等。

CPU 301、ROM 302和RAM 303通过总线304相互连接。

输入和输出接口305也连接到总线304。包括键盘、鼠标等的输入单元306和包括显示器、扬声器等的输出单元307连接到输入和输出接口305。

此外，包括硬盘、非易失性存储器等的存储单元308、包括网络接口等的通信单元309以及驱动可移动介质311的驱动器310连接到输入和输出接口305。

第二实施方式与第一实施方式的不同之处在于，在手术辅助系统用于训练的情况下，不需要立即估计参数。可以在整个手术野图像被读取一次之后执行处理。

在第二实施方式中，针对整个记录图像优化的三维地图(集成三维地图)生成一次，然后操作包括相机方位估计的SLAM，来显示三维地图。

<手术辅助系统的功能配置示例>

(整体配置)

图7是示出手术辅助系统的功能配置示例的框图。

图7中的手术辅助系统350包括图像存储单元351、信息处理单元352和显示单元353。

图像存储单元351对应于图6中的存储单元308。图像存储单元351存储手术期间由内窥镜11(图1)捕捉的手术野图像。

信息处理单元352由图6的CPU 301实现。信息处理单元352对存储在图像存储单元351中的手术野图像执行信号处理，并将通过执行信号处理获得的手术野图像提供给显示单元353。

显示单元353对应于配置图6的输出单元307的显示器。显示单元353基于从信息处理单元352提供的图像信号显示手术野图像。

(信息处理单元352的详细配置)

信息处理单元352包括光学系统变化检测单元361、三维地图生成单元362、三维地图存储单元363、三维信息生成单元364和显示信息生成单元365。信息处理单元352的至少一部分由执行图6的预定程序的CPU301实现。将适当省略与上述描述重叠的描述。

光学系统变化检测单元361

光学系统变化检测单元361参考存储在图像存储单元351中的整个手术野图像来检测光学系统的变化。以类似于图2的光学系统变化检测单元111的方式执行光学系统变化的检测。

光学系统变化检测单元361将具有相同参数的帧的片段，即，光学系统没有变化的帧的片段，设置为一部分。

光学系统变化检测单元361估计每个部分的参数。参以类似于图2中的参数估计单元112的方式来执行参数的估计。光学系统变化检测单元361将每个部分的参数输出到三维地图生成单元362。

三维地图生成单元362

三维图生成单元362通过使用从光学系统变化检测单元361提供的参数来生成每个部分的三维图。由三维地图生成单元362生成的三维地图是出现在构成该部分的多个帧的手术野图像中的对象的三维地图。

在三维地图的生成中，例如，除了Visual SLAM或RGB-D-SLAM之外，还可以使用能够从多个视点生成三维地图的多视点立体或SfM。例如，在“Multi-View Stereo:ATutorial.Foundations and.TrendsR in Computer Graphics and Vision，vol.9,no1-2，2013，app.1-148”和“Evaluation of multi-view 3D reconstruction software，CAIP2015:Computer Analysis of Images and Patterns，pp.450-461”中，描述多视图立体声。

三维地图生成单元362将每个部分的三维地图输出到三维地图存储单元363。

三维地图存储单元363

三维地图存储单元363存储由三维地图生成单元362生成的每个部分的三维地图。

三维信息生成单元364

三维信息生成单元364整合了存储在三维地图存储单元363中的每个部分的三维地图，并生成通过所有部分整合的三维地图。

由于在每个部分中生成的三维地图对于每个部分具有不同的参数，所以比例和位置是不同的，难以将三维地图原样整合起来并且使用整合的三维地图进行SLAM处理。因此，在三维信息生成单元364中，校正每个部分的比例和位置关系，并且在优化比例等的同时整合了三维地图。

具体地，三维信息生成单元364相对于用作各部分中的参考的三维地图来估计另一部分的三维地图的比例，使得对所有部分的三维地图的比例进行整合。

在每个部分中生成的三维地图的每个点保持一个矢量，该矢量被称为特征量并表示该点的特征。三维信息生成单元364可以通过在不同的三维地图中搜索保持相同特征量的点来识别三维地图中重叠的部分。在重叠部分中，三维信息生成单元364通过使用最小二乘法来识别残差最小化的比例和位置关系。

注意，保持特征量的点包括手术野图像的特征点、三维地图的特征点等。

手术野图像的特征点是例如SIFT、SURF、ORB、AKAZE等。

三维地图的特征点例如是SHOT、PFH、PPF等。

此外，在生成的三维地图的每个点不保持特征量并且不能在三维地图中执行对应点的识别(即，重叠部分的识别)的情况下，也可以在同时估计对应关系的同时使用能够执行两个点组的配准的ICP。

三维信息生成单元364根据SLAM生成三维信息，包括通过使用集成三维地图来估计相机的自身位置和方向。

三维信息生成单元364将生成的三维信息输出到显示信息生成单元365。

在以上描述中，已经描述了在三维地图生成单元362中生成每个部分的三维地图的情况的示例，但是可以在三维地图生成单元362中生成每个部分的三维信息(位置和方向信息以及三维地图)。每个部分的三维信息存储在三维地图存储单元363中。

此时，在三维信息生成单元364中，整合每个部分的多条三维信息，通过使用整合了的三维信息来执行包括相机的自身位置和方向的估计的SLAM处理，并且再次生成三维信息。

显示信息生成单元365

显示信息生成单元365以类似于图2的显示信息生成单元114的方式，基于从图像存储单元351读取的图像信号，使显示单元353显示手术野图像。

此外，显示信息生成单元365基于从三维信息生成单元364提供的三维信息使显示单元353显示整合了的三维地图。

<手术辅助系统的操作示例>

图8是示出手术辅助系统350中的三维信息生成处理的流程图。

在步骤S311中，光学系统变化检测单元361读取由从图像存储单元351获得的图像信号表示的手术野图像。

在步骤S312中，光学系统变化检测单元361参考整个手术野图像，并且基于光学系统中的变化的检测结果，将具有相同参数的帧的片段，即，没有光学系统变化的帧的片段，设置为一部分。

在步骤S313中，光学系统变化检测单元361估计每个部分的参数。

在步骤S314中，三维地图生成单元362生成每个部分的三维地图。

在步骤S315中，三维地图存储单元363存储由三维地图生成单元362生成的每个部分的三维地图。

在步骤S316中，三维信息生成单元364整合存储在三维地图存储单元363中的每个部分的三维地图，并生成整合了的三维地图。三维信息生成单元364根据SLAM生成三维信息，包括通过使用整合的三维地图来估计相机的自身位置和方向。

在步骤S317中，显示信息生成单元365基于从三维信息生成单元364提供的三维信息使显示单元353显示三维地图。

在步骤S317中在显示单元353上显示三维地图的情况下，手术辅助系统350的处理结束。

在上述处理中，为根据成像单元101的光学系统的变化设置的每个部分，更新用作三维信息的生成条件的参数，并且整合为每个部分生成的三维地图。

如上所述，根据第二实施方式，在手术辅助系统用于手术后训练等的情况下，即使在手术期间光学系统发生变化，也可以防止三维信息中出现误差。

《3.应用示例》

接下来，将参照图9描述将包括手臂的手术视频显微镜装置用作根据本技术实施方式的手术辅助系统的应用示例的情况的示例。

图9示出了使用手术视频显微镜装置作为用于观察患者身体内部的观察医学装置的显微手术系统的示例。

图9示出了作为操作者(用户)520的医生通过使用例如手术器械521(例如，手术刀、镊子或钳子)对手术台530上的手术对象(患者)540执行手术的状态。

注意，在以下描述中，手术是由作为用户520的医生对作为手术对象540的患者执行的各种医学治疗(例如，手术和检查)的通用术语。此外，在图9的示例中，手术的状态被示为手术的示例，但是使用手术视频显微镜装置510的手术不限于手术，并且可以是其他各种手术。

根据本技术实施方式的手术视频显微镜装置510设置在手术台530旁边。

手术视频显微镜装置510包括作为基座的基座单元511、从基座单元511延伸的臂单元512、以及连接到臂单元512的远端的作为远端单元的成像单元515。

臂单元512包括多个接头513a、513b和513c、由接头513a和513b连接的多个连杆514a和514b、以及设置在臂单元512远端的成像单元515。

在图9的示例中，为简单起见，臂单元512包括三个接头513a至513c以及两个连杆514a和514b。实际上，考虑到臂单元512和成像单元515的位置和方向的自由度，接头513a至513c和连杆514a和514b的数量和形状、接头513a至513c的驱动轴的方向等可以适当地设置，以实现期望的自由度。

接头513a至513c具有将连杆514a和514b彼此可旋转地连接的功能，并且通过驱动接头513a至513c的旋转来控制臂单元512的驱动。

成像单元515作为远端单元连接到臂单元512的远端。

成像单元515是通过包括获取被摄体的光学图像的光学系统来获取要捕捉的图像的单元，并且被构成为例如能够捕捉运动图像或静止图像的相机等。如图9所示，臂单元512和成像单元515的自身位置和方向由手术视频显微镜装置510控制，使得设置在臂单元512远端的成像单元515对手术目标540的手术部位的状态进行成像。

注意，连接到臂单元512的远端的作为远端单元的成像单元515的配置没有特别限制，并且例如，成像单元515可以构成为内窥镜或显微镜。此外，成像单元515可以被构造成可从臂单元512拆卸。

利用这种配置，例如，对应于使用应用的成像单元515可以适当地连接到作为远端单元的臂单元512的远端。注意，在此处，将重点描述成像单元515用作远端单元的情况，但是不用说，连接到臂单元512的远端的远端单元不必限于成像单元515。

此外，显示装置550(例如，监视器或显示器)安装在面向用户520的位置。由成像单元515获取的手术部位的图像由例如内置或外部附接到手术视频显微镜装置510的图像处理装置进行各种图像处理，然后作为电子图像在显示装置550的显示屏上显示。

利用这种配置，用户520可以在观察在显示装置550的显示屏上显示的手术部位的电子图像的同时执行各种治疗(例如，手术等)。

在此处，在图9的示例中，成像单元515包括例如参考图2描述的成像单元101。此外，对由成像单元515获取的手术部位的图像执行各种图像处理的图像处理装置对应于参考图2描述的信息处理单元102的示例。以类似的方式，显示装置550对应于参考图2描述的显示单元103的示例。

此外，在图9的示例中，臂单元512对应于参照图5描述的机械臂211的示例。以类似的方式，手术视频显微镜装置510包括参照图5描述的机械臂装置212。

《4.硬件配置》

接下来，将参照图10详细描述配置根据本技术实施方式的手术辅助系统的信息处理装置的硬件配置的示例。

图10是示出配置根据本技术实施方式的手术辅助系统的信息处理装置900的硬件配置的示例的框图。

如图10所示，信息处理装置900包括CPU 901、ROM 903和RAM 905。此外，信息处理装置900包括主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917和存储装置919。注意，信息处理装置900可以包括驱动器921、连接端口923和通信装置925。

CPU 901用作算术处理装置和控制装置，并且根据记录在ROM 903、RAM 905、存储装置919或可移动记录介质927中的各种程序来控制信息处理装置900中的整体操作或部分操作。

ROM 903存储由CPU 901使用的程序、操作参数等。RAM 905主要存储由CPU 901使用的程序、在程序执行中适当改变的参数等。这些通过包括内部总线(例如，CPU总线)的主机总线907相互连接。注意，参考图2描述的信息处理单元102的每个配置由例如CPU 901实现。

主机总线907经由桥接器909连接到外部总线911，例如，PCI(外围组件互连/接口)总线。输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925经由接口913连接到外部总线911。

例如，输入装置915是由用户操作的操作装置，例如，鼠标、键盘、触摸板、按钮、开关、杠杆和踏板。此外，输入装置915可以是例如使用红外线或其他无线电波的遥控装置(所谓的遥控器)。输入装置915可以是例如外部连接装置929，例如，移动电话、智能手机或平板终端，其对应于信息处理装置900的操作。

输入装置915包括例如输入控制电路，该输入控制电路基于用户使用上述操作装置输入的信息生成输入信号，并将输入信号输出到CPU 901。

通过操作输入装置915，用户可以向信息处理装置900输入各种数据，并指示信息处理装置900执行处理操作。

输出装置917包括能够在视觉上或听觉上向用户通知所获取的信息的装置。具体地，输出装置917的示例包括诸如CRT显示装置、液晶显示装置、等离子显示装置、电致发光显示装置和灯等显示装置、诸如扬声器和耳机等音频输出装置、打印机等。

输出装置917输出例如通过信息处理装置900执行的各种处理获得的结果。具体地，显示装置将通过信息处理装置900执行的各种处理获得的结果显示为文本或图像。另一方面，音频输出装置将包括再现的音频数据、声学数据等的音频信号转换成模拟信号，并输出该模拟信号。注意，参考图2描述的显示单元103由例如输出装置917实现。

存储装置919是构成为信息处理装置900的存储单元的示例的数据存储装置。存储装置919包括例如磁存储单元装置，例如，HDD(硬盘驱动器)、半导体存储装置、光存储装置、磁光存储装置等。存储装置919存储由CPU 901执行的程序、各种数据等。

驱动器921是记录介质读取器/写入器，并且内置或外部附接到信息处理装置900。驱动器921读取记录在安装的可移动记录介质927(例如，磁盘、光盘、磁光盘或半导体存储器)上的信息，并将该信息输出到RAM 905。此外，驱动器921还可以在诸如磁盘、光盘、磁光盘或半导体存储器等安装的可移动记录介质927上写入记录。

可移动记录介质927例如是DVD介质、HD-DVD介质、蓝光(注册商标)介质等。此外，可移动记录介质927可以是压缩闪存(注册商标)(CF:CompactFlask)、闪存、SD(安全数字)存储卡等。此外，可移动记录介质927可以是例如其上安装有非接触式IC芯片的IC(集成电路)卡、电子装置等。

连接端口923是用于将外部连接装置929直接连接到信息处理装置900的端口。连接端口923的示例包括USB(通用串行总线)端口、IEEE 1394端口、SCSI(小型计算机系统接口)端口等。连接端口923的其他示例包括RS-232C端口、光学音频终端、HDMI(高清多媒体接口)(注册商标)端口等。通过将外部连接装置929连接到连接端口923，信息处理装置900直接从外部连接装置929获取各种数据或者向外部连接装置929提供各种数据。

通信装置925例如是包括用于连接到通信网络(网络)931的通信装置等的通信接口。通信装置925例如是用于有线或无线LAN(局域网)、Bluetooth(注册商标)或WUSB(无线USB)的通信卡等。此外，通信装置925可以是用于光通信的路由器、用于ADSL(非对称数字用户线路)的路由器、用于各种类型通信的调制解调器等。

例如，通信装置925可以根据预定协议(例如，TCP/IP)向因特网和其他通信装置发送信号和从其接收信号。此外，连接到通信装置925的通信网络931可以包括以有线或无线方式连接的网络等。通信网络931可以是例如互联网、家庭LAN或通信网络，其中，执行红外线通信、无线电波通信或卫星通信。

上面描述的图5的信息处理装置300和图10的信息处理装置900的每个组成元件可以通过使用通用构件来构成，或者可以由专用于每个组成元件的功能的硬件构成。因此，在执行本技术的实施方式时，可以根据技术水平适当地改变要使用的硬件配置。

此外，可以产生用于实现构成根据本技术实施方式的手术辅助系统的信息处理装置300和信息处理装置900的每个功能的计算机程序，并将其安装在个人计算机等上。此外，还可以提供存储这种计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。此外，计算机程序可以经由例如网络分发，而不使用记录介质。

注意，由计算机执行的程序可以是按照本说明书中描述的顺序按时间序列执行处理的程序，或者可以是并行或在必要时间(例如，在调用时)执行处理的程序。

《5.其他》

如上所述，在本技术中，获取由医学观察装置获取的手术野数据，并且检测医学观察装置的光学系统的变化。然后，在检测到光学系统的变化的情况下，估计根据变化后的光学系统确定的参数，并且通过使用估计结果来设置基于手术野数据的三维信息的生成条件。因此，即使在光学系统发生变化的情况下，也可以保持三维信息的准确性。

即使在手术期间光学系统发生变化的情况下，也可以保持三维信息的准确性，而无需再次校准参数。

此外，在手术辅助系统用于手术后训练等的情况下，即使当手术野图像中出现光学系统的变化时，也可以防止三维信息中出现误差。

注意，在本说明书中，系统表示多个组成元件(装置、模块(部件)等)的集合，并且所有组成元件是否在同一外壳中并不重要。因此，容纳在分开的外壳中并经由网络连接的多个装置和多个模块容纳在一个外壳中的一个装置都是系统。

此外，在本说明书中描述的效果仅仅是示例，并且不限于此，还可以提供其他效果。

本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的主旨的情况下进行各种修改。

例如，本技术可以具有云计算配置，其中，共享一个功能，并且由多个装置经由网络协同执行处理。

此外，上述流程图中描述的每个步骤可以由一个装置执行，或者可以由多个装置共享和执行。

此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个装置执行，或者可以由多个装置共享和执行。

<配置的组合示例>

本技术也可以具有以下配置。

(1)一种医学观察系统，包括：

获取单元，被配置为获取由医学观察装置获取的手术野数据；

检测单元，被配置为检测医学观察装置的光学系统中的变化；

估计单元，被配置为在检测单元检测到光学系统中的变化的情况下，估计根据发生变化之后的光学系统确定的参数；以及

设置单元，被配置为通过使用所述估计单元的估计结果，设置基于手术野数据的三维信息的生成条件。

(2)根据(1)所述的医学观察系统，其中，

所述检测单元通过检测由手术野数据表示的手术野图像的变化来检测光学系统的变化。

(3)根据(1)所述的医学观察系统，其中，

所述检测单元通过检测由手术野数据表示的手术野图像的焦距变化来检测光学系统的变化。

(4)根据(1)所述的医学观察系统，其中，

所述检测单元通过使用由机械臂保持的医学观察装置的位置轨迹来检测光学系统的变化。

(5)根据(1)所述的医学观察系统，其中，

在由手术野数据表示的手术野图像的视角发生变化并且由机械臂保持的医学观察装置没有移动的情况下，所述检测单元检测到光学系统中存在变化。

(6)根据(1)至(5)中任一项所述的医学观察系统，其中，

所述检测单元基于所述光学系统的变化来划分作为包括多个手术野图像的帧的片段的每个部分的手术野数据，并且

所述估计单元估计每个部分的参数。

(7)根据(1)至(5)中任一项所述的医学观察系统，其中，

所述估计单元基于预先获得的表示光学系统的信息和参数之间的关系的表格，来估计与从医学观察装置获取的光学系统的信息相对应的参数。

(8)根据(1)至(5)中任一项所述的医学观察系统，其中，

所述估计单元基于手术野数据来估计参数。

(9)根据(8)所述的医学观察系统，其中，

所述估计单元从由手术野数据表示的手术野图像估计参数，并生成参数矩阵的可靠性指数。

(10)根据(1)至(9)中任一项所述的医学观察系统，进一步包括：

三维信息生成单元，被配置为通过使用由估计单元估计的参数来生成三维信息。

(11)根据(10)所述的医学观察系统，其中，

所述三维信息生成单元在检测单元检测到光学系统的变化的情况下停止生成三维信息，并且在由估计单元估计参数的情况下通过使用估计的参数来恢复生成三维信息。

(12)根据(1)至(11)中任一项所述的医学观察系统，进一步包括：

显示控制单元，被配置为控制由手术野数据表示的手术野图像或三维信息的显示。

(13)根据(12)所述的医学观察系统，其中，

所述显示控制单元显示由检测单元获得的光学系统的变化的检测结果。

(14)根据(13)所述的医学观察系统，其中，

所述显示控制单元显示表示替换医学观察装置的内窥镜的信息，作为检测结果。

(15)根据(13)所述的医学观察系统，其中，

所述显示控制单元显示与医学观察装置的内窥镜相关的信息，作为检测结果。

(16)根据(13)所述的医学观察系统，其中，

所述显示控制单元显示变化前的三维信息和变化后的三维信息。

(17)一种医学观察方法，包括使医学观察系统：

获取由医学观察装置获取的手术野数据；

检测医学观察装置的光学系统的变化；

在检测到光学系统中的变化的情况下，估计根据发生变化之后的光学系统确定的参数；以及

通过使用估计结果，设置基于手术野数据的三维信息的生成条件。

(18)一种医学观察装置，包括：

成像单元，被配置为对手术野成像并生成手术野数据；以及

输出单元，被配置为输出手术野数据，

所述医学观察装置用于医学观察系统中，医学观察系统检测成像单元的光学系统的变化，在检测到光学系统的变化的情况下，估计根据变化之后的光学系统确定的参数，并且通过使用估计结果来设置基于手术野数据的三维信息的生成条件。

符号说明

1 手术辅助系统

11 内窥镜

13 CCU

15 显示装置

100 手术辅助系统

101 相机

102 信息处理单元

103 显示单元

111 光学系统变化检测单元

112 参数估计单元

113 三维信息生成单元

114 显示信息生成单元

200 手术辅助系统

211 机械臂

212 机械臂装置

300 手术辅助系统

301 CPU

307 输出单元

308 存储单元

350 手术辅助系统

351 图像存储单元

352 信息处理单元

353 显示单元

361 光学系统变化检测单元

362 三维地图生成单元

363 三维地图存储单元

364 三维信息生成单元

365 显示信息生成单元。