***辅助装置、***辅助方法和包括***辅助装置的内窥镜装置
阅读说明：本技术 ***辅助装置、***辅助方法和包括***辅助装置的内窥镜装置 (Insertion assisting device, insertion assisting method, and endoscope device including insertion assisting device ) 是由 西村博一 于 2017-06-21 设计创作，主要内容包括：本发明的一个实施方式提供按照内窥镜的插入状况提示可靠的辅助信息的插入辅助装置(100)。插入辅助装置具有：图像输入部(112),按时间序列生成的多个内窥镜图像被输入至图像输入部(112)中；状况判断部(113),其基于多个内窥镜图像判断内窥镜插入的状况；和辅助信息提示部(114),其用于基于状况判断部的判断结果,从与内窥镜插入手法相关联地准备的多个辅助信息中提示至少1个辅助信息。本发明还能够提供一种插入辅助方法和包括插入辅助装置的内窥镜装置(1)。(An embodiment of the present invention provides an insertion assisting device (100) that presents reliable assisting information in accordance with the insertion state of an endoscope. The insertion assisting device includes: an image input unit (112) to which a plurality of endoscope images generated in time series are input; a situation determination unit (113) that determines the situation of endoscope insertion based on a plurality of endoscope images; and an auxiliary information presentation unit (114) for presenting at least 1 piece of auxiliary information from a plurality of pieces of auxiliary information prepared in association with the endoscope insertion technique, based on the determination result of the situation determination unit. The present invention can also provide an insertion assisting method and an endoscope apparatus (1) including the insertion assisting apparatus.)
技术领域
本发明涉及对内窥镜的***进行辅助的***辅助装置、***辅助方法和包括***辅助装置的内窥镜装置。
背景技术
关于大肠内窥镜的***，以往提出了用于进行***辅助的系统和方法。例如，日本国专利第4885388号和日本国专利第5687583号公开了通过内窥镜图像的分析来检测肠腔方向作为内窥镜***方向的内窥镜***方向检测方法和内窥镜***方向检测装置。尤其是，日本国专利第5687583号公开的内窥镜***方向检测装置具有显示检测出的内窥镜***方向的显示部。
例如，日本国专利第4855902号公开了一种具有显示控制部的系统，该显示控制部基于根据***状态的最新分析数据和过去的分析数据计算出的显示期间控制值，判断是否使显示部显示用于对***操作进行辅助的***辅助信息。
例如，日本国专利第4855912号公开了一种内窥镜***形状分析系统，其能够检测大肠的过度伸展等而顺畅地进行***部的***操作。
发明内容
上述系统和方法，虽然对于大肠内窥镜***操作中产生的各种困难情形提供了用于应对各个问题的辅助信息，但是没有考虑整个内窥镜检查中何时会发生什么问题、施术者需要什么辅助信息。
对大肠内窥镜***操作进行辅助的辅助系统，例如优选如同熟练医师在观察非熟练医师的状况时给出适当的建议那样，在适当的时机发现问题的种类，提供适当的辅助信息。因此，辅助系统需要识别出非熟练医师处于怎样的状况，如果该状况有问题，则选择并提供适当的辅助信息。
于是，本发明的目的在于提供一种按照内窥镜的***状况提示可靠的辅助信息的***辅助装置、***辅助方法和包括***辅助装置的内窥镜装置。
根据本发明的一个实施方式，能够提供一种***辅助装置，其包括：图像输入部，按时间序列生成的多个内窥镜图像被输入至所述图像输入部中；状况判断部，其基于所输入的所述多个内窥镜图像判断内窥镜***的状况；和辅助信息提示部，其用于基于所述状况判断部的判断结果，从与内窥镜***手法相关联地准备的多个辅助信息中提示至少1个辅助信息。
根据本发明的另一个实施方式，能够提供一种***辅助方法，其包括：向***辅助装置的图像输入部输入按时间序列生成的多个内窥镜图像；所述***辅助装置的状况判断部基于所输入的所述多个内窥镜图像判断内窥镜***的状况；和所述***辅助装置的辅助信息提示部基于所述状况的判断，从与内窥镜***手法相关联地准备的多个辅助信息中提示至少1个辅助信息。
根据本发明的又一个实施方式，能够提供一种内窥镜装置，其包括：所述***辅助装置；和具有***部的内窥镜，所述***部具有可主动地弯曲的弯曲部和连结在所述弯曲部的根端侧的、可被动地弯曲的挠性管部。
依照本发明，能够提供按照内窥镜的***状况提示可靠的辅助信息的***辅助装置、***辅助方法和包括***辅助装置的内窥镜装置。
附图说明
图1是表示本发明的一个实施方式的内窥镜装置的一例的框图。
图2是表示本发明的一个实施方式的内窥镜和***形状观测装置的一例的图。
图3是表示***部的袢曲形成图案的一例的图。
图4是表示***辅助流程的一例的图。
图5是表示***状况、难以***的判断和辅助信息的一例的图。
图6是表示使用non-loop法(无袢曲法)的***方式的一例的图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。下面，以包括大肠内窥镜的内窥镜装置为例进行说明。
图1是表示本发明的一个实施方式的内窥镜装置1的一例的框图。内窥镜装置1包括：内窥镜10(这里为大肠内窥镜)、***形状观测装置20、光源装置30、内窥镜控制装置40、输入装置50、显示装置60和***辅助控制装置100。
图2是表示内窥镜10和***形状观测装置20的一例的图。内窥镜10具有：可***至被***体(这里是大肠)内的管状***部11；和设置在***部11的根端侧的操作部15。***部11具有：前端硬质部12；连结在前端硬质部12的根端侧的弯曲部13；和连结在弯曲部13的根端侧的挠性管部14。前端硬质部12包括未图示的照明透镜、物镜和图1所示的摄像元件19等。弯曲部13是因操作部15的操作而弯曲的部分，能够主动地改变其弯曲形状。挠性管部14是具有挠性的细长的管状部分，能够被动地弯曲。在操作部15设置有用于进行弯曲部13的弯曲操作的角度操作旋钮16、和用于进行包括送气、送水和抽吸操作在内的各种操作的1个以上的按钮17。施术者通过操作角度操作旋钮16，能够使弯曲部13向任意的方向弯曲。在操作部15还设置了1个以上的开关18，通过内窥镜控制装置40的设定，对开关18分配了内窥镜图像的静止、记录、焦点切换等功能。
内窥镜10与光源装置30连接。光源装置30包括激光源、LED光源、氙灯、卤素灯等光源。光源装置30具有对内窥镜10的照明透镜供给照明光的功能。光源装置30也可以具有经内窥镜10对体腔内送气/送水的功能。光源装置30例如包括用于对内窥镜10供给空气的送气用泵。施术者通过操作内窥镜10的操作部15的按钮17，从内窥镜前端的喷嘴(未图示)送气，或者对与内窥镜10连接的送水箱加压而从内窥镜前端的喷嘴送水。
内窥镜装置1包括***形状观测装置20。在图1和图2中，作为一例，图示了磁传感器型的***形状观测装置20。***形状观测装置20例如在观测装置主体24中包括控制部21、接收部22和发送部23。设置在内窥镜10的***部11的多个源线圈25和与观测装置主体24分体地设置的天线26也属于***形状观测装置20的一部分。
如图2所示，在***部11设置了多个源线圈25。源线圈25是用于产生磁场的元件。各源线圈25为了检测***部11沿其长度方向(轴向)的弯曲形状，在长度方向上隔开间隔地配置在弯曲部13和挠性管部14。图2中示出了源线圈25被预先安装在***部11中的结构，但也可以构成为，内置有源线圈的探头插通在该***部11内的沿其长度方向延伸的通道中。可以在挠性管部14整体或仅其一部分配置源线圈25。
天线26用于检测源线圈25产生的磁场。天线26与观测装置主体24及内窥镜10是分体的，通过未图示的支座等配置在可被内窥镜10的***部11***其中的被***体的周围。
***形状观测装置20的控制部21是执行***形状观测装置20中的各种运算等以及进行显示装置60的显示控制的控制电路。接收部22是从天线26接收磁场检测信号的接收电路。发送部23是对源线圈25发送驱动信号的发送电路。尤其是，控制部21基于来自天线26的磁场检测信号进行基于位置推断算法的运算处理。
***形状观测装置20不限定于此。***形状观测装置20只要能够检测出***部11的弯曲状态即可，例如，可以由利用在光纤等导光部件中传输的光量(光强度)的变化或光学特性的变化的传感器(光纤传感器)、利用电磁波的传感器(电磁传感器)、利用超声波的传感器(超声波传感器)、利用应变的传感器(应变传感器)和利用了X射线吸收材料的传感器中的1种或者它们的组合构成。
在内窥镜10的挠性管部14设置了挠性管特性改变部70，可部分地改变挠性管部14的设置了挠性管特性改变部70的部位的弯曲刚性。挠性管特性改变部70例如可以是在被内窥镜控制装置40施加电压时硬度与所施加的电压相应地发生变化的刚性可变致动器。图2中示出了1个挠性管特性改变部70，但挠性管特性改变部70的数量不限定于此。即，也可以沿挠性管部14的长度方向设置多个挠性管特性改变部70。
内窥镜控制装置40包括控制部41、驱动部42和图像处理部43。***辅助控制装置100包括***状态输入部111、图像输入部112、状况判断部113和辅助信息提示部114。内窥镜控制装置40和***辅助控制装置100可以由CPU等处理器构成。即，内窥镜控制装置40和***辅助控制装置100的上述的各部分可以由CPU等处理器构成。在此情况下，例如，在未图示的内部存储器或外部存储器中预先准备用于使处理器作为各部分发挥作用的各种程序，处理器通过执行该程序而作为控制装置40、100的各部分发挥作用。或者，控制装置40、100的各部分也可以由包括ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)等的硬件电路构成。
在本实施方式中，***辅助控制装置100的上述各部分、即***状态输入部111、图像输入部112、状况判断部113和辅助信息提示部114，包括在与作为内窥镜视频图像处理器的内窥镜控制装置40分体地构成的***辅助控制装置100中。但是，并不限定于此。即，作为***辅助控制装置100的上述各部分发挥作用的处理器或硬件电路，只要能够作为各部分发挥作用即可，既可以设置在1个箱体中，也可以设置在多个箱体中。当然，也可以设置在内窥镜控制装置40中。
在内窥镜控制装置40中，控制部41是控制内窥镜10的各种动作的控制电路。驱动部42是发送用于驱动内窥镜10的摄像元件19的信号的驱动电路。摄像元件19可将光信号转换为电信号。图像处理部43是将由摄像元件19转换得到的电信号转换为视频信号的图像信号处理电路。控制部41还进行光源装置30的调光控制。
关于***部11的***状态，从***形状观测装置20对***辅助控制装置100的***状态输入部111输入***部11的弯曲形状信息(弯曲角度、弯曲量、曲率或曲率半径等)。从内窥镜控制装置40对图像输入部112输入内窥镜图像信息。状况判断部113基于来自***状态输入部111和图像输入部112的信息，判断***部11的***状况。辅助信息提示部114基于状况判断部113作出的判断，生成***辅助信息并将其显示在显示装置60上。
输入装置50是键盘等常用的输入用设备。用于使内窥镜装置1动作的各种指令等被输入至输入装置50中。输入装置50可以是设置在内窥镜控制装置40上的操作面板或者由显示画面显示的触摸面板。在***形状观测装置20的观测装置主体24和***辅助控制装置100也设置了操作面板或触摸面板等输入部，但是这里没有图示。
显示装置60是液晶显示器等常用的监视器。显示装置60在内窥镜控制装置40的控制部41进行的显示控制下，显示由图像处理部43进行了图像处理的内窥镜图像。显示装置60也可以在***形状观测装置20的控制部21进行的显示控制下，基于来自***形状观测装置20的弯曲形状信息，显示关于***部11的弯曲形状的三维图像、字符信息等。显示装置60还在***辅助控制装置100进行的显示控制下，显示由***辅助控制装置100的辅助信息提示部114生成的***辅助信息。显示内窥镜图像的显示装置、显示弯曲形状等的显示装置和显示***辅助信息的显示装置可以是同一个，也可以各不相同。即，也可以在与显示装置60不同的显示装置上显示***辅助信息。
接着，对内窥镜装置1通常进行的大肠内窥镜***动作进行说明。
内窥镜装置1的内窥镜10的***部11被施术者从******至直肠、结肠内。内窥镜10用前端硬质部12的摄像元件19将来自肠道内的被摄体的光转换为电信号。电信号被传输至内窥镜控制装置40。内窥镜控制装置40的图像处理部43获取该电信号，进行将获取的电信号转换为视频信号的处理。控制部41使显示装置60显示基于视频信号的内窥镜图像。
在进行***期间，***形状观测装置20的控制部21使发送部23对源线圈25分别供给不同频率的驱动信号。这样，各源线圈25在其周围产生微弱的交流磁场。即，从各源线圈25输出关于其位置的信息。天线26检测源线圈25产生的磁场，并对接收部22发送其检测信号。控制部21基于接收部22接收到的磁场检测信号计算各源线圈25的位置坐标，生成与计算出的位置坐标对应的***部11的例如三维图像并将其显示在显示装置60上。
大肠内窥镜***手法难度高，学会该手法需要耗费时间。例如，人们认为施术者需要经历1000个病例才能使***部前端到达盲肠的盲肠到达率超过90％。在手法的培训期间非熟练医师进行检查时，一般需要熟练医师(或指导医师)在场个别地进行指导。非熟练医师进行的内窥镜检查需要耗费时间，有时还会对患者造成痛苦。并且，需要占用熟练医师的时间。进而，有很多医院并不一定有能够指导内窥镜检查的熟练医师在编。
在***大肠内窥镜时，会发生各种难以进行***的情形。例如，施术者在迷失了应当***的肠腔方向时需要再次找到肠腔方向，但这对于非熟练医师而言并不容易。此外，还存在这样的情况，即，因***至体腔内的***部11产生挠曲或形成各种袢曲，施术者即使从操作手一侧向里推***部11，***部前端也不前进，或者因为从***部11对肠壁施力使其伸展而使患者感到疼痛。例如，因为乙状结肠是没有固定在腹部内的可动肠道，所以尤其是从***部11对作为乙状结肠的弯曲部的乙状结肠顶部(所谓的S-top)施力而使其过度伸展时，可能使患者感到疼痛。
在这样的状况下，消除***部11的挠曲以及解除袢曲形状(例如称为“内窥镜的直线化”)是有效的。但是，身为非熟练医师的施术者难以准确地判断状况而在适当的时机进行适当的操作。
例如，关于大肠内窥镜***手法，已知***部11将肠道套叠并呈同心圆状地使该肠道缩短、直线化而将***部11***的方法。该方法被称为右转缩短法(Right turnshortening)。另外，轴保持缩短法、钩住皱褶法(Hooking the fold)也是同样的方法。在该手法中，***部11从直肠呈直线地前进至S-top，在越过S-top折返时成为棒形状。将成为棒形状时的***部11的直线部分称为转动轴。在右转缩短法中，将向操作手侧抽回***部11的操作与使转动轴顺时针扭转的操作组合而使S-top缩短，使乙状结肠套叠并直线化。
如图3所示，***时的肠道200(例如乙状结肠)的袢曲形成图案有α袢曲、N袢曲和γ袢曲等。为了利用上述的右转缩短法(Right turn shortening)将***部11***至乙状结肠中，令右转动轴的N袢曲为起始的袢曲形成图案。从此状态起，***部左转(逆时针转动)时形成α袢曲，右转(顺时针转动)时形成γ袢曲(反α袢曲)。即使形成了α袢曲和γ袢曲，也能够利用右转缩短法解除袢曲的形成，一边使乙状结肠套叠一边推进***。有时也会使N袢曲翻转而形成反面N袢曲。从此状态起，***部左转(逆时针转动)时形成反面γ袢曲，右转(顺时针转动)时形成反面α袢曲。在形成了反面袢曲的情况下，通过将向操作手一侧抽回***部11的操作与使转动轴逆时针扭转的操作组合而解除袢曲的形成。因此，在形成了反面袢曲的情况下，进行左转&右转缩短(Left turn&Right turn shortening)，即通过逆时针转动解除袢曲的形成后，通过顺时针转动一边使乙状结肠套叠一边推进***。
这样，大肠内窥镜***手法按照袢曲形成图案而不同。不仅在乙状结肠可能产生袢曲，而且在横结肠等不同部位也可能产生袢曲。因此，大肠内窥镜***手法有多种。在这样的背景下，希望缩短非熟练医师学习大肠内窥镜***手法所需的时间，使其学习高效率化，并实现更安全的内窥镜检查。关于这一点，本实施方式利用***辅助控制装置100提供***辅助。
下面，对本实施方式的内窥镜***辅助的一例进行说明。图4是表示本实施方式的***辅助流程的一例的图。
在步骤S101中，***辅助控制装置100判断是否结束***辅助，即，是否输入了***辅助结束指示。关于***辅助的结束，例如基于***部前端到达盲肠时作出的结束指示(来自外部的输入)进行判断。施术者基于通过内窥镜10获取的内窥镜图像、通过***形状观测装置20获取的***部11的弯曲形状、或者施术者的手的感觉等，在想要结束***辅助的情况下从***辅助控制装置100的未图示的输入部等输入结束指示即可。在判断为结束***辅助的情况(Yes；是)下，结束处理。在判断为不结束***辅助的情况(No；否)下，使处理前进至步骤S102。
在步骤S102中，进行关于***部11的***状况的状况判断。从内窥镜控制装置40对***辅助控制装置100的图像输入部112输入按时间序列生成的多个内窥镜图像。例如，内窥镜10以30fps拍摄内窥镜图像，该内窥镜图像从内窥镜控制装置40被输入至图像输入部112。当然，输入的内窥镜图像不限定于此，也可以通过采样使1秒期间的图像少于30帧。输入的图像在图像输入部112或状况判断部113内的内部存储器(或外部存储器)、或设置在***辅助控制装置100的未图示的内部存储器(或外部存储器)中保存规定数量、例如300帧以上。状况判断部113基于被输入并保存在图像输入部112中的内窥镜图像，执行内窥镜***状况的判断。例如，状况判断部113使用从当前时刻起之前10秒的量的图像、即300帧图像进行状况判断。
也可以从***形状观测装置20对***辅助控制装置100的***状态输入部111输入关于内窥镜10的***状态的信息。状况判断部113也可以构成为，不仅基于被输入并保存在图像输入部112中的内窥镜图像、还基于被输入至***状态输入部111中的关于***状态的信息，执行内窥镜***状况的判断。
例如，在进行大肠内窥镜检查的(除观察、处置/治疗等其他行为以外的)***操作时，可能产生图5的左侧栏中记载的状况。状况判断部113基于内窥镜图像、或者基于内窥镜图像和关于***状态的信息，判断产生了哪种状况。例如，状况判断部113基于上述300帧内窥镜图像，执行内窥镜***状况的判断。
1.没有大问题，正在***
状况判断部113在检测出被输入至图像输入部112中的多个内窥镜图像(拍摄场景)在规定时间内连续地变化时，判断***部11没有大问题地正在***(判断结果1)。这是***部11在肠道内正顺畅地前进的状况。或者，状况判断部113也可以构成为，在上述方式的基础上，在根据关于内窥镜10的***状态的信息检测出***部11的***形状、***长度在规定时间内连续地变化时，判断为判断结果1。
2.看得见肠腔等的走向但是视野不变
状况判断部113在检测出输入至图像输入部112的多个内窥镜图像中看得见肠腔等的走向、但是图像的变化微小(***部前端的朝向略微改变的程度)或者图像几乎没有变化时，判断为看得见肠腔等的走向但是视野不变(判断结果2)。或者，状况判断部113也可以构成为，在根据关于内窥镜10的***状态的信息检测出***部11的前端侧的变化(移动量)相比于***部11的操作手侧的操作(推入操作或者抽回操作)较小时，判断为判断结果2。在***部11的前端侧的变化相比于操作手侧的推入操作或抽回操作较小的情况下，认为***部11产生了挠曲或者形成了袢曲。状况判断部113也可以构成为，在根据关于内窥镜10的***状态的信息检测出挠曲部位自身或者袢曲自身时，判断为判断结果2。
3.过度靠近的状态持续存在
状况判断部113在检测出输入至图像输入部112的多个内窥镜图像保持黏膜过度靠近的状态或红色状态经过了规定时间(例如10秒)时，即，例如在检测出上述300帧图像是红色状态时，判断为过度靠近的状态持续存在(判断结果3)。其中，红色状态是指，***部前端与黏膜接触，因黏膜下层的血流而使整个图像带红色的状态。
4.在同一范围(场景)反复前进/后退
状况判断部113在检测出输入至图像输入部112的按时间序列形成的多个内窥镜图像中，在时刻t+α拍摄得到与时刻t大致相同的图像时，判断为在同一范围(场景)反复前进/后退(判断结果4)。这是***部11因抽回等而回到时刻t的位置和状况的状态。例如，在某一场景与过去N帧内拍摄得到的图像大致一致的情况下，状况判断部113判断为判断结果4。
5.因肠道瘪了，导致看不见肠腔等的走向，视野也不变
状况判断部113在根据输入至图像输入部112的多个内窥镜图像识别出肠道瘪了、并且检测出图像的变化微小(***部前端的朝向略微改变的程度)或者图像几乎没有变化时，判断为因肠道瘪了，导致看不见肠腔等的走向，视野也不变(判断结果5)。
6.其他(无法判断，被排除在***辅助对象之外等)
在不符合上述判断结果1～5中任一判断结果的情况下，状况判断部113判断为判断结果6。这适用于无法判断或被排除在***辅助对象之外等时。
如上所述，判断结果1～6中，判断结果1、2可以是基于输入至图像输入部112的内窥镜图像得到的判断结果、基于输入至***状态输入部111的关于***状态的信息得到的判断结果、或者基于它们的组合得到的判断结果，判断结果3～6是基于输入至图像输入部112的内窥镜图像得到的判断结果。通过将关于***状态的信息用于状况判断，能够进行更高精度的识别。
关于基于内窥镜图像进行的上述状况判断，状况判断部113进行状况判断时，例如能够使用基于各内窥镜图像之间的相关进行的变化量的检测、各图像的场景识别、或者它们的组合技术。状况判断部113通过识别同一场景的连续、反复、肠腔和褶等重要结构的有无等，进行状况判断。
状况判断部113例如可以利用使用了循环神经网络(RecurrentNeural Network)、3D-CNN等深度神经网络技术的学习结果。由此，能够通过学习来实施基于各内窥镜图像之间的相关进行的变化量的检测、各图像的场景识别等内容的识别。状况判断部113例如利用循环神经网络等对多帧图像进行状况识别(动作识别的应用)。状况判断部113也可以使用多帧(例如30帧×5秒＝150帧，或者也可以按数帧间隔采样)图像串、和基于将状况分类的学习的识别(判断结果1～5的分类)进行判断。这种技术例如可以是Noriki Nishida,Hideki Nakayama在Pacific-Rim Symposium on Image and Video Technology(PSIVT)，2015发表的“Multimodal gesture recognition using multi-stream recurrent neuralnetwork”或神谷龙司等在画像センシングシンポジウム，2016(Symposium on Sensingvia Image Information，2016)发表的“Convolutional-Recurrent Neural Networkによる自己運動識別(基于Convolutional-Recurrent Neural Network的自身运动识别)”中公开的技术。
如上所述，在步骤S102中，状况判断部113基于输入至图像输入部112的按时间序列生成的多个内窥镜图像，或者基于该多个内窥镜图像和输入至***状态输入部111的关于***状态的信息，判断内窥镜***的状况是上述判断结果1～6中的哪一个。
在接着的步骤S103中，状况判断部113基于步骤S102的状况判断结果(判断结果1～6)，判断是否面临难以***的状况，即，是否应当对施术者提示辅助信息。图5的中间栏记载了步骤S103中是否难以***的判断结果(是/否)。在为判断结果1的情况下，因为能够没有大问题地进行***，所以不是难以***的状况。在为判断结果6的情况下，也同样视为难以***的状况。因此，在为判断结果1、6的情况下，状况判断部113在步骤S103中判断为不是难以***的状况(否)，返回步骤S101。在为判断结果2～5中的任一个的情况下，状况判断部113判断即使保持当前状态继续***、内窥镜10的***部11也不能顺利地***，为难以***的状况(是)。然后前进至步骤S104。
在步骤S104中，辅助信息提示部114生成与步骤S102的状况判断结果对应的辅助信息。辅助信息提示部114例如具有对状况判断部113的判断结果关联了要提示的信息(例如字符信息、图像信息、或它们的组合)的数据库，选择与判断结果对应的提示信息。即，辅助信息提示部114基于状况判断部113的判断结果，从与内窥镜***手法相关联地准备的多个辅助信息中提示至少1个辅助信息。然后，在步骤S105中，辅助信息提示部114使生成的辅助信息显示在显示装置60上。
在本实施方式中，判断结果2～5是大肠内窥镜***操作中产生了某些问题、认为施术者在没有任何辅助的情况下难以继续进行***操作的状况。下面，对关于判断结果2～5各自的有代表性的问题及能够有效地解决这些问题的辅助信息进行说明。该辅助信息例如是对应于大肠内窥镜检查经验丰富的施术者面临难以***的状况时基于经验进行的操作的信息。图5的右侧栏记载了针对判断结果2～5的辅助信息的一例。
针对判断结果2的辅助信息
在看得见肠腔等的走向但视野不变的情况下，认为是即使施术者进行从操作手侧向里推***部11的操作、推力也不能传递至***部前端的状况。因此，辅助信息提示部114例如生成提醒进行刚性改变操作，通过挠性管特性改变部70提高挠性管部14的弯曲刚性的辅助信息。由于在提高挠性管部14的弯曲刚性时，挠性管部14变得难以挠曲，因此施术者从操作手侧向里推***部11的推力容易传递至***部前端。因此，***部前端容易前进。
或者，辅助信息提示部114生成提醒使内窥镜直线化的辅助信息。提醒使内窥镜直线化的辅助信息可以是施术者将***部11从操作手侧拉回的拉(PULL)操作、或者是参照图3说明了的的袢曲解除操作。根据这样的辅助信息，之前进行了从操作手侧向里推***部11的推(PUSH)操作的施术者将推操作切换为拉回操作或袢曲解除操作。这样，能够改善***状况。
因为考虑到存在即使看得见肠腔等的走向也不能顺利地使***部前端朝向肠腔方向的状况，所以辅助信息提示部114导出使弯曲部13弯曲一定角度的操作方向或者使***部11扭转的操作方向，将导出的操作方向作为辅助信息。根据这样的辅助信息，施术者在导出的操作方向上使弯曲部13弯曲一定角度或者使***部11从操作手侧扭转。通过采用这样的方式，能够改善***状况。
针对判断结果3的辅助信息
在***部前端过于靠近黏膜面的情况下，熟练医师基于经验，通过进行拉操作从操作手侧将***部11暂且拉回而使***部前端与粘膜面隔开距离，进而通过操作操作部15的角度操作旋钮16使弯曲部13弯曲一定角度或者从操作手侧顺时针地扭转***部11，寻找肠腔方向。另一方面，非熟练医师有时会担心插好的***部11脱出而不能进行适当的拉回操作。实际上即使稍微发生了脱出，也由于直到一度成功***了的部位为止的大肠的形状已经成为较好地适合于***部11的形状，因此大多容易重新***。因此，在为判断结果3的情况下，作为辅助信息，明确地提醒进行将***部11拉回的拉操作是有用的。辅助信息提示部114生成提醒进行拉操作的辅助信息。施术者通过基于这样的辅助信息进行拉操作，能够改善***状况。
如图6所示，作为大肠内窥镜***法的一种，例如已知不形成***部11的袢曲、不使肠道200挠曲地使***部11前进的Non-loop法。该方法通过将***部11从操作手侧顺时针地扭转而使***部11的弯曲部分11a向肠道传递转矩。然后，通过将***部11向操作手侧略微拔出而改变呈曲柄状地弯曲的肠道的走向，并且不与黏膜碰撞地消除弯曲部13的角度。然后，在肠道转动后，当以***部11不脱出的方式消除角度时，能够使肠道直线化。在为判断结果3的情况下，辅助信息提示部114例如可以提示利用上述的Non-loop法顺畅地进行***操作的辅助信息。
针对判断结果4的辅助信息
在同一范围(场景)反复前进/后退的情况下，与判断结果2同样地认为存在从操作手侧向里推***部11的推力不能充分传递至***部前端的情况。因此，提醒改变弯曲刚性或使内窥镜直线化是有用的。辅助信息提示部114例如生成提醒进行刚性改变操作、通过挠性管特性改变部70提高挠性管部14的弯曲刚性的辅助信息。这样，挠性管部14变得难以挠曲，施术者从操作手侧向里推***部11的推力能够传递至***部前端，***部前端变得容易前进。或者，辅助信息提示部114生成提醒使内窥镜直线化(拉回操作、袢曲解除操作等)的辅助信息。施术者通过基于这样的辅助信息进行操作，能够改善***状况。
例如，在如上所述那样利用右转缩短法进行***操作时，有时存在这样的情况，即，在进行用于使肠道缩短、直线化的操作时，不能顺利地进行该操作而在同一范围(场景)反复前进/后退。这也属于判断结果4。在此情况下，辅助信息提示部114例如生成提示尝试在将***部11更深地***后使肠道缩短、直线化的操作的辅助信息，或者生成提示放弃缩短、直线化的操作而切换为通过推(PUSH)操作进行***的辅助信息。施术者通过基于这样的辅助信息进行操作，能够改善***状况。
针对判断结果5的辅助信息
在肠腔瘪了的状况下，有时需要进行对内窥镜10送气(或送水)而使肠腔适度地张开的操作。另一方面，已知因过度的送气而使肠道膨胀时、之后的***会变得更加困难。因此，优选提醒通过送气使肠腔张开，并且在达到适当的送气量而能够识别肠腔的时刻停止送气。
这样，在为判断结果5的情况下，辅助信息提示部114例如生成提醒通过送气使肠腔张开、之后在达到适当的送气量而能够识别肠腔的时刻停止送气的辅助信息。施术者通过基于这样的辅助信息进行操作，能够改善肠腔瘪了的状况。并且，在肠腔张开、***部11通过后提醒排出剩余的空气也是有用的。辅助信息提示部114也可以生成提醒在通过后排出气体的辅助信息。这样，能够在肠腔瘪了的状况得到改善后形成容易***的状况。
根据判断结果5明显可知，针对各判断结果2～5由辅助信息提示部114生成或选择的辅助信息不限于1个。辅助信息提示部114可以生成或选择多个辅助信息。多个辅助信息可以同时提示在显示装置60上，也可以依次提示在显示装置60上。
在步骤S105之后，返回步骤S101，***辅助控制装置100判断是否结束***辅助。在判断为结束***辅助的情况(Yes：是)下，处理结束。在判断为不结束***辅助的情况(No：否)下，处理反复进行步骤S102～步骤S105。
如上所述，在本实施方式中，辅助信息提示部114基于状况判断部113的判断结果，从与大肠内窥镜***手法相关联地准备的多个辅助信息中提示至少1个辅助信息。大肠内窥镜***手法中，有沿着肠道的弯曲形状主要通过推操作使***部前端前进的手法(所谓的袢曲***法)、以及在保持***部的长度方向轴的同时使肠道缩短地进行***的手法(所谓的轴保持缩短法，上述的右转缩短法与该手法同属一类)等。在本实施方式中，辅助信息提示部114能够按照***状况的判断结果，从与这些手法相关联地准备的多个辅助信息中选择适当的辅助信息加以提示。
依照本实施方式，在施术者进行内窥镜***操作时面临难以***的状况时，能够及时地提示与难以***的内容相应的辅助信息。因此，即使在没有指导医师的状况下也能够对施术者提供按照指导医师的建议的辅助信息，从而能够获得更顺畅实施内窥镜检查以及帮助熟练进行内窥镜***的辅助效果。
尤其是，在进行大肠内窥镜***操作时，由于乙状结肠等可动肠道容易移动，并且具有S-top等弯曲部，因此经验少的施术者容易陷入难以***的状况。对此，在本实施方式中，由于将进行大肠内窥镜***操作时设想的各种困难状况及其应对方法相互关联，并且将它们作为辅助信息预先准备在辅助信息提示部114的数据库中，因此在发生了所设想的难以***的状况时能够提供及时的辅助和支援。施术者接受适当的辅助和支援后通过进行大肠内窥镜检查，能够减小因从***部11对肠道施加过大的力而造成的患者的痛苦、或者缩短检查时间。
状况判断部113除了可以基于输入至图像输入部112的按时间序列形成的多个内窥镜图像进行状况判断、以及基于该多个内窥镜图像和输入至***状态输入部111的关于***状态的信息进行状况判断之外，也可以使用下述的各种传感器检测出的检测信息进行状况判断，所述的各种传感器包括：检测***部11因推操作或拉操作而移动了的移动量的传感器、检测***部11顺时针转动或逆时针转动的转动量的传感器、检测弯曲部13因角度操作旋钮16的角度操作而弯曲了的弯曲量的传感器、和检测对***部11施加的力量的传感器等。通过采用上述的方式，能够进行更高精度的状况判断，能够提供可靠的辅助信息。
例如，在沿着***部11的长度方向配置了多个用于检测***部11从外部(例如肠道)受到的力量的传感器的情况下，状况判断部113在进行状况判断时除了使用内窥镜图像信息之外，还能够将各传感器检测出的力量用于状况判断。通过进行这样的判断，在为判断结果2(看得见肠腔等的走向但视野不变)的情况下，能够更准确地判断判断结果2是否是因形成了袢曲而引起的。
辅助信息提示部114提示的辅助信息不限于视觉上的信息，也可以是由未图示的扬声器等发出的声音等听觉上的辅助信息、或视觉上的辅助信息与听觉上的辅助信息的组合信息。
状况判断部113判断的状况不限于难以***的状态。状况判断部113例如也可以用上述传感器等检测并判断过快的推入操作或角度操作等。在此情况下，辅助信息提示部114提示的辅助信息是用于抑制这样的操作的信息。
上面以包括大肠内窥镜的内窥镜装置为例进行了说明，但本发明不限定于此。本发明的概念也能够应用于大肠内窥镜以外的下消化道内窥镜、或上消化道内窥镜中。本发明的概念还能够应用于具有医疗用内窥镜的内窥镜装置以外的内窥镜装置、或挠性管***装置。
本发明不限定于上述实施方式，在实施阶段能够在不脱离其主旨的范围内进行各种变形。各实施方式可以在可能的范围内适当地组合而实施，在此情况下能够获得组合效果。此外，上述实施方式包括各种阶段的发明，通过将如上所述的多个构成要件适当地组合而抽取出各种发明。