阅读说明：本技术 图像获取装置以及图像获取装置的工作方法 (Image acquisition device and method for operating image acquisition device ) 是由 坂本阳平 于 2019-08-26 设计创作，主要内容包括：提供一种图像获取装置以及图像获取装置的工作方法,能够缩短获取用于对被摄体的三维形状进行复原的图像的时间。在对图像获取装置设定了图像获取模式的情况下,控制部识别由操作部受理的方向。所述图像获取模式中的图像获取条件由第一信息和第二信息来规定。所述第一信息表示摄像视场被变更的速度或距离。所述第二信息表示获取在三维形状的复原中使用的图像的时机。所述控制部使视场变更部将所述摄像视场以所述速度沿着识别出的所述方向变更,或者将所述摄像视场沿着识别出的所述方向变更所述距离。所述控制部在所述时机从摄像部获取至少2张所述图像。(Provided are an image acquisition device and an operation method of the image acquisition device, which can shorten the time for acquiring an image for restoring the three-dimensional shape of a subject. When the image acquisition mode is set for the image acquisition apparatus, the control unit recognizes the direction received by the operation unit. The image acquisition condition in the image acquisition mode is specified by the first information and the second information. The first information indicates a speed or a distance at which the imaging field of view is changed. The second information indicates a timing of acquiring an image used for restoring the three-dimensional shape. The control unit causes a field-of-view changing unit to change the imaging field of view at the speed in the direction identified or change the imaging field of view at the distance in the direction identified. The control unit acquires at least 2 images from the imaging unit at the timing.)

图像获取装置以及图像获取装置的工作方法

技术领域

本发明涉及一种图像获取装置以及图像获取装置的工作方法。

背景技术

工业用的内窥镜装置被用于观察和检查锅炉、涡轮机、引擎以及管道等的内部的损伤和腐蚀等。在该内窥镜装置中，准备了用于观察和检查多样的观察物的多种光学适配器。光学适配器安装于内窥镜的前端部分，且能够更换。在使用这种内窥镜装置进行的检查中，期望的是，想要定量地测量被摄体的缺陷和损伤的大小。为了响应于该期望，存在搭载有三维测量功能的内窥镜装置。

下面，简单地示出在使用内窥镜装置进行的检查中用户进行测量的过程。首先，用户使用观察性能高的单眼的光学适配器来确认被摄体内部是否存在缺陷和损伤。当在检查过程中发现缺陷或损伤、且该缺陷或损伤被判断为是测量对象的情况下，用户将光学适配器从单眼光学适配器更换为测量用光学适配器。测量用光学适配器搭载有立体光学系统。用户将已***到被摄体的内部的内窥镜前端拉回，以更换光学适配器。在光学适配器从单眼光学适配器更换为测量用光学适配器之后，用户将内窥镜前端再次***到被摄体的内部。在内窥镜前端到达通过使用单眼光学适配器进行观察而发现的缺陷或损伤的场所之后，用户进行测量。

为了进行测量，需要这种过程。因此，从发现缺陷或损伤起到进行测量为止的检查时间长。也就是说，检查效率差。为了解决这一点，期望的是，想要对在通常的内窥镜检查中使用的单眼光学适配器搭载三维测量功能。作为使用单眼光学适配器来进行三维测量的技术，例如存在专利文献1中公开的技术。专利文献1中公开的技术提供了一种将Structurefrom Motion(下面简称为SfM)与测距单元组合在一起来进行测量的方法。下面，Structurefrom Motion被简称为SfM。装置能够使用SfM的结果来复原被摄体的三维形状。下面，为了进行SfM而获取的图像被记载为测量图像。

为了使用专利文献1中公开的技术获取测量图像，需要获取从多个照相机视点分别拍摄到的图像。作为变更照相机视点的具体方法之一，能够列举出以下方法：使用内窥镜前端的弯曲功能来变更照相机视点。例如，专利文献2和专利文献3中公开了以下方法：使用弯曲功能来变更照相机视点并获取图像。

现有技术文献

专利文献

专利文献1：日本特开平9-26547号公报

专利文献2：日本特开2006-187386号公报

专利文献3：日本特开2014-232222号公报

发明内容

发明要解决的问题

然而，在按照专利文献2和专利文献3所公开的弯曲控制方法来获取测量图像的情况下，存在获取测量图像的效率差的问题。下面说明其原因。

为了进行SfM，装置仅需获取被用户识别为测量对象的区域的图像。因此，不需要不是测量对象的区域的图像。在专利文献2和专利文献3中公开的弯曲控制方法中，获取大范围的图像以防止图像的获取遗漏。在将专利文献2和专利文献3中公开的弯曲控制方法应用到用于SfM的图像获取的情况下，会获取到被用户识别为测量对象的区域以外的区域的图像。因此，用于测量的图像获取所需的时间变长。

本发明的目的在于提供一种能够缩短获取用于对被摄体的三维形状进行复原的图像的时间的图像获取装置以及图像获取装置的工作方法。

用于解决问题的方案

本发明是一种图像获取装置，其具有：摄像部，其基于摄像视场内的被摄体的光学像来生成图像；视场变更部，其变更所述摄像视场；操作部，其从用户处受理所述摄像视场被变更的方向；以及控制部，其中，在对所述图像获取装置设定了用于获取在所述被摄体的三维形状的复原中使用的所述图像的图像获取模式的情况下，所述控制部识别由所述操作部受理的所述方向，所述控制部从存储介质读出用于规定所述图像获取模式中的图像获取条件的第一信息和第二信息，所述第一信息表示所述摄像视场被变更的速度或所述摄像视场被变更的距离，所述第二信息表示获取在所述三维形状的复原中使用的所述图像的时机，所述控制部使所述视场变更部将所述摄像视场以所述第一信息所示的所述速度沿着识别出的所述方向变更，或者将所述摄像视场沿着识别出的所述方向变更所述第一信息所示的所述距离，所述控制部在所述第二信息所示的所述时机从所述摄像部获取至少2张所述图像，所述控制部使用从所述摄像部获取到的所述图像来复原所述三维形状。

在本发明的图像获取装置中，从所述摄像部获取到的所述图像包括1张第一图像和至少1张第二图像，所述控制部检测在所述第一图像与所述第二图像之间重叠的区域，所述控制部通过对所述第一图像进行处理，能够视觉识别所述第一图像中的所述区域，所述控制部将处理后的所述第一图像显示于显示部。

在本发明的图像获取装置中，在所述第一图像显示于所述显示部之后，所述操作部从所述用户处受理执行所述三维形状的复原的执行指示，在所述操作部受理了所述执行指示的情况下，所述控制部复原所述三维形状。

在本发明的图像获取装置中，从所述摄像部获取到的所述图像包括1张第一图像和至少1张第二图像，所述控制部判断由所述用户在所述第一图像中指定的指定点是否包含于所述第二图像，在所述控制部判断为所述指定点包含于所述第二图像的情况下，所述控制部复原所述三维形状。

在本发明的图像获取装置中，在基于所述图像获取条件的所述图像的获取结束之后，所述控制部将第一数量与第二数量进行比较，所述第一数量表示从所述摄像部获取到的所述图像的张数，所述第二数量表示复原所述三维形状所需的所述图像的张数，且所述第二数量为至少2张。

在本发明的图像获取装置中，在所述第一数量大于所述第二数量的情况下，所述控制部选择从所述摄像部获取到的所述图像中的至少所述第二数量的所述图像，所述控制部使用所选择的所述图像来复原所述三维形状。

在本发明的图像获取装置中，所述控制部基于从所述摄像部获取到的所述图像各自的重叠的程度来选择至少所述第二数量的所述图像。

在本发明的图像获取装置中，所述控制部选择包括从所述摄像部获取到的所述图像中的最初获取到的所述图像以及从所述摄像部获取到的所述图像中的最后获取到的所述图像在内的所述第二数量的所述图像。

在本发明的图像获取装置中，在所述操作部从所述用户处受理了图像获取结束指示、且所述第一数量小于所述第二数量的情况下，所述操作部从所述用户处受理所述摄像视场被变更的第二方向，所述控制部识别由所述操作部受理的所述第二方向，所述控制部使所述视场变更部再次将所述摄像视场以所述第一信息所示的所述速度沿着识别出的所述第二方向变更，或者再次将所述摄像视场沿着识别出的所述第二方向变更所述第一信息所示的所述距离，在沿着所述第二方向变更了所述摄像视场之后，所述控制部在所述第二信息所示的所述时机从所述摄像部获取至少1张所述图像。

在本发明的图像获取装置中，在所述操作部从所述用户处受理了图像获取结束指示、且所述第一数量小于所述第二数量的情况下，所述控制部基于识别出的所述方向来决定所述摄像视场被变更的第二方向，所述控制部使所述视场变更部再次将所述摄像视场以所述第一信息所示的所述速度沿着所决定的所述第二方向变更，或者再次将所述摄像视场沿着所决定的所述第二方向变更所述第一信息所示的所述距离，在沿着所述第二方向变更了所述摄像视场之后，所述控制部在所述第二信息所示的所述时机从所述摄像部获取至少1张所述图像。

在本发明的图像获取装置中，在所述第一数量小于所述第二数量的情况下，所述控制部向所述用户通知所述第一数量未达到所述第二数量。

在本发明的图像获取装置中，所述操作部还从所述用户处受理所述摄像视场内的位置，所述控制部识别由所述操作部受理的所述位置，所述第一信息表示所述摄像视场被变更的所述速度，所述控制部使所述视场变更部将所述摄像视场以所述第一信息所示的所述速度沿着识别出的所述方向变更，直到所述摄像视场的中心与所述位置一致为止。

在本发明的图像获取装置中，所述控制部将从所述摄像部获取到的所述图像中的至少1张显示于显示部，所述控制部对第一数量进行计数，且将表示所述第一数量相对于第二数量的比例的信息显示于所述显示部，所述第一数量表示从所述摄像部获取到的所述图像的张数，所述第二数量表示复原所述三维形状所需的所述图像的张数，且所述第二数量为至少2张。

在本发明的图像获取装置中，所述控制部通过减少从所述摄像部获取到的所述图像的像素数来生成缩略图图像，所述控制部将所述缩略图图像显示于显示部。

本发明是一种图像获取装置的工作方法，所述图像获取装置具有：摄像部，其基于摄像视场内的被摄体的光学像来生成图像；视场变更部，其变更所述摄像视场；操作部，其从用户处受理所述摄像视场被变更的方向；以及控制部，所述图像获取装置的工作方法包括以下步骤：第一步骤，在对所述图像获取装置设定了用于获取在所述被摄体的三维形状的复原中使用的所述图像的图像获取模式的情况下，所述控制部识别由所述操作部受理的所述方向；第二步骤，所述控制部从存储介质读出用于规定所述图像获取模式中的图像获取条件的第一信息和第二信息，所述第一信息表示所述摄像视场被变更的速度或所述摄像视场被变更的距离，所述第二信息表示获取在所述三维形状的复原中使用的所述图像的时机；第三步骤，所述控制部使所述视场变更部将所述摄像视场以所述第一信息所示的所述速度沿着识别出的所述方向变更，或者将所述摄像视场沿着识别出的所述方向变更所述第一信息所示的所述距离；第四步骤，所述控制部在所述第二信息所示的所述时机从所述摄像部获取至少2张所述图像；以及第五步骤，所述控制部使用从所述摄像部获取到的所述图像来复原所述三维形状。

发明的效果

根据本发明，图像获取装置以及图像获取装置的工作方法能够缩短获取用于对被摄体的三维形状进行复原的图像的时间。

附图说明

图1是表示本发明的第一实施方式的内窥镜装置的整体结构的立体图。

图2是表示本发明的第一实施方式的内窥镜装置的内部结构的框图。

图3是表示本发明的第一实施方式的CPU的功能结构的框图。

图4是表示本发明的第一实施方式中的图像获取的状况的示意图。

图5是表示本发明的第一实施方式中的用于三维形状复原和测量的处理的过程的流程图。

图6是表示本发明的第一实施方式中的测量处理的过程的流程图。

图7是表示本发明的第一实施方式的显示部所显示的图像的图。

图8是表示本发明的第一实施方式中的图像获取的流程的图。

图9是表示本发明的第一实施方式中的图像获取的流程的图。

图10是表示本发明的第二实施方式的CPU的功能结构的框图。

图11是表示本发明的第二实施方式中的测量处理的过程的流程图。

图12是表示本发明的第二实施方式中的测量处理的过程的流程图。

图13是表示本发明的第二实施方式中的测量图像的图。

图14是表示本发明的第二实施方式中的测量图像的图。

图15是表示本发明的第二实施方式中的内窥镜前端的运动和获取的测量图像的图。

图16是表示本发明的第二实施方式中的内窥镜前端的运动和获取的测量图像的图。

图17是表示本发明的第二实施方式的第一变形例中的测量处理的过程的流程图。

图18是表示本发明的第二实施方式的第一变形例中的测量图像的图。

图19是表示本发明的第三实施方式的CPU的功能结构的框图。

图20是表示本发明的第三实施方式中的测量处理的过程的流程图。

图21是表示在本发明的第三实施方式中的测量处理中执行的判断处理的过程的流程图。

图22是表示本发明的第三实施方式中的测量图像的图。

图23是表示本发明的第三实施方式中的测量图像的图。

图24是表示本发明的第三实施方式的显示部所显示的图像的图。

图25是表示本发明的第三实施方式中的测量图像的图。

图26是表示本发明的第三实施方式的显示部所显示的图像的图。

图27是表示在本发明的第四实施方式中的测量处理中执行的判断处理的过程的流程图。

图28是表示本发明的第四实施方式中的测量图像的图。

附图标记说明

1：内窥镜装置；2：***部；3：主体部；4：操作部；5：显示部；8：内窥镜单元；9：CCU；10：控制装置；12：影像信号处理电路；13：ROM；14：RAM；15：卡接口；16：外部设备接口；17：控制接口；18a、18b、18c：CPU；20：前端；28：摄像元件；180：主控制部；181：图像获取部；182：显示控制部；183：指定点设定部；184：基准尺寸设定部；185：三维形状复原部；186：测量部；187：弯曲控制部；188：模式设定部；189：读出部；190：图像选择部；191：区域检测部。

具体实施方式

下面，参照附图来说明本发明的实施方式。下面，说明图像获取装置是内窥镜装置的例子。图像获取装置只要是具有图像获取功能的装置即可，不限于内窥镜装置。

(第一实施方式)

图1表示本发明的第一实施方式的内窥镜装置1的外观。图2表示内窥镜装置1的内部结构。内窥镜装置1对被摄体进行拍摄，使用图像来测量被摄体的几何特征。检查者能够进行安装在***部2的前端的光学适配器的更换、内置的测量处理程序的选择以及测量处理程序的追加，以进行各种被摄体的观察和测量。下面，作为测量的一例，说明将使用SfM的三维形状复原以及由用户进行的基准距离输入组合在一起来进行测量的情况。

图1所示的内窥镜装置1具有***部2、主体部3、操作部4以及显示部5。

***部2被***到被摄体的内部。***部2是从前端20到基端部均能够弯折的细长管状。***部2对测量部分进行拍摄，且将摄像信号输出到主体部3。在***部2的前端20安装有光学适配器。例如，单眼的光学适配器安装于***部2的前端20。主体部3是具备收纳***部2的收纳部的控制装置。操作部4受理用户对内窥镜装置1的操作。显示部5具有显示画面，且将操作菜单和利用***部2获取到的被摄体的图像等显示于显示画面。

操作部4是用户接口。例如，操作部4是按钮、开关、按键、鼠标、操纵杆、触摸板、轨迹球以及触摸面板中的至少一个。显示部5是LCD(Liquid Crystal Display：液晶显示器)等监视器(显示器)。显示部5也可以是触摸面板。在该情况下，操作部4和显示部5被一体化。

图2所示的主体部3具有内窥镜单元8、CCU(Camera Control Unit：照相机控制单元)9、控制装置10以及弯曲机构11。内窥镜单元8具有未图示的光源装置和弯曲装置。光源装置提供观察所需的照明光。弯曲装置使内置于***部2的弯曲机构11弯曲。在***部2的前端20内置有摄像元件28。摄像元件28是图像传感器。摄像元件28对由光学适配器形成的被摄体的光学像进行光电变换，并生成摄像信号。CCU 9对摄像元件28进行驱动。从摄像元件28输出的摄像信号被输入到CCU 9。CCU 9对由摄像元件28获取到的摄像信号进行包括放大和噪声去除等的预处理。CCU 9将进行预处理后的摄像信号变换为NTSC信号等影像信号。

控制装置10具有影像信号处理电路12、ROM(Read Only Memory：只读存储器)13、RAM(Random Access Memory：随机存取存储器)14、卡接口15、外部设备接口16、控制接口17以及CPU(Central Processing Unit：中央处理单元)18a。

影像信号处理电路12对从CCU 9输出的影像信号实施规定的影像处理。例如，影像信号处理电路12进行与可视性的提高有关的影像处理。例如，该影像处理是颜色再现、灰度校正、噪声抑制以及轮廓强调等。在执行测量时，影像信号处理电路12还进行用于提高测量性能的处理。例如，影像信号处理电路12将从CCU 9输出的影像信号与由CPU 18a生成的图形图像信号进行合成。图形图像信号包含操作画面的图像和测量信息等。测量信息包括光标的图像、指定点的图像以及测量结果等。影像信号处理电路12将合成后的影像信号输出到显示部5。

ROM 13是记录有用于CPU 18a控制内窥镜装置1的动作的程序的非易失性的记录介质。RAM 14是暂时性地存储CPU 18a为了控制内窥镜装置1而使用的信息的易失性的记录介质。CPU 18a基于ROM 13中记录的程序来控制内窥镜装置1的动作。

作为能够拆装的记录介质的存储卡42与卡接口15连接。卡接口15将存储卡42中存储的控制处理信息和图像信息等获取到控制装置10。另外，卡接口15将由内窥镜装置1生成的控制处理信息和图像信息等记录到存储卡42。

USB设备等外部设备与外部设备接口16连接。例如，个人计算机41与外部设备接口16连接。外部设备接口16向个人计算机41发送信息，且从个人计算机41接收信息。由此，个人计算机41的监视器能够显示信息。另外，用户能够通过向个人计算机41输入指示，来进行与内窥镜装置1的控制有关的操作。

控制接口17与操作部4、内窥镜单元8及CCU 9进行用于动作控制的通信。控制接口17将由用户向操作部4输入的指示通知给CPU 18a。控制接口17将用于控制光源装置和弯曲装置的控制信号输出到内窥镜单元8。控制接口17将用于控制摄像元件28的控制信号输出到CCU 9。

CPU 18a所执行的程序也可以记录在计算机可读取的记录介质中。也可以由内窥镜装置1以外的计算机读入并执行该记录在记录介质中的程序。例如，也可以由个人计算机41读入并执行程序。也可以是，个人计算机41按照程序来向内窥镜装置1发送用于控制内窥镜装置1的控制信息，由此控制内窥镜装置1。或者，也可以是，个人计算机41从内窥镜装置1获取影像信号，并且使用获取到的影像信号来进行测量。

上述的程序也可以从保持该程序的计算机经由传输介质、或者利用传输介质中的传输波来传输到内窥镜装置1。用于传输程序的“传输介质”是具有传输信息的功能的介质。具有传输信息的功能的介质包括因特网等网络(通信网)以及电话线路等通信线路(通信线)。上述的程序也可以实现前述的功能的一部分。并且，上述的程序也可以是差异文件(差异程序)。也可以由已经记录在计算机中的程序与差异程序的组合来实现前述的功能。

上述的内窥镜装置1具有摄像元件28(摄像部)、弯曲机构11(视场变更部)、操作部4以及CPU 18a(控制部)。摄像元件28对被摄体进行拍摄，并生成摄像信号。由此，摄像元件28基于摄像视场内的被摄体的光学像来生成图像(图像数据)。由摄像元件28生成的图像经由影像信号处理电路12而被输入到CPU18a。弯曲机构11通过使***部2弯曲来变更摄像元件28的摄像视场。视场变更部只要是能够通过使摄像元件28移动或者使包括摄像元件28的构件移动来变更摄像视场的机构即可。操作部4从用户处受理摄像视场被变更的方向。

图3表示CPU 18a的功能结构。由主控制部180、图像获取部181、显示控制部182、指定点设定部183、基准尺寸设定部184、三维形状复原部185、测量部186、弯曲控制部187、模式设定部188以及读出部189构成了CPU 18a的功能。也可以是，图3所示的模块中的至少一个由CPU 18a以外的其它电路构成。

图3所示的各部也可以由处理器和逻辑电路中的至少一个来构成。例如，处理器是CPU、DSP(Digital Signal Processor：数字信号处理器)以及GPU(Graphics ProcessingUnit：图形处理单元)中的至少一个。例如，逻辑电路是ASIC(Application SpecificIntegrated Circuit：专用集成电路)以及FPGA(Field-Programmable Gate Array：现场可编程门阵列)中的至少一个。图3所示的各部能够包含一个或多个处理器。图3所示的各部能够包含一个或多个逻辑电路。

主控制部180对各部所执行的处理进行控制。图像获取部181从影像信号处理电路12获取由摄像元件28生成的图像。所获取的图像被保持到RAM 14。

显示控制部182将由摄像元件28生成的图像显示于显示部5。例如，显示控制部182对由影像信号处理电路12执行的处理进行控制。显示控制部182使影像信号处理电路12向显示部5输出处理后的图像。显示部5显示从影像信号处理电路12输出的图像。

显示控制部182将各种信息显示于显示部5。也就是说，显示控制部182在图像上显示各种信息。各种信息包括光标和图标等。光标是用于用户指定图像上的特定的位置的指示器。图标是表示用户在图像上指定的指定点的位置的标记。例如，显示控制部182生成各种信息的图形图像信号。显示控制部182将生成的图形图像信号输出到影像信号处理电路12。影像信号处理电路12将从CCU 9输出的影像信号与从CPU 18a输出的图形图像信号进行合成。由此，各种信息被重叠到图像中。影像信号处理电路12将合成后的影像信号输出到显示部5。显示部5基于影像信号来显示重叠有各种信息的图像。

用户通过对操作部4进行操作来向操作部4输入光标的位置信息。操作部4受理用户向操作部4输入的位置信息，输出该位置信息。输入到操作部4的位置信息被输入到作为输入部的控制接口17。输入到控制接口17的位置信息被输入到CPU 18a。显示控制部182检测向操作部4输入的位置信息所示的位置。显示控制部182在向操作部4输入的位置信息所示的位置显示光标。在显示部5是触摸面板的情况下，用户通过触摸显示部5的画面来向操作部4输入光标的位置信息。

指定点设定部183在图像上设定一个以上的指定点。指定点包括表示测量位置的测量点以及表示基准尺寸的位置的基准点中的至少一个。例如，由用户输入指定点。指定点设定部183设定一个以上的测量点和一个以上的基准点。但是，指定点设定部183也可以在图像上仅设定测量点或基准点。

用户通过对操作部4进行操作来向操作部4输入测量点和基准点的位置信息。操作部4受理用户所输入的位置信息，输出该位置信息。输入到操作部4的位置信息经由控制接口17而被输入到CPU 18a。指定点设定部183在由摄像元件28获取并显示于显示部5的图像中的、位置信息所示的位置处设定测量点和基准点。由指定点设定部183设定的测量点和基准点的位置信息被保持到RAM 14。通过将测量点及基准点与特定的图像进行关联，来设定测量点和基准点。

指定点是基于用户的指示来决定的在图像中的关注位置的坐标信息。如上所述，指定点包括测量点和基准点。假设指定点是用于指定测量位置和基准尺寸的位置的点。用于决定指定点的手段不限定于由用户进行输入。例如，也可以是，指定点设定部183基于预先登记在内窥镜装置1中的信息来自动地决定指定点。例如，从个人计算机41或存储卡42将预先设定了指定点的参照图像获取到内窥镜装置1。指定点设定部183也可以通过图案匹配来从图像检测与在参照图像上设定的指定点类似的点，并将检测出的点作为指定点设定在图像中。

测量点或基准点的指定意味着用户向内窥镜装置1指示测量点或基准点。用户通过利用光标指定图像上的位置来指定测量点或基准点。或者，用户通过触摸显示部5的画面来指定测量点或基准点。测量点的设定意味着指定点设定部183将测量点与图像进行关联。基准点的设定意味着指定点设定部183将基准点与图像进行关联。

只要能够使用户获知指定点，光标和图标的形状和大小无关紧要。另外，在本说明书中，为了方便而使用了“点”这一词汇，但是指定点未必是与画面上的一个像素对应的一个点。指定点也可以包含任意大小的区域。指定点也可以包含能够以子像素为单位来指定的区域。

用户通过对操作部4进行操作来向操作部4输入基准尺寸。操作部4受理用户向操作部4输入的基准尺寸，输出该基准尺寸。输入到操作部4的基准尺寸经由控制接口17而被输入到CPU 18a。在向操作部4输入了基准尺寸时，基准尺寸设定部184在由摄像元件28获取并显示于显示部5的图像中设定基准尺寸。由基准尺寸设定部184设定的基准尺寸被保持到RAM 14。通过将基准尺寸与特定的图像进行关联，来设定基准尺寸。基准尺寸的指定意味着用户向内窥镜装置1指示基准尺寸。基准尺寸的设定意味着基准尺寸设定部184将基准尺寸与图像进行关联。

在下面的例子中，基准尺寸是两点间的基准距离。如上所述，基准距离是由用户提供的。例如，用户指定2个基准点并将它们的距离指定为基准距离。由用户指定的基准距离是已知的。例如，由用户指定被摄体上的已知的构造中的基准距离。

也可以从未图示的距离获取部向内窥镜装置1输入基准距离。例如，距离获取部具有主动投影系统和三维测量部。主动投影系统将具有点、线以及条纹等形状的光投影到被摄体。三维测量部基于该光所投影的被摄体的图像来计算基准距离。三维测量部也可以基于计算出基准距离的位置来获取基准点。也可以从测量基准尺寸的设备输入表示基准尺寸的位置的基准点。例如，也可以从三维测量部或距离获取部向内窥镜装置1输入基准点。距离获取部也可以通过飞行时间测定法(Time Of Flight)来计算基准距离。距离获取部也可以是使用三维加速度传感器、陀螺仪传感器以及电波传感器等传感器的感测单元。

例如，外部设备接口16也可以从距离获取部获取基准点和基准距离。如上所述，在一个例子中，距离获取部具有主动投影系统和三维测量部。从距离获取部输出的基准点和基准距离被输入到外部设备接口16。输入到外部设备接口16的基准点和基准距离被输入到CPU 18a。指定点设定部183在图像中设定从距离获取部输出的基准点。基准尺寸设定部184在图像中设定从距离获取部输出的基准距离。在该情况下，基准点和基准距离是自动地决定的，因此不耗费用户的工时。

内窥镜装置1也可以具有存储预先计算出的基准尺寸的存储器。基准尺寸设定部184也可以从存储器读出由指定点设定部183设定的基准点处的基准尺寸，并在图像中设定所读出的基准尺寸。

三维形状复原部185使用由图像获取部181获取到的多张图像来复原被摄体的三维形状、即作为测量对象的物体的三维形状。在生成多张图像中的各张图像时，摄像位置和摄像姿势中的至少一个互不相同。因而，在生成多张图像中的各张图像时，摄像元件28的摄像视场互不相同。三维形状的复原方法在后面叙述。

测量部186基于三维形状、多个指定点以及基准尺寸来测量作为测量对象的物体。三维形状由三维形状复原部185来复原。多个指定点是测量点和基准点。多个指定点由指定点设定部183来设定。基准尺寸由基准尺寸设定部184来设定。测量部186使用基准距离以及测量点和基准点的二维坐标来计算与测量点对应的三维坐标。测量部186基于与测量点对应的三维坐标来测量被摄体在三维中的尺寸。

弯曲控制部187对用于使***部2的前端20弯曲的弯曲机构11进行控制。例如，弯曲控制部187基于来自主控制部180的指示来生成用于使***部2的前端20沿着一个方向弯曲的命令。由弯曲控制部187生成的命令经由控制接口17被输出到内窥镜单元8。内窥镜单元8基于该命令来驱动弯曲机构11，由此使***部2的前端20弯曲。

用户通过对操作部4进行操作来向操作部4输入***部2的前端20的弯曲角度被变更的方向。也就是说，用户向操作部4输入摄像视场被变更的方向。下面，***部2的前端20的弯曲角度被变更的方向被记载为角度变更方向。操作部4受理用户向操作部4输入的角度变更方向，输出该角度变更方向。输入到操作部4的角度变更方向经由控制接口17而被输入到CPU 18a。弯曲控制部187基于输入到操作部4的角度变更方向来生成用于驱动弯曲机构11的命令。

模式设定部188对内窥镜装置1设定规定的动作模式。例如，模式设定部188对内窥镜装置1设定图像获取模式和检查模式(图像显示模式)中的任一个。图像获取模式是用于获取在被摄体的三维形状的复原中使用的图像的模式。检查模式是用于将摄像元件28以基于摄像帧率的间隔生成的图像显示于显示部5的模式。

用户通过对操作部4进行操作来向操作部4输入动作模式的指示。操作部4受理用户向操作部4输入的指示，输出该指示。输入到操作部4的指示经由控制接口17而被输入到CPU 18a。模式设定部188基于输入到操作部4的指示来判断由用户指示的动作模式。模式设定部188对内窥镜装置1设定由用户指示的动作模式。模式设定部188基于输入到操作部4的指示来将对内窥镜装置1设定的动作模式在图像获取模式与检查模式之间切换。

在对内窥镜装置1设定了图像获取模式的情况下，读出部189从存储介质读出用于规定图像获取条件的图像获取条件信息。在对内窥镜装置1设定了检查模式的情况下，读出部189从存储介质读出用于规定图像显示条件的图像显示条件信息。图像获取条件信息和图像显示条件信息包含摄像视场变更信息和时机信息。摄像视场变更信息表示摄像视场被变更的速度或者摄像视场被变更的距离。时机信息表示从摄像元件28获取在图像获取模式或检查模式中使用的图像的时机。例如，图像获取模式中的时机信息表示基于摄像视场被变更的速度或者摄像视场被变更的距离的时机。检查模式中的时机信息表示与摄像元件28的摄像时机相同的时机。

读出部189从RAM 14读出图像获取条件信息和图像显示条件信息。例如，存储卡42存储图像获取条件信息和图像显示条件信息。经由卡接口15从存储卡42向RAM 14传输图像获取条件信息和图像显示条件信息。也可以由个人计算机41存储图像获取条件信息和图像显示条件信息。也可以经由外部设备接口16从个人计算机41向RAM 14传输图像获取条件信息和图像显示条件信息。也可以由网络上的服务器(云服务器等)存储图像获取条件信息和图像显示条件信息。也可以经由外部设备接口16从服务器向RAM 14传输图像获取条件信息和图像显示条件信息。

说明图像获取模式中的内窥镜装置1的概要动作。操作部4从用户处受理摄像视场被变更的方向。在对内窥镜装置1设定了图像获取模式的情况下，弯曲控制部187识别由操作部4受理的方向。读出部189从RAM 14读出用于规定图像获取模式中的图像获取条件的第一信息和第二信息。第一信息表示摄像视场被变更的速度或者摄像视场被变更的距离。第二信息表示获取在三维形状的复原中使用的图像的时机。弯曲控制部187使弯曲机构11将摄像视场以第一信息所示的速度沿着识别出的方向变更，或者将摄像视场沿着识别出的方向变更第一信息所示的距离。图像获取部181在第二信息所示的时机从摄像元件28获取至少2张图像。三维形状复原部185使用从摄像元件28获取到的至少2张图像来复原被摄体的三维形状。弯曲机构11将摄像视场以第一信息所示的速度沿着识别出的方向变更，或者将摄像视场沿着识别出的方向变更第一信息所示的距离。

说明检查模式中的内窥镜装置1的概要动作。操作部4从用户处受理摄像视场被变更的方向。在对内窥镜装置1设定了检查模式的情况下，弯曲控制部187识别由操作部4受理的方向。读出部189从RAM 14读出用于规定检查模式中的显示条件的第三信息和第四信息。第三信息表示摄像视场被变更的速度或者摄像视场被变更的距离。第四信息表示获取在图像的显示中使用的图像的时机。弯曲控制部187使弯曲机构11将摄像视场以第三信息所示的速度沿着识别出的方向变更，或者将摄像视场沿着识别出的方向变更第三信息所示的距离。显示控制部182向显示部5输出在第四信息所示的时机从摄像元件28输出的图像。弯曲机构11将摄像视场以第三信息所示的速度沿着识别出的方向变更，或者将摄像视场沿着识别出的方向变更第三信息所示的距离。

说明由三维形状复原部185和测量部186执行的具体的处理的过程。三维形状复原部185接收从影像信号处理电路12输出的多张图像以及RAM 14中保持的指定点的坐标信息。下面，说明三维形状复原部185从影像信号处理电路12接收2张图像的例子。在使用3张以上的图像的情况下，基本原理也无异于使用2张图像的情况。下面说明的方法也能够应用于使用3张以上的图像的情况。

图4示意性地表示获取作为测量对象的被摄体的2张图像的情况下的图像获取的状况。在下面的说明中，使用广义的照相机这一表述。下面的说明中的照相机具体地说是指内窥镜前端(***部2的前端20)的观察光学系统。

如图4所示，最初在照相机的摄像状态c₁下获取图像I₁。接着，在照相机的摄像状态c₂下获取图像I₂。在摄像状态c₁和摄像状态c₂下，摄像位置和摄像姿势中的至少一个不同。在图4中，在摄像状态c₁和摄像状态c₂下，摄像位置和摄像姿势这两方均不同。

在本发明的各实施方式中，假设图像I₁和图像I₂是由相同的内窥镜获取的图像。另外，在本发明的各实施方式中，假设内窥镜的物镜光学系统的参数不变化。物镜光学系统的参数是焦距、畸变像差以及图像传感器的像素尺寸等。下面，为了方便而将物镜光学系统的参数简称为内部参数。在假定了这种条件时，能够共同使用描述了内窥镜的光学系统的特性的内部参数，而不管内窥镜前端的照相机的位置和姿势如何。在本发明的各实施方式中，假设内部参数是在出厂时获取的，且在测量时内部参数是已知的。

在使用不同的内窥镜装置来获取图像I₁和图像I₂的情况下，无法使用共同的内部参数。另外，在虽然使用相同的内窥镜装置来获取图像I₁和图像I₂但是内部参数按图像而不同的情况下，无法使用共同的内部参数。然而，能够将内部参数作为未知数来进行计算。因此，以后的过程不会根据内部参数是否已知而大幅变化。在前者的情况下，也可以是，各个内窥镜装置预先保持有个别的内部参数。

参照图5来说明用于基于获取到的被摄体图像来计算被摄体的三维坐标的过程。图5表示用于三维形状复原和测量的处理的过程。

首先，三维形状复原部185执行特征点检测处理(步骤SA)。三维形状复原部185在特征点检测处理中，检测获取到的2张图像的特征点。特征点是指图像中拍到的被摄体信息中的图像亮度梯度大的拐角和边缘等。作为检测该特征点的方法，使用SIFT(Scale-invariant Feature Transform：尺度不变特征转换)和FAST(Features from AcceleratedSegment Test：基于加速分割测试的特征)等。能够通过使用这种方法来检测图像内的特征点。

图4表示从图像I₁检测出特征点m₁、且从图像I₂检测出特征点m₂的例子。在图4中仅显示了各图像的一个特征点，但是实际上针对各图像检测出多个特征点。在各图像中检测出的特征点的数量可能不同。从各图像检测出的各特征点被变换为称作特征量的数据。特征量是表示特征点的特征的数据。

在步骤SA之后，三维形状复原部185执行特征点对应处理(步骤SB)。三维形状复原部185在特征点对应处理中，针对通过步骤SA中的特征点检测处理而检测出的各特征点，比较图像之间的特征量的相关性。在比较特征量的相关性的结果是在各图像中找到特征量相近的特征点的情况下，三维形状复原部185将该信息保持到RAM 14。另一方面，在未找到特征量相近的特征点的情况下，三维形状复原部185丢弃该特征点的信息。

在步骤SB之后，三维形状复原部185从RAM 14读出相互对应的2张图像的特征点(特征点对)的坐标。三维形状复原部185基于读出的坐标来执行位置和姿势的计算处理(步骤SC)。三维形状复原部185在位置和姿势的计算处理中，计算获取到图像I₁的照相机的摄像状态c₁与获取到图像I₂的照相机的摄像状态c₂之间的相对性的位置和姿势。更具体地说，三维形状复原部185通过对利用极线约束的下面的方程式(1)进行求解来计算矩阵E。

[数式1]

矩阵E被称为基本矩阵。基本矩阵E是保持获取到图像I₁的照相机的摄像状态c₁与获取到图像I₂的照相机的摄像状态c₂之间的相对性的位置和姿势的矩阵。在方程式(1)中，p₁是包含从图像I₁检测出的特征点的坐标的矩阵。p₂是包含从图像I₂检测出的特征点的坐标的矩阵。基本矩阵E包含与照相机的相对性的位置和姿势有关的信息，因此相当于照相机的外部参数。能够使用公知的算法来对基本矩阵E进行求解。

如图4所示，在照相机的位置变化量是t、且照相机的姿势变化量是R的情况下，式(2)和式(3)成立。

[数式2]

t＝(t_x，t_y，t_z)…(2)

在式(2)中，t_x是x轴方向上的移动量，t_y是y轴方向上的移动量，且t_z是z轴方向上的移动量。在式(3)中，R_x(α)是绕x轴的旋转量α，R_y(β)是绕y轴的旋转量β，且R_z(γ)是绕z轴的旋转量γ。也可以是，在计算出基本矩阵E之后，执行称作捆绑调整(Bundle Adjustment)的优化处理，以提高三维坐标的复原精度。一般来说，被称为SfM的处理包括在获取图像后执行的步骤SA、步骤SB以及步骤SC的处理。

在步骤SC之后，三维形状复原部185基于在步骤SC中计算出的照相机的相对性的位置和姿势(位置变化量t和姿势变化量R)来执行被摄体的三维形状的复原处理(步骤SD)。作为复原被摄体的三维形状的手法，能够列举出PMVS(Patch-based Multi-view Stereo：基于补丁的多视图立体)和基于并行立体的匹配处理等。但是，手段并没有特别限定。

在步骤SD之后，测量部186基于通过步骤SD中的三维形状复原处理来计算出的被摄体的三维形状数据以及从RAM 14读出的基准距离的信息，执行三维坐标变换处理。测量部186在三维坐标变换处理中将被摄体的三维形状数据变换为具有长度的维数的三维坐标数据(步骤SE)。

在步骤SE之后，测量部186基于被摄体的三维坐标数据来执行尺寸测量处理(步骤SF)。尺寸测量处理无异于以往的工业用内窥镜中搭载的测量处理，因此省略其详细说明。例如，测量部186按照由用户选择的测量模式来进行两点间距离测量和面基准测量等尺寸测量。

使用图6来说明第一实施方式中的测量处理的整体。图6表示测量处理的过程。

在使用内窥镜的检查中，用户利用实时图像来确认被摄体的状况，由此检查是否存在缺陷和损伤。此时的内窥镜装置1的模式被称为检查模式。在检查过程中被摄体被发现了作为测量对象的缺陷或损伤等情况下，用户要求执行测量。此时，用户对操作部4进行操作，以使内窥镜装置1的动作模式转变为测量模式(步骤S101)。例如，在用户点击了显示于显示部5的表示测量模式转变的图标时，内窥镜装置1的动作模式从检查模式转变为测量模式。或者，用户也可以使用遥控器等输入装置来按下测量模式转变按钮。用于使内窥镜装置1的动作模式从检查模式转变为测量模式的操作不限定于上述的例子。测量模式是执行测量功能与由上述的图像获取模式规定的功能的组合的模式。

在步骤S101之后，获取用于指定点输入的第一测量图像。也就是说，摄像元件28通过拍摄1次被摄体来生成第一测量图像。图像获取部181获取由摄像元件28生成的第一测量图像(步骤S102)。图像获取条件信息所包含的第二信息表示：在内窥镜装置1的动作模式从检查模式转变为测量模式的时机获取测量图像。

在步骤S102之后，读出部189从RAM 14读出角度变更量(步骤S103)。角度变更量表示对***部2的前端20的弯曲角度进行变更的量。角度变更量与图像获取条件信息所包含的第一信息对应。角度变更量与摄像视场被变更的距离对应。角度变更量是两次的摄像时机之间的弯曲角度的变更量。

在步骤S103之后，读出部189从RAM 14读出角度变更速度(步骤S104)。角度变更速度表示对***部2的前端20的弯曲角度进行变更的速度。角度变更速度与图像获取条件信息所包含的第一信息对应。角度变更速度与摄像视场被变更的速度对应。角度变更速度是两次的摄像时机之间的弯曲角度的变化的速度。

角度变更量被设定为两次的摄像中的摄像视场相互重叠的量。也就是说，角度变更量被设定为通过两次的摄像获取到的2张测量图像的区域相互重叠的量。由此，SfM的处理结果的可靠性提高。角度变更速度被设定为运动模糊不会给测量图像带来影响的速度。由此，测量图像的获取效率提高。

在本发明的实施方式中，从RAM 14读出角度变更量和角度变更速度这两方。本发明的各方式并不限定于该方法。例如，也可以根据依次获取到的多张图像来推测内窥镜前端的运动量，按照该推测量来适应性地控制内窥镜前端的角度变更量。或者也可以是，能够通过由用户对操作部4进行操作来指定角度变更速度。

用户向操作部4输入角度变更方向，以获取自身被识别为测量对象的区域的测量图像。在步骤S104之后，操作部4从用户处受理角度变更方向。输入到操作部4的角度变更方向经由控制接口17而被输入到CPU 18a。弯曲控制部187识别被输入到操作部4的角度变更方向(步骤S105)。用户也可以通过对触摸面板等输入装置进行操作来输入角度变更方向。

在步骤S105之后，弯曲控制部187生成用于使内窥镜前端向从用户处受理的角度变更方向弯曲的命令。该命令规定了以下动作：以与角度变更速度对应的速度，将弯曲角度变更与角度变更量对应的量。弯曲控制部187通过将生成的命令输出到内窥镜单元8，来驱动弯曲机构11并使内窥镜前端弯曲。由此，内窥镜前端的视点被变更(步骤S106)。

在本发明的实施方式中，假设在内窥镜前端移动规定的角度变更量之后内窥镜前端停止。由此，能够获取不存在运动模糊的图像。内窥镜前端停止的时间只要是获取至少1张图像所需的时间即可。例如，该时间与帧率的倒数大致相等。在内窥镜前端的运动在假设相对于照相机的曝光时间而言足够小的时间内产生的情况下，内窥镜前端不需要停止。也就是说，能够容许可视作内窥镜前端停止的程度的慢运动。

在步骤S106之后，变量n增加1(步骤S107)。在步骤S107之后，图像获取部181获取由摄像元件28生成的第n测量图像(步骤S108)。变量n表示为了三维形状的复原和测量而获取到的测量图像的张数。在执行了步骤S101中的处理时，变量n为2。在第1次执行步骤S108中的处理时，图像获取部181获取第二测量图像。

在步骤S108中，图像获取部181在图像获取条件信息所包含的第二信息所示的时机获取第n测量图像。例如，第二信息表示：在以角度变更速度将弯曲角度变更规定的时间的时机获取测量图像。或者，第二信息表示：在将弯曲角度变更角度变更量的时机获取测量图像。

在步骤S106中对内窥镜前端的视点进行变更的期间，摄像元件28以基于摄像帧率的间隔来执行拍摄。在步骤S108中获取的测量图像是在内窥镜前端的视点的变更结束时由摄像元件28生成的图像。也可以是，在步骤S106中对内窥镜前端的视点进行变更的期间，摄像元件28停止拍摄。也可以是，在从内窥镜前端的视点的变更结束的时机起经过规定的时间之后，摄像元件28执行拍摄，并且，获取由摄像元件28生成的第n测量图像。

1次图像获取处理包括步骤S105、步骤S106、步骤107以及步骤108各自的处理。在执行了1次图像获取处理时，获取到1张测量图像。

在步骤S108之后，显示控制部182将获取到的第n测量图像显示于显示部5。另外，显示控制部182将表示与测量图像的获取有关的进程状况的信息显示于显示部5(步骤S109)。

使用图7来说明步骤S109中的处理。图7表示显示于显示部5的图像。预先对内窥镜装置1设定SfM所需要的测量图像的最低限度的张数。例如，该张数是基于以前执行的SfM的结果凭经验得到的。该张数是2张以上。下面，说明该张数是5张的例子，但是该张数不限定于5张。下面，说明获取3张测量图像时在步骤S109中执行的处理。

最初，显示控制部182将第n测量图像I101显示于显示部5。在显示了第n测量图像I101之后，显示控制部182将表示进程状况的信息显示在第n测量图像I101上。例如，显示控制部182生成表示进程状况的信息的图形图像信号。之后，执行与用于显示光标的处理同样的处理。显示部5显示叠加有表示进程状况的信息的第n测量图像I101。

在图7所示的例子中，显示信息IF111和信息IF112。信息IF111表示SfM所需要的测量图像的最低限度的张数以及到当前为止获取到的测量图像的张数。信息IF111包括2个数字。在信息IF111中，右侧的数字表示SfM所需要的测量图像的最低限度的张数。在信息IF111中，左侧的数字表示到当前为止获取到的测量图像的张数。信息IF112将进程状况表示为进度条。另外，在图7所示的例子中，显示3张缩略图图像TH121。各缩略图图像TH121是通过减少测量图像的像素数来生成的缩小图像。

只要内窥镜装置1能够向用户通知还必须获取几张图像或者还要耗费多长时间才能够结束用于获取测量图像的处理即可。在获取到的测量图像的张数达到SfM所需要的测量图像的最低限度的张数时，内窥镜装置1能够结束用于获取测量图像的处理。只要能够向用户通知测量图像的获取的进程状况，可以使用任意的显示方法。

显示控制部182在步骤S109中将从摄像元件28获取到的测量图像的至少1张显示于显示部5。在已获取了2张以上的测量图像的情况下，也可以在步骤S109中显示2张以上的测量图像。显示控制部182在步骤S109中对第一数量进行计数，且将表示第一数量相对于第二数量的比例的信息显示于显示部5。第一数量表示从摄像元件28获取到的测量图像的张数。也就是说，在上述的例子中，第一数量表示到当前为止获取到的测量图像的张数。第二数量表示复原三维形状所需的测量图像的张数，且第二数量为至少2张。也就是说，在上述的例子中，第二数量表示SfM所需要的测量图像的最低限度的张数。在上述的例子中，上述的表示比例的信息是信息IF111和信息IF112。

显示控制部182在步骤S109中通过减少从摄像元件28获取到的图像的像素数来生成缩略图图像。显示控制部182在步骤S109中将缩略图图像显示于显示部5。在已获取了2张以上的测量图像的情况下，也可以在步骤S109中生成并显示2张以上的缩略图图像。在上述的例子中，在显示部5中显示3张缩略图图像TH121。

在步骤S109之后，主控制部180将变量n与规定的张数进行比较。变量n表示获取到的测量图像的张数。规定的张数表示SfM所需要的测量图像的最低限度的张数。规定的张数为至少2张。主控制部180基于比较结果来判断获取到的测量图像的张数是否已达到规定的张数(步骤S110)。

在基于图像获取条件的测量图像的获取结束之后，主控制部180在步骤S110中将第一数量与第二数量进行比较。第一数量表示从摄像元件28获取到的测量图像的张数。第二数量表示复原三维形状所需的测量图像的张数，且第二数量为至少2张。

在步骤S110中主控制部180判断为获取到的测量图像的张数已达到规定的张数的情况下，三维形状复原部185使用由图像获取部181获取到的规定的张数的测量图像来执行3D重构(步骤S111)。3D重构的执行包括SfM和被摄体的密集的三维形状的复原处理这两方。在3D重构中，使用规定的张数的测量图像。在步骤S110中主控制部180判断为获取到的测量图像的张数未达到规定的张数的情况下，执行步骤S105中的处理。之后，再次执行图像获取处理，获取测量图像。重复图像获取处理，直到获取到规定的张数的测量图像为止。

使用图8和图9来说明直到获取到的测量图像的张数达到规定的张数为止的图像获取的流程。说明SfM所需要的测量图像的最低限度的张数是5张的例子。

在步骤S102中，获取第一测量图像I201。在获取到第一测量图像I201之后，操作部4在步骤S105中从用户处受理角度变更方向D211。在第1次图像获取处理的步骤S106中，将弯曲角度沿着角度变更方向D211进行变更。在弯曲角度的变更结束之后，在第1次图像获取处理的步骤S108中获取第二测量图像I202。在获取到第二测量图像I202之后，操作部4在步骤S105中从用户处受理角度变更方向D212。在第2次图像获取处理的步骤S106中，将弯曲角度沿着角度变更方向D212进行变更。在弯曲角度的变更结束之后，在第2次图像获取处理的步骤S108中获取第三测量图像I203。

在获取到第三测量图像I203之后，操作部4在步骤S105中从用户处受理角度变更方向D213。在第3次图像获取处理的步骤S106中，将弯曲角度沿着角度变更方向D213进行变更。在弯曲角度的变更结束之后，在第3次图像获取处理的步骤S108中获取第四测量图像I204。在获取到第四测量图像I204之后，操作部4在步骤S105中从用户处受理角度变更方向D214。在第4次图像获取处理的步骤S106中，将弯曲角度沿着角度变更方向D214进行变更。在弯曲角度的变更结束之后，在第4次图像获取处理的步骤S108中获取第五测量图像I205。由于获取到5张测量图像，因此在步骤S110中判断为测量图像的张数已达到规定的张数。

在图8和图9所示的例子中，角度变更方向固定。各图像获取条件中的角度变更方向未必始终固定。

在步骤S111之后，显示控制部182将在步骤S102中获取到的第一测量图像显示于显示部5(步骤S112)。

在步骤S112之后，用户通过对操作部4进行操作来在所显示的第一测量图像上指定指定点。由此，用户指定测量点和基准点。操作部4受理由用户指定的测量点和基准点。指定点设定部183在所显示的第一测量图像上设定由用户指定的测量点和基准点(步骤S113)。

在步骤S113之后，用户通过对操作部4进行操作来指定基准距离。用户将自身已经掌握的基准距离的长度指定为数值。操作部4受理由用户指定的基准距离。基准尺寸设定部184在所显示的第一测量图像上设定基准距离(步骤S114)。

例如，基准距离是在被摄体面上设定的两个基准点间的距离，以两个点规定。但是，基准距离不限定于以两个点规定的距离。例如，也可以是，在被摄体上设定一个点的基准点，将从该基准点到内窥镜前端为止的距离(物距)设定为基准距离。在该情况下，基准距离仅以一个点规定。

在步骤S114之后，测量部186将被摄体的三维形状数据变换为具有长度的维数的三维坐标数据(步骤S115)。此时，测量部186使用在步骤S113中设定的两个基准点以及在步骤S114中设定的基准距离。

在步骤S115之后，测量部186基于在步骤S115中得到的三维坐标数据，利用公知的测量方法来测量以由用户指定的测量点规定的尺寸(步骤S116)。

在步骤S116之后，显示控制部182将测量结果显示于显示部5。例如，测量结果被叠加于显示部5所显示的第一测量图像(步骤S117)。测量结果也可以被记录到存储卡42等外部介质。在执行了步骤S117中的处理时，测量处理结束。

本发明的各方式的图像获取装置的工作方法包括第一步骤至第五步骤。在对内窥镜装置1设定了图像获取模式的情况下，弯曲控制部187在第一步骤(步骤S105)中识别由操作部4受理的方向。读出部189在第二步骤(步骤S103、步骤S104)中从RAM 14读出用于规定图像获取模式中的图像获取条件的第一信息和第二信息。第一信息表示摄像视场被变更的速度或者摄像视场被变更的距离。第二信息表示获取在三维形状的复原中使用的图像的时机。弯曲控制部187在第三步骤(步骤S106)中使弯曲机构11将摄像视场以第一信息所示的速度沿着识别出的方向变更，或者将摄像视场沿着识别出的方向变更第一信息所示的距离。图像获取部181在第四步骤(步骤S108)中在第二信息所示的时机从摄像元件28获取至少2张图像。三维形状复原部185在第五步骤(步骤S111)中使用从摄像元件28获取到的至少2张图像来复原被摄体的三维形状。

在本发明的各方式中，步骤S112至步骤S117的各步骤中的处理不是必需的。

在第一实施方式的图像获取模式中，将基于用户的操作的角度变更方向的控制与装置所执行的角度变更量或角度变更速度的控制进行组合。因此，内窥镜装置1能够缩短获取用于对被摄体的三维形状进行复原的图像的时间。其结果，检查效率提高。

(第一实施方式的变形例)

下面，说明本发明的第一实施方式的变形例。

在上述的例子中，为了变更内窥镜前端的视点而利用了弯曲。本发明的各方式中的摄像视场的变更不限定于利用弯曲的方法。例如，也可以使用能够控制***部2的行进和后退的控制治具。例如，在***部2的前端20安装能够观察与***部2的光轴垂直的方向的光学适配器。通过***部2行进或后退，摄像视场发生变更。也可以使用能够控制***部2的扭转的控制治具。用于变更摄像视场的方法没有限定，只要***部2向不同于摄像方向的方向移动即可。

在上述的例子中，操作部4在步骤S113中从用户处受理测量点和基准点。此时，正在显示在步骤S102中获取到的第一测量图像。此时显示的测量图像不需要是第一测量图像。例如，也可以显示第二测量图像。或者，也可以显示最后获取到的测量图像。也可以是，显示获取到的多张测量图像，且用户能够从多张测量图像中选择用于输入指定点的测量图像。用于设定基准点的测量图像与用于设定测量点的测量图像也可以不同。

在上述的例子中，在获取到SfM所需要的最低限度的张数的测量图像之前，在多次图像获取处理中分别执行步骤S105的处理。只要在至少1次图像获取处理中执行步骤S105的处理即可。例如，操作部4在步骤S105中从用户处受理的角度变更方向被保持在RAM 14中。也可以是，在用户不指定新的角度变更方向的情况下，从RAM 14读出上一次执行的图像获取处理中的角度变更方向。在步骤S106中，也可以基于从RAM 14读出的角度变更方向来变更内窥镜前端的视点。用户只要在想要改变角度变更方向的时机向操作部4输入新的角度变更方向即可。因此，能够减少用户的作业量。

在上述的例子中，内窥镜装置1从用户处受理角度变更方向，将弯曲角度向该角度变更方向进行变更。之后，内窥镜装置1再次从用户处受理角度变更方向，将弯曲角度向该角度变更方向进行变更。也就是说，内窥镜装置1重复角度变更方向的受理以及弯曲角度的变更。本发明的各方式中的图像获取处理不限定于此。

例如，也可以是，在内窥镜装置1正在图像获取处理中对弯曲角度进行变更的期间，操作部4从用户处受理新的角度变更方向。内窥镜装置1也可以在弯曲角度的变更过程中对角度变更方向进行更新，且基于更新后的角度变更方向来变更弯曲角度。在该情况下，在弯曲角度的变更过程中内窥镜前端移动的方向发生变更。在更新角度变更方向之前已变更的弯曲角度的量不被复位。也就是说，在弯曲角度已被变更之后，弯曲角度变化差分量。差分量是1次图像获取处理中的角度变更量与在更新角度变更方向之前已变化的量之差。

例如，说明以下的情况的例子：用户将右方向指示为角度变更方向，在步骤S103中读出的角度变更量是100。例如，在弯曲角度变更了50之后，用户将上方向指示为角度变更方向。在该情况下，内窥镜装置1将弯曲角度向上方向变更50。

在上述的例子中，在执行1次图像获取处理的期间操作部4从用户处受理角度变更方向，且弯曲角度基于该角度变更方向进行变更。角度变更方向也可以预先设定在内窥镜装置1中。例如，内窥镜装置1基于熟练的用户的操作来执行图6所示的测量处理。此时，从熟练的用户处受理的角度变更方向的历史记录被保持在RAM 14中。之后，不熟练的一般用户要求执行测量。在该情况下执行的测量处理的步骤S105中，从RAM 14读出被保持为历史记录的角度变更方向。在执行一系列图像获取处理的期间，内窥镜装置1按照从熟练的用户处受理的角度变更方向来变更弯曲角度，且获取测量图像。

内窥镜装置1能够将从熟练的用户处受理的角度变更方向应用于基于一般用户的指示来执行的测量处理。因此，无论用户是否熟练，都易于稳定SfM的处理结果的可靠性。

(第二实施方式)

在本发明的第二实施方式中，用户能够指定用于获取测量图像的处理完成的时机。在用户想要指定为指定点的位置在被摄体上距摄像视场内的区域比较近的情况下，第一实施方式的结构有效。在用户想要指定为指定点的位置在被摄体上距摄像视场内的区域比较远的情况下，需要使内窥镜前端移动，直到用户想要指定的位置进入摄像视场为止。然而，存在以下可能性：在内窥镜前端移动的期间，SfM所需要的最低限度的张数的测量图像的获取结束。其结果，存在以下可能性：在内窥镜前端到达目的地之前测量图像的获取结束。第二实施方式的内窥镜装置1具有用于可靠地获取包含用户想要指定的指定点的测量图像的功能。

在第二实施方式中，图3所示的CPU 18a被变更为图10所示的CPU 18b。图10表示CPU 18b的功能结构。省略与图3所示的结构相同的结构的说明。

CPU 18b除了图3所示的结构以外还具有图像选择部190。在基于图像获取条件的测量图像的获取结束之后，主控制部180将第一数量与第二数量进行比较。第一数量表示从摄像元件28获取到的测量图像的张数。在下面的例子中，第一数量表示到当前为止获取到的测量图像的张数。第二数量表示复原三维形状所需的测量图像的张数，且第二数量为至少2张。在下面的例子中，第二数量表示SfM所需要的测量图像的最低限度的张数。在第一数量与第二数量相同的情况下，三维形状复原部185对被摄体的三维形状进行复原。

在第一数量大于第二数量的情况下，图像选择部190选择从摄像元件28获取到的测量图像中的至少第二数量的测量图像。也就是说，图像选择部190选择与第二数量相同的数量或者比第二数量多的数量的测量图像。在下面的例子中，图像选择部190选择复原三维形状所需的张数的测量图像。三维形状复原部185使用所选择的测量图像来复原被摄体的三维形状。

例如，图像选择部190基于从摄像元件28获取到的测量图像各自的重叠的程度来选择至少第二数量的测量图像。或者，图像选择部190选择包含从摄像元件28获取到的测量图像中的最初获取到的测量图像以及从摄像元件28获取到的测量图像中的最后获取到的测量图像在内的第二数量的测量图像。

在操作部4从用户处受理了图像获取结束指示(执行三维形状的复原的执行指示)、且第一数量小于第二数量的情况下，操作部4从用户处受理摄像视场被变更的第二方向(角度变更方向)。第二方向与上一次从用户处受理的角度变更方向相同。或者，第二方向与上一次从用户处受理的角度变更方向不同。弯曲控制部187识别由操作部4受理的第二方向。弯曲控制部187使弯曲机构11再次将摄像视场以第一信息所示的速度沿着识别出的第二方向变更，或者再次将摄像视场沿着识别出的第二方向变更第一信息所示的距离。第一信息表示摄像视场被变更的速度(角度变更速度)或者摄像视场被变更的距离(角度变更量)。在沿着第二方向变更了摄像视场之后，图像获取部181在第二信息所示的时机从摄像元件28获取至少1张测量图像。第二信息表示获取在三维形状的复原中使用的图像的时机。第一信息和第二信息用于规定图像获取模式(测量模式)中的图像获取条件。

内窥镜装置1基于图像获取条件来反复获取测量图像，直到第三数量与第四数量之和变为第二数量为止。第三数量表示在操作部4从用户处受理图像获取结束指示之前从摄像元件28获取到的测量图像的张数。第四数量表示在操作部4从用户处受理图像获取结束指示之后从摄像元件28获取到的测量图像的张数。

使用图11和图12来说明第二实施方式中的测量处理。图11和图12表示测量处理的过程。省略与图6所示的处理相同的处理的说明。

用户通过对在步骤S109中显示的第n测量图像进行确认来判断是否成功获取到自身被识别为测量对象的区域的测量图像。在用户判断为成功获取到该区域的测量图像的情况下，用户向操作部4输入图像获取结束指示。图像获取结束指示表示结束测量图像的获取、且执行SfM和三维形状的复原的指示。在步骤S109之后，操作部4从用户处受理图像获取结束指示。输入到操作部4的图像获取结束指示经由控制接口17而被输入到CPU 18b。主控制部180判断是否从用户处受理了图像获取结束指示(步骤S121)。

在步骤S121中主控制部180判断为未从用户处受理图像获取结束指示的情况下，执行步骤S105中的处理。在步骤S121中主控制部180判断为从用户处受理了图像获取结束指示的情况下，主控制部180将变量n与规定的张数进行比较。变量n表示获取到的测量图像的张数。规定的张数表示SfM所需要的测量图像的最低限度的张数。规定的张数为至少2张。主控制部180基于比较结果来判断是否获取到了适当的张数的测量图像(步骤S122)。

在变量n与规定的张数相同的情况下，主控制部180判断为获取到了适当的张数的测量图像。在该情况下，执行步骤S111中的处理。在变量n与规定的张数不同的情况下，主控制部180判断为未获取到适当的张数的测量图像。在该情况下，主控制部180判断变量n是否比规定的张数少(步骤S123)。

在用户想要指定为指定点的位置在被摄体上远离摄像视场内的区域的情况下，到内窥镜前端接近该位置为止要耗费时间。因此，有时会产生获取到比适当的张数多的测量图像的现象。在步骤S123中主控制部180判断为变量n比规定的张数多的情况下，图像选择部190判断是否对从摄像元件28获取到的测量图像进行间隔剔除(步骤S124)。对测量图像进行间隔剔除意味着将从摄像元件28获取到的测量图像分类为预定使用图像和非使用图像。预定使用图像被使用于3D重构，该3D重构包括SfM和三维形状的复原。非使用图像不被使用于3D重构。

在步骤S124中图像选择部190判断为不对测量图像进行间隔剔除的情况下，执行步骤S111中的处理。在该情况下，从摄像元件28获取到的测量图像全部被使用于步骤S111中的3D重构。在步骤S124中图像选择部190判断为对测量图像进行间隔剔除的情况下，图像选择部190对从摄像元件28获取到的测量图像进行间隔剔除。由此，图像选择部190仅将SfM所需的图像选作预定使用图像(步骤S125)。

非使用图像是从摄像元件28获取到的测量图像中的除预定使用图像以外的测量图像。图像选择部190也可以删除非使用图像。步骤S124和步骤S125中的处理的例子在后面叙述。

在步骤S125之后，执行步骤S111中的处理。在该情况下，由图像选择部190选作预定使用图像的测量图像被使用于3D重构。

在步骤S123中主控制部180判断为变量n比规定的张数少的情况下，执行步骤S126至步骤S130各自的处理。步骤S126至步骤S130分别与步骤S105至步骤S109相同。

操作部4在步骤S126中从用户处受理摄像视场被变更的角度变更方向(第二方向)。弯曲控制部187在步骤S126中识别由操作部4受理的角度变更方向。弯曲控制部187在步骤S127中使弯曲机构11将弯曲角度以角度变更速度沿着识别出的角度变更方向变更角度变更量。图像获取部181在步骤S129中从摄像元件28获取第n测量图像。显示控制部182在步骤S130中将第n测量图像显示于显示部5，且将表示与测量图像的获取有关的进程状况的信息显示于显示部5。

在步骤S130之后，主控制部180将变量n与规定的张数进行比较。变量n表示获取到的测量图像的张数。规定的张数与在步骤S122的处理中使用的规定的张数相同。主控制部180基于比较结果来判断获取到的测量图像的张数是否已达到规定的张数(步骤S131)。

在步骤S131中主控制部180判断为获取到的测量图像的张数已达到规定的张数的情况下，执行步骤S111中的处理。在步骤S131中主控制部180判断为获取到的测量图像的张数未达到规定的张数的情况下，执行步骤S126中的处理。

在第一数量小于第二数量的情况下，显示控制部182也可以向用户通知第一数量未达到第二数量。例如，在执行步骤S126中的处理之前，显示控制部182将表示获取到的测量图像的张数比SfM所需要的测量图像的最低限度的张数少的信息显示于显示部5。该信息包括文字、图标或者记号等。显示控制部182也可以将表示需要追加地获取的测量图像的张数的信息显示于显示部5。向用户通知的通知方法不限定于显示部5对信息的显示。例如，也可以输出表示第一数量未达到第二数量的声音。

说明用于对图像进行间隔剔除的处理的例子。例如，能够应用以下方法：基于从摄像元件28获取到的2张以上的测量图像各自的重叠的程度来选择测量图像。图像选择部190计算1张测量图像与该测量图像的2张后的测量图像之间的共同的区域的比例。例如，依序获取测量图像A、测量图像B以及测量图像C。图像选择部190计算测量图像A与测量图像C之间的共同的区域的比例。在该比例大于规定的阈值的情况下，图像选择部190判断为能够对在用于计算区域的比例的2张测量图像之间获取到的测量图像进行间隔剔除。例如，在测量图像A与测量图像C之间的共同的区域的比例大于规定的阈值的情况下，图像选择部190判断为能够对测量图像B进行间隔剔除。使用图13来说明具体的例子。

从摄像元件28获取到的测量图像包括图13所示的测量图像I301、测量图像I302以及测量图像I303。在从摄像元件28获取到测量图像I301之后，从摄像元件28获取测量图像I302。在从摄像元件28获取到测量图像I302之后，从摄像元件28获取测量图像I303。

图像选择部190计算测量图像I301与测量图像I303之间的共同的区域R311的面积(像素数)。接着，图像选择部190计算区域R311的面积相对于图像的所有像素数的比例。图像的所有像素数是水平像素数乘以垂直像素数所得到的数。图像选择部190将计算出的比例与规定的阈值进行比较。在计算出的比例大于规定的阈值的情况下，图像选择部190判断为能够对测量图像I302进行间隔剔除。在计算出的比例小于规定的阈值的情况下，图像选择部190判断为不对测量图像I302进行间隔剔除。内窥镜装置1能够通过执行上述的处理来减少被使用于SfM的测量图像的张数。因此，处理时间被缩短。

也可以是，在区域R311的面积的比例大于规定的阈值的情况下，图像选择部190追加地执行计算下面的2个比例的处理。图像选择部190与上述同样地，计算测量图像I301与测量图像I302之间的共同的区域的比例，且计算测量图像I302与测量图像I303之间的共同的区域的比例。也可以是，在这些比例全部大于规定的阈值的情况下，图像选择部190判断为能够对测量图像I302进行间隔剔除。

存在以下情况：测量图像I301与测量图像I303之间的共同的区域大，且测量图像I302与其它测量图像之间的共同的区域小。在该情况下，仅基于区域R311的比例来执行判断有可能导致测量图像I302被间隔剔除。

使用图14来说明通过执行上述的追加处理而得到的效果。从摄像元件28获取到的测量图像包括图14所示的测量图像I401、测量图像I402以及测量图像I403。在从摄像元件28获取到测量图像I401之后，从摄像元件28获取测量图像I402。在从摄像元件28获取到测量图像I402之后，从摄像元件28获取测量图像I403。

区域R411是测量图像I401与测量图像I403之间的共同的区域。区域R413是测量图像I401与测量图像I402之间的共同的区域，区域R412是测量图像I403与测量图像I402之间的共同的区域。图像选择部190计算区域R411的比例。在不执行上述的追加处理的情况下，图像选择部190仅通过确认出区域R411的比例大于规定的阈值就判断为能够对测量图像I402进行间隔剔除。在测量图像I402被间隔剔除之后，区域R412和区域R413不是被使用于SfM的测量图像I401与测量图像I403之间的共同的区域。因此，在区域R412和区域R413处，无法通过SfM来复原三维形状。

在执行了上述的追加处理的情况下，图像选择部190通过确认出区域R412和区域R413中的至少一个的比例小于规定的阈值，来判断为不对测量图像I402进行间隔剔除。因此，在区域R412和区域R413中，能够通过SfM来复原三维形状。

图像选择部190也可以至少选择从摄像元件28最初获取到的测量图像以及从摄像元件28最后获取到的测量图像。例如，依次获取第一测量图像至第七测量图像。在获取第七测量图像之后，在步骤S121中从用户处受理图像获取结束指示。SfM所需要的测量图像的最低限度的张数是5张。在该情况下，图像选择部190也可以将第一测量图像和第七测量图像选作预定使用图像，并且将第二测量图像至第六测量图像中的3张测量图像选作预定使用图像。

考虑到以下情况：在用户关注的区域包含于图像时，用户使内窥镜装置1的动作模式从检查模式转变为测量模式。因此，在从摄像元件28最初获取到的测量图像中指定测量点或基准点的可能性高。同样地，考虑到以下情况：在用户关注的区域包含于图像时，用户向操作部4输入图像获取结束指示。因此，在从摄像元件28最后获取到的测量图像中指定测量点或基准点的可能性高。内窥镜装置1能够获取到包含用户想要设定基准距离的区域或被用户识别为测量对象的区域的测量图像。因此，检查效率提高，且SfM的处理结果的可靠性提高。

说明遵循图11和图12的处理的例子。图15表示在步骤S121中从用户处受理图像获取结束指示为止的内窥镜前端的运动以及所获取的测量图像。例如，在图像中拍到区域R511时，开始获取测量图像。区域R511是用户想要设定基准距离的区域。在步骤S102中，获取包含区域R511的测量图像I501。在获取到测量图像I501之后，基于在步骤S105中从用户处受理的角度变更方向，在步骤S106中变更内窥镜前端的视点。之后，在步骤S108中获取测量图像I502。在获取到测量图像I502之后，同样地在步骤S106中变更内窥镜前端的视点，且在步骤S108中获取测量图像I503。在该时间点，获取了3张测量图像。

测量图像I503包含被用户识别为测量对象的区域R512。用户确认出区域R512包含于测量图像I503，且向操作部4输入图像获取结束指示。主控制部180在步骤S122中将获取到的测量图像的张数与SfM所需要的测量图像的最低限度的张数进行比较。获取到的测量图像的张数是3张，且SfM所需要的测量图像的最低限度的张数是5张。为了执行SfM，还缺2张图像，因此主控制部180在步骤S123中判断为测量图像少。

图16表示获取到SfM所需要的最低限度的张数的测量图像为止的内窥镜前端的运动以及所获取的测量图像。说明用于在从用户处受理图像获取结束指示之后获取测量图像的处理。基于在步骤S126中从用户处受理的角度变更方向，在步骤S127中变更内窥镜前端的视点。例如，用户向内窥镜装置1指示与为了获取测量图像I503而指示的角度变更方向相同的角度变更方向。之后，在步骤S129中获取测量图像I504。在获取到测量图像I504之后，同样地在步骤S127中变更内窥镜前端的视点，且在步骤S129中获取测量图像I505。在获取到测量图像I505时，SfM所需要的最低限度的张数的测量图像的获取结束。

之后，在步骤S111中，三维形状复原部185执行3D重构，由此执行SfM且复原被摄体的三维形状。在步骤S113中，用户指定测量点和基准点。在图16所示的例子中，在测量图像I501中设定了基准点P521和基准点P522。在图16所示的例子中，在测量图像I503中设定了测量点P523和测量点P524。

在从用户处受理到图像获取结束指示之后，追加地获取SfM所需的2张测量图像。因此，SfM的处理结果的可靠性提高。

无论用户指定的基准点与测量点之间的位置关系如何，内窥镜装置1都能够获取SfM所需要的最低限度的张数的测量图像。其结果，检查效率提高，且SfM的处理结果的可靠性提高。

(第二实施方式的第一变形例)

在图12所示的步骤S126中，从用户处受理角度变更方向。然而，未必需要由用户向操作部4输入角度变更方向。在步骤S121中从用户处受理了图像获取结束指示(执行三维形状的复原的执行指示)时，认为已获取到包含用户想要指定基准点和测量点的区域的测量图像。因此，内窥镜装置1只要获取为了执行SfM而缺少的测量图像即可。基于这种原因，第二实施方式的第一变形例的内窥镜装置1代替用户执行用于对弯曲角度进行变更的控制。

在操作部4从用户处受理图像获取结束指示之前，操作部4从用户处受理摄像视场被变更的角度变更方向。弯曲控制部187识别由操作部4受理的角度变更方向。在操作部4从用户处受理了图像获取结束指示、且第一数量小于第二数量的情况下，弯曲控制部187基于识别出的角度变更方向来决定摄像视场被变更的第二方向(角度变更方向)。第一数量表示从摄像元件28获取到的测量图像的张数。在下面的例子中，第一数量表示到当前为止获取到的测量图像的张数。第二数量表示复原三维形状所需的测量图像的张数，且第二数量为至少2张。在下面的例子中，第二数量表示SfM所需要的测量图像的最低限度的张数。例如，第二方向与上一次从用户处受理的角度变更方向相同。弯曲控制部187使弯曲机构11再次将摄像视场以第一信息所示的速度沿着所决定的第二方向变更，或者再次将摄像视场沿着所决定的第二方向变更第一信息所示的距离。第一信息表示摄像视场被变更的速度(角度变更速度)或者摄像视场被变更的距离(角度变更量)。在沿着第二方向变更了摄像视场之后，图像获取部181在第二信息所示的时机从摄像元件28获取至少1张测量图像。第二信息表示获取在三维形状的复原中使用的图像的时机。第一信息和第二信息用于规定图像获取模式(测量模式)中的图像获取条件。

内窥镜装置1基于图像获取条件来反复获取测量图像，直到第五数量与第六数量之和变为第二数量为止。第五数量表示在操作部4从用户处受理图像获取结束指示之前从摄像元件28获取到的测量图像的张数。第六数量表示在操作部6从用户处受理图像获取结束指示之后从摄像元件28获取到的测量图像的张数。在操作部4从用户处受理图像获取结束指示之后的各次图像获取处理中，弯曲控制部187基于以前从用户处受理的角度变更方向或者以前由弯曲控制部187决定的角度变更方向来决定角度变更方向。

图17表示取代图12所示的处理而执行的处理的过程。省略与图12所示的处理相同的处理的说明。

图12所示的步骤S126被变更为图17所示的步骤S141。在步骤S123中主控制部180判断为变量n比规定的张数少的情况下，弯曲控制部187基于在步骤S105中从用户处受理的角度变更方向来决定新的角度变更方向。例如，弯曲控制部187基于为了获取第n测量图像而从用户处受理的角度变更方向，来决定为了获取第(n+1)测量图像而使用的角度变更方向(步骤S141)。在步骤S141之后，执行步骤S127中的处理。

在执行了多次步骤S105中的处理的情况下，也可以将从用户处受理的多个角度变更方向保持在RAM 14中。弯曲控制部187也可以基于从用户处受理的多个角度变更方向来决定新的角度变更方向。

在步骤S131中主控制部180判断为获取到的测量图像的张数未达到规定的张数的情况下，执行步骤S141中的处理。弯曲控制部187基于在步骤S105中从用户处受理的角度变更方向或者以前在步骤S141中决定的角度变更方向来决定新的角度变更方向。

使用图18来说明用于控制角度变更方向的具体例。图18表示从摄像元件28获取到的测量图像。在获取到测量图像I601之后，从用户处受理图像获取结束指示。弯曲控制部187基于为了获取测量图像I601而从用户处受理的角度变更方向来决定为了获取测量图像I602而使用的角度变更方向。例如，所决定的角度变更方向与从用户处受理的角度变更方向相同。

在获取到测量图像I602之后，弯曲控制部187基于为了获取测量图像I602而使用的角度变更方向来决定为了获取测量图像I603而使用的角度变更方向。例如，所决定的角度变更方向与为了获取测量图像I602而使用的角度变更方向不同。

在获取到测量图像I603之后，弯曲控制部187基于为了获取测量图像I603而使用的角度变更方向来决定为了获取测量图像I604而使用的角度变更方向。例如，所决定的角度变更方向与为了获取测量图像I603而使用的角度变更方向不同。

在获取到测量图像I604之后，弯曲控制部187基于为了获取测量图像I604而使用的角度变更方向来决定为了获取测量图像I605而使用的角度变更方向。例如，所决定的角度变更方向与为了获取测量图像I604而使用的角度变更方向不同。

在图18所示的例子中，为了获取测量图像I601所包含的区域的周边区域的图像，角度变更方向沿逆时针变化。追加地获取到的4张测量图像包含测量图像I601的中心的区域。用于控制角度变更方向的方法不限定于图18所示的方法。

内窥镜装置1对角度变更方向进行控制以获取在从用户处受理图像获取结束指示之前获取到的测量图像所包含的区域的周边区域的图像。其结果，能够增加包含用户关注的指定点(测量点和基准点)的测量图像。当在很多图像中包含相同的指定点时，测量精度更高。因此，在SfM之后执行的尺寸测量的精度提高。

(第二实施方式的第二变形例)

在本发明的第二实施方式的第二变形例中，操作部4和显示部5被一体化且被构成为触摸面板。用户通过对触摸面板进行操作来向操作部4输入角度变更方向和目的地。弯曲控制部187使弯曲机构11将内窥镜前端弯曲，直到摄像视场的中心与目的地一致为止。

目的地也可以是用于规定角度变更方向的临时的目的地。例如，弯曲控制部187使弯曲机构11将内窥镜前端弯曲，直到摄像视场的中心与临时的目的地一致为止。之后，弯曲控制部187在保持角度变更方向的同时使弯曲机构11将内窥镜前端进一步弯曲。

操作部4除了从用户处受理角度变更方向以外还受理摄像视场内的位置。例如，用户触摸显示部5所显示的测量图像上的位置。此时，操作部4受理该位置。弯曲控制部187识别由操作部4受理的位置。用于规定图像获取条件的第一信息表示摄像视场被变更的速度。弯曲控制部187使弯曲机构11将摄像视场以第一信息所示的速度沿着识别出的弯曲变更方向变更，直到摄像视场的中心与上述的位置一致为止。

操作部4也可以从用户处同时受理角度变更方向和目的地。例如，操作部4与上述同样地，受理显示部5所显示的测量图像上的位置。显示部5所显示的测量图像的中心与当前的摄像视场的中心相同。因此，弯曲控制部187能够基于测量图像的中心以及从用户处受理的测量图像上的位置来计算角度变更方向。

用户能够向内窥镜装置1指示通过弯曲来进行的移动的目的地。因此，用户能够容易地向内窥镜装置1指示在获取测量图像时的内窥镜前端的位置。

(第三实施方式)

在本发明的第三实施方式中，用户确认自身指定的指定点是否包含于多个测量图像。在执行SfM之前进行该确认。在执行计算负荷大的SfM之前，用户能够判断是否能够在自身想要指定的测量点处执行尺寸测量。在尺寸测量失败之前，内窥镜装置1能够在较早的阶段促使用户重新获取测量图像。

在第三实施方式中，图3所示的CPU 18a被变更为图19所示的CPU 18c。图19表示CPU 18c的功能结构。省略与图3所示的结构相同的结构的说明。

CPU 18c除了图3所示的结构以外还具有区域检测部191。从摄像元件28获取到的测量图像包括1张第一图像和至少1张第二图像。区域检测部191检测在第一图像与第二图像之间重叠的区域。显示控制部182通过对第一图像进行处理，能够视觉识别第一图像中的该区域。显示控制部182将处理后的第一图像显示于显示部5。

在第一图像显示于显示部5之后，操作部4从用户处受理执行三维形状的复原的执行指示。在操作部4受理了执行三维形状的复原的执行指示的情况下，三维形状复原部185复原被摄体的三维形状。

使用图20来说明第三实施方式中的测量处理。图20表示测量处理的过程。省略与图6所示的处理相同的处理的说明。

在步骤S110中主控制部180判断为获取到的测量图像的张数已达到规定的张数的情况下，主控制部180判断是否能够进行使用所获取到的测量图像的尺寸测量(步骤S151)。用户判断是否能够进行自身想要指定为指定点的位置处的尺寸测量。具体地说，用户判断自身想要指定为指定点的位置是否包含于至少2张测量图像。用户将判断结果输入到操作部4。操作部4从用户处受理判断结果。输入到操作部4的判断结果经由控制接口17被输入到CPU 18c。主控制部180在步骤S151中基于由用户输入的判断结果来判断是否能够进行使用所获取到的测量图像的尺寸测量。

在步骤S151中主控制部180判断为能够进行使用所获取到的测量图像的尺寸测量的情况下，执行步骤S111中的处理。在步骤S151中主控制部180判断为无法进行使用所获取到的测量图像的尺寸测量的情况下，测量处理结束。在该情况下，内窥镜装置1的动作模式从测量模式转变为检查模式。用户再次设定构图和摄像条件，且再次进行用于使内窥镜装置1的动作模式从检查模式转变为测量模式的操作。之后，内窥镜装置1再次执行用于获取测量图像的处理。

也可以是，在步骤S151中主控制部180判断为无法进行使用所获取到的测量图像的尺寸测量的情况下，内窥镜装置1执行与图12所示的处理相同的处理。由此，内窥镜装置1能够追加地获取测量图像。

使用图21来说明步骤S151的详情。图21表示在步骤S151中执行的判断处理。

下面，说明获取到图22所示的5张测量图像的情况下的例子。最初获取测量图像I701。测量图像I701包括用户想要指定测量点P721和测量点P722的区域。另外，测量图像I701包括用户想要指定基准点P723和基准点P724的区域。图22中示出了用户想要指定的4个指定点各自的位置。4个指定点包括2个基准点和2个测量点。在执行步骤S151中的处理时，图22所示的4个指定点尚未被指定。

在沿着方向D711变更摄像视场之后，获取测量图像I702。在沿着方向D712变更摄像视场之后，获取测量图像I703。在沿着方向D713变更摄像视场之后，获取测量图像I704。在进一步沿着方向D713变更摄像视场之后，获取测量图像I705。

区域检测部191使用获取到的2张以上的测量图像来生成图像对(步骤S1511)。图像对包括互不相同的2张测量图像。图像对包括从获取到的2张以上的测量图像中任意选择的2张测量图像。获取到的2张以上的测量图像分别包含于至少一个图像对。例如，将获取到的2张以上的测量图像中的1张定义为第一图像。将除第一图像以外的至少1张测量图像定义为第二图像。图像对包括1张第一图像和1张第二图像。全部第二图像均与第一图像一起包含于某一个图像对。在第一图像对的第一图像与第二图像对的第二图像相同、且第一图像对的第二图像与第二图像对的第一图像相同的情况下，第一图像对和第二图像对被合并为一个图像对。例如，在获取到5张测量图像的情况下，生成10个图像对。

在步骤S1511之后，区域检测部191选择一个图像对，且检测在所选择的图像对中包括的2张测量图像之间重叠的区域。也就是说，区域检测部191检测在第一图像与第二图像之间重叠的区域(步骤S1512)。下面，将在2个测量图像之间重叠的区域定义为重叠区域。

在步骤S1512之后，区域检测部191判断是否对全部图像对进行了处理。也就是说，区域检测部191判断是否对全部图像对执行了步骤S1512中的处理(步骤S1513)。在存在未被执行步骤S1512中的处理的图像对的情况下，使用该图像对来执行步骤S1512中的处理。

例如，在步骤S1512中，区域检测部191检测图23所示的测量图像I701与测量图像I702之间的重叠区域R12。同样地，区域检测部191检测测量图像I701与测量图像I703之间的重叠区域R13。区域检测部191检测测量图像I701与测量图像I704之间的重叠区域R14。区域检测部191检测测量图像I701与测量图像I705之间的重叠区域R15。区域检测部191通过重复同样的处理来对全部图像对进行处理。

在步骤S1513中区域检测部191判断为对全部图像对进行了处理的情况下，显示控制部182在获取到的测量图像的各测量图像中计算与其它测量图像的区域重叠的区域的逻辑或。显示控制部182将与计算出的逻辑或对应的区域叠加于各测量图像，且将该测量图像显示于显示部5(步骤S1514)。

例如，在上述的例子中，显示控制部182在包括测量图像I701的图像对中计算逻辑或。具体地说，显示控制部182计算出重叠区域R12、重叠区域R13、重叠区域R14以及重叠区域R15的逻辑或。同样地，显示控制部182在包括测量图像I703、测量图像I704以及测量图像I705的各测量图像的图像对中计算逻辑或。

图24表示在步骤S1514中显示于显示部5的各测量图像。各测量图像是缩略图图像。测量图像I701的区域R731、测量图像I702的区域R732、测量图像I703的区域R733、测量图像I704的区域R734以及测量图像I705的区域R735与在步骤S1514中计算出的逻辑或对应。例如，关于测量图像I701，第一图像是测量图像I701，第二图像是测量图像I702、测量图像I703、测量图像I704以及测量图像I705。区域R731是在测量图像I701与其它测量图像之间重叠的区域。5张测量图像同时显示于显示部5。也可以是，5张测量图像依次显示于显示部5。

显示控制部182在各测量图像中执行用于将与逻辑或对应的区域同其它区域在视觉上进行区分的图像处理。例如，显示控制部182对与逻辑或对应的区域标注特定的颜色。该特定的颜色也可以与被摄体的颜色不同。对测量图像进行处理的方法不限定于该方法，只要能够将与逻辑或对应的区域同其它区域在视觉上进行区分即可。显示控制部182通过对测量图像I701进行处理，能够视觉识别区域R731。显示控制部182对测量图像I702、测量图像I703、测量图像I704以及测量图像I705进行与测量图像I701同样的处理。显示控制部182将处理后的各测量图像输出到影像信号处理电路12。影像信号处理电路12将各测量图像输出到显示部5。显示部5显示各测量图像。

图24中示出了用户想要指定的测量点P721、测量点P722、基准点P723以及基准点P724各自的位置。在各测量图像显示于显示部5时，这些指定点尚未被设定。因此，这些指定点的图标未被显示。在各测量图像显示于显示部5时，用户在各测量图像上想像图24所示的各指定点。

在步骤S1514之后，用户观察显示部5所显示的各测量图像，来确认是否自身想要指定的指定点全部包含于重叠区域。用户判断是否能够进行尺寸测量，且将判断结果输入到操作部4。操作部4从用户处受理判断结果。输入到操作部4的判断结果经由控制接口17被输入到CPU 18c。主控制部180基于由用户输入的判断结果来判断是否能够进行尺寸测量(步骤S1515)。

在预定用来指定指定点的位置全部包含于测量图像中的重叠区域的情况下，用户判断为能够进行尺寸测量。也就是说，在用户想要指定的指定点全部包含于至少2张测量图像的情况下，用户判断为能够进行尺寸测量。在预定用来指定指定点的位置中的至少一个不包含于重叠区域的情况下，用户判断为无法进行尺寸测量。也就是说，在用户想要指定的指定点中的至少一个仅包含于1张测量图像的情况下，用户判断为无法进行尺寸测量。在用户判断为能够进行尺寸测量的情况下，输入到操作部4的判断结果表示SfM和三维形状的复原的执行指示。

在图24所示的例子中，测量点P721包含于测量图像I701、测量图像I702以及测量图像I704。测量点P722包含于测量图像I701、测量图像I702、测量图像I703以及测量图像I704。基准点P723包含于测量图像I701、测量图像I703以及测量图像I704。基准点P724与基准点P723同样地包含于测量图像I701、测量图像I703以及测量图像I704。

用户想要指定的各指定点包含于获取到的5张测量图像中的至少2张。因此，用户能够判断为能够进行自身想要指定的指定点处的尺寸测量。在至少一个指定点仅包含于1张测量图像的情况下，用户能够判断为无法进行自身想要指定的指定点处的尺寸测量。

在指定点包含于至少2张测量图像的情况下，该指定点包含于重叠区域。也就是说，该指定点包含于区域R731、区域R732、区域R733以及区域R734中的至少一个。在图24所示的例子中，全部指定点均包含于区域R731、区域R732、区域R733以及区域R734中的至少一个。也就是说，全部指定点均包含于重叠区域。因此，内窥镜装置1能够基于图24所示的5张测量图像来执行用户想要指定的指定点处的尺寸测量。

在步骤S1515中主控制部180判断为能够进行尺寸测量的情况下，执行步骤S111中的处理。在该情况下，三维形状复原部185基于用户输入的执行指示来执行3D重构。在步骤S1515中主控制部180判断为无法进行尺寸测量的情况下，测量处理结束。

下面，说明获取到图25所示的5张测量图像的情况下的例子。最初获取测量图像I801。测量图像I801包括用户想要指定测量点P821和测量点P822的区域。另外，测量图像I801包括用户想要指定基准点P823和基准点P824的区域。在执行步骤S151中的处理时，图25所示的2个基准点和2个测量点尚未被设定。

在沿着方向D811变更摄像视场之后，获取测量图像I802。在沿着方向D812变更摄像视场之后，获取测量图像I803。在沿着方向D813变更摄像视场之后，获取测量图像I804。在进一步沿着方向D813变更摄像视场之后，获取测量图像I805。

图26表示在步骤S1514中显示于显示部5的各测量图像。各测量图像是缩略图图像。测量图像I801的区域R831、测量图像I802的区域R832、测量图像I803的区域R833、测量图像I804的区域R834以及测量图像I805的区域R835与在步骤S1514中计算出的逻辑或对应。

在图26所示的例子中，测量点P821包含于测量图像I801、测量图像I802以及测量图像I803。测量点P822包含于测量图像I801、测量图像I802、测量图像I803以及测量图像I804。基准点P823仅包含于测量图像I801。基准点P824包含于测量图像I801和测量图像I803。

基准点P823仅包含于一个测量图像I801。因此，基准点P823不包含于测量图像I801的区域R831。用户能够判断为无法进行尺寸测量。

在图24和图26所示的例子中，显示了缩略图图像。显示部5所显示的图像未必是缩略图图像。可以使用任意的显示方法，只要能够向用户通知区域的重叠即可。

内窥镜装置1按每个图像对来检测在2张测量图像之间重叠的区域，且将叠加有该区域的各测量图像显示于显示部5。因此，用户能够简单地判断是否能够进行使用自身想要指定的测量点和基准点的尺寸测量。在图20和图21所示的测量处理中，能够在执行计算负荷大的SfM之前由用户判断是否能够进行尺寸测量。在用户想要指定的2个以上的指定点中的至少一个仅包含于1张测量图像的情况下，内窥镜装置1能够在较早的阶段促使用户重新获取测量图像。

在2张测量图像之间重叠的区域的显示方法不限定于对该区域标注颜色的方法，只要用户能够识别该区域即可。例如，也可以显示包围该区域的线。另外，叠加于测量图像且进行显示的区域的颜色不限定于一个颜色。例如，若是在3张测量图像间之间重叠的区域，则测量精度提高。因此，对于该区域，内窥镜装置1也可以利用与在仅2张测量图像间之间重叠的区域不同的颜色来显示该区域。

内窥镜装置1也可以具有图3所示的CPU 18a。在该情况下，显示控制部182将从摄像元件28获取到的2张以上的测量图像全部显示于显示部5。显示控制部182不需要将在2张测量图像之间重叠的区域叠加于测量图像。内窥镜装置1通过显示测量图像来对判断是否能够进行尺寸测量的用户进行辅助。但是，内窥镜装置1不需要进行除此以外的辅助。用户观察显示部5所显示的测量图像，来确认是否自身想要指定的指定点全部包含于2张以上的测量图像。用户判断是否能够进行尺寸测量，且将判断结果输入到操作部4。之后执行的处理与前述的处理相同。

(第四实施方式)

第三实施方式中，内窥镜装置1使在2张测量图像之间重叠的区域、即能够进行尺寸测量的区域变得可见。另外，在第三实施方式中，用户判定自身想要指定的指定点是否包含于变得可见的区域。在本发明中，判断是否能够进行尺寸测量的主体不限定于用户。在本发明的第四实施方式中，内窥镜装置1基于获取到的2张以上的测量图像来判断是否能够进行尺寸测量。

装置不使用由用户输入的信息而仅使用测量图像来判断是否能够在用户想要指定的指定点处进行尺寸测量是很难的。因此，在第四实施方式中，将这种例子除外。

第四实施方式的内窥镜装置1具有图3所示的CPU 18a。从摄像元件28获取到的测量图像包括1张第一图像和至少1张第二图像。主控制部180判断由用户在第一图像中指定的指定点是否包含于第二图像。在主控制部180判断为指定点包含于第二图像的情况下，三维形状复原部185复原被摄体的三维形状。

第四实施方式的测量处理包括图20所示的处理。图21所示的处理被变更为图27所示的处理。使用图27来说明步骤S151的详情。图27表示在步骤S151中执行的判断处理。

显示控制部182将至少1张代表图像显示于显示部5(步骤S1516)。代表图像只要是作为测量图像从摄像元件28获取到的图像，那么可以是任意图像。显示控制部182也可以将多张代表图像显示于显示部5。

在步骤S1516之后，用户通过对操作部4进行操作来向操作部4输入代表图像中的一个指定点的位置信息。指定点是测量点或基准点。操作部4从用户处受理位置信息。输入到操作部4的位置信息经由控制接口17而被输入到CPU 18a。主控制部180基于位置信息来识别从用户处受理的指定点。主控制部180判断从用户处受理的指定点是否包含于代表图像以外的测量图像。也就是说，主控制部180判断由用户在代表图像(第一图像)中指定的指定点是否包含于代表图像以外的测量图像(第二图像)。由此，主控制部180判断是否能够进行尺寸测量(步骤S1518)。

在步骤S1518中，主控制部180执行用于在代表图像以外的测量图像中检测与指定点类似的点的处理。在成功检测出与指定点类似的点的情况下，主控制部180判断为指定点包含于代表图像以外的测量图像。在未检测出与指定点类似的点的情况下，主控制部180判断为指定点不包含于代表图像以外的测量图像。

在步骤S1518中主控制部180判断为指定点不包含于代表图像以外的测量图像的情况下，至少一个指定点仅包含于1张测量图像。因此，主控制部180判断为无法进行尺寸测量。在该情况下，测量处理结束，且内窥镜装置1的动作模式从测量模式转变为检查模式。用户再次设定构图和摄像条件，且再次进行用于使内窥镜装置1的动作模式从检查模式转变为测量模式的操作。之后，内窥镜装置1再次执行用于获取测量图像的处理。也可以是，在步骤S1518中主控制部180判断为指定点不包含于代表图像以外的测量图像的情况下，内窥镜装置1执行与图12所示的处理相同的处理。

使用图28来说明用于检测与指定点类似的点的具体处理。图28表示从摄像元件28获取到的5张测量图像的例子。从摄像元件28获取测量图像I901、测量图像I902、测量图像I903、测量图像I904以及测量图像I905。测量图像I901是代表图像，显示于显示部5。

例如，在步骤S1517中，从用户处受理测量图像I901上的指定点P911。在从用户处受理指定点P911之后，主控制部180在测量图像I902、测量图像I903、测量图像I904以及测量图像I905的各测量图像中搜索与指定点P911类似的点。例如，在能够应用于此的搜索方法中，指定点P911的特征量被描述为多维矢量。在该搜索方法中，被决定为类似点的坐标与表示指定点P911的特征量的多维矢量最一致。在各测量图像中，在与指定点P911最类似的点同指定点P911之间的一致度为规定的阈值以下的情况下，判断为在该测量图像中不存在与指定点P911类似的点。

所获取到的多个测量图像的获取视点互不相同。因此，2张测量图像之间的宏观上的图像的运动方法符合规定的规则。换言之，存在以下限制：在2张测量图像之间，微观上的被摄体的位置关系不发生变化。例如，在2张测量图像之间被摄体整体平行移动、或者图像的倍率改变。内窥镜装置1也可以利用这一点来搜索与指定点类似的点。上述的搜索方法是具体例之一。搜索方法不限定于上述的方法。可以使用任意的搜索方法，只要能够发现与指定点类似的点即可。

在图28所示的例子中，在测量图像I902中检测出与指定点P911类似的点P911a，且在测量图像I904中检测出与指定点P911类似的点P911b。用户在输入指定点P911之后，依次输入指定点P912、指定点P913以及指定点P914。

主控制部180在测量图像I902、测量图像I903、测量图像I904以及测量图像I905的各测量图像中搜素与指定点P912、指定点P913以及指定点P914的各指定点类似的点。在图28所示的例子中，在测量图像I902中检测出与指定点P912类似的点P912a，且在测量图像I904中检测出与指定点P912类似的点P912b。在测量图像I903中检测出与指定点P913类似的点P913a，且在测量图像I904中检测出与指定点P913类似的点P913b。在测量图像I903中检测出与指定点P914类似的点P914a，且在测量图像I904中检测出与指定点P914类似的点P914b。在图28所示的例子中，由用户在代表图像中指定的2个以上的指定点全部包含于代表图像以外的测量图像。也就是说，2个以上的指定点全部包含于至少2张测量图像。

在结束指定点的输入的情况下，用户将输入结束指示输入到操作部4。操作部4从用户处受理输入结束指示。输入到操作部4的输入结束指示经由控制接口17而被输入到CPU18a。在步骤S1518中主控制部180判断为指定点包含于代表图像以外的测量图像的情况下，主控制部180判断是否从用户处受理了输入结束指示。由此，主控制部180判断是否已完成全部指定点的输入(步骤S1519)。

在步骤S1519中主控制部180判断为未从用户处受理输入结束指示的情况下，指定点的输入未完成。在该情况下，执行步骤S1517中的处理。

在步骤S1519中主控制部180判断为从用户处受理了输入结束指示的情况下，全部指定点的输入均完成。在该情况下，全部指定点均包含于至少2张测量图像。因此，主控制部180判断为能够进行尺寸测量。在该情况下，执行步骤S111中的处理。

图27所示的处理包括用户输入指定点的步骤(S1517)。因此，也可以省略图20所示的步骤S114。

也可以将以前在测量处理中使用的测量图像用作代表图像。该代表图像包含基于从用户处受理的位置信息来设定的指定点。主控制部180判断在代表图像中设定的指定点是否包含于代表图像以外的测量图像。在全部指定点均包含于代表图像以外的至少1张测量图像的情况下，主控制部180判断为能够进行尺寸测量。在至少一个指定点仅包含于代表图像的情况下，主控制部180判断为无法进行尺寸测量。

内窥镜装置1判断由用户指定的指定点是否包含于代表图像以外的测量图像。由此，内窥镜装置1能够判断是否能够进行使用用户想要指定的测量点和基准点的尺寸测量。在图20和图27所示的测量处理中，能够在执行计算负荷大的SfM之前由用户判断是否能够进行尺寸测量。在用户想要指定的2个以上的指定点中的至少一个仅包含于1张测量图像的情况下，内窥镜装置1能够在较早的阶段促使用户重新获取测量图像。

内窥镜装置1能够执行步骤S1517中的处理来代替执行图20所示的步骤S114中的处理。在该情况下，只是处理的顺序发生变化，因此抑制了处理整体的负荷的增加。

以上说明了本发明的优选的实施方式，但是本发明不限定于这些实施方式及其变形例。能够在不脱离本发明的主旨的范围内进行结构的附加、省略、置换以及其它变更。另外，本发明不被前述的说明所限定，仅被所附的权利要求的范围所限定。