阅读说明：本技术 图像处理装置、图像处理方法和程序 (Image processing apparatus, image processing method, and program ) 是由 纲岛宣浩 于 2018-06-13 设计创作，主要内容包括：本发明涉及一种图像处理装置、图像处理方法和程序,利用其能够对由多个广角相机捕获的立体图像进行更准确的校正。根据本技术的一个方面的图像处理装置：获取由配备有广角镜头的多个相机捕获的立体图像；并使用校正为彼此平行的光轴作为基准划分相机的视角；基于构成所述立体图像的广角图像生成多个参照图像和捕获划分的视角的范围的多个基准图像；对每个参照图像执行投影变换；以及基于与所述多个基准图像和经过投影变换之后的所述多个参照图像对应的图像对来计算到预定物体的距离。本技术可以应用于车载装置。(The present invention relates to an image processing apparatus, an image processing method, and a program with which it is possible to more accurately correct stereoscopic images captured by a plurality of wide-angle cameras. An image processing apparatus according to an aspect of the present technology: acquiring stereoscopic images captured by a plurality of cameras equipped with wide-angle lenses; and dividing the angle of view of the camera using the optical axes corrected to be parallel to each other as a reference; generating a plurality of reference images and a plurality of reference images capturing a range of divided viewing angles based on a wide-angle image constituting the stereoscopic image; performing a projective transformation on each reference image; and calculating a distance to a predetermined object based on an image pair corresponding to the plurality of reference images and the plurality of reference images after the projective transformation. The present technology can be applied to an in-vehicle device.)

图像处理装置、图像处理方法和程序

技术领域

本技术涉及图像处理装置、图像处理方法和程序，并且特别地涉及使得能够更准确地校正由多个广角相机捕获的立体图像的图像处理装置、图像处理方法和程序。

背景技术

作为用于测量到存在于三维空间中的物体的距离的系统，存在一种立体相机系统，其使用三角测量原理来根据由两个(或更多)相机捕获的图像测量距离。

在这种立体相机系统中，在多个相机之间的位置关系偏离设计值的情况下，所捕获的图像失真并且不能精确地测量距离。因此，已经开发了称为校正的技术作为用于电子校正所捕获的图像的技术(非专利文献1)。

顺便提及，随着半导体技术的最新进展，可以用数字相机捕获的图像的像素数量正在增加。因此，配备有诸如鱼眼镜头的能够捕获宽范围的镜头的相机(以下称为鱼眼镜头相机)可以获得足够的分辨率，并且使用鱼眼镜头的立体相机系统已经变得实用(非专利文献2)。

使用鱼眼镜头相机的立体相机系统中的常规校正在使用具有窄视角镜头的相机的情况下扩大了校正，并且是通过将一个鱼眼镜头的图像投影到一个平面上来执行的(非专利文献3)。

引文列表

专利文献

专利文献1：日本专利申请公开第05-114099号

非专利文献

非专利文献1：“Implementation of Camera Geometry Correction Capabilityin Video-Rate Stereo Machine”,Hiroshi Kano,Shigeru Kimura,Masaya Tanaka,TakeoKanade,Journal of The Robotics Society of Japan,Vol.16,No.4,pp.527-532,1998(加藤浩史，木村茂，田中正也，金玉武：“视频速率立体机中相机几何校正功能的实现”，日本机器人学会杂志，第16卷，第4期，第527-532页，1998年)

非专利文件2：“Aurora 3D-Measurement from Whole-sky Time Series ImageUsing Fish-eye Stereo Camera”,Akira Takeuchi,Hiromitsu Fujii,AtsushiYamashita,Masayuki Tanaka,Ryuho Kataoka,Yoshizumi Miyoshi,Masatoshi Okutomi,Hajime Asama,Collected Works of The Japan Society of Mechanical Engineers,Vol.82(2016),No.834,pp.15-00428-1-17,February,2016(竹内彰，藤光博，藤田淳，田中雅之，片冈龙保，三好义纯，大谷正俊，浅间肇：“使用鱼眼立体相机根据全天空时间序列图像进行Aurora 3D测量”，日本机械工程师学会集，第82(2016)卷，第834期，第15-00428-1-17页，2016年2月)

非专利文献3：“3D Measurement of Objects in Water Using Fish-eye StereoCamera”,Tatsuya Naruse,Atsushi Yamashita,Toru Kaneko,Yuichi Kobayashi,Journalof The Japan Society for Precision Engineering,Vol.79,(2013)No.4,pp.344-348(成田龙也，山下厚史，金钟彻，小林雄一：“使用鱼眼立体相机对水中的物体进行3D测量”，日本精密工程学会杂志，第79(2013)卷，第4期，第344-348页)

发明内容

本发明要解决的技术问题

在将鱼眼镜头的图像投影到一个平面上的情况下，投影的视角成为鱼眼镜头的捕获范围的一部分，并且不能正确地进行校正。

鉴于这种情况而做出了本技术，并且本技术使得能够对由多个广角相机捕获的立体图像进行更准确的校正。

问题的解决方案

根据本技术的一个方面的图像处理装置包括：获取单元，被配置为获取由各自包括广角镜头的多个相机捕获的立体图像；生成单元，被配置为参照被校正为彼此平行的光轴划分相机的视角，并基于构成所述立体图像的广角图像生成多个基准图像和多个参照图像，其中所述多个基准图像中的每个中映出每个划分的视角的范围；投影变换单元，被配置为对参照图像应用投影变换；以及距离计算单元，被配置为基于所述多个基准图像和投影变换之后的所述多个参照图像中的对应的图像对来计算到预定物体的距离。

可以进一步设置投影单元，该投影单元被配置为将构成立体图像的第一广角图像和第二广角图像分别投影到包括相机的视角的虚拟球面上。在这种情况下，可以使生成单元将投影到虚拟球面上的第一广角图像再投影到虚拟球面上的多个平面上以生成多个基准图像，并且将投影到虚拟球面上的第二广角图像再投影到虚拟球面上的多个平面上以生成多个参照图像。

可以进一步设置被配置为基于其中映出已知物体的立体图像来对光轴进行校正的校正单元，以及被配置为存储关于校正之后的光轴的信息的存储单元。

可以进一步设置参数生成单元，该参数生成单元被配置为基于构成图像对的基准图像和参照图像的对应点来生成用于投影变换的参数。在这种情况下，可以使存储单元进一步存储参数。

可以使校正单元基于存储在存储单元中的信息来设置校正后的光轴，并且可以使投影变换单元基于存储在存储单元中的参数执行参照图像的投影变换。

可以使校正单元重复地执行光轴的校正，直到校正误差变为等于或小于阈值为止。

可以使获取单元获取由两个相机捕获的广角图像作为立体图像。

可以进一步设置多个相机。

在本技术的一方面中，获取由各自包括广角镜头的多个相机捕获的立体图像，并且参照校正为彼此平行的光轴划分相机的视角。此外，基于构成立体图像的广角图像，生成其中映出划分的视角的范围的多个基准图像以及多个参照图像，将投影变换应用于参照图像，并且基于所述多个基准图像和投影变换之后的所述多个参照图像的图像对，计算到预定物体的距离。

发明的效果

根据本技术，可以更准确地执行由多个广角相机捕获的立体图像的校正。

注意，这里描述的效果不必被限制，并且可以展现本公开中描述的任何效果。

附图说明

图1是示出根据本技术的实施例的立体相机系统的配置示例的框图。

图2是示出立体图像的示例的图。

图3是示出距离计算的原理的图。

图4是示出设置在广角图像中的虚拟球面的示例的图。

图5是示出将广角图像再投影到平面上的示例的图。

图6是示出平面的设置示例的图。

图7是示出平面的设置示例的图。

图8是示出光轴的偏移的示例的图。

图9是示出光轴校正的示例的图。

图10是示出光轴校正的示例的图。

图11是示出平面的设置示例的图。

图12是示出平面的设置示例的图。

图13是示出投影变换的示例的图。

图14是示出图像处理装置的配置示例的框图。

图15是示出并行化处理单元的配置示例的框图。

图16是用于描述图像处理装置的并行化参数生成处理的流程图。

图17是用于描述图像处理装置的距离计算处理的流程图。

图18是用于描述图像处理装置的另一并行化参数生成处理的流程图。

图19是示出计算机的配置示例的框图。

图20是示出内窥镜手术系统的示意性配置的示例的图。

图21是示出图20所示的相机头和CCU的功能配置的示例的框图。

图22是示出车辆控制系统的示意性配置的示例的框图。

图23是示出车外信息检测单元和成像单元的安装位置的示例的说明图。

具体实施方式

在下文中，将描述用于执行本技术的模式。将按照以下顺序进行描述。

1.第一实施例

2.第二实施例

3.第三实施例

4.修改

5.应用1

6.应用2

<<1.第一实施例>>

<1-1.立体相机系统>

图1是示出根据本技术的实施例的立体相机系统的配置示例的框图。

通过将构成立体相机的相机12-1和相机12-2连接到图像处理装置11来配置图1所示的立体相机系统1。

相机12-1和相机12-2以预定的间隔在水平方向或垂直方向上以相同的光轴固定，并且设置有具有相同视角的镜头。

相机12-1和相机12-2在相同的定时捕获图像并且输出捕获的图像。相机12-1捕获的图像和相机12-2捕获的图像作为立体图像输入到图像处理装置11。输入到图像处理装置11的立体图像用于计算到在立体图像中映出的物体的距离。

图2是示出输入到图像处理装置11的立体图像的示例的图。

捕获图像p1和捕获图像p2是由具有诸如鱼眼镜头的具有宽视角(广视角)的镜头的相机12-1和12-2所捕获的广角图像。在此，广角图像是指视角为120度或以上，特别是150度或以上的图像。

在下文中，将基于相机12-1和12-2是配备有鱼眼镜头的鱼眼相机的假设给出描述。鱼眼镜头是具有约180度的视角的镜头。将描述使用两个鱼眼镜头相机的情况。但是，用于捕获立体图像的鱼眼镜头的数量可以是两个或更多。

如图2所示，捕获图像p1和捕获图像p2是在周边部分产生较大失真的图像。在捕获图像p1和捕获图像p2的下部，附接有相机12-1和12-2的汽车的车身C以大致弓形的形状映出。

换句话说，图1中的立体相机系统1例如是车载系统，并且用于在行驶期间计算到物体的距离。计算出的距离用于向驾驶员呈现各种类型的信息，诸如警告。

<1-2.距离计算的原理>

图3是示出到物体的距离计算的原理的图。

在立体相机系统1中，如图3所示，两个鱼眼相机的成像面平行布置，并且使用由这些成像面捕获的立体图像来计算到目标物体的距离。例如，图3的左侧所示的成像面1是相机12-1的成像面，并且右侧所示的成像面2是相机12-2的成像面。

假设在三维空间中的位置(X，Y，Z)上的物体点(object point)P在成像面1上的点P1(x1，y1)处映出，并在成像面2上的点P2(x2，y2)处映出。到物体点P的距离Z是通过以下表达式(1)获得的，其中成像面1的中心与成像面2的中心之间的距离为D，并且鱼眼镜头的焦距为f。

[数学式1]

Z＝D·f/(x1-x2)……(1)

由于距离D和焦距f是由立体相机系统1确定的固定值，因此可以通过获得x1和x2的值来计算到物体点的距离。x1和x2被称为两个图像之间的对应点，并且获得对应点通常被称为对应点搜索。此外，上述表达式(1)的右侧分母中的x1-x2是物体在图像中的位置的偏移量，并且被称为视差。

对应点搜索是以下处理：将两个捕获图像中的一个作为基准图像，并且将另一个作为参照图像，并在参照图像中搜索基准图像中的特定点存在的位置。通过诸如块匹配的图像处理来执行对对应点的搜索。

通过块匹配，从参照图像中检测出最接近基准图像中的点的区域和该点的周边区域。通过评估表达式来量化区域是否相似，并且将具有最大(或最小)评估值的区域检测为对应点。

作为块匹配的评估值，存在差的绝对值之和。差的绝对值之和E12是基于两个图像中的点P1(x1，y1)和点P2(x2，y2)的亮度差以及这两个点的周边区域的评估值，如下表达式(2)所示。

[数学式2]

E12＝∑m∑n|I1(x1+m，y1+n)-I2(x2+m，y2+n)|……(2)

两个区域相似意味着区域中的亮度值接近。因此，在表达式(2)的情况下，可以说评价值E12越小则可靠性越高(相似)，并且评价值E12越大则可靠性越低(不同)。

在图像处理装置11中，对于特定点P1，执行在参照图像中搜索具有表达式(2)的最小值的点P2的处理，作为对应点搜索。在搜索与捕获图像p1中的任意像素相对应的像素(物体被映出的像素)作为对应点的情况下，使用表达式(1)来计算距离。

在图像处理装置11中，这样的对应点搜索和距离计算主要作为立体图像处理来执行。

<1-3.校正>

将描述图像处理装置11中的校正(并行化处理)。

通常，当构成立体相机系统的两个相机被固定到安装夹具上时，获得并行化参数，该并行化参数是用于并行化处理的参数。作为获得并行化参数的方法，存在以下文献1中描述的方法。为了指定相机在三维空间中的定向，给定图像上的四个已知点就足够了。还可以指定比4点更多的点，以提高并行化处理的精度。

文献1：Computer Vision-Geometry of Vision-ISBN:978-4-339-02363-3,pp.83-87(计算机视觉-视觉几何-ISBN：978-4-339-02363-3，第83-87页)

顺便提及，在立体相机系统1中使用的相机12-1和12-2是鱼眼相机。在将由鱼眼相机捕获的捕获图像直接投影到一个平面上并执行上述并行化处理的情况下，仅捕获图像的一部分可以用于处理。因此，减少了使用鱼眼镜头捕获宽范围图像的优点。

图4是示出由相机12-1捕获的广角图像的处理的示例的图。

阴影的广角图像W1对应于由相机12-1捕获的捕获图像p1。由于相机12-1在其捕获范围内包括大约180度的范围，因此可以认为通过将大约一半天球的球面上的图像投影到平面上来获得广角图像W1。

因此，在图像处理装置11中，将广角图像W1投影到半个天球虚拟球面S1上。在图4中，成像面在XY平面上，并且三维空间的原点设置在成像面的中心。广角图像W1的中心也位于三维空间的原点。

如图4所示，将虚拟球面S1设置为具有与广角图像W1的半径相同的半径。垂直于XY平面的Z轴对应于相机12-1的光轴，并且Z轴在顶点处与虚拟球面S1相交。

此外，在图像处理装置11中，如图5所示，投影到虚拟球面S1上的投影图像被再投影到虚拟球面S1上的多个平面上，并且生成多个平面图像。

图5示出了将一个广角图像W1投影到虚拟球面S1上并将该投影图像再投影到三个平面上的示例。平面图像P11-1至P13-1是投影到设置为使得各个平面的中心与虚拟球面S1接触的平面上的图像。

图6是示出平面的设置示例的图。

图6示出了从Y轴方向观察虚拟球面和虚拟球面上的多个平面的状态。在该示例中，将整个视角划分为三个视角θ11至θ13，并且以梯形形状设置三个平面以作为在三个视角范围内的图像的投影面。平面被设置为以Z轴(光轴)为基准对称。

例如，通过将广角图像W1投影到虚拟球面S1上而获得的投影图像的与视角θ11相对应的部分进行投影来生成平面图像P11-1。平面图像P11-1是映出整个广角图像W1的视角θ11的范围的图像。

相似地，通过将广角图像W1投影到虚拟球面S1上而获得的投影图像的与视角θ12相对应的部分进行投影来生成平面图像P12-1。平面图像P12-1是映出整个广角图像W1的视角θ12的范围的图像。

通过将广角图像W1投影到虚拟球面S1上而获得的投影图像的与视角θ13相对应的部分进行投影来生成平面图像P13-1。平面图像P13-1是映出整个广角图像W1的视角θ13的范围的图像。

视角θ11、θ12和θ13被设置为使得，例如，视角之和可以包括相机12-1的所有视角。由此，可以使用在由鱼眼相机捕获的广角图像中捕获到的整个范围来执行校正。

注意，这里，通过投影到虚拟球面S1上，将广角图像W1再投影到三个平面上。但是，可以使用任意数量的平面图像，只要数量为多个即可。可以将广角图像W1直接投影到三个平面上，而无需通过投影到虚拟球面S1上来生成多个平面图像。

在图像处理装置11中，如图7所示，对与捕获图像p2相对应的广角图像W2应用相似的处理，并且通过投影到虚拟球面S2上来生成平面图像P11-2至P13-2。

平面图像P11-2是通过将广角图像W2投影到虚拟球面S2上而获得的投影图像的与视角θ11相对应的部分进行投影而生成的图像。平面图像P12-2是通过将广角图像W2投影到虚拟球面S2上而获得的投影图像的与视角θ12相对应的部分进行投影而生成的图像。平面图像P13-2是通过将广角图像W2投影到虚拟球面S2上而获得的投影图像的与视角θ13相对应的部分进行投影而生成的图像。

在图像处理装置11中，对通过根据相同的视角再投影图像而生成的平面图像P11-1和平面图像P11-2、平面图像P12-1和平面图像P12-2以及平面图像P13-1和平面图像P13-2中的每个图像对执行并行化处理。

·光轴校正

顺便提及，在如上所述对平面图像的每个图像对独立地执行并行化处理的情况下，在某些情况下，在平面图像的连接部分(例如，平面图像P11-1和平面图像P12-1的边界部分)引起不一致。由于连接部分的不一致，导致距离信息不足。

因此，如上所述，在图像处理装置11中，为了不引起连接部分的不一致，在将投影图像再投影到多个平面上之前，执行两个鱼眼相机的光轴校正。例如，由于如图8所示的两个鱼眼相机的光轴的偏差(不平行)，导致连接部分的不一致。

在图8的示例中，用于捕获在左侧示出的广角图像W1的相机12-1的光轴(实线)与用于捕获在右侧示出的广角图像W2的相机12-2的光轴偏离。例如，通过如虚线所示校正相机12-1的光轴，确保了两个鱼眼相机的光轴的平行度。

注意，图像处理装置11中的光轴校正是电子处理。执行设置校正后的光轴的处理作为光轴校正处理。

将参考图9至11描述图像处理装置11中的光轴校正。

图9是示出相机12-1和相机12-2的光轴的示例的图。图9是从Y轴方向观看参照图7等描述的相机12-1和相机12-2的光学系统的三维空间的图。相似地示出了图10和11。

在图9中，如左侧的虚线所示，相机12-1的光轴1被示为设置到广角图像W1被投影到的成像面1的中心的垂线。光轴1穿过虚拟球面S1的顶点。由于成像面1不平行于XY平面，因此光轴1相对于Z轴稍微倾斜。

相似地，如右侧的虚线所示，相机12-2的光轴2被示为设置到广角图像W2被投影到的成像面2的中心的垂线。光轴2穿过虚拟球面S2的顶点。由于成像面2不平行于XY平面，因此光轴2也相对于Z轴稍微倾斜。光轴1和光轴2不平行。

在检测到光轴之后，将彼此平行的光轴设置为校正后的光轴，如图10中的实线所示。通过校正光轴1而获得的校正后的光轴1是设置到成像面1的中心的与Z轴平行的轴。此外，通过校正光轴2获得的校正后的光轴2是与设置到成像面2的中心的与Z轴平行的轴。

图10仅示出了在X轴方向上的校正。然而，相似地在Y轴方向和Z轴方向上执行校正。

这样获得和校正光轴的方法例如在以下文献2中公开。

文献2：“Calibrating Fisheye Camera by Stripe Pattern Based uponSpherical Model”,Masao Nakano,Shigang Li,Norishige Chiba,Journal of TheInstitute of Electronics,Information and Communication Engineers D,Vol.J90-D,No.1,pp.73-82(2007)(中野正雄，李世刚，千叶典重:“通过基于球面模型的条纹图案校准鱼眼相机”，电子、信息与通信工程师学会杂志D，第J90-D卷，第1期，第73-82页(2007))

在文献2中描述的方法中，捕获已知图案(物体)并且基于失真获得光轴。例如，在相机的光轴方向上以相机之间足够的距离布置已知物体。这里所指的足够的距离仅需要是允许表达式(1)中的x1-x2在两个立体相机中尽可能接近零的距离。

在光轴平行的情况下，以这种方式布置的已知物体应该在两个立体相机的每个虚拟球面的顶点处映出。检测到虚拟球面上映出已知物体的位置，并且将光轴校正与检测到的位置和顶点之间的差相对应的量，从而可以获得校正后的光轴。

这种光轴校正是在并行化参数生成时执行的。并行化参数的生成是在立体相机系统1的操作开始之前(在实际执行距离计算之前)的预定时刻执行的。校正后的光轴的信息被存储在图像处理装置11中，并且在实际距离计算时被参考以设置校正后的光轴。

在设置校正后的光轴之后，执行如上所述的将投影到虚拟球面上的投影图像再投影到多个平面上。

图11是示出投影图像的投影的示例的图。

如图11所示，参照校正后的光轴设置虚拟球面上的多个平面。参照校正后的光轴划分鱼眼相机的视角，并根据各划分的视角设置平面。

例如，图11的左侧所示的平面图像P12-1的平面是与XY平面平行的平面，换言之，以校正后的光轴1为垂线的平面。参照校正后的光轴，相似地设置平面图像P11-1的平面和平面图像P13-1的平面。

如图12所示，平面图像P11-1是通过将广角图像W1投影到虚拟球面S1上而获得的投影图像的视角θ11的范围进行投影而生成的图像。

此外，平面图像P12-1是通过将广角图像W1投影到虚拟球面S1上而获得的投影图像的视角θ12的范围进行投影而生成的图像。平面图像P13-1是通过将广角图像W1投影到虚拟球面S1上而获得的投影图像的视角θ13的范围进行投影而生成的图像。

返回对图11的描述，将通过将广角图像W2投影到虚拟球面S2上而获得的投影图像也再投影到参照校正后的光轴2设置的平面，并生成平面图像P11-2至P13-2。

·投影变换

在上述校正中，可以说，如果各种类型的处理的精度(诸如光轴的检测精度、两个光轴的平行的精度以及到虚拟球面的投影精度)完成，则校正也完成。

然而，实际上，每个精度都具有误差，并且该误差在多个平面图像上表现为梯形失真。在图像处理装置11中，对平面图像的每个图像对执行使用投影变换的校正。

投影变换被表示为以下表达式(3)和(4)。

[数学式3]

u＝(x*a+y*b+c)/(x*g+y*h+1)……(3)

[数学式4]

v＝(x*d+y*e+f)/(x*g+y*h+1)……(4)

表达式(3)和(4)中的变量表示以下内容。

x和y：变换前的X和Y坐标

a、b、c、d、e、f、g和h：变换系数

u和v：变换后的坐标

由于在投影变换中有八个未知参数，因此需要知道平面上的四个对应点以获得八个参数。

将基于广角图像W1生成的平面图像P11-1至P13-1用作基准图像，并将基于广角图像W2生成的平面图像P11-2至P13-2用作参照图像。

指定平面图像P11-1上的四个点和平面图像P11-2上的对应于该四个点的四个对应点，并且求解联立方程，从而获得投影变换参数。该投影变换参数是用于平面图像P11-1和平面图像P11-2的图像对的参数，并且用于作为参照图像的平面图像P11-2的投影变换。

相似地，指定平面图像P12-1上的四个点和平面图像P12-2上的对应于该四个点的四个对应点，并且求解联立方程，从而获得投影变换参数。该投影变换参数是用于平面图像P12-1和平面图像P12-2的图像对的参数，并且用于作为参照图像的平面图像P12-2的投影变换。

指定平面图像P13-1上的四个点和平面图像P13-2上的对应于该四个点的四个对应点，并且求解联立方程，从而获得投影变换参数。该投影变换参数是用于平面图像P13-1和平面图像P13-2的图像对的参数，并且用于作为参照图像的平面图像P13-2的投影变换。

在每个图像上指定的对应点的数量可以是四个或更多。此外，作为指定对应点的方法，管理员可以手动指定对应点，或者可以使用诸如测试图的打印的已知图案，并且可以通过图像处理来自动识别该已知图案。管理员可以从通过图像处理自动识别的对应点中排除错误的对应点或低有效的对应点，并且可以所谓的半自动指定对应点。

图13是示出投影变换的示例的图。

图13中的A是示出其中作为基准图像的平面图像P11-1至P13-1被扩展的示例的图。假设在平面图像P11-1至P13-1上映出了长方形的物体O。

图13中的B的上部是示出作为参照图像的放大的平面图像P11-2至P13-2。在此示例中，物体O失真。这样的失真是由于如上所述的每个处理中的错误而出现的。

在图像处理装置11中，例如，使用如上所述的投影变换参数的投影变换被应用于作为参照图像的平面图像P11-2至P13-2中的每个。通过投影变换，如图13中的B的下部所示，获得了其中映出了在连接部分处具有校正的失真的物体O的平面图像P11-2至P13-2。

投影变换参数的这种计算是在并行化参数生成时执行的。在立体相机系统1开始运行之前生成并行化参数。投影变换参数的信息被存储在图像处理装置11中，并且被参考以在实际距离计算时对参照图像执行投影变换。

如上所述，图像处理装置11中的校正通过包括光轴校正(使用校正后的光轴的图像处理)和投影变换的两阶段的处理来配置。

由此，即使在使用包括诸如鱼眼相机的具有宽视角的相机的立体相机的情况下，也可以更准确地执行校正。通过准确地执行校正，可以更准确地计算距离。

<1-4.图像处理装置的配置示例>

图14是示出图像处理装置11的配置示例的框图。

如图14所示，图像处理装置11包括获取单元51、并行化处理单元52、对应点搜索单元53、参数生成单元54、并行化参数存储单元55、距离计算单元56和后处理单元57。获取单元51包括预处理单元61-1和预处理单元61-2。图14所示的功能单元的至少一部分是通过由实现图像处理装置11的计算机的CPU执行预定程序来实现的。

由相机12-1和相机12-2捕获的广角图像被输入到获取单元51。获取单元51起获取由立体相机捕获的立体图像的获取单元的作用。

获取单元51的预处理单元61-1对由相机12-1捕获的广角图像应用预处理。例如，执行诸如鱼眼镜头像差校正的处理作为预处理。预处理单元61-1将已经对其应用了预处理的广角图像输出到并行化处理单元52。

相似地，预处理单元61-2对由相机12-2捕获的广角图像应用预处理。预处理单元61-2将已经对其应用了预处理的广角图像输出到并行化处理单元52。

并行化处理单元52在生成并行化参数时获得如上所述的相机12-1和相机12-2的校正后的光轴，并将校正后的光轴的信息存储在并行化参数存储单元55中。此外，平行化处理单元52在平行化参数生成时将通过将投影图像再投影到参照校正后的光轴而设置的多个平面上而生成的多个平面图像输出到对应点搜索单元53。

平行化处理单元52在实际距离计算时基于存储在平行化参数存储单元55中的校正后的光轴的信息来设置校正后的光轴，并且执行再投影到参照校正后的光轴设置的多个平面上以生成多个平面图像。此外，并行化处理单元52基于存储在并行化参数存储单元55中的投影变换参数，将投影变换应用于每个参照图像。并行化处理单元52将作为基准图像的多个平面图像和作为参照图像的投影变换之后的多个平面图像输出到对应点搜索单元53。

对应点搜索单元53在并行化参数生成时，对从并行化处理单元52提供的平面图像的每个图像对执行对应点搜索，并将对应点的信息输出至参数生成单元54。对应点搜索单元53对平面图像P11-1和平面图像P11-2、平面图像P12-1和平面图像P12-2以及平面图像P13-1和平面图像P13-2的每个图像对执行对应点搜索。

此外，对应点搜索单元53在实际距离计算时，对从并行化处理单元52提供的平面图像的每个图像对执行对应点搜索，并将对应点的信息输出到距离计算单元56。在实际距离计算时，从平行化处理单元52提供作为基准图像的多个平面图像和作为参照图像的投影变换之后的多个平面图像。对应点搜索单元53对投影变换后的平面图像P11-1和平面图像P11-2、投影变换后的平面图像P12-1和平面图像P12-2以及投影转换后的平面图像P13-1和平面图像P13-2的每个图像对执行对应点搜索。

参数生成单元54在并行化参数生成时基于从对应点搜索单元53提供的对应点的信息，为每个图像对生成投影变换参数。参数生成单元54将生成的投影变换参数输出并存储到并行化参数存储单元55。

并行化参数存储单元55在并行化参数生成时存储从并行化处理单元52提供的校正后的光轴的信息和从参数生成单元54提供的投影变换参数作为并行化参数。在实际距离计算时读取存储在并行化参数存储单元55中的并行化参数。

距离计算单元56基于从对应点搜索单元53提供的对应点的信息来执行上述表达式(1)的计算，以计算到目标物体的距离。距离计算单元56将计算出的距离信息输出到后处理单元57。

后处理单元57基于由距离计算单元56计算出的距离信息执行后处理，并输出处理结果。例如，执行使用距离信息的物体的聚类和识别处理作为后处理。

图15是示出并行化处理单元52的配置示例的框图。

如图15所示，平行化处理单元52包括光轴检测单元71、虚拟球面投影单元72、光轴校正单元73、平面投影单元74和投影变换单元75。

光轴检测单元71基于从预处理单元61-1提供的广角图像检测相机12-1的光轴，并基于从预处理单元61-2提供的广角图像检测相机12-2的光轴。例如，将广角图像被虚拟地布置在XY平面的原点时的Z轴检测为光轴。光轴检测单元71将关于相机12-1和12-2的光轴的信息输出到虚拟球面投影单元72。

虚拟球面投影单元72将虚拟球面S1设置为由相机12-1捕获的广角图像W1，并将广角图像W1投影到虚拟球面S1上。此外，虚拟球面投影单元72将虚拟球面S2设置到由相机12-2捕获的广角图像W2，并将广角图像W2投影到虚拟球面S2上。设置虚拟球面S1和S2，以使各个顶点与由光轴检测单元71检测到的光轴相交。虚拟球面投影单元72将广角图像W1的投影图像和广角图像W2的投影图像与各个虚拟球面的信息一起输出到光轴校正单元73。

光轴校正单元73在并行化参数生成时获得如上所述的相机12-1和相机12-2的校正后的光轴，并且将校正后的光轴的信息输出并存储到并行化参数存储单元55中。此外，光轴校正单元73将广角图像W1的投影图像和广角图像W2的投影图像与各个虚拟球面以及校正后的光轴的信息一起输出到平面投影单元74。

光轴校正单元73在实际距离计算时基于存储在平行化参数存储单元55中的校正后的光轴的信息来设置校正后的光轴。光轴校正单元73将广角图像W1的投影图像和广角图像W2的投影图像与各个虚拟球面和校正后的光轴的信息一起输出到平面投影单元74。

平面投影单元74参照相机12-1的校正后的光轴在虚拟球面S1上设置多个平面，并将广角图像W1的投影图像再投影到这些平面上以生成多个平面图像。此外，平面投影单元74参照相机12-2的校正后的光轴在虚拟球面S2上设置多个平面，并将广角图像W2的投影图像再投影到这些平面上以生成多个平面图像。平面投影单元74起基于广角图像生成多个平面图像的生成单元的作用。

平面投影单元74在并行化参数生成时将基于广角图像W1生成的多个平面图像作为基准图像并且将基于广角图像W2生成的多个平面图像作为参照图像输出到对应点搜索单元53。

平面投影单元74在实际距离计算时将基于广角图像W1生成的多个平面图像作为基准图像并且将基于广角图像W2生成的多个平面图像作为参照图像输出到投影变换单元75。

此外，投影变换单元75在实际距离计算时基于存储在并行化参数存储单元55中的投影变换参数，将投影变换应用于每个参照图像。投影变换单元75将多个基准图像和投影变换之后的多个参照图像输出到对应点搜索单元53。

<1-5.图像处理装置的操作>

在此，将描述具有以上配置的图像处理装置11的操作。

首先，将参考图16中的流程图描述图像处理装置11用于生成并行化参数的处理。

在立体相机系统1的操作开始之前的预定定时执行图16中的处理。通过捕获为生成并行化参数而准备的已知物体而获得的立体图像被输入到图像处理装置11。用于生成并行化参数的已知物体可以是三维物体，或者可以是平面物体，诸如上面印有已知图案的测试图。

在步骤S1中，获取单元51接收并获取包括由相机12-1捕获的广角图像和由相机12-2捕获的广角图像的立体图像。

在步骤S2中，预处理单元61-1对由相机12-1捕获的广角图像应用预处理。此外，预处理单元61-2对由相机12-2捕获的广角图像应用预处理。

在步骤S3中，并行化处理单元52的光轴检测单元71基于从预处理单元61-1提供的广角图像检测相机12-1的光轴并基于从预处理单元61-2提供的广角图像检测相机12-2的光轴。

在步骤S4中，虚拟球面投影单元72将虚拟球面S1设置到由相机12-1捕获的广角图像，并将该广角图像投影到虚拟球面S1上。此外，虚拟球面投影单元72将虚拟球面S2设置到由相机12-2捕获的广角图像，并将该广角图像投影到虚拟球面S2上。

在步骤S5中，光轴校正单元73通过分析投影到虚拟球面S1上的投影图像来检测已知物体在虚拟球面S1上的位置，并以与该位置和顶点之间的差相对应的量校正光轴，以获得相机12-1的校正后的光轴。此外，光轴校正单元73通过分析投影到虚拟球面S2上的投影图像来检测已知物体在虚拟球面S2上的位置，并以与该位置和顶点之间的差对应的量校正光轴，以获得相机12-2的校正后的光轴。

在步骤S6中，光轴校正单元73将相机12-1和12-2的校正后的光轴的信息输出并存储到并行化参数存储单元55。

在步骤S7中，平面投影单元74参照相机12-1的校正后的光轴在虚拟球面S1上设置多个平面，并将投影图像再投影到这些平面上以生成多个基准图像。此外，平面投影单元74参照相机12-2的校正后的光轴在虚拟球面S2上设置多个平面，并且将投影图像再投影到这些平面上以生成多个参照图像。

在步骤S8中，对应点搜索单元53对从平面投影单元74提供的基准图像和参照图像的每个图像对执行对应点搜索，并将对应点的信息输出至参数生成单元54。

在步骤S9中，参数生成单元54基于由对应点搜索单元53搜索到的对应点，为每个图像对生成投影变换参数。

在步骤S10中，参数生成单元54将生成的投影变换参数输出并存储到并行化参数存储单元55。

通过以上处理，并行化参数存储单元55存储投影变换参数和校正后的光轴的信息作为并行化参数。

接下来，将参考图17中的流程图描述图像处理装置11用于实际计算到目标物体的距离的处理。

图17中的处理在诸如在立体相机系统1附接到汽车的状态下行驶期间的预定定时执行。通过在行驶期间捕获周围风景而获得的立体图像被输入到图像处理装置11。

注意，例如通过控制单元(未示出)通过分析立体图像来指定哪个物体作为要在距离上计算的物体。指定指定的物体的信息被提供给例如对应点搜索单元53和距离计算单元56。

在步骤S31中，获取单元51接收并获取包括由相机12-1捕获的广角图像和由相机12-2捕获的广角图像的立体图像。

在步骤S32中，预处理单元61-1对由相机12-1捕获的广角图像执行预处理。此外，预处理单元61-2对由相机12-2捕获的广角图像执行预处理。

在步骤S33中，并行化处理单元52的光轴检测单元71基于从预处理单元61-1提供的广角图像检测相机12-1的光轴并基于从预处理单元61-2提供的广角图像检测相机12-2的光轴。

在步骤S34中，虚拟球面投影单元72将虚拟球面S1设置到由相机12-1捕获的广角图像，并将该广角图像投影到虚拟球面S1上。此外，虚拟球面投影单元72将虚拟球面S2设置到由相机12-2捕获的广角图像，并将该广角图像投影到虚拟球面S2上。

在步骤S35中，光轴校正单元73基于存储在并行化参数存储单元55中的校正后的光轴的信息来设置相机12-1和相机12-2的各个校正后的光轴。

在步骤S36中，平面投影单元74参照相机12-1的校正后的光轴在虚拟球面S1上设置多个平面，并将投影图像再投影到这些平面上以生成多个基准图像。此外，平面投影单元74参照相机12-2的校正后的光轴在虚拟球面S2上设置多个平面，并且将投影图像再投影到这些平面上以生成多个参照图像。

在步骤S37中，投影变换单元75基于存储在并行化参数存储单元55中的投影变换参数，将投影变换应用于每个参照图像。投影变换单元75输出多个基准图像和投影变换后的多个参照图像。

在步骤S38中，对应点搜索单元53对从投影变换单元75提供的投影变换后的参照图像和基准图像的每个图像对执行对应点搜索。

在步骤S39中，距离计算单元56基于由对应点搜索单元53搜索到的对应点来计算到目标物体的距离。

在步骤S40中，后处理单元57基于由距离计算单元56计算出的距离信息执行后处理，并终止处理。

每当计算到目标物体的距离时，就执行如上所述的包括光轴校正和投影变换的两阶段处理的校正。因此，可以更精确地计算距离。

<<2.第二实施例>>

在作为如上所述的校正的第一阶段处理执行的光轴校正中，可能引起最大误差的处理是光轴的检测(估计)。如果光轴的检测有误差并且不能高精度地设置校正后的光轴，则作为第二阶段处理而执行的投影变换中的校正量变大，并且可能无法校正失真。

这里，将参照图18中的流程图描述图像处理装置11用于生成并行化参数的另一处理。作为第一阶段处理而执行的光轴校正以与参考图16所述的处理不同的形式执行。

除了执行光轴的校正结果的评估之外，图18中的处理与参考图16描述的处理相似。适当时将省略重复的描述。

通过捕获准备用于生成并行化参数的已知物体而获得的立体图像被输入到图像处理装置11。只要位置固定，此处准备的已知物体就就可以是附近的物体。已知物体可以是当投影到虚拟球面上时仅在顶点附近映出的物体，也可以是在整个图像中广泛分布的物体。

在步骤S51中，接收立体图像，并且在步骤S52中，对构成立体图像的广角图像应用预处理。

在步骤S53中，并行化处理单元52的光轴检测单元71检测相机12-1的光轴和相机12-2的光轴。

在步骤S54中，虚拟球面投影单元72将由相机12-1捕获的广角图像和由相机12-2捕获的广角图像投影到虚拟球面上。

在步骤S55中，光轴校正单元73分析投影图像并检测已知物体在虚拟球面上的位置。此外，光轴校正单元73以与检测到的位置和预设位置(应该映出已知物体的位置)之间的差相对应的量校正光轴。

在步骤S56中，平面投影单元74参照校正后的光轴在虚拟球面上设置多个平面，并且将投影图像再投影到这些平面上以生成多个基准图像和多个参照图像。

在步骤S57中，光轴校正单元73确定光轴校正误差是否等于或小于阈值。

例如通过以下的表达式(5)获得光轴校正误差。

[数学式5]

err_sum1＝∑|y1(i)-y2(i)|……(5)

此处，y1(i)表示基准图像上的某个物体点的y坐标。y2(i)表示参照图像上相同物体点的y坐标。i表示从1到n的值，并且是在平面图像中映出的n个物体点的序列号。

光轴校正中没有错误的事实意味着在两个鱼眼相机中映出的相同物体点具有相同的值y，因此值y之间的差应接近0。表达式(5)为基于立体相机之间相同物体点在y方向上位置偏差之和的评估表达式。

此外，可以通过以下表达式(6)获得光轴校正误差。

[数学。6]

err_sum2＝∑|x1(i)-d(i)-y2(i)|+∑|y1(i)-y2(i)|……(6)

此处，x1(i)表示基准图像上的某个物体点的x坐标。x2(i)表示参照图像上相同物体点的x坐标。y1(i)、y2(i)和i类似于表达式(5)的情况。视差d是可以使用表达式(1)从到物体点的已知距离计算的值。

与表达式(5)相比，表达式(6)用于获得包括相同物体点在x方向上的位置偏差的评估值。

可以使用另一评估值来代替使用由表达式(5)和(6)获得的误差作为评估值。例如，用于获得表达式(5)或(6)中的误差之和的部分用于获得误差的平方和，以及可以使用通过该表达式获得的评估值或通过使用相关性计算等获得的评估值。

返回到对图18的描述，在步骤S57中确定光轴校正误差超过阈值的情况下，处理返回到步骤S55并重复光轴校正。在重复执行的光轴校正中，可以执行根据误差的校正，或者可以执行仅将光轴偏移固定量的校正。

在步骤S57中确定光轴校正误差等于或小于阈值的情况下，执行步骤S58及后续步骤的处理。通过重复进行光轴校正直到校正误差变为等于或小于阈值，可以得到误差小的光轴作为校正后的光轴。

步骤S58及后续步骤的处理与图16中的步骤S6及后续步骤的处理相似。通过上述处理，可以更高精度地执行校正。

<<3.第三实施例>>

作为鱼眼相机的相机12-1和12-2可以捕获宽范围。因此，根据立体相机系统1的附接方式，有时映出附接有立体相机系统1的壳体。

例如，在图2的立体图像中，如上所述地映出了汽车的车身C。在将这种立体图像投影到虚拟球面上并将投影图像再投影到多个平面的情况下，车身C被映出在每个平面图像中。在此，当执行上述校正时，可以计算出到车身C的距离。

当使用完成校正的立体相机系统1时，由于冲击、热、老化等导致的失真，可能无法正确地执行距离测量。在这种情况下，通过再次执行校正解决了这样的问题。

然而，在第一实施例中描述的在操作开始之前的校正中，需要专用的环境，因为例如覆盖整个画面的已知图案被用于光轴校正。

因此，可以通过第二实施例中描述的方法来执行校正，这不需要专用环境。例如，在立体相机系统1的操作开始之后的预定定时执行该校正。

通过使用表达式(5)评估光轴校正误差，可以消除y方向上的校正偏差，但是可以保留x方向上的偏差。使用表达式(6)执行在校正中的光轴校正误差的评估。

在使用表达式(6)执行光轴校正误差的评估的情况下，需要具有已知距离的物体点。对于该已知距离，可以使用到在鱼眼相机中映出的壳体(诸如车身C)的距离。

这里，在将车身C用作具有已知距离的物体点的情况下，已知物体点集中在平面图像的一部分，诸如平面图像的下部的位置。对于具有已知距离的物体点，使用表达式(6)获得误差，并且对于具有未知距离的物体点，使用表达式(5)获得误差，从而可以在整个图像中测量光轴校正误差。

<<4.修改>>

已经主要描述了相机12-1和12-2中包括的镜头是鱼眼镜头的情况。然而，可以在相机12-1和12-2中设置不是鱼眼镜头的具有宽视角的镜头。

此外，在以上描述中，已经在设置在虚拟球面上的三个平面上执行了投影到虚拟球面上的广角图像的再投影。然而，可以在参照校正的光轴设置的四个或更多个平面上执行再投影。

图像处理装置11已经被设置为与构成立体相机的相机12-1和相机12-2分开的装置。然而，图像处理装置11可以包括相机12-1和相机12-2，并且这些装置可以设置在相同的壳体中。

上述一系列处理可以由硬件或软件执行。在通过软件执行一系列处理的情况下，构成软件的程序从程序记录介质安装到结合在专用硬件中的计算机、通用个人计算机等中。

图19是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。图像处理装置11由具有如图19所示的配置的计算机配置。

中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003通过总线1004相互连接。

此外，输入/输出接口1005被连接到总线1004。包括键盘、鼠标等的输入单元1006和包括显示器、扬声器等的输出单元1007被连接到输入/输出接口1005。此外，包括硬盘、非易失性存储器等的存储单元1008，包括网络接口等的通信单元1009以及用于驱动可移除介质1011的驱动器1010被连接到/输出接口1005。

在如上所述配置的计算机中，CPU 1001例如将存储在存储单元1008中的程序加载到RAM 1003中，并经由输入/输出接口1005和总线1004执行该程序，从而使得执行如上所述一系列处理。

通过记录在可移除介质1011上或经由诸如局域网、因特网或数字广播的有线或无线传输介质来提供由CPU 1001执行的程序，并将其安装在存储单元1008中。

注意，由计算机执行的程序可以是根据本说明书中描述的顺序按时间顺序处理的程序，或者可以是并行执行或在诸如打电话时的必要定时执行的程序。

本技术的实施例不限于上述实施例，并且可以在不脱离本技术的要旨的情况下进行各种修改。

注意，本说明书中描述的效果仅是示例而不是限制，并且可以表现出其他效果。

<<5.应用1>>

根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以被应用于内窥镜手术系统。立体相机系统1用作内窥镜手术系统的一部分。

图20是示出可应用根据本公开的技术的内窥镜手术系统5000的示意性配置的示例的图。图20示出了操作者(外科医生)5067正在使用内窥镜手术系统5000对病床5069上的患者5071进行手术的状态。如图所示，内窥镜手术系统5000包括内窥镜5001、其他手术工具5017、支撑内窥镜5001的支撑臂装置5027以及安装有用于内窥镜手术的各种装置的推车5037。

在内窥镜手术中，将称为套管针5025a至5025d的多个圆柱形穿刺仪器刺入腹壁而不是切开腹壁并打开腹部。然后，将内窥镜5001的镜筒5003和其他手术工具5017通过套管针5025a至5025d***患者5071的体腔内。在图示的示例中，作为其他手术工具5017，将气腹管5019、能量治疗工具5021以及钳子5023***患者5071的体腔内。另外，能量治疗工具5021是用于用高频电流或超声波振动进行组织的切开和剥离、血管的密封等的治疗工具。注意，图示的手术工具5017仅仅是示例，并且通常在内窥镜手术中使用的各种手术工具(诸如镊子和牵开器)可以用作手术工具5017。

由内窥镜5001捕获的患者5071的体腔中的手术部位的图像被显示在显示装置5041上。操作者5067例如在实时观看显示在显示装置5041上的手术部位的图像的同时使用能量治疗工具5021和钳子5023进行治疗，诸如除去患部。注意，尽管省略了图示，在手术期间，气腹管5019、能量治疗工具5021和钳子5023由手术者5067、助手等支撑。

(支撑臂装置)

支撑臂装置5027包括从基座单元5029延伸的臂单元5031。在所示的示例中，臂单元5031包括接头单元5033a、5033b和5033c以及连杆5035a和5035b，并且在臂控制装置5045的控制下被驱动。内窥镜5001由臂单元5031支撑，并且控制内窥镜5001的位置和姿势。通过该控制，可以实现内窥镜5001的位置的稳定固定。

(内窥镜)

内窥镜5001包括镜筒5003和相机头5005。从镜筒5003的远端起具有预定长度的区域被***到患者5071的体腔内。相机头5005与镜筒5003的近端连接。在图示的示例中，示出了配置为包括硬镜筒5003的所谓硬内窥镜的内窥镜5001。然而，内窥镜5001可以被配置为包括软镜筒5003的所谓的软内窥镜。

在镜筒5003的远端设置有用于安装物镜的开口部。光源装置5043与内窥镜5001连接，并且由光源装置5043产生的光通过在镜筒5003内延伸的光导管被引导至镜筒5003的远端，并且用通过物镜的光照射患者5071的体腔内的观察物体。注意，内窥镜5001可以是前视内窥镜、斜视内窥镜或侧视内窥镜。

光学系统和成像元件设置在相机头5005内部，并且来自观察目标的反射光(观察光)通过光学系统会聚到成像元件。观察光被成像元件光电转换，并且产生与观察光相对应的电信号，换言之，产生与观察图像相对应的图像信号。图像信号作为原始数据发送到相机控制单元(CCU)5039。注意，相机头5005具有通过适当地驱动光学系统来调节倍率和焦距的功能。

注意，例如，可以在相机头5005中设置多个成像元件以支持三维(3D)显示等。在这种情况下，在镜筒5003内部设置有多个中继光学系统，以将观察光引导至多个成像元件的每一个。

(安装在推车中的各种装置)

CCU 5039包括中央处理单元(CPU)、图形处理单元(GPU)等，并且集中地控制内窥镜5001和显示装置5041的操作。具体地，CCU 5039从相机头5005接收图像信号，并且例如对图像信号应用用于基于图像信号显示图像的各种类型的图像处理，诸如显影处理(去马赛克处理)等。CCU 5039将已经对其应用了图像处理的图像信号提供给显示装置5041。此外，CCU 5039向相机头5005发送控制信号以控制其驱动。控制信号可以包括关于成像条件(诸如倍率和焦距)的信息。

显示装置5041在CCU 5039的控制下，基于由CCU 5039对其应用了图像处理的图像信号来显示图像。在内窥镜5001支持诸如4K(水平像素数3840×垂直像素数2160)或8K(水平像素数7680×垂直像素数4320)的高分辨率捕获的情况下，和/或在内窥镜5001支持3D显示的情况下，例如，可以执行高分辨率显示和/或3D显示的显示装置5041可以对应于每种情况使用。在内窥镜5001支持诸如4K或8K的高分辨率捕获的情况下，通过使用尺寸为55英寸或更大尺寸的显示装置5041，可以获得更大的浸入感。此外，可以根据应用设置具有不同分辨率和尺寸的多个显示装置5041。

光源装置5043例如包括诸如发光二极管(LED)的光源，并且在捕获操作部时向内窥镜5001提供照射光。

臂控制装置5045包括诸如CPU的处理器，并且根据预定程序进行操作，从而根据预定控制方法来控制支撑臂装置5027的臂单元5031的驱动。

输入装置5047是用于内窥镜手术系统5000的输入接口。用户可以通过输入装置5047向内窥镜手术系统5000输入各种类型的信息和指令。例如，用户通过输入装置5047输入关于手术的各种类型的信息，诸如患者的身体信息和手术的操作过程的信息。此外，例如，用户通过输入装置5047输入驱动臂单元5031的指令、改变内窥镜5001的成像条件(诸如照射光的类型、倍率和焦距)的指令、驱动能量治疗工具5021的指令等。

输入装置5047的类型不受限制，并且输入装置5047可以是各种已知输入装置之一。例如，鼠标、键盘、触摸面板、开关、脚踏开关5057、操纵杆等可以应用于输入装置5047。在将触摸面板用作输入装置5047的情况下，可以在显示装置5041的显示面上设置触摸面板。

可替换地，输入装置5047例如是用户佩戴的装置，诸如眼镜型可穿戴装置或头戴式显示器(HMD)，并且根据装置检测到的用户的手势或视线执行各种输入。此外，输入装置5047包括能够检测用户的运动的相机，并且根据从相机捕获的视频中检测到的用户的手势或视线来执行各种输入。此外，输入装置5047包括能够收集用户语音的麦克风，并且由通过麦克风的音频来执行各种输入。以这种方式，输入装置5047被配置为能够以非接触方式输入各种类型的信息，由此特别是属于清洁区域的用户(例如，操作员5067)可以以非接触方式操作属于污秽区域的装置。此外，由于用户可以在不从所拥有的手术工具上松开他/她的手的情况下操作装置，因此提高了用户的便利性。

治疗工具控制装置5049控制能量治疗工具5021的驱动，以进行组织的烧灼和切开、血管的密封等。气腹装置5051通过气腹管5019将气体送入患者5071的体腔内，以扩大体腔，以确保内窥镜5001的视野和操作者的工作空间。记录器5053是可以记录关于手术的各种类型的信息的装置。打印机5055是可以以诸如文本、图像或图形的各种格式来打印与手术有关的各种类型的信息的装置。

在下文中，将进一步详细描述内窥镜手术系统5000中的特别特征配置。

(支撑臂装置)

支撑臂装置5027包括作为基座的基座单元5029和从基座单元5029延伸的臂单元5031。在所示的示例中，臂单元5031包括多个接头单元5033a、5033b和5033c以及由接头单元5033b连接的多个连杆5035a和5035b，但是为了简化，图20以简化的方式示出了臂单元5031的配置。实际上，可以适当地设置接头单元5033a至5033c以及连杆5035a和5035b的形状、数量和布置、接头单元5033a至5033c的旋转轴的方向等，以便臂单元5031具有期望的自由度。例如，臂单元5031可以有利地配置成具有六个或更多个自由度。利用该配置，内窥镜5001可以在臂单元5031的可移动范围内自由地移动。因此，内窥镜5001的镜筒5003可以从期望的方向***患者5071的体腔中。

致动器设置在接头单元5033a至5033c中，并且接头单元5033a至5033c被配置为通过致动器的驱动可绕预定旋转轴旋转。通过臂控制装置5045控制致动器的驱动，从而控制接头单元5033a至5033c的旋转角度，并且控制臂单元5031的驱动。通过该控制，可以实现对内窥镜5001的位置和姿势的控制。此时，臂控制装置5045可以通过诸如力控制或位置控制的各种已知的控制方法来控制臂单元5031的驱动。

例如，臂单元5031的驱动可以由臂控制装置5045根据操作输入来适当地控制，并且内窥镜5001的位置和姿势可以由操作者5067经由输入装置5047(包括脚踏开关5057)的适当操作输入来控制。通过该控制，臂单元5031的远端处的内窥镜5001可以从任意位置移动到任意位置，然后可以被固定地支撑在移动之后的位置。注意，臂单元5031可以通过所谓的主从系统来操作。在这种情况下，用户可以经由安装在远离手术室的地方的输入装置5047来远程操作臂单元5031。

此外，在施加力控制的情况下，臂控制装置5045可以执行所谓的动力辅助控制，其中，臂控制装置5045从用户接收外力并驱动接头单元5033a至5033c的致动器，使得臂单元5031根据外力而平滑地移动。通过该控制，用户可以在与臂单元5031直接接触的同时移动臂单元5031时，以相对较小的力来移动臂单元5031。因此，用户可以通过更简单的操作更直观地移动内窥镜5001，并且可以提高用户的便利性。

在此，在内窥镜手术中，内窥镜5001通常由称为内窥镜师(scopist)的外科医生来支撑。相反，通过使用支撑臂装置5027，可以可靠地固定内窥镜5001的位置而无需手动操作，因此可以稳定地获得手术部位的图像并且可以顺利地进行手术。

注意，臂控制装置5045不是必须设置在推车5037中。此外，臂控制装置5045不一定是一个装置。例如，臂控制装置5045可以设置在支撑臂装置5027的臂单元5031的接头单元5033a至5033c中的每个中，并且臂单元5031的驱动控制可以通过多个臂控制装置5045的相互协作来实现。

(光源装置)

光源装置5043将用于捕获手术部位的照射光提供给内窥镜5001。光源装置5043例如包括LED、激光光源或其组合构成的白色光源。在白光源由RGB激光光源的组合构成的情况下，可以高精度地控制各个颜色(波长)的输出强度和输出定时。因此，可以在光源装置5043中调节捕获图像的白平衡。此外，在这种情况下，以时分方式用来自每个RGB激光源的激光照射观察物体，并与照射定时同步地控制相机头5005的成像元件的驱动，从而可以以时分方式捕获分别对应于RGB的图像。根据该方法，可以在不向成像元件提供滤色器的情况下获得彩色图像。

此外，可以控制光源装置5043的驱动，以每预定时间改变要输出的光的强度。与光的强度的改变定时同步地控制相机头5005的成像元件的驱动，并且以时分方式获取图像并且对其进行合成，从而可以生成没有遮挡阴影和闪烁高光的高动态范围图像。

此外，光源装置5043可以被配置为能够提供对应于特殊光观察的预定波长带中的光。在特殊光观察中，例如，通过利用光在身体组织中的吸收的波长依赖性，通过辐射比通常观察时的照射光(换言之，白光)更窄的频带中的光来进行所谓的窄带成像，以高对比度捕获预定组织，诸如粘膜表面层中的血管。可替代地，在特殊光观察中，可以执行荧光观察以通过由激发光的辐射产生的荧光来获得图像。在荧光观察中，可以执行用激发光照射身体组织以观察来自身体组织的荧光(自发荧光观察)、将诸如吲哚菁绿(ICG)的试剂注入到身体组织中并用与试剂的荧光波长对应的激发光照射身体组织来获得荧光图像等。光源装置5043可以被配置为能够提供对应于这种特殊光观察的窄带光和/或激发光。

(相机头和CCU)

将参照图21更详细地描述内窥镜5001的相机头5005和CCU 5039的功能。图21是示出图20所示的相机头5005和CCU 5039的功能配置的示例的框图。

参照图21，相机头5005包括透镜单元5007、成像单元5009、驱动单元5011、通信单元5013和相机头控制单元5015作为其功能。此外，CCU 5039包括通信单元5059、图像处理单元5061和控制单元5063作为其功能。相机头5005和CCU 5039通过传输线缆5065彼此通信连接。

首先，将描述相机头5005的功能配置。透镜单元5007是设置在透镜单元5007与镜筒5003之间的连接部中的光学系统。通过镜筒5003的远端采入的观察光被引导至相机头5005，并入射到透镜单元5007。透镜单元5007由包括变焦透镜和聚焦透镜的多个透镜的组合构成。调节透镜单元5007的光学特性以将观察光会聚在成像单元5009的成像元件的光接收面上。此外，变焦透镜和聚焦透镜被配置为使其在光轴上的位置可移动以用于调节捕获图像的倍率和焦点。

成像单元5009包括成像元件，并且被布置在透镜单元5007的后级。已经通过透镜单元5007的观察光聚焦在成像元件的光接收面上，并且通过光电转换产生与观察到的图像对应的图像信号。由成像单元5009生成的图像信号被提供给通信单元5013。

作为构成成像单元5009的成像元件，例如，使用具有拜耳布置并且能够进行颜色捕获的互补金属氧化物半导体(CMOS)型图像传感器。注意，作为成像元件，例如，可以使用可以捕获4K或以上的高分辨率图像的成像元件。通过以高分辨率获得手术部位的图像，操作员5067可以更详细地掌握手术部位的状态，并且可以更顺利地进行手术。

此外，构成成像单元5009的成像元件包括一对成像元件，用于分别获得与3D显示相对应的右眼和左眼的图像信号。利用3D显示，操作者5067可以更准确地掌握手术部位中的生物组织的深度。注意，在成像单元5009被配置为多板成像单元的情况下，多个透镜单元5007系统对应于成像元件而设置。

此外，成像单元5009可以不必设置在相机头5005中。例如，成像单元5009可以在镜筒5003内部紧接物镜之后设置。

驱动单元5011包括致动器，并且通过相机头控制单元5015的控制，使透镜单元5007的变焦透镜和聚焦透镜沿着光轴移动预定距离。随着移动，可以适当地调节通过成像单元5009的捕获图像的倍率和焦点。

通信单元5013包括用于向CCU 5039发送或从CCU 5039接收各种类型的信息的通信装置。通信单元5013通过传输线缆5065将从成像单元5009获得的图像信号作为原始数据发送至CCU 5039。此时，为了以低延迟显示手术部位的捕获图像，优选通过光通信来发送图像信号。这是因为，在手术中，操作员5067在用捕获的图像观察患部的状态的同时进行手术，因此，为了更加安全可靠的手术，需要尽可能地实时显示手术部位的运动图像。在光通信的情况下，在通信单元5013中设置了将电信号转换成光信号的光电转换模块。图像信号被光电转换模块转换成光信号，然后被经由传输线缆5065发送到CCU 5039。

此外，通信单元5013从CCU 5039接收用于控制相机头5005的驱动的控制信号。例如，该控制信号包括与成像条件有关的信息，诸如用于指定捕获图像的帧速率的信息、用于指定成像时的曝光值的信息和/或用于指定捕获图像的倍率和焦点的信息。通信单元5013将接收到的控制信号提供给相机头控制单元5015。注意，来自该CCU 5039的控制信号也可以通过光通信来发送。在这种情况下，通信单元5013设置有将光信号转换成电信号的光电转换模块，并且控制信号被光电转换模块转换成电信号，然后被提供给相机头控制单元5015。

注意，由CCU 5039的控制单元5063基于获取的图像信号自动设置诸如帧速率、曝光值、倍率和焦点的成像条件。也就是说，在内窥镜5001中内置有所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。

相机头控制单元5015基于通过通信单元5013从CCU 5039接收的控制信号来控制相机头5005的驱动。例如，相机头控制单元5015基于用于指定捕获图像的帧速率的信息和/或用于指定成像时的曝光的信息控制成像单元5009的成像元件的驱动。此外，例如，相机头控制单元5015基于用于指定捕获图像的倍率和焦点的信息，经由驱动单元5011适当地移动透镜单元5007的变焦透镜和聚焦透镜。相机头控制单元5015还可以具有存储用于识别镜筒5003和相机头5005的信息的功能。

注意，透镜单元5007、成像单元5009等的配置被布置为具有高气密性和防水性的气密结构，从而相机头5005可以具有对高压灭菌处理的抵抗力。

接下来，将描述CCU 5039的功能配置。通信单元5059包括用于向相机头5005发送各种信息或从相机头5005接收各种类型的信息的通信装置。通信单元5059通过传输线缆5065接收从相机头5005发送的图像信号。此时，如上所述，可以通过光通信良好地发送图像信号。在这种情况下，与光通信相对应地，通信单元5059设置有将光信号转换为电信号的光电转换模块。通信单元5059将转换为电信号的图像信号提供给图像处理单元5061。

此外，通信单元5059将用于控制相机头5005的驱动的控制信号发送到相机头5005。该控制信号也可以通过光通信来发送。

图像处理单元5061将各种类型的图像处理应用于作为原始数据从相机头5005发送的图像信号。例如，图像处理包括各种类型的已知信号处理，诸如显影处理、高图像质量处理(诸如波段增强处理)、超分辨率处理、降噪(NR)处理和/或相机抖动校正处理)和/或放大处理(电子变焦处理)。此外，图像处理单元5061对用于执行AE、AF和AWB的图像信号执行波检测处理。

图像处理单元5061由诸如CPU或GPU的处理器配置，并且处理器根据预定程序来操作，从而可以执行上述图像处理和波检测处理。注意，在图像处理单元5061包括多个GPU的情况下，图像处理单元5061适当地划分关于图像信号的信息并且由多个GPU并行地执行图像处理。

控制单元5063执行与内窥镜5001对手术部位的成像以及捕获图像的显示有关的各种控制。例如，控制单元5063生成用于控制相机头5005的驱动的控制信号。这时，在用户输入了成像条件的情况下，控制单元5063基于用户输入来生成控制信号。可替代地，在内窥镜5001中内置有AE功能、AF功能和AWB功能的情况下，控制单元5063根据通过图像处理单元5061的波检测处理的结果适当地计算最佳曝光值、焦距和白平衡，并生成控制信号。

此外，控制单元5063基于图像处理单元5061已经对其应用了图像处理的图像信号，在显示装置5041上显示手术部位的图像。这时，控制单元5063使用各种图像识别技术识别手术部位的图像中的各种物体。例如，控制单元5063可以通过检测操作部位图像中包括的物体的边缘的形状、颜色等来识别诸如钳子的手术仪器、特定的生物体部分、血液、在使用能量治疗工具5021时的薄雾等。在显示装置5041上显示手术部位的图像时，控制单元5063使用识别结果在手术部位的图像上叠加并显示各种类型的手术支持信息。手术支持信息被叠加、显示并呈现给操作者5067，从而使得可以更安全和可靠地进行手术。

连接相机头5005和CCU 5039的传输线缆5065是支持电信号通信的电信号线缆、支持光通信的光纤或其复合线缆。

在此，在示出的示例中，已经使用传输线缆5065以有线方式执行通信。然而，相机头5005和CCU 5039之间的通信可以无线地执行。在无线地进行相机头5005和CCU 5039之间的通信的情况下，不需要将传输线缆5065铺设在手术室中。因此，可以消除医护人员在手术室中的移动受到传输线缆5065阻碍的情况。

已经描述了根据本公开的技术可应用到的内窥镜手术系统5000的示例。注意，这里，以内窥镜手术系统5000为例进行了描述。然而，可应用根据本公开的技术的系统不限于该示例。例如，根据本公开的技术可以应用于用于检查的柔性内窥镜系统或显微手术系统。

根据本公开的技术有利地应用于以下情况：设置在相机头5005中的相机是设置有鱼眼镜头的立体相机，并且处理由该立体相机捕获的图像。通过应用根据本公开的技术，可以精确地测量到目标物体点的距离。因此，可以更安全且更可靠地进行手术。

<<6.应用2>>

此外，根据本公开的技术可以被实现为安装在包括汽车、电动汽车、混合动力电动汽车、电动摩托车、自行车、个人移动性、飞机、无人机、轮船、机器人、建筑机械、农业机械(拖拉机)等的任意类型的移动体上的装置。

图22是示出作为可应用根据本公开的技术的移动体控制系统的示例的车辆控制系统7000的示意性配置示例的框图。车辆控制系统7000包括通过通信网络7010连接的多个电子控制单元。在图22所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。连接多个控制单元的通信网络7010可以是例如符合诸如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)的任意标准的车载通信网络。

每个控制单元包括：微型计算机，其根据各种程序执行算术处理；存储单元，其存储由微型计算机执行的程序、用于各种计算的参数等；以及驱动电路，其驱动要被控制的各种装置。每个控制单元包括用于经由通信网络7010与另一控制单元进行通信的网络I/F，以及用于通过有线通信或无线通信与车辆内部和外部的装置、传感器等进行通信的通信I/F。作为集成控制单元7600的功能配置，图22示出了微型计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车内装置I/F 7660、音频图像输出单元7670、车载网络I/F 7680和存储单元7690。相似地，其他控制单元包括微型计算机、通信I/F、存储单元等。

驱动系统控制单元7100根据各种程序来控制与车辆的驱动系统有关的装置的操作。例如，驱动系统控制单元7100起诸如内燃机或驱动马达的用于产生车辆的驱动力的驱动力产生装置、用于将驱动力传输至车轮的驱动力传输机构、调节车辆的转向角的转向机构、产生车辆的制动力的制动装置等的控制装置的作用。驱动系统控制单元7100可以具有作为防抱死制动系统(ABS)、电子稳定性控制(ESC)等的控制装置的功能。

驱动系统控制单元7100与车辆状态检测单元7110连接。车辆状态检测单元7110包括例如用于检测车身的轴向旋转运动的角速度的陀螺仪传感器、用于检测车辆的加速度的加速度传感器或者用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度、车轮的旋转速度等的传感器中的至少一个。驱动系统控制单元7100使用从车辆状态检测单元7110输入的信号执行算术处理，并控制内燃机、驱动马达、电动助力转向装置、制动装置等。

车身系统控制单元7200根据各种程序控制车身中配备的各种装置的操作。例如，车身系统控制单元7200起无钥匙进入系统、智能钥匙系统、自动窗户装置以及各种灯(诸如前灯、后灯、制动灯、转向灯和雾灯)的控制装置的作用。在这种情况下，可以将从代替钥匙的移动装置发送的无线电波或各种开关的信号输入到车身系统控制单元7200。车身系统控制单元7200接收无线电波或信号的输入，并控制车辆的门锁装置、自动窗户装置、灯等。

电池控制单元7300根据各种程序控制作为驱动马达的电源的二次电池7310。例如，电池控制单元7300从包括二次电池7310的电池装置接收诸如电池温度、电池输出电压或电池的剩余容量的信息。电池控制单元7300使用这些信号执行算术处理以控制二次电池7310、设置在电池装置中的冷却装置等的温度调节。

车外信息检测单元7400检测安装有车辆控制系统7000的车辆外部的信息。例如，成像单元7410或车外信息检测器7420中的至少一个连接至车外信息检测单元7400。成像单元7410包括飞行时间(ToF)相机、立体相机、单眼相机、红外相机或另一相机中的至少一个。车外信息检测器7420包括例如用于检测当前天气或大气现象的环境传感器或用于检测配备有车辆控制系统7000的车辆周围的其他车辆、障碍物、行人等的环境信息检测传感器中的至少一种。

环境传感器可以是例如用于检测阴雨天气的雨滴传感器、用于检测雾的雾传感器、用于检测日照程度的日照传感器或用于检测降雪的雪传感器中的至少一种。环境信息检测传感器可以是超声传感器、雷达装置或光检测和测距或激光成像检测和测距(LIDAR)装置中的至少一种。成像单元7410和车外信息检测器7420可以分别设置为独立的传感器或装置，或者可以设置为其中集成有多个传感器或装置的装置。

这里，图23示出了成像单元7410和车外信息检测器7420的安装位置的示例。例如，成像单元7910、7912、7914、7916和7918中的每一个均设置在前鼻、侧视镜、后保险杠、后门或车辆7900的内部中的挡风玻璃的上部的至少一个位置上。设置在前鼻处的成像单元7910和设置在车辆内部的挡风玻璃的上部处的成像单元7918主要获取车辆7900的前图像。设置在侧视镜处的成像单元7912和7914主要获取车辆7900的侧面图像。设置在后保险杠或后门处的成像单元7916主要获取车辆7900的后图像。设置在车辆内部的挡风玻璃上部的成像单元7918主要是用于检测前行车辆、行人、障碍物、交通信号灯、交通标志、车道等。

注意，图23示出了成像单元7910、7912、7914和7916的捕获范围的示例。成像范围a表示设置在前鼻处的成像单元7910的成像范围，成像范围b和c分别表示设置在侧视镜处的成像单元7912和7914的成像范围，并且成像范围d表示设置在后保险杠或后门处的成像单元7916的成像范围。例如，可以通过叠加在成像单元7910、7912、7914和7916中成像的图像数据来获得从上方观看的车辆7900的鸟瞰图图像。

例如，设置在车辆7900内部的挡风玻璃的前、后、侧面、拐角和上部的车外信息检测器7920、7922、7924、7926、7928和7930可以是超声传感器或雷达装置。例如，设置在前鼻、后保险杠、后门以及车辆7900内部的挡风玻璃的上部处的车外信息检测器7920、7926和7930可以是LIDAR装置。这些车外信息检测器7920至7930主要用于检测前行车辆、行人、障碍物等。

返回参考图22，将继续描述。车外信息检测单元7400使成像单元7410对车辆外部的图像进行成像，并接收所成像的图像。此外，车外信息检测单元7400从连接的车外信息检测器7420接收检测信息。在车外信息检测器7420是超声传感器、雷达装置或LIDAR装置的情况下，车外信息检测单元7400发送超声波、电磁波等，并接收接收到的反射波的信息。车外信息检测单元7400可以基于接收到的图像对道路上的人、车辆、障碍物、标志、字母等执行物体检测处理或距离检测处理。车外信息检测单元7400可以基于接收到的信息执行识别降雨、雾气、路面状况等的环境识别处理。车外信息检测单元7400可以基于所接收的信息来计算到车辆外部的物体的距离。

此外，车外信息检测单元7400可以基于接收到的图像数据执行识别路面上的人、车辆、障碍物、标志、字母等的图像识别处理或距离检测处理。车外信息检测单元7400可以对接收到的图像数据执行诸如失真校正或对准的处理，并且组合由不同成像单元7410成像的图像数据以生成鸟瞰图像或全景图像。车外信息检测单元7400可以使用由不同成像单元7410成像的图像数据执行视点转换处理。

车内信息检测单元7500检测车辆内部的信息。例如，检测驾驶员的状态的驾驶员状态检测单元7510被连接到车内信息检测单元7500。驾驶员状态检测单元7510可以包括用于对驾驶员进行成像的相机、用于检测驾驶员的生物信息的生物特征传感器、用于收集车辆内部的声音的麦克风等。生物传感器例如设置在就座面、方向盘等上，并且检测坐在座位上的乘员或握持方向盘的驾驶员的生物信息。车内信息检测单元7500可基于从驾驶员状态检测单元7510输入的检测信息来计算驾驶员的疲劳程度或专心程度，或者可以确定行进时驾驶员是否睡着。车内信息检测单元7500可以对收集的声音信号执行诸如噪声消除处理的处理。

集成控制单元7600根据各种程序来控制车辆控制系统7000中的整体操作。集成控制单元7600与输入单元7800连接。例如，输入单元7800由能够由乘员操作和输入的装置(诸如，触摸面板、按钮、麦克风、开关或杠杆)实现。通过识别由麦克风输入的声音而获得的数据可以被输入到集成控制单元7600。输入单元7800可以是例如使用红外线或另一无线电波的遥控装置，或者可以是外部连接的装置，诸如与车辆控制系统7000的操作相对应的移动电话或个人数字助理(PDA)。输入单元7800可以是例如相机，并且在这种情况下，乘员可以通过手势输入信息。可替代地，可以输入通过检测乘员佩戴的可穿戴装置的运动而获得的数据。此外，输入单元7800可以包括例如基于乘员等使用上述输入单元7800输入的信息来生成输入信号并将该输入信号输出至集成控制单元7600的输入控制电路等。乘员等通过操作输入单元7800将各种数据输入到车辆控制系统7000，并向车辆控制系统7000指示处理操作。

存储单元7690可以包括用于存储由微型计算机执行的各种程序的只读存储器(ROM)，以及用于存储各种参数、计算结果、传感器值等的随机存取存储器(RAM)。此外，存储单元7690可以由诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光学存储装置、磁光学存储装置等来实现。

通用通信I/F 7620是调解与外部环境7750中存在的各种装置的通信的通用通信I/F。通用通信I/F 7620可以包括诸如全球系统移动通信(GSM)(注册商标)、WiMAX(注册商标)、长期演进(LTE)(注册商标)或LTE高级(LTE-A)的蜂窝通信协议或诸如例如无线LAN(也称为Wi-Fi(注册商标))或蓝牙(Bluetooth)(注册商标)的无线通信协议。例如，通用通信/F7620可以经由基站或接入点连接到存在于外部网络(例如，因特网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，例如，通用通信I/F 7620可以使用对等(P2P)技术与存在于车辆附近的终端(例如，驾驶员、行人或商店的终端或机器类型通信(MTC)终端)连接。

专用通信I/F 7630是支持制定用于车辆的通信协议的通信I/F。例如，专用通信I/F 7630可以包括诸如作为下层IEEE 802.11p和上层IEEE 1609的组合的车辆环境的无线访问(WAVE)、专用短程通信(DSRC)或蜂窝通信协议的标准协议。专用通信I/F 7630通常执行V2X通信，该概念包括车辆到车辆通信、车辆到基础设施通信，车辆到家庭通信以及车辆到行人通信中的一个或多个。

例如，定位单元7640接收来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如，来自GPS卫星的全球定位系统(GPS)信号)以执行定位，并生成包括车辆的纬度、经度和高程的位置信息。注意，定位单元7640可以通过与无线接入点交换信号来指定当前位置，或者可以从诸如具有定位功能的移动电话、PHS或智能手机的终端获取位置信息。

信标接收单元7650接收例如从安装在道路上的无线站等发送的无线电波或电磁波，并获取诸如当前位置、拥堵、道路封闭或所需时间的信息。注意，信标接收单元7650的功能可以被包括在上述专用通信I/F 7630中。

车内装置I/F 7660是调解微型计算机7610与车辆中存在的各种车载装置7760之间的连接的通信接口。车内装置I/F 7660可以使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线USB(WUSB)的无线通信协议来建立无线连接。此外，车内装置I/F7660可以经由连接端子(未显示)(并且如有必要，还可以经由线缆)建立有线连接，诸如通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)、移动高清链接(MHL)等。车内装置7760可以包括例如乘员所拥有的移动装置或可穿戴装置或车辆中携带或附接的信息装置中的至少一个。此外，车内装置7760可以包括导航装置，该导航装置执行到任意目的地的路线搜索。车内装置I/F7660与这些车内装置7760交换控制信号或数据信号。

车载网络I/F 7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680根据通信网络7010所支持的预定协议来发送和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F7620、专用通信I/F7630、定位单元7640、信标接收单元7650、车内装置I/F 7660或车载网络I/F7680中的至少一个获取的信息，根据各种程序来控制车辆控制系统7000。例如，微型计算机7610可以基于获取的车辆内部和外部的信息计算驱动力产生装置、转向机构或制动装置的控制目标值，并向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可以执行协同控制，以用于实现先进的驾驶员辅助系统(ADAS)功能的目的，包括避免车辆的碰撞或减震、基于车间距的跟随行驶、车辆速度保持行驶、车辆的碰撞警告、车辆的车道偏离警告等。此外，微型计算机7610可以基于所获取的车辆附近的信息来控制驱动力产生装置、转向机构、制动装置等，以执行用于不依赖于驾驶员等的操作的自主行驶的自动驾驶目的的协作控制。

微型计算机7610可以创建车辆和诸如周边结构或人的物体之间的三维距离信息，并且可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车内装置I/F7660或车载网络I/F 7680中的至少一项获取的信息来创建包括车辆当前位置的周边信息的局部地图信息。此外，微型计算机7610可以基于所获取的信息来预测诸如车辆的碰撞、行人等的进近或者行人等进入封闭道路的危险，并生成警告信号。警告信号可以是例如用于产生警告声或用于点亮警告灯的信号。

音频图像输出单元7670将音频或图像中的至少一个的输出信号发送到输出装置，该输出装置可以在视觉上和听觉上将信息通知给车辆的乘员或车辆外部的乘员。在图22的示例中，作为输出装置，示例性地示出了音频扬声器7710、显示单元7720和仪表板7730。显示单元7720可以包括例如车载显示器或平视显示器中的至少一个。显示单元7720可以具有增强现实(AR)显示功能。输出装置可以是乘员所佩戴的诸如耳机或壮观的显示器的可穿戴装置、投影仪、灯、以及除上述装置之外的装置。在输出装置是显示装置的情况下，显示装置以诸如文本、图像、表格或图表的各种格式可视地显示在微型计算机7610执行的各种类型的处理中获得的结果或从另一控制单元接收的信息。此外，在输出装置是音频输出装置的情况下，音频输出装置将包括再现的音频数据、声学数据等的音频信号转换为模拟信号，并以听觉方式输出该模拟信号。

注意，在图22所示的示例中，可以将经由通信网络7010连接的至少两个控制单元集成为一个控制单元。可替代地，单独的控制单元可以由多个控制单元构成。此外，车辆控制系统7000可以包括另一个控制单元(未示出)。此外，在以上描述中，由任何一个控制单元执行的一些或全部功能可以由另一控制单元执行。也就是说，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定的算术处理。相似地，连接至任何控制单元的传感器或装置可以连接至另一控制单元，并且，多个控制单元可以经由通信网络7010相互发送和接收检测信息。

注意，用于实现参考图14和图15描述的根据本实施例的图像处理装置11的功能的计算机程序可以安装在任何控制单元等中。此外，可以提供存储有这样的计算机程序的计算机可读记录介质。记录介质是例如磁盘、光盘、磁光盘、闪存等。此外，上述计算机程序可以经由例如网络而不使用记录介质来传递。

在上述车辆控制系统7000中，图像处理装置11可以应用于图22所示的应用示例的集成控制单元7600。例如，可以在集成控制单元7600中实现图14和图15中的图像处理装置的每个配置。

此外，参照图14和15描述的图像处理装置11的至少一部分配置元件可以在图22所示的集成控制单元7600的模块(例如，由一个管芯配置的集成电路模块)中实现。可替换地，可以通过图22所示的车辆控制系统7000的多个控制单元来实现参照图14和图15描述的图像处理装置11。

[配置的组合示例]

本技术可以具有以下配置。

(1)一种图像处理装置，包括：

获取单元，被配置为获取由各自包括广角镜头的多个相机捕获的立体图像；

生成单元，被配置为参照被校正为彼此平行的光轴划分相机的视角，并基于构成所述立体图像的广角图像生成多个基准图像和多个参照图像，其中所述多个基准图像中的每个中映出每个划分的视角的范围；

投影变换单元，被配置为对参照图像应用投影变换；以及

距离计算单元，被配置为基于所述多个基准图像和投影变换之后的所述多个参照图像中的对应的图像对来计算到预定物体的距离。

(2)根据(1)所述的图像处理装置，还包括：

投影单元，被配置为将构成所述立体图像的第一广角图像和第二广角图像分别投影到包括相机的视角的虚拟球面上，其中，

所述生成单元：

将投影到虚拟球面上的第一广角图像再投影到虚拟球面上的多个平面上，以生成所述多个基准图像，并且

将投影到虚拟球面上的第二广角图像再投影到虚拟球面上的多个平面上，以生成所述多个参照图像。

(3)根据(1)或(2)所述的图像处理装置，还包括：

校正单元，被配置为基于映出已知物体的立体图像来校正光轴；和

存储单元，被配置为存储关于校正后的光轴的信息。

(4)根据(3)所述的图像处理装置，还包括：

参数生成单元，被配置为基于构成图像对的基准图像和参照图像的对应点来生成用于投影变换的参数，其中

存储单元还存储参数。

(5)根据(4)所述的图像处理装置，其中

校正单元基于存储在存储单元中的信息来设置校正后的光轴，以及

投影变换单元基于存储在存储单元中的参数执行参照图像的投影变换。

(6)根据(3)至(5)中任一项所述的图像处理装置，其中，

校正单元重复执行光轴的校正，直到校正误差等于或小于阈值为止。

(7)根据(1)至(6)中任一项所述的图像处理装置，其中

获取单元获取由两个相机捕获的广角图像作为立体图像。

(8)根据(1)至(7)中任一项所述的图像处理装置，还包括：

所述多个相机。

(9)一种图像处理方法，包括以下步骤：

获取由各自包括广角镜头的多个相机捕获的立体图像；

参照被校正为彼此平行的光轴划分相机的视角；

基于构成所述立体图像的广角图像生成多个基准图像和多个参照图像，其中所述多个基准图像中的每个中映出每个划分的视角的范围；

对参照图像应用投影变换；以及

基于所述多个基准图像和投影变换之后的所述多个参照图像中的对应的图像对来计算到预定物体的距离。

(10)一种用于使计算机执行处理的程序，所述处理包括以下步骤：

获取由各自包括广角镜头的多个相机捕获的立体图像；

参照被校正为彼此平行的光轴划分相机的视角；

基于构成所述立体图像的广角图像生成多个基准图像和多个参照图像，其中所述多个基准图像中的每个中映出每个划分的视角的范围；

对参照图像应用投影变换；以及

基于所述多个基准图像和投影变换之后的所述多个参照图像中的对应的图像对来计算到预定物体的距离。

附图标记列表

1 立体相机头系统

11 图像处理装置

12-1、12-2 相机

51 获取单元

52 并行化处理单元

53 对应点搜索单元

54 参数生成单元

55 并行化参数存储单元

56 距离计算单元

57 后处理单元

61-1、61-2 预处理单元

71 光轴检测单元

72 虚拟球面投影仪

73 光轴校正单元

74 平面投影单元

75 投影变换单元