阅读说明：本技术 图像处理装置、图像变换方法 (Image processing apparatus, image conversion method, and program ) 是由 樋口晴彦 田中和彦 于 2018-06-07 设计创作，主要内容包括：本发明的图像处理装置具备：图像获取部,其获取具有第1空间分辨率的拍摄图像；距离获取部,其获取具有分辨率比第1空间分辨率低的第2空间分辨率的、为纵深信息的距离图像；图像识别部,其在拍摄图像中提取包括与立体物相对应的立体物区域在内的区域；距离算出部,其根据距离图像来算出立体物区域的纵深信息；修正部,其根据距离算出部算出的立体物区域的纵深信息来修正对拍摄图像进行坐标变换用的坐标变换信息；以及视点变换图像生成部,其使用经修正部修正后的坐标变换信息来生成对拍摄图像进行了坐标变换而得的视点变换图像。(An image processing apparatus of the present invention includes: an image acquisition section that acquires a captured image having a 1 st spatial resolution; a distance acquisition unit that acquires a distance image that is depth information and has a 2 nd spatial resolution lower than the 1 st spatial resolution; an image recognition unit that extracts a region including a three-dimensional object region corresponding to a three-dimensional object from a captured image; a distance calculation unit that calculates depth information of the three-dimensional object region from the distance image; a correction unit that corrects coordinate conversion information for coordinate conversion of the captured image, based on the depth information of the three-dimensional object region calculated by the distance calculation unit; and a viewpoint conversion image generation unit that generates a viewpoint conversion image obtained by coordinate conversion of the captured image, using the coordinate conversion information corrected by the correction unit.)

图像处理装置、图像变换方法

技术领域

本发明涉及一种图像处理装置及图像变换方法。

背景技术

已知有利用车辆上设置的摄像机来拍摄车辆周围、将拍摄得到的图像显示到车内的图像显示系统。通过利用这种图像显示系统，驾驶员能以高视觉辨认度确认车辆周边的情况。专利文献1揭示了一种车辆用显示装置，其具有：拍摄图像获取单元，其获取车辆上搭载的摄像机拍摄到的拍摄图像的数据；视点设定单元，其设定要显示的影像的假想视点；坐标系变形单元，其将为了投影所述拍摄图像而预先定义的、具有曲面的基准曲面坐标系的至少一部分根据所述假想视点相对于该基准曲面坐标系的位置加以变形，获得变形坐标系；投影单元，其将所述拍摄图像的数据投影至所述变形得到的变形坐标系，生成从所述设定好的假想视点观察车辆以及该车辆周围的影像；以及显示控制单元，其使所述生成的所述影像显示在显示用画面上。

现有技术文献

专利文献

专利文献1：日本专利特开2012-138660号公报

发明内容

发明要解决的问题

在专利文献1记载的发明中，在拍摄得到的图像中包含立体物的情况下，视点变换图像中立体物会产生图像畸变。同时使用距离传感器来减少畸变的图像的显示方法广为人知，但距离传感器的空间分辨率通常与视点变换图像中立体物产生的图像畸变密切相关。即，使用空间分辨率低的距离信息难以生成高精度的视点变换图像。

解决问题的技术手段

本发明的第1形态的图像处理装置具备：图像获取部，其获取具有第1空间分辨率的拍摄图像；距离获取部，其获取具有分辨率比所述第1空间分辨率低的第2空间分辨率的、为纵深信息的距离图像；图像识别部，其在所述拍摄图像中提取包括与立体物相对应的立体物区域在内的区域；距离算出部，其根据所述距离图像来算出所述立体物区域的纵深信息；修正部，其根据所述距离算出部算出的所述立体物区域的纵深信息来修正对所述拍摄图像进行坐标变换用的坐标变换信息；以及视点变换图像生成部，其使用经所述修正部修正后的坐标变换信息来生成对所述拍摄图像进行坐标变换而得到的视点变换图像。

本发明的第2形态的图像变换方法包括：获取具有第1空间分辨率的拍摄图像；获取具有分辨率比所述第1空间分辨率低的第2空间分辨率的、为纵深信息的距离图像；在所述拍摄图像中提取包括与立体物相对应的立体物区域在内的区域；根据所述距离图像来算出所述立体物区域的纵深信息；根据所述算出的所述立体物区域的纵深信息来修正对所述拍摄图像进行坐标变换用的坐标变换信息；以及，使用通过所述修正加以修正后的坐标变换信息来生成对所述拍摄图像进行坐标变换而得到的视点变换图像。

发明的效果

根据本发明，可以使用空间分辨率低的距离信息来生成高精度的视点变换图像。

附图说明

图1为图像处理装置100的硬件构成图。

图2的(a)为通过距离检测部14得到的距离图像的概念图，图2的(b)为使用具有理想的高空间分辨率的距离传感器得到的距离图像的概念图，图2的(c)为表示浓淡与距离的关系的图。

图3为第1实施方式中的图像处理装置100的功能框图。

图4为从上部俯视搭载图像处理装置100的车辆20的图。

图5为从侧面观察车辆20的图。

图6为表示摄像机坐标系、假想视点坐标系及世界坐标系的定义的图。

图7为表示表格数据121的一例的图。

图8为表示第1实施方式中的表格数据121的修正的一例的图。

图9的(a)为表示前摄像机10A的拍摄图像900的图，图9的(b)为表示距离检测部14获取到的距离图像910的图，图9的(c)为表示利用理想的距离传感器获取到的距离图像920的图。

图10的(a)为放大图9的(b)的符号911附近并重叠有树木21的轮廓的图，图10的(b)为表示图10的(a)中距离不同的区域的边界的图，图10的(c)为在图10的(b)中重叠有表格数据121的坐标对应像素的图。

图11的(a)为表示区段分割的例子的图，图11的(b)为对区段标注有记号的图。

图12为表示第1实施方式中的图像处理装置100的动作的流程图。

图13为表示变形例1中的表格数据121A的一例的图。

图14的(a)为表示对轮廓稀疏地设定有坐标对应点的情况的图，图14的(b)为表示图14的(a)中的PQ间的理想的纵深信息的示意图，图14的(c)为表示图14的(a)中的PQ间的纵深信息的示意图。

图15的(a)为表示第2实施方式的经表格修正部113修正后的坐标对应点的图，图15的(b)为表示图15的(a)中的PQ间的纵深信息的示意图。

图16为第2实施方式中的图像处理装置100的功能框图。

图17为表示第2实施方式中的表格数据121的修正的一例的图。

图18为表示第2实施方式中的图像处理装置100的动作的流程图。

具体实施方式

(第1实施方式)

下面，参考图1～图12，对图像处理装置的第1实施方式进行说明。

图1为车辆20中搭载的图像处理装置100的硬件构成图。车辆20具备图像处理装置100、前摄像机10A、左摄像机10B、右摄像机10C、后摄像机10D、显示部13及距离检测部14。以下，将前摄像机10A、左摄像机10B、右摄像机10C及后摄像机10D统称为摄像机10。将摄像机10拍摄得到的图像称为拍摄图像。拍摄图像的分辨率例如由摄像机10中内置的摄像元件的数量决定，例如具有1920×1080的分辨率。以下，也将该分辨率称为空间分辨率。

摄像机10与距离检测部14同步地进行动作，在同一时刻获取周围的信息。图像处理装置100使用摄像机10拍摄到的图像，将在不同于摄像机10的设置位置的假想位置(以下记作假想视点)上设置假想摄像机来拍摄车辆20周围的情况下获得的图像(以下记作视点变换图像)输出至显示部13。摄像机10在车辆20上的安装位置及安装姿态是已知的，存放在存储部104中。

显示部13例如为LCD显示器、投影仪、或者车辆20中搭载的汽车导航装置的显示部。显示部13显示从接口105输出的信息。

距离检测部14检测车辆周围的物体的纵深信息作为在水平方向及垂直方向也就是在二维上具有解析度的信息。距离检测部14例如为LIDAR(Light Detection andRanging)。以下，将距离检测部14获取的在二维上具有解析度的距离信息称为“距离图像”。距离检测部14的视野与摄像机10的至少一部分重复。在本实施方式中，前摄像机10A的视野与距离检测部14的视野是一致的。但是，距离检测部14获取的距离图像的分辨率比摄像机10的分辨率低。例如，在摄像机10具有水平方向×垂直方向为1920×1080的分辨率的情况下，距离检测部14具有25×25的分辨率。即，若将拍摄图像的空间分辨率称为第1空间分辨率、将距离图像的空间分辨率称为第2空间分辨率，则第2空间分辨率比第1空间分辨率低。再者，以下将距离图像中的纵深方向的解析度称为“距离解析度”，与空间分辨率区别开来。再者，距离检测部14在车辆20上的安装位置及安装姿态是已知的，存放在存储部104中。

图2的(a)为通过距离检测部14得到的距离图像的概念图，图2的(b)为使用具有理想的高空间分辨率的距离传感器得到的距离图像的概念图，图2的(c)为表示图2的(a)及图2的(b)中的浓淡与距离的关系的图。其中，拍摄图2的(b)的高分辨率的距离传感器是为了说明而展示的，并不搭载于前文所述的车辆20上。图2的(a)及图2的(b)是从在不存在障碍物的大地上朝向地平线设置的距离检测部14以及理想的距离传感器得到的距离图像的概念图。即，图示下部展示了由于是附近所以距离较近这一情况，图示上部展示了为地平线或天空而距离较远这一情况。

图2的(a)及图2的(b)都是上端黑、下端白。但其浓度的变化的样子不一样。图2的(a)中，如右端的图表所示，浓度是阶段性地变化，而图2的(b)中，浓度是连续地变化。其原因在于，获取到图2的(b)的信息的装置的空间分辨率较高。如此，在本实施方式中使用具有低空间分辨率的传感器，但通过后文叙述的钻研，获得与使用图2的(b)所示的空间分辨率高的传感器的情况相近的结果。返回至图1继续进行说明。

图像处理装置100具备CPU101、ROM102、RAM103、存储部104及接口105。CPU101为中央运算处理装置，通过将ROM102中存放的程序在RAM103中展开并加以执行而发挥后文叙述的功能。存储部104为非易失性存储装置，例如为闪存、硬盘驱动器。接口105为与图像处理装置100中的其他装置的信息的出入口，被输入到接口105的信息被输出至CPU101。图像处理装置100使用该接口105来获取摄像机10得到的拍摄图像、距离检测部14得到的距离图像并输入至CPU101。接口105为串行端口等，也可包含AD转换器等。

图3为以功能块形式来表示图像处理装置100具备的功能的功能框图。图像处理装置100具备图像识别部111、距离修正部112、表格修正部113、关联部114、图像变换部115及显示控制部117作为其功能。图2所示的表格数据121为存放在存储部104中的信息。表格数据121是生成俯瞰图像、鸟瞰图像等视点变换图像时使用的查找表。表格数据121是在包含图像处理装置100的系统的设计阶段根据车辆20中设置的摄像机10以及假想视点的位置、角度、拍摄条件预先加以制作。表格数据121针对各摄像机10进行视点变换的每一视点而存在，但以下只针对某一摄像机10A的某1个假想视点进行说明。

图像识别部111以摄像机10的拍摄图像为处理对象，提取拍摄图像中包含的每一被摄体的轮廓来进行将拍摄图像分割为多个区域的区段分割处理。再者，在以下的说明中，将通过图像识别部111进行的区段分割处理在拍摄图像内设定的各区域称为“区段”。本处理中的被摄体的轮廓的提取可以采用基于已知的轮廓检测的方法、或者对拍摄图像的颜色信息进行解析而根据亮度、色调、彩度及明度的类似性将拍摄图像分割为多个区域来提取各区域的轮廓的方法。在图像识别部111的识别结果中存在与立体物相对应的区段也就是被摄体为立体物的区域的情况下，距离修正部112针对该区段而以后文叙述的各坐标对应点为对象来修正距离检测部14的测定值即距离。后面将经距离修正部112修正后的距离称为“立体物距离”。表格修正部113使用距离修正部112算出的立体物距离来改写表格数据121。

关联部114根据存储部104中存放的摄像机10及距离检测部14在车辆20上的安装位置及安装姿态来进行拍摄图像与距离图像的关联。例如，关联部114算出与拍摄图像中的某一区域相对应的距离图像中的区域。其中，在本实施方式中，如前文所述，摄像机10A与距离检测部14的视野一致。因此，能够容易地进行摄像机10A的拍摄图像与距离图像的关联。图像变换部115使用经表格修正部113改写后的表格数据121来变换摄像机10的拍摄图像，并组合各摄像机10的拍摄图像来生成视点变换图像。显示控制部117将由图像变换部115生成的视点变换图像输出至显示部13来使其显示。

(动作环境)

图4及图5为说明图像处理装置100进行动作的环境的图。图4为从上部俯视搭载图像处理装置100的车辆20的图，图5为从侧面观察车辆20的图。车辆20存在于表示车道的白线即直线LL及直线LR夹住的区域内。在车辆20前方正面的地面上设置有标记22，在车辆20的左前方有树木也就是立体物21。

前摄像机10A设置在车辆20前部，其光轴朝向车辆20前方的路面，将为立体物的树木21以及路面上的标记22捕捉在其拍摄范围内。此外，同样地，在车辆20的左部、右部及后部分别设置有左摄像机10B、右摄像机10C及后摄像机10D，它们的光轴分别朝向车辆20的左方、右方、后方的路面。摄像机10具备广角镜头，分别具有约180度的视场角。摄像机10及距离检测部14的设置位置及设置角度在车辆20的设计阶段已预先定下，是已知的。

图5所示的假想视点25是从车辆20的前方上部拍摄正下方而俯瞰车辆20前方的视点。下面，对图5所示的状况下从假想视点25获得的图像的制作方法进行说明。其中，虽然图像处理装置100具备摄像机10A～10D，但以变换前摄像机10A的拍摄图像的情况为代表来进行说明。

对从假想视点25获得的图像的制作方法进行说明。

(坐标变换)

图6为表示摄像机坐标系、假想视点坐标系及世界坐标系的定义的图。所谓摄像机坐标系，是以拍摄图像的摄像机为基准的坐标系。图6中图示有以前摄像机10A为基准的摄像机坐标系R的3轴即X_r、Y_r、Z_r。所谓假想视点坐标系，是以预先定下的假想视点为基准的坐标系。图6中图示有以假想视点25为基准的假想视点坐标系V的3轴即X_v、Y_v、Z_v。世界坐标系是以车辆20行驶的路面为基准设定的坐标系。图6中图示有世界坐标系W的3轴即X_w、Y_w、Z_w。X_w及Y_w平行于路面，路面包含在Z_w＝0的基准高度平面230中。

作为摄像机坐标系R的1轴的Z_r与前摄像机10A的光轴一致，也就是与摄像元件正交，另外2轴即X_r及Y_r与前摄像机10A的摄像元件的长边及短边平行。若使用摄像机的焦距z_r来表示，则构成拍摄图像301的各像素的位置以位于Z_r＝z_r的X_rY_r平面上的坐标数据来表现。即，摄像机坐标系R与拍摄图像301的坐标系相等。

作为假想视点坐标系的1轴的Z_v与置于假想视点25的假想摄像机的光轴一致也就是与假想摄像元件正交，另外2轴即X_v及Y_v与假想摄像元件的长边及短边平行。若使用置于假想视点25的摄像机的焦距z_v来表示，则构成视点变换图像311的各像素的位置以位于Z_v＝z_v的X_vY_v平面上的坐标数据来表现。即，假想视点坐标系V与视点变换图像311的坐标系相等。

在世界坐标系W中，将某一点P称为P_w，将其坐标表示为(x_w,y_w,z_w)。将利用前摄像机10A拍摄点P_w时的拍摄图像中的点P称为P_r，将点P_r的坐标表示为(x_r,y_r,z_r)。将从假想视点25获得的图像中的点P称为P_v，将P_v的坐标表示为(x_v,y_v,z_v)。

要将世界坐标系W中的点P_w的坐标(x_w,y_w,z_w)变换为摄像机坐标系R的点P_r的坐标(x_r,y_r,z_r)，例如使用式(1)所示那样的仿射变换。

[数式1]

此处，Mr为式(2)所示那样的4×4的透视投影变换矩阵。

[数式2]

式(2)中，R_r为3×3的旋转矩阵，T_r为1×3的平移矩阵，0为3×1的零矩阵。旋转矩阵R_r及平移矩阵T_r是根据世界坐标系上的摄像机10A的设置位置及设置角度、摄像机10A的内部参数即焦距及摄像元件的有效像素尺寸等而通过公知方法算出。

此外，要将世界坐标系W的点P_w的坐标(x_w,y_w,z_w)变换为假想视点坐标系V的点P_v的坐标(x_v,y_v,z_v)，例如使用式(3)所示那样的仿射变换。

[数式3]

此处，M_v为式(4)所示那样的4×4的透视投影变换矩阵。

[数式4]

式(4)中，R_v为3×3的旋转矩阵，T_v为1×3的平移矩阵，0为3×1的零矩阵。旋转矩阵R_v及平移矩阵T_v是根据世界坐标系上的假想视点25的位置及角度、假想视点25的假想焦距及摄像元件的有效像素尺寸等而通过公知方法算出。

当组合上述式(1)与式(3)时，获得用于将摄像机坐标系R的点P_r的坐标变换为假想视点坐标系V的点P_v的坐标的式(5)。

[数式5]

式(5)中，通过透视投影变换矩阵M_r的逆矩阵将摄像机坐标系R的点P_r的坐标变换为世界坐标系的点P_w的坐标，通过透视投影变换矩阵M_v将该点P_w的坐标变换为假想视点坐标系V的点P_v的坐标(x_v,y_v,z_v)。使用式(5)的坐标变换结果，可以根据对应的拍摄图像301的点P_r的像素值来算出视点变换图像311的点P_v的像素值。

但是，从摄像机10的拍摄图像得不到距被摄体的距离信息，因此，例如可以通过假定点P_w处于路面上也就是z_w＝0的平面上来算出视点变换图像311的点P_v的像素值。于是，只有拍摄到不在路面上的被摄体的区域才重新计算视点变换图像311的点P_v的像素值。例如，在拍摄图像301中的点Pr不是路面上的点P_w而是存在于Z_w＝z_w1(≠0)的平面上的点P_w1的情况下，视点变换图像311中的对应点不是点P_v而是点P_v1。摄像机10的拍摄图像的被摄体是否存在于路面上可以根据到被摄体的距离来判断。此外，在被摄体不存在于路面上的情况下，可以通过使用其距离信息来算出视点变换图像311中的对应点。

参考图6来说明对应点的算出的一例，首先，使用世界坐标系中的摄像机坐标系R的原点位置及点Pr的坐标的几何关系以及距离修正部112算出的到被摄体的距离信息来算出点P_w1的坐标。即，算出点P_w1在基准高度平面上的位置即点P_w1的X坐标和Y坐标以及被摄体距基准高度平面230的高度即点P_w1的Z坐标z_w1的值。继而，根据摄像机25的位置以及算出的点P_w1的位置算出视点变换图像311中的对应点P_v1的坐标来修正表格数据121。

(表格数据121)

存储部104中存放的各表格数据121记述有多组预先在被摄体全部存在于路面上这一假定下计算出的拍摄图像上的点P_r与视点变换图像上的点P_v的对应关系。换句话说，表格数据121是以被摄体存在于基准高度平面230内为前提算出的。即，是将摄像机坐标系R的规定点P_r1的坐标(x_r1,y_r1)、P_r2的坐标(x_r2,y_r2)、···分别利用上述式(5)变换为假想视点坐标系V的对应点的坐标得到的。此处，将2个坐标系中对应的点彼此也就是像素彼此的对应关系称为坐标对应信息，该坐标对应信息以表格数据121的形式制作而成。再者，在表格数据121中，摄像机10A的焦距等视为固定而省略了Z_r坐标的信息。

在后面的说明中，将拍摄图像301及视点变换图像311的像素当中在表格数据121中存储有坐标对应信息的像素称为坐标对应像素或坐标对应点。即，拍摄图像301及视点变换图像311中预先设定有多个坐标对应点。将表格数据121预先存储在存储部104中，在制作视点变换图像311时加以参考，由此，可以减少上述式(5)的运算次数、缩短坐标变换的处理时间。再者，表格数据121中预先存储的坐标对应信息越是增加，表格数据121的数据量便越是增加。为了削减表格数据121的数据量，只针对拍摄图像301的一部分像素而预先存储坐标对应信息，其他像素则通过插补处理来算出点P_v的像素值。再者，表格数据121也可考虑摄像机10的镜头的畸变等来加以制作。

如上所述，表格数据121是预先在被摄体全部存在于路面上这一假定下计算出的。因此，在被摄体不存在于路面上也就是为具有高度的立体物的情况下，必须根据距离信息来进行计算而改写表格数据121。以下，将该表格数据121的改写也称为表格数据121的修正。在本实施方式中，由表格修正部113修正表格数据121。即，表格修正部113对表格数据121中的立体物21的区域中包含的坐标对应点进行修正。以下，将修正对象的坐标对应点称为“修正对象坐标对应点”。

图7为表示表格数据121的一例的图。表格数据121是定义拍摄图像301的离散的像素的坐标与对应于该坐标的视点变换图像311的像素的坐标的对应关系的坐标对应表。图7中展示了对应关系编号1、2、…、n的各像素的坐标对应信息。图像处理装置100针对拍摄图像301的各像素的每一坐标而参考表格数据121来运算对应的视点变换图像311的像素的坐标。

图8为表示从表格数据121中提取修正对象坐标对应点加以修正前后的坐标的图。此外，还一并记载有表格数据121的修正所需的立体物距离。即，图8所示的表只是为了说明而例示的，该表本身无需存放在RAM103或存储部104中。在本实施方式中，表格修正部113对表格数据121的与各坐标对应点相关的坐标对应信息中的与上述修正对象坐标对应点相关的坐标对应信息进行修正，由此来修正表格数据121。具体而言，针对修正对象坐标对应点o1、o2、o3、···、oi而将它们在视点变换图像上的坐标也就是假想视点坐标系V中的坐标即(xv_o1,yv_o1)、(xv_o2,yv_o2)、(xv_o3,yv_o3)、···、(xv_oi,yv_oi)分别修正为(xv_o1',yv_o1')、(xv_o2',yv_o2')、(xv_o3',yv_o3')、···、(xv_oi',yv_oi')。如前文所述，表格修正部113使用立体物距离来进行上述修正。

假设在摄像机10A的拍摄图像的整个区域内都拍摄到立体物的情况下，则针对表格数据121的所有坐标对应点来改写视点变换图像上的坐标。但在该情况下，表格数据121中的拍摄图像上的坐标也不作改写。

(距离图像和修正的必要性)

图9的(a)为表示前摄像机10A的拍摄图像900的图，图9的(b)为表示距离检测部14获取到的距离图像910的图，图9的(c)为表示理想的距离传感器获取到的距离图像920的图。如图9的(a)所示，拍摄图像900中，图示左边有为立体物的树木21，白线LL及白线LR从图示中央下方延伸到上方。此外，图示下部有标记22，上部有地平线35。在距离检测部14获取到的距离图像910中，像图2中展示过的那样，到地面的距离是阶段性地变化的，树木21像符号911所示那样以十字形状表示。这是因为距离检测部14的空间分辨率较低。假设在同一环境下使用理想的距离传感器，则获得图9的(c)所示的距离图像920。在距离图像920中，树木21像符号921所示那样以与树木21的形状一致的方式表示。

图10的(a)是放大图9的(b)的符号911附近且重叠有以符号21A表示的树木21的轮廓的图。图10的(b)为表示图10的(a)中距离不同的区域的边界的图。图10的(c)是在图10的(b)中重叠有表格数据121的坐标对应像素的图。其中，图10的(c)中的坐标对应像素以叉形记号、圆形记号、三角记号这3种加以展示。叉形记号表示获得了恰当的距离信息的点，圆形记号表示比恰当距离远的点，三角记号表示比恰当距离近的点。例如，符号912所示的圆形记号是树木21的一部分，因此应被识别为与树木21的其他部位大致相同的距离。

但是，像参考图10的(a)而明确的那样，圆形记号912被识别为处于比树木21远的距离。此外，参考图10的(a)及图8，符号913所示的三角记号的点不是树木21而是地面中的点，应被识别为比树木21远。但是，三角记号913被识别为处于与树木21相同的距离。因此，距离修正部112通过后文叙述的处理像图10的(d)所示那样修正距离信息。即，由于通过距离修正部112算出图8所示的立体物距离，因此，表格修正部113使用该立体物距离来修正表格数据121。由此，在表格数据121的所有坐标对应像素中进行恰当的变换。

(图像识别部的动作例)

参考图9的(a)及图11，对图像识别部111的动作例进行说明。图像识别部111以图9的(a)所示的摄像机10A的拍摄图像为处理对象、通过前文所述的基于使用颜色信息的方法等的区段分割处理将拍摄图像分割为多个区域也就是区段。图11的(a)中，树木21被识别为以符号1101表示的1个区域，标记22像符号1102所示那样被识别为4个区域。图11的(b)是以方便的方式对图11的(a)所示的各区段标注有记号的图。如图11的(b)所示，拍摄图像被图像识别部111分割成A～I这9个区段。但在该区段分割中，立体物与路面未作区别。

(距离修正部的动作)

距离修正部112针对每一区段、通过以下3种方法中的某一种来修正该区段内的坐标对应点的距离。第1方法为简单平均。距离修正部112算出区段内的所有坐标对应点的距离信息的平均值，将该平均值作为处理对象区段内的所有坐标对应点的立体物距离。即，根据第1方法，区段内的所有坐标对应点具有同一立体物距离。

第2方法为1次近似。距离修正部112针对区段内的坐标对应点、通过一次函数对各自的坐标值与距离信息的相关加以近似。继而，距离修正部112根据该近似式来决定各坐标对应点的立体物距离。即，根据第2方法，可以准确地算出例如倾斜地正对车辆20的墙壁的距离等。第3方法为多维近似。第3方法是将第2方法中的近似设为2次以上的多维函数。根据第3方法，具有复杂形状的物体的距离也能准确地算出。

(图像处理装置的动作)

参考图12，对将视点变换图像显示在显示部13上时的图像处理装置100的动作进行说明。以下所说明的图像处理装置100的动作是每隔规定时间例如每隔16ms开始执行。以下所说明的处理的各步骤的执行主体为CPU101。

首先，在步骤S501中，CPU101从距离检测部14获取距离图像。在接下来的步骤S502中，CPU101从摄像机10获取拍摄图像。在接下来的步骤S503中，CPU101使图像识别部111处理步骤S502中获取到的距离图像而执行区段分割。本步骤的执行例与图11中说明过的一致。在接下来的步骤S504中，CPU101对S503中算出的各区段执行以下所说明的步骤S505～S508。虽然可对所有区段并行执行S505～S508的处理，但此处是以使处理对象改变而逐一依序进行处理的形式来进行说明。此外，将作为处理对象的区段称为处理对象区段。

在步骤S505中，CPU101根据处理对象区段内的距离信息来判断该区段是与立体物相对应的区域还是与路面相对应的区域。该判断例如能以如下方式进行。即，摄像机10A的安装位置及安装姿态是已知的，因此，可以通过关联部114、将拍摄对象假定为路面来预先算出拍摄图像内的位置与距离的关系。继而，对区段内的距离信息与根据该区段在拍摄图像内的位置算出的前文所述的距离的差进行比较，由此可以判断该区段内的被摄体是否为路面。CPU101在判断该区段内的被摄体为立体物的情况下前进至步骤S506，在判断该区段内的被摄体为路面的情况下前进至步骤S508。再者，在因距离无限大或者无法测定而判断处理对象区段的被摄体为天空的情况下，也前进至步骤S508。

在步骤S506中，CPU101使用距离修正部112来修正处理对象区段内的所有坐标对应点的距离信息，也就是算出立体物距离。在接下来的步骤S507中，CPU101使表格修正部113针对表格数据121中的处理对象区段内的所有坐标对应点进行改写并前进至步骤S509。但是，本步骤中修正过的表格数据121在后文叙述的步骤S510的执行完成时会予以废弃，可以说本步骤的处理是对表格数据121的暂时性的副本的修正。在步骤S505中判断处理对象区段为路面时加以执行的步骤S508中，CPU101在使表格修正部113不修正表格数据121的情况下前进至步骤S509。即，在S508中不进行特别处理，因此，在步骤S505中判断为路面的情况下也可直接前进至S509。

在步骤S507及步骤S508之后执行的步骤S509中，CPU101判断是否已将所有区段作为处理对象。CPU101在判断存在尚未作为处理对象的区段的情况下将该区段设定为处理对象而返回至步骤S505。CPU101在判断已将所有区段作为处理对象的情况下前进至步骤S510。在步骤S510中，图像变换部115使用步骤S507中经修正后的表格数据121对摄像机10的拍摄图像进行变换。继而，显示控制部117将该变换后的图像输出至显示部13并结束图12所示的处理。

根据上述第1实施方式，获得以下作用效果。

(1)图像处理装置100具备：接口105，其获取具有第1空间分辨率的拍摄图像；接口105，其获取具有分辨率比第1空间分辨率低的第2空间分辨率的、为纵深信息的距离图像；图像识别部111，其在拍摄图像中提取包括与立体物相对应的立体物区域在内的区域；距离修正部112，其根据距离图像来算出立体物区域的纵深信息；表格修正部113，其根据距离修正部112算出的立体物区域的纵深信息来修正对拍摄图像进行坐标变换用的坐标变换信息即表格数据121；以及图像变换部115，其使用经表格修正部113修正后的表格数据121来生成对拍摄图像进行了坐标变换而得的视点变换图像。因此，可以使用作为空间分辨率低的距离信息的距离图像来生成高精度的视点变换图像。

(2)图像识别部111根据拍摄图像的亮度、明度、彩度及明度中的至少1种来提取包括立体物区域在内的多个区段的轮廓。因此，图像识别部111可以将拍摄图像容易地分割为包括立体物区域在内的多个区段。

(3)表格数据121包含多个拍摄图像上的变换源坐标与视点变换图像上的变换目的坐标的组合。表格修正部113根据距离图像中的立体物区域的距离信息像图8所示那样对变换目的坐标也就是视点变换图像上的坐标进行修正。因此，能以拟似方式提高距离图像的分辨率。

(4)表格数据121是以拍摄图像中的被摄体为路面上的区域为前提预先加以制作的。图像识别部111针对拍摄图像中包含的每一被摄体将拍摄图像分割为多个区段。表格修正部113根据距离图像分别判断多个区段是否为立体物区域(图12的S505)，在表格数据121中修正与判断为立体物区域的区段内的变换源坐标相对应的变换目的坐标(S507)。因此，对于不是立体物的区域无须进行表格数据121的修正，从而能缩短处理时间。

(5)表格数据121是以拍摄图像的被摄体存在于基准高度平面内为前提算出的。表格修正部113使用距离修正部112算出的立体物区域的纵深信息来算出被摄体距基准高度平面230的高度以及被摄体在基准高度平面上的位置。进一步地，表格修正部113使用视点变换的基准位置、算出的被摄体距基准高度平面的高度、以及算出的被摄体在基准高度平面上的位置来修正表格数据121。

(变形例1)

第1实施方式中的表格数据121表示由式(5)表示的拍摄图像上的点P_r与视点变换图像上的点P_v的对应关系。但表格数据121也可表示由式(1)表示的拍摄图像上的点P_r与三维空间上的点P_w的对应关系。为了将变形例1中的表格数据与第1实施方式中的表格数据121区别开来，以下称为表格数据121A。在本变形例中，通过修正表格数据121A，投影至三维区间上的拍摄图像发生变形。图像变换部115制作从假想视点拍摄投影到三维空间上的拍摄图像得到的图像也就是视点变换图像。

图13为表示表格数据121A的一例的图。表格数据121A表示由式(1)表示的拍摄图像301上的点P_r与三维空间上的点P_w的对应关系。其中，在本实施方式中，修正前的表格数据121A中，三维空间上的点P_w的Z_w坐标的值全部为零。即，修正前的表格数据121A表示拍摄图像301上的点P_r与三维空间上的Z_w＝0的平面上的点P_w的对应关系。

根据本变形例，即便在用户设定的是事先未设想到的假想视点的情况下，也能使用表格数据121A来制作视点变换图像。

(变形例2)

在上述第1实施方式中，表格数据121是在被摄体全部存在于路面上这一假定下预先制作的。但表格数据121也可随时制作而不是预先制作。该情况下，在图12所示的处理中制作表格数据121。即，在步骤S507及步骤S508中制作表格数据121的相应部位。

(变形例3)

在上述第1实施方式中，车辆20配备有前摄像机10A、左摄像机10B、右摄像机10C及后摄像机10D这4个摄像机。但车辆20只要配备至少1个摄像机即可。此外，车辆20也可配备5个以上的摄像机。

(变形例4)

在上述第1实施方式中，是由图像识别部111进行区段分割处理、由此将拍摄图像分割为多个区域，并由表格修正部113将其中与立体物相对应的区域的坐标对应点作为处理对象来进行表格数据121的修正。但是，图像识别部111也可在拍摄图像内只确定与立体物相对应的区域。例如，在距离图像中提取纵深信息未阶段性地变化的部分，在拍摄图像中确定与该部分相对应的同一被摄体的区域，由此，可以在拍摄图像内确定与立体物相对应的区域。

(第2实施方式)

参考图14～图18，对图像处理装置100的第2实施方式进行说明。在以下的说明中，对与第1实施方式相同的构成要素标注相同符号而主要说明不同点。不特别说明的内容与第1实施方式相同。本实施方式与第1实施方式的不同点主要在于，表格数据121的拍摄图像上的坐标的值也作修正。

(第2实施方式的概要)

在第1实施方式中，对提取到的轮廓一开始就密集地设定了坐标对应点。但在对提取到的轮廓稀疏地设定坐标对应点的情况下，第1实施方式中的效果有限。因此，在本实施方式中，对应于提取到的立体物的轮廓而新设定坐标对应点。

图14为表示运用第1实施方式的情况下有可能发生的问题的图。图14的(a)为表示对轮廓稀疏地设定坐标对应点的情况的例子。图14的(b)为表示图14的(a)中的PQ间的理想的纵深信息的示意图，图14的(c)为表示图14的(a)中的PQ间的纵深信息的示意图。其中，图14的(b)及图14的(c)中，图示上方向表示距离较远，白色圆圈表示轮廓。如图14的(b)所示，理想而言，距离信息较理想以轮廓为界而明确地变化。但是，距离信息仅针对坐标对应点加以设定，坐标对应点与坐标对应点之间的点是进行插补处理，因此，可以说距离信息是像图14的(c)所示那样与理想不一样。

图15的(a)为表示第2实施方式的经表格修正部113修正后的坐标对应点的图，图15的(b)为表示图15的(a)中的PQ间的纵深信息的示意图。在本实施方式中，如图15的(a)所示，坐标对应点分别设定在立体物区域的轮廓附近而且是轮廓的两侧、也就是立体物区域的外部和内部。因此，如图15的(b)所示，距离在轮廓附近急剧变化，与图14的(b)所示的理想距离大致一致。再者，图15中，为了方便图示，轮廓与坐标对应点之间是空的，但较理想为尽可能使轮廓与坐标对应点密接。

(构成)

第2实施方式中的图像处理装置100的构成以及车辆20的硬件构成与第1实施方式相同。但如后文所述，图像处理装置100的ROM102中存放的程序的动作不一样。

图16为以功能块形式来表示图像处理装置100具备的功能的功能框图。图像处理装置100除了第1实施方式中的功能以外还具备坐标对应点设定部118。坐标对应点设定部118在图像识别部111分割出的区段的轮廓附近设定坐标对应点。其中，坐标对应点设定部118可修正已有的坐标对应点的坐标，也可新加入坐标对应点。

(表格数据的修正)

图17为表示从表格数据121中提取修正对象坐标对应点以及新设定的坐标对应点加以修正前后的坐标的图。图17与第1实施方式中的图8相对应。下面，主要说明与图8的不同点。在第2实施方式中，拍摄图像上的坐标也可能会被修正。例如对于图17的对应编号“o2”，修正了拍摄图像上的坐标的Xr坐标及Yr坐标两方，对于对应编号“o3”，修正了拍摄图像上的坐标的Yr坐标。此外，对应关系编号“o4”在修正前并不存在，由此得知是新设定的坐标对应点。

(图像处理装置的动作)

参考图18，对第2实施方式中的图像处理装置100的动作进行说明。其中，与第1实施方式共通的动作省略说明。到步骤S505为止的处理与第1实施方式相同，由此省略说明及图示。

当在步骤S505中判断为立体物时，前进至步骤S521，在判断为路面或天空的情况下，前进至步骤S508。在步骤S521中，CPU101使坐标对应点设定部118在处理对象区段的轮廓附近而且是该区段的内部和外部设定坐标对应点。

在接下来的步骤S522中，CPU101使距离修正部112设定在步骤S521中设定的坐标对应点当中存在于区段外部的坐标对应点的距离信息。该坐标对应点的距离可根据原本就存在于轮廓外侧的坐标对应点的距离来决定，也可假定该坐标对应点存在于路面来决定。在接下来的步骤S506A中，CPU101使用距离修正部112来修正处理对象区段内的所有坐标对应点的距离信息也就是算出立体物距离。其中，处理对象区段内的所有坐标对应点当中也包含步骤S521中新设定的坐标对应点。步骤S507后面的处理与第1实施方式相同，因此省略说明。

根据上述第2实施方式，获得以下作用效果。

(6)距离修正部112包含多个拍摄图像上的变换源坐标与视点变换图像上的变换目的坐标的组合。表格修正部113在立体物区域的轮廓附近修正变换源坐标。因此，即便在距离修正部112中没有密集地设定坐标对应点的情况下，也可以通过在被摄体的轮廓附近修正坐标对应点而使视点变换图像中的立体形状的再现高精度化。

(7)表格修正部113在立体物区域的轮廓附近而且是立体物区域的外部及内部配置变换源坐标。因此，可以像图15所示那样使立体形状的再现进一步高精度化。

再者，本发明包含各种变形例，并不限定于上述实施例。例如，上述实施例是为了以易于理解的方式说明本发明而对整个系统进行了详细说明，但并非一定限定于具备说明过的所有构成。此外，可以将某一实施例的构成的一部分替换为其他实施例的构成，此外，也可以对某一实施例的构成加入其他实施例的构成。此外，可以对各实施例的构成的一部分进行其他构成的追加、删除、替换。在本发明的技术思想的范围内思索的其他形态也包含在本发明的范围内。

此外，上述的各构成、功能、处理部、处理方法等例如可通过利用集成电路进行设计等而以硬件来实现它们的一部分或全部。此外，上述的各构成、功能等也可通过由处理器解释并执行实现各功能的程序而以软件来实现。实现各功能的程序、表格、文件等信息可以放在存储器、硬盘、SSD(Solid State Drive)等记录装置或者IC卡、SD卡、DVD等记录介质中。

下面的优先权基础申请的揭示内容以引用文的形式并入至本申请。

日本专利申请2017-128280(2017年6月30日申请)

符号说明

10…摄像机

14…距离检测部

100…图像处理装置

101…CPU

104…存储部

105…接口

111…图像识别部

112…距离修正部

113…表格修正部

114…关联部

115…图像变换部

118…坐标对应点设定部

121…表格数据。