阅读说明：本技术 基于单目的freespace测距方法 (monocular-based freespace distance measurement method ) 是由 崔伟 于 2018-05-28 设计创作，主要内容包括：本公开涉及距离测量技术及自动驾驶技术领域,提供一种基于单目的freespace测距方法,包括：通过平行放置在相机的正前方的地面上的标定板标定相机坐标系、地面的外参以及相机的内参；对相机拍摄的包含标定板的图像进行逆透视变换得到逆透视投影图,计算逆透视投影图中单个像素代表的实际尺寸K；手动测量相机到逆透视投影图下边缘中间的点实际代表的点的距离以得到相机盲区距离M；以及通过以下单目测距公式获得目标点到相机的距离L：L＝M+k*v,其中v为目标点距离逆透视投影图下边缘的像素个数。本公开的测距方法能克服现有技术因高度和角度问题导致的测量不准确,减小测量结果的误差。同时能简化操作过程,降低操作繁琐程度,策略性地使用道具,提升freespace测距效果。(the utility model relates to a distance measurement technique and autopilot technical field provide a freespace range finding method based on monocular, include: calibrating a camera coordinate system, external parameters of the ground and internal parameters of the camera by a calibration plate which is placed in parallel on the ground right in front of the camera; carrying out inverse perspective transformation on an image which is shot by a camera and contains a calibration plate to obtain an inverse perspective projection image, and calculating the actual size K represented by a single pixel in the inverse perspective projection image; manually measuring the distance from the camera to a point actually represented by a point in the middle of the lower edge of the inverse perspective projection drawing to obtain a camera blind area distance M; and obtaining the distance L from the target point to the camera by the following monocular distance measuring formula: and L is M + k v, wherein v is the number of pixels of the target point from the lower edge of the inverse perspective projection image. The distance measuring method disclosed by the invention can overcome the defects of inaccurate measurement caused by height and angle problems in the prior art, and reduce the error of the measurement result. Meanwhile, the operation process can be simplified, the complex operation degree is reduced, the props are used strategically, and the freespace ranging effect is improved.)

基于单目的freespace测距方法

技术领域

本公开涉及距离测量技术及自动驾驶技术领域，具体而言，涉及一种基于单目的freespace测距方法。

背景技术

在当今流行的自动驾驶主流技术中，freespace技术已经成为不可或缺的一部分。Freespace,即汽车可行驶区域，包括避开其他汽车，行人，马路边的区域。而该技术不仅用到了图像识别算法，还涉及了计算机视觉中的几何测量算法，即获取目标区域在相机坐标系下的距离。常用的手段包括单目和双目，其中单目的测距简单有效，不需要很大的计算量，功耗低，而双目测距具有结构复杂，匹配时间长的特点。就目前现有的车辆状况而言，低端车大都不具备前装ADAS(汽车辅助驾驶)功能，也就是说成熟度较高的双目测距方案并不能普遍的应用到现有的汽车上。而基于单目的freespace算法只需要一个摄像头采集数据，很容易嵌入到行车记录仪等车载设备上，应用范围广泛，已经成为本行业技术人员的研究热点。

现有的基于单目的测距方法，需要采集摄像头的安装高度和角度信息，才能估计出图像区域目标的距离。由于高度和角度信息，需要人为进行测量，难免会引入测量的误差，导致最终的测量方案准确度受到很大的影响。

此外，现有的技术方法会因为高度和角度测量的不准确，导致单目测距的结果误差太大，难以应用。而且操作复杂，十分耗时。

因此，设计一种新的基于单目的测距方法是目前亟待解决的技术问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种基于单目的freespace测距方法，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一示例实施方式，公开一种基于单目的freespace测距方法，其特征在于，所述方法包括：

通过平行放置在相机的正前方的地面上的标定板标定相机坐标系、地面的外参以及相机的内参；

对相机拍摄的包含标定板的图像进行逆透视变换得到逆透视投影图，计算逆透视投影图中单个像素代表的实际尺寸K；

测量相机到逆透视投影图下边缘中间的点实际代表的点的距离以得到相机盲区距离M；以及

通过以下单目测距公式获得目标点到相机的距离L：

L＝M+k*v，

其中v为目标点距离逆透视投影图下边缘的像素个数。

根据本公开的一示例实施方式，利用MATLAB的标定工具箱进行所述标定。

根据本公开的一示例实施方式，其中计算逆透视投影图中单个像素代表的实际尺寸K包括：根据标定板的尺寸换算出单个像素代表的实际尺寸K。

根据本公开的一示例实施方式，其中标定板上表面为矩形，所述矩形划分为多个均匀分布的正方形格子。

根据本公开的一示例实施方式，其中多个均匀分布的正方形格子为多个均匀分布的黑白相间的正方形格子。

根据本公开的一示例实施方式，其中标定板为棋盘。

根据本公开的一示例实施方式，其中棋盘为国际象棋棋盘。

根据本公开的一示例实施方式，其中计算逆透视投影图中单个像素代表的实际尺寸K包括：将棋盘格子的边长除以棋盘格子的边对应的像素个数得到K。

根据本公开的一示例实施方式，所述方法还包括：

利用单目测距公式将实际freespace的图像识别区域转化成freespace的地面距离信息。

根据本公开的一示例实施方式，其中测量相机到逆透视投影图下边缘中间的点实际代表的点的距离以得到相机盲区距离M包括：手动测量相机到逆透视投影图下边缘中间的点实际代表的点的距离以得到相机盲区距离M。

根据本公开的一些示例实施方式，能够克服现有技术因高度和角度问题导致的测量不准确，减小测量结果的误差。

根据本公开的一些示例实施方式，能够简化操作过程，降低操作繁琐程度，提升freespace测距效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出根据本公开一示例实施方式的基于单目的freespace测距方法的流程图；

图2示出相机拍摄的包含标定板的图像；

图3示出对图2所示的图像进行逆透视变换得到逆透视投影图；

图4示出根据本公开另一示例实施方式的基于单目的freespace测距方法的流程图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本公开的目的在于提供一种基于单目的freespace测距方法，包括：通过平行放置在相机的正前方的地面上的标定板标定相机坐标系、地面的外参以及相机的内参；对相机拍摄的包含标定板的图像进行逆透视变换得到逆透视投影图，计算逆透视投影图中单个像素代表的实际尺寸K；手动测量相机到逆透视投影图下边缘中间的点实际代表的点的距离以得到相机盲区距离M；以及通过以下单目测距公式获得目标点到相机的距离L：L＝M+k*v，其中v为目标点距离逆透视投影图下边缘的像素个数。本公开的测距方法能克服现有技术因高度和角度问题导致的测量不准确，减小测量结果的误差。同时能简化操作过程，降低操作繁琐程度，策略性地使用道具，提升freespace测距效果。

下面结合图1-4对本公开的基于单目的freespace测距方法进行具体说明，其中，图1示出根据本公开一示例实施方式的基于单目的freespace测距方法的流程图；图2示出相机拍摄的包含标定板的图像；图3示出对图2所示的图像进行逆透视变换得到逆透视投影图；图4示出根据本公开另一示例实施方式的基于单目的freespace测距方法的流程图。

图1示出根据本公开一示例实施方式的基于单目的freespace测距方法的流程图。

在S101，通过平行放置在相机的正前方的地面上的标定板标定相机坐标系、地面的外参以及相机的内参。

内参分为内参矩阵和畸变参数矩阵，由于相机坐标系使用的是毫米制的单位，而图像平面使用的像素为单位，内参的作用就是在这两个坐标系之间进行线性的变化；外参分为旋转矩阵和平移矩阵，旋转矩阵和平移矩阵共同描述了如何把点从世界坐标系转换到相机坐标系。标定相机坐标系用一句话来说就是世界坐标到像素坐标的映射，当然这个世界坐标是我们人为去定义的，标定就是已知标定控制点的世界坐标和像素坐标我们去解算这个映射关系，一旦这个关系解算出来了我们就可以由点的像素坐标去反推它的世界坐标，当然有了这个世界坐标，我们就可以进行测量等其他后续操作。

将一个棋盘格标定板平行放置在相机(或者说载有相机的车辆)的正前方的地面上，要求：地面平坦，标定板到相机坐标系(或者说车体坐标系)的距离可测，且图像中的棋盘格角点清晰，易于提取。可以参考图2放置。

根据本公开的一示例实施方式，其中棋盘为国际象棋棋盘。当然也可以是围棋或中国象棋的棋盘等。

但本公开并不以此为限，也可以采用其它表面图案类似棋盘格的标定板。

根据本公开的一示例实施方式，其中标定板上表面为矩形，所述矩形划分为多个均匀分布的正方形格子。

根据本公开的一示例实施方式，其中多个均匀分布的正方形格子为多个均匀分布的黑白相间的正方形格子。

根据本公开的一示例实施方式，利用MATLAB的标定工具箱进行所述标定。

在S102，对相机拍摄的包含标定板的图像进行逆透视变换得到逆透视投影图，计算逆透视投影图中单个像素代表的实际尺寸K，即单个像素代表的实际正方形区域的边长。

首先简要介绍一下逆透视变换的原理，公式(1)表示的是图像像素q(u,v)和空间三维点Q(X,Y,Z)的坐标转换,其中w为比例系数，过渡矩阵P和T包含相机内参和外参等信息。利用(1)式可以计算Q→q。

这种由三维计算二维空间的方程是有唯一解的，可是如果通过图像上一点，计算三维空间点就会出现多解的情况，也就是说无法确定空间点的真实距离。因此引入一个平面,见式(2)，由于该算法应用于地面上freespace的检测，所以不妨假设该平面表示的是地面，

∏:aX+bY+cZ+d＝0， (2)

联立(1)，(2)两式得到(3)，

将d转移到平移矩阵中得到(4)，

将(4)式进行移项变换得到(5)，合并成(6)，

交换平移矩阵和空间坐标的位置，得到(7)式，即从图像像素坐标q(x,y)→空间坐标Q(X,Y,Z)。在此原理基础上，得到图2的逆透视投影图，如图3所示。

在逆透视投影图的基础上，结合标定板的实际尺寸(标定板的实际尺寸是已知的，或者是可以用简单方法精确测量的)的真实距离，就能换算出逆透视投影图中每个像素代表的实际尺寸(标定板的实际尺寸/逆透视投影图中标定板对应的像素个数)，即比例系数k。

根据本公开的一示例实施方式，其中计算逆透视投影图中单个像素代表的实际尺寸K包括：将棋盘格子的边长除以棋盘格子的边对应的像素个数得到K。

在S103，测量相机到逆透视投影图下边缘中间的点实际代表的点的距离以得到相机盲区距离M。

根据本公开的一示例实施方式，其中测量相机到逆透视投影图下边缘中间的点实际代表的点的距离以得到相机盲区距离M包括：手动测量相机到逆透视投影图下边缘中间的点实际代表的点的距离以得到相机盲区距离M。当然也可以采用其它的测量方法(如激光测距等，可进一步提高测量精度)。

在S104，通过单目测距公式：L＝M+k*v获得目标点到相机的距离L，其中v为目标点距离逆透视投影图下边缘的像素个数。

具体来说，单目测距公式就可以表示为：

L＝M+k*v (8)

L表示相机坐标系下的目标点的深度距离(单位：米)，M为盲区距离(单位：米)，k为比例系数(单位：米/pix)，v为目标像素距离逆透视投影图下边界的像素个数(单位：pix)。

图4示出根据本公开另一示例实施方式的基于单目的freespace测距方法的流程图，其中，S401-S404与S101-S104相同，在此不再赘述，下面仅对S405进行说明：

在S405，利用单目测距公式将实际freespace的图像识别区域转化成freespace的地面距离信息。

由于freespace的图像识别区域是一个图像平面上的二维曲线，讲曲线上的每一个像素点带入到公式(8)中，就能得到freespace的地面距离信息。

通过以上的详细描述，本领域的技术人员易于理解，根据本公开实施例的方法具有以下优点中的一个或多个。

根据本公开的一些示例实施方式，能够克服现有技术因高度和角度问题导致的测量不准确，减小测量结果的误差。

根据本公开的一些示例实施方式，能够简化操作过程，降低操作繁琐程度，提升freespace测距效果。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。