阅读说明：本技术 获取固定平面与其摄像头成像之间映射关系的方法 (Method for obtaining mapping relation between fixed plane and camera imaging thereof ) 是由 田泽康 蒋文 危明 邓卉 于 2019-11-05 设计创作，主要内容包括：本发明涉及一种获取固定平面与其摄像头成像之间映射关系的方法，包括：获取初始黑白块阵列图像；控制初始黑白块阵列图像中的各个黑白块单元按照各自的黑白块单元中心进行旋转，形成多幅黑白块阵列图像并进行显示，所述多幅黑白块阵列图像中，黑白块单元成90度夹角的黑白块阵列图像组成对称组；利用摄像头获取多组组成对称组的所述黑白块阵列图像的拍摄图像，进行图像处理获取每个黑白块单元的中心坐标；求取坐标平均值，作为图像坐标；根据子区域中N个黑白块单元中心的图像坐标，获取与子区域对应的投影变换参数，根据投影变换参数获取子区域中任一点的图像坐标。能够有效减少控制点计算的误差。(The invention relates to a method for acquiring a mapping relation between a fixed plane and camera imaging thereof, which comprises the following steps: acquiring an initial black and white block array image; controlling each black and white block unit in the initial black and white block array image to rotate according to the center of each black and white block unit to form a plurality of black and white block array images and display the black and white block array images, wherein the black and white block units in the plurality of black and white block array images form a symmetrical group with an included angle of 90 degrees; acquiring a plurality of groups of shot images of the black and white block array images which form a symmetrical group by using a camera, and processing the images to acquire the center coordinate of each black and white block unit; calculating the average value of the coordinates as the image coordinates; and acquiring projection transformation parameters corresponding to the sub-regions according to the image coordinates of the centers of the N black and white block units in the sub-regions, and acquiring the image coordinates of any point in the sub-regions according to the projection transformation parameters. Errors in control point calculation can be effectively reduced.)

获取固定平面与其摄像头成像之间映射关系的方法

技术领域

本发明涉及计算机视觉领域，具体而言，涉及一种获取固定平面与其摄像头成像之间映射关系的方法。

背景技术

计算机视觉已经在很多行业获得应用，深刻影响了人们的生活。在一些视觉应用中，需要建立被测物体与其相机成像之间映射关系。例如在人机交互中判断交互的位置，视觉算法侦测到成像中的交互位置点，可以通过映射关系换算出被测物体上的点，从而执行交互操作。建立摄像机整个成像区域中的点与成像点之间的对应关系，涉及到求解摄像机的成像参数，畸变特性等，本发明描述的方法限制为该问题的一个特殊子集，即成像的物体为一固定平面。

建立固定平面与其摄像头图像的映射关系就是根据物体上的点(下称物点)的坐标，求解摄像头获取的图像上对应点(下称像点)的坐标，现有技术中张氏相机标定法是最流行的方法。

该方法要求制作一个棋盘格平面标定板，通常是打印棋盘格图像粘贴在一个硬质材料的平板上。棋盘格的结构就是许多黑色和白色矩形块交叉排列在一起，相邻矩形黑白块的顶点(下称控制点)具有显著特征，因此通过图像处理容易获得图像上坐标。如果将标定板所在平面设置为世界坐标系的Z＝0平面，则标定板控制点的世界坐标就是其在平面上的坐标，这在制作标定板时很容易测量得到。

张氏标定法的具体步骤如下：改变标定板和摄像头之间的位置关系(即标定板相对摄像头的姿态不同)，采集多幅不同姿态的标定板图像，检测出图像上控制点的坐标，根据小孔相机模型求解摄像头的内参数和外参数，使用最小二乘法和似然估计方法优化参数估计精度。内参数包括焦距、光心等摄像头的固有特征，是许多高级视觉应用需要的基础，而外参数则是采集某幅标定板图像时标定板平面相对摄像头成像面的旋转和平移参数，也就是标定板相对摄像头的姿态参数。

如果采集标定板不同姿态的图像时，其中一幅图像是把标定板放置在固定平面上获得，那么固定平面与其摄像头图像的对应关系，就是该次标定板图像的姿态参数。

棋盘格标定板经过摄像头成像后，由于相邻黑白块的相互影响，图像上的边缘(即亮暗强烈变化的位置)发生位置变化，使得图像检测得到的控制点坐标具有较大误差，参见图1。

发明内容

本发明为了解决现有技术中图像检测得到的控制点坐标具有较大误差的问题，提供了一种获取固定平面与其摄像头成像之间映射关系的方法，包括：

S110、获取初始黑白块阵列图像，所述黑白块阵列图像包括阵列排布的黑白块单元，所述黑白块单元包括轴对称的两个白块和两个黑块，任一一个白块与两个黑块相邻；

S120、控制初始黑白块阵列图像中的各个黑白块单元按照各自的黑白块单元中心进行旋转，形成多幅黑白块阵列图像并进行显示，所述多幅黑白块阵列图像中，黑白块单元成90度夹角的黑白块阵列图像组成对称组；

S130、利用摄像头获取多组组成对称组的所述黑白块阵列图像的拍摄图像，进行图像处理获取每个黑白块单元的中心坐标；

S140、获取多组组成对称组的所述黑白块阵列图像的拍摄图像中每个黑白块单元中心的中心坐标，求取坐标平均值，将所述坐标平均值设为所述初始黑白块阵列图像中黑白块单元中心的图像坐标；

S150、将初始黑白块阵列图像中相邻行、相邻列的N个黑白块单元中心之间的区域设为子区域，从而形成多个相邻的子区域，其中为N大于等于3的整数，根据子区域中N个黑白块单元中心的图像坐标，获取与子区域对应的投影变换参数，根据投影变换参数获取子区域中任一点的图像坐标。

进一步地，进行图像处理获取每个黑白块单元的中心坐标包括：

对所述拍摄图像进行二值化处理；

对二值化图像进行腐蚀膨胀；

区域连通性计算；

获取联通区域的质心的坐标作为所述中心坐标。

进一步地，所述初始黑白块阵列图像中的各个黑白块单元中，两个黑块中心的连线与竖直方向夹角为45度。

进一步地，控制初始黑白块阵列图像中的各个黑白块单元按照各自的黑白块单元中心进行旋转的步骤包括：

控制初始黑白块阵列图像中的各个黑白块单元按照各自的黑白块单元中心按照旋转角度为30度进行旋转，并旋转3次。

进一步地，所述步骤S150中，N为4。

进一步地，所述步骤S150中，获取与子区域对应的投影变换参数包括：采用小孔相机模型求解所述投影变换参数。

本发明通过组成对称性的图像，进行控制点(黑白块单元中心)检测，能够有效减少坐标误差。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1为本发明一些实施例中的棋盘格图像及其摄像头图像局域放大示意图；

图2为本发明一些实施例中的摄像头镜头畸变示意图；

图3为本发明一些实施例中的具有对称性的一组模式图像示意图；

图4为本发明一些实施例中的基于网格的映射关系求解方法流程示意图；

图5为本发明一些实施例中的基本模式旋转30度的标定板投影到屏幕之后的图像示意图；

图6为本发明一些实施例中的二值化图像示意图；

图7为本发明一些实施例中的获取固定平面与其摄像头成像之间映射关系的方法流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图2所示，由于镜头材料和生产工艺的限制，物体上的点(下称物点)P通过摄像头成像后并不是理想的点(下称像点)P`，而是产生一个中心到边缘强度逐渐减弱的圆斑，圆斑会影响与之相邻的像元成像。越靠近镜头的边缘，这种散焦的特性越严重，因此摄像头成像总是存在畸变(即像点在图像上偏离其理想位置)，并且畸变与图像像素的位置有关，距离图像中心越远，图像畸变越严重。

图像的中心和边缘畸变表现出较大不一致性，为了减小甚至消除这种不一致性，本发明把图像划分为许多小区域，当区域划分得足够小时，像素之间的畸变差异趋于忽略不计。

对任意一个小区域，本发明需要求取到一个变换参数，将区域对应空间中物体上的三维点映射成其图像上的二维点。对于采用小孔成像模型的相机，这种变换属于透视变换，每个区域(或者说变换)至少需要三个物点和像点构成的点对(以下称控制点对)才能求解唯一的参数。根据包含控制点对个数不同，区域的形状也不同(例如三角形、四边形等)，相邻两个区域总是拥有一条共同边，并共用该边上的一对控制点对。所有区域的控制点对连接起来构成了一个网格，只要能够获取网格上控制点对的准确坐标，就能计算不同区域的透视变换参数，从而正确地将物体变换成图像。

棋盘格标定板的矩形黑白块临接的边形成明显的边缘，但是经过摄像头成像后，图像上不再具有明确的边缘。白块边界上的像点变暗，而黑块边界上的像点变亮，也就是说表现出亮点向暗点“侵染”的特征。在此图像上进行图像处理检测控制点时，位置偏向暗点方向。

如果交换标定板黑白块的位置，那么图像检测控制点时偏向的方向，将与之前的方向相反。也就是说，具有对称模式的标定板，它们的图像检测控制点时具有相反的误差，两者可以相互抵消，如图3所示，示意了具有对称性的一组模式图像。

因为不同模式必须相对控制点对称，才能使控制点检测误差相互抵消，所以标定板采用以控制点为中心对称的局部模式。为了进一步减少检测误差，考虑使用多组对称模式的标定板，采集这些标定板的图像，对多组图像检测的控制点位置求平均。

如图4所示，示意了获取映射关系的流程，首先生成标定板基本模式，然后生成局部模式旋转角度列表，根据旋转角度对局部模式进行旋转，然后整体投影到屏幕并进行图像采集，对多组对称的图像进行采集，并求取所有图像中控制点的坐标，求取平均值，最后使用控制点的平均值坐标进行网格区域的投影变换参数。

从图3可以看出基本模式中的黑白块本身具有对称性，使得基本模式旋转90度(垂直镜像)或者270度(水平镜像)时黑白块亮度变化方向相反。为了生成多组模式标定板，以控制点为中心旋转局部模式，在90度之内每30度生成一个局部旋转模式，以及该模式的垂直镜像，从而得到六个三组对称的模式标定板。需要注意的是旋转时黑块超出局部区域的部分都被抛弃，然后将生成的模式投影到屏幕采集对应的图像，图5是旋转30度时生成的模式标定板投影到屏幕的图像。

在得到旋转模式标定板投影的图像(总共六幅)之后，首先裁剪出只包含标定板的图像部分，接着进行图像分割得到二值化图像(图像只包含黑白两种颜色，其中黑色表示黑块对应的点，参见图6)，然后对二值化图像进行腐蚀膨胀，最后进行区域连通并计算连通区域的质心，从而得到局部模式中心(即控制点)在图像中的坐标。六副图像分别计算出控制点的图像坐标，然后计算各个控制点在六副图像中坐标的平均值，得到控制点最终的图像坐标。

标定板中共有45个控制点，并形成一个5行9列的网格，我们将网格划分成四边形子区域(即相邻两行两列的控制点确定一个子区域)，每个子区域使用四个控制点对(标定板上黑白块的角点和标定板投影到屏幕后获得的图像上的控制点)求得投影变换参数，然后可以利用变换参数求解该子区域内任意一点对应的图像坐标。

需要说明的是，本发明中在制作标定板时，可以采用的模式不限于具有局部对称性的矩形黑白块，包括旋转任意角度的黑白块。构造控制点网格时，不限于四边形网格，包括任何多边形连接形成的控制点网格。

由于摄像头成像时图像的中心和边缘产生不同程度的畸变，为了减少畸变带来的影响，把图像划分成许多小区域，每个区域所有像点使用同样的空间变换参数，并且变换参数由区域的控制点对(标定板上黑白块形成的角点和其在图像上的对应像点构成一个控制点对)计算得到。所有区域的控制点连接起来构成一个特定形状的网格，区域包含的控制点个数决定了网格的形状。当图像上的控制点足够多时，区域中所有像点畸变的差异能够接受。

通常很容易精确测量标定板上控制点的坐标，而检测图像上的控制点坐标容易受图像畸变的影响，产生较大的误差。由于畸变造成的误差与标定板的模式相关，具有对称性的一组模式产生的误差能够相互抵消。因此，通过构造多组具有对称性的标定板，并采集它们的图像以检测控制点坐标，将有效减少坐标误差。

本发明的中的方法还可包括如下的实施方式。

如图7所示，本发明提供了一种获取固定平面与其摄像头成像之间映射关系的方法，包括：

S110、获取初始黑白块阵列图像，所述黑白块阵列图像包括阵列排布的黑白块单元，所述黑白块单元包括轴对称的两个白块和两个黑块，任一一个白块与两个黑块相邻；

S120、控制初始黑白块阵列图像中的各个黑白块单元按照各自的黑白块单元中心(控制点)进行旋转，形成多幅黑白块阵列图像并进行显示，所述多幅黑白块阵列图像中，黑白块单元成90度夹角的黑白块阵列图像组成对称组；即对称组中，两个黑块中心连线相互垂直。

S130、利用摄像头获取多组组成对称组的所述黑白块阵列图像的拍摄图像，进行图像处理获取每个黑白块单元的中心坐标；

S140、获取多组组成对称组的所述黑白块阵列图像的拍摄图像中每个黑白块单元中心的中心坐标，求取坐标平均值，将所述坐标平均值设为所述初始黑白块阵列图像中黑白块单元中心的图像坐标；

S150、将初始黑白块阵列图像中相邻行、相邻列的N个黑白块单元中心之间的区域设为子区域，从而形成多个相邻的子区域，其中为N大于等于3的整数，根据子区域中N个黑白块单元中心的图像坐标，获取与子区域对应的投影变换参数，根据投影变换参数获取子区域中任一点的图像坐标。划分小区域，将多个控制点(黑白块中心)连接组成网格。

利用对称组，可有效减少图像检测过程中的误差。

进一步地，进行图像处理获取每个黑白块单元的中心坐标包括：

对所述拍摄图像进行二值化处理；

对二值化图像进行腐蚀膨胀；

区域连通性计算；

获取联通区域的质心的坐标作为所述中心坐标。

进一步地，所述初始黑白块阵列图像中的各个黑白块单元中，两个黑块中心的连线与竖直方向夹角为45度。

进一步地，控制初始黑白块阵列图像中的各个黑白块单元按照各自的黑白块单元中心进行旋转的步骤包括：

控制初始黑白块阵列图像中的各个黑白块单元按照各自的黑白块单元中心按照旋转角度为30度进行旋转，并旋转3次。

进一步地，所述步骤S150中，N为4。

进一步地，所述步骤S150中，获取与子区域对应的投影变换参数包括：采用小孔相机模型求解所述投影变换参数。

本发明中的方法能够有效减少控制点求取过程中的误差。

在本发明中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。