阅读说明：本技术 一种多双目相机与线激光协同检测方法 (Multi-binocular camera and line laser cooperative detection method ) 是由 董霄剑 曾洪庆 钱超超 于 2019-08-27 设计创作，主要内容包括：一种多双目相机与线激光协同检测方法,包括以下步骤：架设双目相机模组；对各双目相机的左右摄像头进行立体标定；分别获取被测物体的左图像和右图像,进行立体校正,匹配点对,根据左右视图视差,计算得到被测物体的三维信息；进行位姿关系的坐标转换；融合同一时刻的实时深度图像数据和实时姿态数据,分别计算各坐标系的三维位置,以得到完整的三维数据。双目相机模组安装在平台的同一平面上,且呈一字型排列安装。本发明采用多组线激光与双目相机的模组平行安装于一平面进行物体检测,获取三维坐标后进行三维重建、数据融合,采用多模组协同扫描的方式大大加快了测量速度,提高了测量效率,测量精度也比传统单双目相机精度更高。(A multi-binocular camera and line laser cooperative detection method comprises the following steps: erecting a binocular camera module; carrying out three-dimensional calibration on left and right cameras of each binocular camera; respectively acquiring a left image and a right image of a measured object, performing three-dimensional correction, matching point pairs, and calculating to obtain three-dimensional information of the measured object according to left and right view parallax; carrying out coordinate conversion of the pose relation; and fusing the real-time depth image data and the real-time attitude data at the same moment, and respectively calculating the three-dimensional position of each coordinate system to obtain complete three-dimensional data. The binocular camera modules are arranged on the same plane of the platform and are arranged in a straight line. The invention adopts a plurality of groups of line lasers and binocular camera modules which are arranged on a plane in parallel to carry out object detection, three-dimensional reconstruction and data fusion are carried out after three-dimensional coordinates are obtained, the measurement speed is greatly accelerated by adopting a multi-module collaborative scanning mode, the measurement efficiency is improved, and the measurement precision is higher than that of the traditional single-binocular camera.)

一种多双目相机与线激光协同检测方法

技术领域

本发明涉及物体三维信息检测技术领域，具体涉及一种多双目相机与线激光协同检测方法。

背景技术

双目视觉是计算机的一个重要分支，双目视觉可以模仿人的眼睛和人类立体视觉感知的过程，是计算机视觉研究的核心主题之一。近年来，双目视觉技术在障碍物检测、目标物体检测等领域得到了广泛的应用。

双目立体视觉使用一个或两个CCD或CMOS数码相机，从不同角度拍摄被测物体同一表面，通过计算空间点在两幅图像中的视差，获得该点的三维坐标。这种测量方法需要确定空间同一点在两幅或多幅不同角度拍摄的图像上的相应位置。扫描一个物体就需要收集物体表面的信息，使用激光器向物体表面投射激光光线，激光光线被物体表面反射后被相机采集，采集后的图像上的激光条纹可以提供密集物体表面点的信息。

在普通的双目视觉拍摄范围内，通过不同视角图像匹配和三角测量原理，计算出空间内所有点的三维坐标数据，立体相机获得三维数据的精度完全依赖图像匹配的精度，而图像匹配的精度受光照、被测空间等因素影响较大，同时因为线激光从上方或侧方发射,一次检测只能获取某一视面中的物体三维信息，会因为无法全方位拍摄存在一定的盲区，严重影响三维检测的精度。激光扫描仪只能获得激光线上点的三维坐标数据，需要移动激光扫描仪或被扫描物体，通过拼接才能获得被扫描空间内所有点的三维数据，整个系统成本较高；总而言之，目前市场上还没有同时具备高精度、低价格、拍摄范围大及空间分辨率的三维数据获取产品。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种多双目相机与线激光协同检测装置及方法，通过将多组双目相机模组平行安装于一平面，对被测物体进行检测，多条激光以及多个双目相机同时扫描检测并进行图像处理与三维位姿信息的计算提取的方法，实现物体的快速、高精度检测。

本发明的目的及解决其技术问题是采用以下技术方案来实现的：

一种多双目相机与线激光协同检测方法，包括以下步骤：

S1：以被测物体所在平台为基准面，在基准面上方架设由双目相机和线激光发射器组成的双目相机模组，使双目相机能够摄取到激光线，双目相机和线激光发射器的位置保持相对固定。

S2：对各双目相机的左摄像头和右摄像头进行立体标定。

S3：每个所述双目相机模组通过双目相机的左摄像头和右摄像头分别获取被测物体的左图像和右图像，对左图像和右图像进行立体校正；

对校正后的左视图和校正后的右视图进行匹配得到线激光成像匹配点对；

根据所述线激光匹配点对得到左右视图视差，并根据所述左右视图视差计算得到被测物体的三维信息。

S4：对多个双目相机进行位姿关系的坐标转换，即换算到同一个坐标系下。

S5：融合同一时刻的每个所述双目相机模组获取的被测物体的实时深度图像数据和实时姿态数据，分别计算对应标定物在各个双目立体相机坐标系的三维位置，以得到完整的三维数据。

优选的，在所述步骤S1中，所述双目相机模组安装在被测物体平台的同一平面上，且呈一字型排列安装。

优选的，在所述步骤S1中，所述双目相机模组的数量为两组以上。

优选的，在所述步骤S1中，所述线激光发射器内置于所述双目相机中，或所述线激光发射器外挂于所述双目相机上并与所述双目相机形成共体结构或所述线激光发射器与所述双目相机采用分体式安装。

优选的，在所述步骤S2中，对各双目相机的左摄像头和右摄像头进行立体标定；包括内参矩阵K和畸变矩阵D的计算：

对于每一幅图像及其对应的标定棋盘格角点，通过矩阵方法可以求得B的最小二乘解，并进一步解得相机内参K。根据多幅图像的棋盘格角点进一步求出最优解，最优解即为使下述方程最小的解：

考虑径向畸变畸变的情况下，上述优化问题转化为下式的最小化问题：

使用Levenberg-Marquardt的方法，利用第一幅图像得到的解作为初始值，进而迭代得到最优解。

优选的，在所述步骤S2中，所述双目相机模组开始工作时协同工作，保持时序同步，即在同一时间通过外部触发信号设置各双目相机模组同时触发，或上位机触发各双目相机进入流模式，且在同一时刻同时设置各双目立体相机计时器清零，一个主相机发送触发信号，从相机接受触发信号后同时工作。

优选的，在所述步骤S4中，根据各所述双目相机模组之间的距离和被测物体移动的速度，计算各双目相机模组所属坐标系之间x轴方向的距离，通过x轴方向距离求得被测物体在各双目相机模组所述坐标系的三维坐标。

优选的，在所述步骤S4中，所述双目立体相机模组分别获取到被测物体的三维数据，将多组三维数据以统一标定坐标系为原点，立体匹配各组视图的相同特征，得到被测物体的整体三维数据。

有益效果

本发明采用多组线激光与双目相机的模组平行安装于一平面进行物体检测，有效利用激光的高亮度、高直线性提高了测量方法的抗干扰能力，获取三维坐标后进行三维重建、数据融合，采用多模组协同扫描的方式大大加快了测量速度，提高了测量效率，测量精度也比传统单双目相机精度更高。

附图说明

图1为一种多双目相机与线激光协同检测方法的流程示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，在本发明的描述中，需要说明的是，术语“上”、“下”、等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，尽管这里可以使用术语第一、第二、第三等描述各个元件、组件和/或部分，但这些元件、组件和/或部分不受这些术语限制。

在本实施例中，一种多双目相机与线激光协同检测方法，包括以下步骤：

S1：以被测物体所在平台为基准面，在基准面上方架设由双目相机和线激光发射器组成的双目相机模组，使双目相机能够摄取到激光线，双目相机和线激光发射器的位置保持相对固定。

S2：对各双目相机的左摄像头和右摄像头进行立体标定。

S3：每个所述双目相机模组通过双目相机的左摄像头和右摄像头分别获取被测物体的左图像和右图像，对左图像和右图像进行立体校正；

对校正后的左视图和校正后的右视图进行匹配得到线激光成像匹配点对；

根据所述线激光匹配点对得到左右视图视差，并根据所述左右视图视差计算得到被测物体的三维信息。

S4：对多个双目相机进行位姿关系的坐标转换，即换算到同一个坐标系下。

S5：融合同一时刻的每个所述双目相机模组获取的被测物体的实时深度图像数据和实时姿态数据，分别计算对应标定物在各个双目立体相机坐标系的三维位置，以得到完整的三维数据。

采用多组双目相机与线激光组成的模组实时采集被测物体以及线激光的图像，将采集到的图像信息发送给图像处理器进行处理，完成左右图像的立体匹配，进行三维重建和各双目相机模组坐标的数据融合，拟合出被测物体的完整三维位姿信息。

优选的，在所述步骤S1中，所述双目相机模组安装在被测物体平台的同一平面上，且呈一字型排列安装。

优选的，在所述步骤S1中，所述双目相机模组的数量为两组以上。

优选的，在所述步骤S1中，所述线激光发射器内置于所述双目相机中，或所述线激光发射器外挂于所述双目相机上并与所述双目相机形成共体结构或所述线激光发射器与所述双目相机采用分体式安装。

在所述步骤S2中，对各双目相机的左摄像头和右摄像头进行立体标定；包括内参矩阵K和畸变矩阵D的计算：

对于每一幅图像及其对应的标定棋盘格角点，通过矩阵方法可以求得B的最小二乘解，并进一步解得相机内参K。根据多幅图像的棋盘格角点进一步求出最优解，最优解即为使下述方程最小的解：

考虑径向畸变畸变的情况下，上述优化问题转化为下式的最小化问题：

使用Levenberg-Marquardt的方法，利用第一幅图像得到的解作为初始值，进而迭代得到最优解。

优选的，在所述步骤S2中，对双目相机的左摄像头和右摄像头进行立体标定，得到双目相机的内参矩阵A、左摄像头和右摄像头之间的旋转矩阵R与平移向量T：

对双目相机的左摄像头和右摄像头分别进行标定，得到双目相机的内参矩阵A、左摄像头的旋转矩阵R1和右摄像头的旋转矩阵Rr，以及左摄像头的平移向量T1和右摄像头的平移向量Tr；

通过如下公式计算得到左摄像头和右摄像头之间的旋转矩阵R和平移向量T：

优选的，在所述步骤S2中，所述双目相机模组开始工作时协同工作，保持时序同步，即在同一时间通过外部触发信号设置各双目相机模组同时触发，或上位机触发各双目相机进入流模式，且在同一时刻同时设置各双目立体相机计时器清零，一个主相机发送触发信号，从相机接受触发信号后同时工作。

在本实施例中，对所述左钢筋端面轮廓图像和所述右钢筋端面轮廓图像进行立体校正包括：

将所述旋转矩阵R分解为两个旋转矩阵r1和rr，其中r1和rr通过假设将所述左摄像头和所述右摄像头各旋转一半使所述左摄像头和所述右摄像头的光轴平行而得到；

对所述左钢筋端面轮廓图像和所述右钢筋端面轮廓图像进行行对准通过下式实现：

其中，Rrect为使行对准的旋转矩阵：

旋转矩阵Rrect由极点e1方向开始，以所述左钢筋端面轮廓图像的原点为主，所述左摄像头至所述右摄像头的平移向量的方向为主点方向：

e₁与e₂正交，将e₁归一化到单位向量：

其中，Tx为平移向量T在双目相机所处平面内水平方向的分量，Ty为平移向量T在双目相机所处平面内竖直方向的分量；

e3与e1和e2正交，e3通过如下公式计算得到：

e₃＝e₂×e₁

根据上述旋转矩阵物理意义有：

其中，α表示为使行对准，所述左摄像头和所述右摄像头在其所处平面内需要旋转的角度，0≤α≤180°；对于所述左摄像头，使其绕e3方向旋转α'，对于右相机，使其绕e3方向旋转α”。

优选的，在所述步骤S4中，根据各所述双目相机模组之间的距离和被测物体移动的速度，计算各双目相机模组所属坐标系之间x轴方向的距离，通过x轴方向距离求得被测物体在各双目相机模组所述坐标系的三维坐标。

优选的，在所述步骤S4中，所述双目立体相机模组分别获取到被测物体的三维数据，将多组三维数据以统一标定坐标系为原点，立体匹配各组视图的相同特征，得到被测物体的整体三维数据。

有益效果

本发明采用多组线激光与双目相机的模组平行安装于一平面进行物体检测，有效利用激光的高亮度、高直线性提高了测量方法的抗干扰能力，获取三维坐标后进行三维重建、数据融合，采用多模组协同扫描的方式大大加快了测量速度，提高了测量效率，测量精度也比传统单双目相机精度更高。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书，可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。