具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1至图3，本发明提供了一种智能车双目视觉深度测量的递阶搜索方法，包括如下步骤：

S1:初始化双目相机模型的条件设定和标定；

S2:构建双目相机采集图像数据的区域模板和初始化相关系数；

S3:构建左右图像中对应区域模板的定位点投影关系模型；

S4:对双目区域模板立体匹配和递阶搜索，得到最佳区域立体匹配的深度测量值；

S5:基于最佳区域立体匹配的深度测量值，计算三维空间坐标。

其中，初始双化目相机模型的条件设定和标定的步骤包括：

设定双目相机两种安装条件；

标定双目相机的内参和外参，得到二维图像到三维世界的投影矩阵。

进一步的，设定双目相机两种安装条件的步骤包括：

安装的双目左右相机同型号即内参相同，横向平行安装；

安装的双目左右相机不同型号即内参不相同，无须平行安装即立体校正。

具体的，安装双目左右相机同型号即内参相同，按世界坐标系x轴即横向平行安装，基线为B，则左右相机的图像上的像素点的像平面上的对应关系计算得出：

(u⁽¹⁾,v⁽¹⁾)为左相机采集图像数据上的像素点在像平面坐标系上的坐标位置，(u⁽²⁾,v⁽²⁾)为右相机采集图像数据上的像素点在像平面坐标系上的坐标位置，d⁽¹⁾为左相机(u⁽¹⁾,v⁽¹⁾)对应三维世界的三维空间点的深度信息，为相机内参矩阵中x方向的尺度因子，其中f为焦距，Sx为图像像素块在x方向上的物理尺寸；

内参矩阵为：

为相机内参矩阵中y方向的尺度因子，其中f为焦距，Sy为图像像素块在y方向上的物理尺寸；

安装双目左右相机不同型号即内参不同，安装无需严格平行即不需立体校正。

进一步的，标定双目相机的内参和外参，得到二维图像到三维世界的投影矩阵的步骤中：

利用单目相机标定法或者双目相机标定法，分别标定计算出左相机模型和右相机模型相对于世界坐标系的投影矩阵。

具体的，利用单目相机标定法或者双目相机标定法，分别标定计算出左相机模型和右相机模型相对于世界坐标系的投影矩阵：

其中d⁽²⁾为右相机(u⁽²⁾,v⁽²⁾)对应三维世界的三维空间点的深度信息，M⁽¹⁾为左相机到三维世界坐标系的投影矩阵，M⁽²⁾为右相机到三维世界坐标系的投影矩阵，这里值得注意的是，两个投影矩阵均为对应相机模型的内参乘以外参组成，且其中内参是标定结果中所谓内参矩阵的逆矩阵。

其中，构建双目相机采集图像数据的区域模板和初始化相关系数的步骤包括：

像平面区域模板的定义和初始化构建；

左右区域模板的相关系数的计算和初始化。

进一步的，像平面区域模板的定义和初始化构建的步骤中：

定义左右相机采集图像数据上的块状区域为区域模板，其包含一个定位点，一个核心区域，一个核心区域的边缘区域，定位点为区域模板核心区域的左上角位置的像素点，即核心区域的初始点；

初始化构建一个像素为0的区域模板。

具体的，定义左右相机采集图像数据上的块状区域为区域模板，其包含一个定位点，一个n×n的核心区域，和一个宽度为m的扩展边界即核心区域的边缘区域，而定位点则为区域模板核心区域的左上角位置的像素点，即核心区域的初始点，也可称之为标志点；

初始化构建一个像素为0的区域模板，宽度为n+2×m。

进一步的，左右区域模板的相关系数的计算和初始化的步骤中：

初始化左右相机同一时刻采集的左右图像数据中所包含的等宽度的左区域模板和右区域模板的定位点、颜色参数、核心区域宽度、扩展边界；

初始化左右区域模板的最小平均误差相关系数；

初始化左右区域模板的归一化平均误差相关系数；

初始化左右区域模板的压缩余弦距离相关系数。

具体的，左右相机同一时刻采集的左右图像数据中所包含的等宽度的左区域模板的定位点为P(u,v)，对应颜色参数为w(u,v)，右区域模板的定位点为Q(x,y)，对应颜色参数为f(x,y)，两个区域模板的核心区域宽度均为n，扩展边界均为m；

初始化左右区域模板的最小平均误差相关系数：

其中i,j分别为区域模板对应行像素和列像素标签的循环计算的当前标签，即为0到N-1的顺序数值；

上式为左右区域模板中所有对应左右像素点的值之差的平均值，范围在0-255之间，M_ad值越小，则左右图像中对应区域模板位置的相关性就越大，M_ad值越大，则左右图像中对应区域模板位置的相关性就越小；计算相对的局部最小值即可，即M_ad ^(min)，特别地，当左右区域模板对应图像完全一致时，M_ad＝0；

初始化左右区域模板的归一化平均误差相关系数：

上式中和分别为左右区域模板对应图像位置的总像素的均值，C的阈值范围在0-1之间，值越大，左右图像中对应区域模板位置的相关性就越大，值越小，左右图像中对应区域模板位置的相关性就越小；

初始化左右区域模板的压缩余弦距离相关系数：

取左相机采集的左图区域模板u方向和v方向的压缩投影所得的子向量w_u和w_v分别为：

同理，取左相机采集的左图区域模板x方向和y方向的压缩投影所得的子向量w_u和w_v分别为：

压缩投影的余弦距离相关系数为：

上式为矢量(w_u,w_v)^T和(f_x,f_y)^T之间的夹角余弦距离，两个2N维的矢量夹角余弦值的阈值范围为0-1之间，值越大，左右图像中对应区域模板位置的相关性就越大，值越小，左右图像中对应区域模板位置的相关性就越小。

进一步的，构建左右图像中对应区域模板的定位点投影关系模型的步骤包括：

分解左右相机模型中计算的投影矩阵；

计算投影矩阵中分解出的联合常数矩阵系数；

初始化左图中的定位点，计算所对应的右图中的落点定位点的轨迹。

具体的，将S1中左右相机模型中计算的投影矩阵的M⁽¹⁾分解为：

计算投影矩阵中分解出的联合常数矩阵系数：

初始化一左图中的定位点P(u,v)计算所对应的右图中的落点定位点Q(x,y)：

上式说明已知一先验估计的左图像平面上的区域模板定位点P(u,v)及对应三维世界空间点(X,Y,Z)在左相机上的深度测量估计值d⁽¹⁾，则可估计计算出对应的在右图像平面上的区域模板定位点Q(x,y)，且P(u,v)到Q(x,y)为二维立体几何中的透视变换计算关系；

当前左图像平面区域模板定位点不变量P(u,v)，其对应尺度未知的深度估计为未知变化量时，则上式表示为右图像平面上的对应立体匹配的区域模板的定位点Q(x,y)的轨迹为一条直线。

其中，对双目区域模板立体匹配和递阶搜索，得到最佳区域立体匹配的深度测量值的步骤包括：

采集左右相机同一时刻的左右成对的立体图像，初始化区域模板起始定位点；

进行左右图对应区域模板位置的递阶搜索和立体匹配，计算相关系数。

判断相关性最大的右图区域模板作为最优立体匹配结果，并计算深度估计测量值。

进一步的，采集左右相机同一时刻的左右成对的立体图像，初始化区域模板起始定位点的步骤包括：

双目相机同时采集视频序列，提取校准对齐后的同一时刻间隔帧的左右图像数据形成左右成对的立体图像；

初始化左图的区域模板的定位点从左图的左上角像素点开始按从左到右，从上到下的滑动顺序计算。

进一步的，进行左右图对应区域模板位置的递阶搜索和立体匹配，计算相关系数的步骤包括：

将初始化的左相机图像像平面的区域模板在当前定位点处开始计算，并设定计算步长即滑动和条件；

将当前左图区域模板位置的区域做卷积滤波，定位点的深度预估计的先验值和区域模板定位点代入投影关系模型；

计算得出对应右相机图像像平面的估计匹配的区域模板的位置，即定位点位置；

以当前左图区域模板位置的定位点所估计深度先验值的对应三维世界点看作起始计算第一起点，选取定量点作为基本搜索点集；

根据投影关系模型，得到立体匹配对应的右图区域模板的定位点集；

计算当前左图对应区域模板的区域与右图估计立体匹配的区域模板位置的区域相关系数，得到相关系数集。

进一步的，判断相关性最大的右图区域模板作为最优立体匹配结果并计算深度估计测量值的步骤包括：

若相关系数集符合预设条件，则判定左定位点与右定位点的区域模板所对应的左右图区域实现左右区域立体匹配；

若不满足预设条件，则扩大搜索范围，增加对应预测深度估计值的定位点，更新点集；

然后根据新的点集中，计算新的相关系数集，跳转至以当前左图区域模板位置的定位点所估计深度先验值的对应三维世界点看作起始计算第一起点，选取一定点作为基本搜索点集的步骤，否则，进行下一步；

若扩大搜索范围后仍不满足预设条件，则进行相关系数的极小值抑制，达不到最小可信度，则判定该左右区域立体匹配失败；

若相关系数集中存在最大值，但不是单峰分布，则以区域模板的核心区域为种子区域，以扩展边界的边缘区域递阶增长，即更新区域模板的相关函数；

若区域模板核心区域的扩展边界达到最大值时，仍不满足预设条件，则此时判定左右区域立体匹配无效；

若左右相机安装条件属于同型且平行安装时，则递阶搜索计算可简化，左右相机的图像上的像素点的像平面上的对应关系和投影矩阵简化更新；

若存在最优立体匹配，则输出测量的深度值，若不存在，则区域模板按滑动步长更新位置，进行下一个左图区域模板位置的区域立体匹配和深度，即跳转至进行左右图对应区域模板位置的递阶搜索和立体匹配，计算相关系数的步骤中；

若计算得出的对应右图区域模板位置的定位点越界，即不在右图像平面坐标上，则更新区域模板，尺寸按递阶塔式分解区域模板，s阶分解至0阶时，即区域模板退化成像素点，跳转至进行左右图对应区域模板位置的递阶搜索和立体匹配，计算相关系数的步骤中；

若滑动步长未至左图右边界和下边界，则区域模板按滑动步长更新位置，跳转至进行左右图对应区域模板位置的递阶搜索和立体匹配，计算相关系数的步骤中，否则，输出所有最优立体匹配和测量的深度值，停止计算。

具体的，将初始化的左相机图像像平面的区域模板Mask(P(u,v),n·m)在当前定位点(i,j)处开始计算，计算步长即滑动为n，条件设定为i+n＜image_width；

将当前左图区域模板位置的区域Mask(P(u,v),n·m)_i,j做卷积滤波，定位点的深度预估计的先验值和区域模板定位点P(u,v)代入S3步骤中的投影关系模型；

计算得出对应右相机图像像平面的估计匹配的区域模板Mask′(Q(x₀,y₀),n,m)的位置，即定位点位置：

d₀为初始取深度d₀为目标区域性深度先验估计值；

以当前左图区域模板位置的定位点所估计深度先验值d₀的对应三维世界点看作起始计算第一起点，选取2k+1个点作为基本搜索点集：

d_i＝d₀±i·Δd

Δd为搜索步长，实例中k值选取为2；

根据S2步骤中的投影关系模型，得到2k+1个立体匹配对应的右图区域模板的定位点集：

计算当前左图对应区域模板的区域Mask(P(u,v),n·m)_i,j与右图估计立体匹配的区域模板位置的区域Mask′(Q(x_i,y_i),n,m)的相关系数C(P(u,v),Q(x_i,y_i),n,m)，得到相关系数集C(x_i,y_i)＝C_i(i＝0,±1,…k)；

若预设条件满足，即C_-k,C_-k+1,…C₀,C₁,…C_k的分布存在单峰分布，在最大值点有且|C(x^*,y^*)|δ，δ为可接受的可信度阈值，则判定定位点P(u,v)与定位点Q(x^*,y^*)的区域模板所对应的左右图区域实现左右区域立体匹配；

相应地，区域Mask(P(u,v),n,m)_i,j与Mask′(Q(x^*,y^*),n,m)中所有像素点按位匹配，深度值按区域级深度d_i ^*＝d^*，且要求为C_i的平均值；

若不满足上述预设条件，则扩大搜索范围，增加对应预测深度估计值为d_k+1,…d_K的点，更新第点集，K为最大搜索范围的下标，使得d_K不超过最大深度值；

然后根据新的点集中，计算新的C_-k,…C₀,…C_k，跳转至以当前左图区域模板位置的定位点所估计深度先验值d₀的对应三维世界点看作起始计算第一起点，选取2k+1个点作为基本搜索点集的步骤，否则，进行下一步；

若扩大搜索范围后仍不满足预设条件，则进行C^*的极小值抑制，即|C^*|＜δ，达不到最小可信度，则判定该左右区域立体匹配失败；

若相关系数集中{C_i}存在最大值|C^*|δ,但不是单峰分布，例如存在多个峰值或者为平顶型分布，此时最优立体匹配不够明显，说明该区域模板所在位置为图像纹理细节较弱的区域，例如天空等纯色区域中，则以区域模板的核心区域为种子区域，以扩展边界的边缘区域按add宽度值递阶增长，即更新区域模板的相关函数C(P(u,v),Q(x^*,y^*),n,(m+add))_i,j，例如，add可取2，则区域模板尺寸宽为n+2(m+add)；

若m+add达到最大值m_max时，仍不满足预设条件，则此时判定左右区域立体匹配无效；

若左右相机安装条件属于同型且平行安装时，则上述计算可简化，即在S1中的相机模型已标定完成的条件下，左右相机的图像上的像素点的像平面上的对应关系中的可由以下求得：

则S3中的投影模型中的投影矩阵可更新简化为：

若存在最优立体匹配，则输出测量的深度值，若不存在，则区域模板按滑动步长n更新位置，进行下一个左图区域模板位置的区域立体匹配和深度，即跳转至进行左右图对应区域模板位置的递阶搜索和立体匹配，计算相关系数的步骤中；

若计算得出的对应右图区域模板位置的定位点越界，即不在右图像平面坐标上，则更新区域模板，按尺寸的递阶塔式分解区域模板，s阶分解至0阶时，即区域模板退化成像素点，跳转至进行左右图对应区域模板位置的递阶搜索和立体匹配，计算相关系数的步骤中；

若i，j按滑动步长未至左图右边界和下边界，则更新则区域模板按滑动步长n更新位置，则跳转至进行左右图对应区域模板位置的递阶搜索和立体匹配，计算相关系数的步骤中，否则，输出所有最优立体匹配和测量的深度值，停止计算。

进一步的，基于最佳区域立体匹配的深度测量，计算三维空间坐标的步骤包括：

根据最优立体匹配结果和深度测量，计算三维空间坐标。

具体的，根据S4步骤中的输出的最优立体匹配结果和深度测量，计算三维空间坐标：

其中(u,v)属于区域模板中核心区域的像素坐标。

本发明通过标定智能车辅助驾驶系统中的车载嵌入式双目相机，无需特定安装条件和理想相机模型的极线校正，构造区域模板和相关系数函数，将采集时序对齐的左右立体图像对，进行区域模板卷积滤波位置的区域立体匹配，构造区域模板的定位点投影关系模型，利用递阶搜索方式，对立体匹配寻优，可计算出深度测量值及三维空间坐标。实现了从全局看特征的显著性区域级立体匹配，无需复杂的像素点特征级的几何计算和非线性优化过程，冗余度低，有效克服了图像纹理特征不强，区域常规匹配可信度较低，限制图像质量的问题，提供了智能车环境场景三维重建、倒车影像、定位与构图、路径规划的辅助驾驶系统的基础。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。