一种基于tm-src的三维无纹理目标位姿估计方法
阅读说明：本技术 一种基于tm-src的三维无纹理目标位姿估计方法 (TM-SRC-based three-dimensional non-texture target pose estimation method ) 是由 王建林 谭振国 郭永奇 邱科鹏 于 2021-01-16 设计创作，主要内容包括：本发明公开了一种基于TM-SRC的三维无纹理目标位姿估计方法,首先,基于三维目标CAD模型离线生成不同采样视点下的模板图像构建模板库；然后通过引入采样视点位姿的先验知识构建先验分层树,在先验分层树高层使用相似性度量进行在线匹配,得到候选模板,候选模板的子节点被追踪到先验分层树的底层；最后,在先验分层树的底层使用稀疏表示分类进行分类获得最佳匹配模板关联的位姿参数。本发明考虑了穷举搜索时间复杂度过高和现有基于模板匹配的方法对遮挡和杂乱背景鲁棒性较低的问题,构建了基于TM-SRC的三维无纹理目标位姿估计方法,提高了在遮挡和杂乱背景下三维无纹理目标位姿估计的鲁棒性。(The invention discloses a TM-SRC-based three-dimensional non-texture target pose estimation method, which comprises the following steps of firstly, generating template images under different sampling viewpoints to construct a template library on the basis of a three-dimensional target CAD model in an off-line manner; then, constructing a priori hierarchical tree by introducing priori knowledge of a sampling viewpoint pose, performing online matching on the high layer of the priori hierarchical tree by using similarity measurement to obtain a candidate template, and tracking the child nodes of the candidate template to the bottom layer of the priori hierarchical tree; and finally, classifying the bottom layer of the prior hierarchical tree by using sparse representation classification to obtain the pose parameters associated with the optimal matching template. The invention considers the problems of overhigh complexity of exhaustive search time and lower robustness of the existing template matching-based method to the occlusion and disordered backgrounds, constructs the TM-SRC-based three-dimensional texture-free target pose estimation method, and improves the robustness of the three-dimensional texture-free target pose estimation under the occlusion and disordered backgrounds.)
技术领域
本发明涉及一种三维无纹理目标位姿估计方法，属于机器视觉技术领域，尤其涉及一种基于模板匹配和稀疏表示分类(Template Matching and Sparse RepresentationClassification，TM-SRC)的三维无纹理目标位姿估计方法。
背景技术
三维目标位姿估计在装备制造、机器人抓取、增强现实等领域都有着广泛的应用。随着SIFT(Scale-invariant Feature Transform)，SURF(Speeded Up Robust Features)，ORB(Oriented Fast and Rotated Brief)等局部特征描述子的提出，具有纹理信息的三维目标位姿估计难度降低，但大部分目标往往缺少或没有纹理信息，对于这些无纹理目标，基于局部特征描述子的方法则无法适用。
现有目标位姿估计方法主要有基于几何特征、深度学习和模板匹配三大类。基于几何特征的位姿估计方法常利用点、直线、曲线等三维目标已知的结构特征，通过坐标变换对结构特征进行位姿解算得到三维目标的位姿信息，该方法极度依赖于三维目标的纹理特征，对于无纹理目标通常无法提取到稳定的关键点；近年来基于深度学习的方法取得了较好的效果，但存在目标数据收集和标注困难的问题，很多场景也没有足够的计算机资源运行该类方法；基于模板匹配的方法通过计算测试图像和模板图像的相似度，选取模板库中与测试图像相似度最高的模板关联的位姿参数作为位姿估计结果，由于其不依赖于目标的纹理特征，因此对无纹理目标有良好的性能，取得了较高的精度。然而，基于模板匹配的方法仍然存在局限，如对模板库进行穷举搜索匹配时间复杂度过高；同时，现有基于模板匹配的位姿估计方法存在对遮挡和杂乱背景的鲁棒性较低的问题。
因此，本发明提出一种基于TM-SRC的三维无纹理目标位姿估计方法，通过引入采样视点位姿的先验知识构建先验分层树加速搜索匹配，在先验分层树高层使用相似性度量进行匹配，在先验分层树底层使用稀疏表示分类进行分类，实现三维无纹理目标的位姿估计，提高遮挡和杂乱背景下三维无纹理目标位姿估计的鲁棒性。
发明内容
本发明以提高遮挡和杂乱背景下三维无纹理目标位姿估计的鲁棒性为目的，提出一种基于TM-SRC的三维无纹理目标位姿估计方法，包括以下步骤：
步骤一：基于三维目标CAD模型构建模板库，利用不同视点的位姿参数计算投影变换矩阵，然后使用开放图形库OpenGL对三维目标CAD模型进行解析渲染，投影生成不同视点下的模板，最后提取模板库模板的特征并进行存储，离线完成模板库构建；
步骤二：构建先验分层树加速搜索匹配，通过引入采样视点位姿的先验知识，将相邻视点的模板归为一类，将中心视点模板作为类别中心，并对模板图像进行降采样，完成先验分层树的构建；
步骤三：输入三维目标测试图像并进行降采样构建测试图像金字塔，加载离线构建的先验分层树的模板特征以及索引信息；在先验分层树的高层使用相似性度量进行匹配，在先验分层树的底层引入稀疏表示分类进行分类，得到最终匹配模板，输出最终匹配模板索引和关联的位姿参数，实现三维无纹理目标的位姿估计。
所述步骤一，具体包括：
利用OpenGL对CCD相机的成像过程进行模拟生成不同视点下的模板图像，提取模板图像的特征并进行存储，离线完成模板库构建。相机成像可概括为：世界坐标系Ow-XwYwZw中的三维点经过相机坐标系Oc-XcYcZc、图像物理坐标系OR-xy、图像像素坐标系OI-uv之间的变换，最终变换为像平面中像素点pI(u,v)的过程，世界坐标系与图像像素坐标系之间的转换关系可表示为:
式中，η＝1/zc为尺度因子，zc为深度值；(u0,v0)为主点坐标；fx和fy为相机焦距与x和y方向的像元尺寸之比；γ表示OR-xy坐标系两坐标轴垂直度偏差；K为相机的内参矩阵；M为相机的外参矩阵，由旋转矩阵R和平移向量t组成。
基于三维目标CAD模型构建模板库，从不同的视角对目标模型进行投影。本发明利用OpenGL的虚拟相机模拟成像过程，假设三维目标CAD模型处于一个单位球的中心位置，虚拟相机位于球体表面，在不同的视点对三维目标CAD模型进行投影，可以通过在球面上移动虚拟相机实现，这样模板的位姿参数可由采样视点半径r，绕x-y轴和光轴z旋转角度α,β,λ四个参数表示，本发明在具有四个位姿参数的球面上均匀采样获取各视点位姿参数。每个平面所对应的颜色的RGB三通道值被分别设置为其法向量的三个分量，将目标不同表面赋为不同颜色以满足后续特征提取的需要，模板库采样示意图如图1所示。
得到模板图像后需要对模板图像进行特征提取用于后续相似度计算，本发明采用了现有的一种对目标小形变具有鲁棒性的图像梯度特征透视累积方向特征(Prospectively Cumulated Orientation Feature，PCOF)，该特征提取过程如下，首先在采样视点位姿附近通过随机采样投影生成大量二维图像；然后使用离散性差分算子Sobel算子从每幅图像中提取梯度和梯度方向，选取RGB三通道中梯度幅值最大的梯度方向作为该像素点的梯度方向，将提取的梯度方向量化为8个方向；利用量化后的梯度方向在每个像素点上构造梯度方向直方图；最后，保留大于设定阈值的量化梯度方向，对每个像素点构建一个二进制字符串作为特征，同时将直方图的最大频率保留作为后续匹配相似性度量的权重。
所述步骤二，具体包括：
构建先验分层树加速搜索匹配，本发明通过建树的方法加速搜索匹配过程。本发明利用采样视点位姿的先验知识构造分层树，在模板生成过程中，步骤一在具有四个位姿参数的球面上均匀采样，每个模板的位姿参数与其相邻模板相近，因此相邻模板之间的相似性会很高。在此先验知识的基础上，将相邻视点归为一类，并将中心视点作为类别中心参与下一次分类，建立先验分层树，本发明同时使用了降采样构建图像金字塔进一步加快匹配速度。图2为先验分层树在二维位姿空间中生成的示意图，本发明的方法只需要扩展到四维位姿空间。
所述步骤三，具体包括：
输入三维目标测试图像并进行降采样构建测试图像金字塔，加载离线构建的先验分层树的模板特征以及索引信息；在现有基于模板匹配的位姿估计方法基础上引入稀疏表示分类，构建基于TM-SRC的位姿估计方法；首先在步骤二生成的先验分层树的高层使用相似性度量进行匹配，本发明采用了一种鲁棒的基于特征PCOF的相似性度量：
相似度分数由位运算与(符号∧)计算，其中oriI和oriT分别表示测试图像和模板在每个像素点的特征，x,y为模板特征像素点坐标，xi,yi为滑动过程中x,y方向的偏移量；δ(oriI∈oriT)为单个像素点权值计算函数，n为模板的特征数量,wi是该像素点的权重，即直方图主方向的频率。如果测试图像和模板特征相与的结果为真，则在相似度分数的分子上加上相应的权重。
在先验分层树高层使用相似性度量进行匹配得到该层相似度最高的模板，并将其子节点追踪到下一层，当到达先验分层树底层的时候引入稀疏表示分类进行分类。稀疏表示分类是使用过完备字典中元素的线性组合来描述测试样本。过完备字典由i类模板D＝(d1,d2,…,dn)组成。如果测试图像y可以由过完备字典线性组合，则:
y＝d1α1+d2α2+……+dnαn (4)
表达成矩阵形式是：
y＝Dα (5)
其中α＝(α1,α2…αn)称为目标稀疏系数，由于物体通常存在噪声或部分遮挡，为了考虑遮挡和噪声的影响，等式(5)可改写为:
其中ε是误差向量，它的非零元素表示该位置像素有遮挡或噪声，可以用单位矩阵I和平凡系数向量e来模拟它。
等式(6)的解不唯一，一般利用正则项约束得到唯一解，为了得到一个最优解，我们希望非零项尽可能少。因此，我们将问题转化为l1正则化的最小二乘问题，该问题通常具有稀疏解。
其中，||||2和||||1分别表示l2和l1正则化约束，λ为正则参数。
本发明的优点：充分考虑了穷举搜索模板库时间复杂度过高和基于模板匹配的位姿估计方法对遮挡和杂乱背景鲁棒性不高的问题，通过引入采样视点位姿的先验知识构建先验分层树，加快模板匹配速度，避免了少数子节点中模板数量过多导致匹配速度慢的问题；在先验分层树高层使用相似性度量进行匹配，在先验分层树底层使用稀疏表示分类进行分类，有效减少了误匹配的产生；实现了三维无纹理目标的位姿估计，并提高了在杂乱背景和目标遮挡情况下位姿估计的鲁棒性。
附图说明
图1是模板库采样示意图；
图2是为先验分层树在二维位姿空间中生成的示意图；
图3是生成的模板图像示例；
图4是
具体实施方式
中基于TM-SRC的三维目标位姿估计方法在测试集上的位姿估计结果；
图5是严重遮挡下的测试图像与待匹配的底层模板示例。
图6是本方法实施流程图。
具体实施方式
下面结合实例及附图对本发明作进一步的描述，需要说明的是，实施例并不限定本发明要求保护的范围。
实施例
实施例采用一个公开且具有挑战性的三维无纹理目标数据集对基于TM-SRC的三维无纹理目标位姿估计方法进行测试与评价；数据集由一些具有强反射属性的无纹理目标组成，相机在绕x-y轴±40度范围、绕z轴±180度范围和距离三维目标中心680-800毫米的距离内拍摄目标，数据集的图像分辨率为640×480；从数据集中选取一些存在遮挡和杂乱背景的图像来构建我们的测试集，测试集中，所有的图像都是杂乱背景，根据遮挡情况将测试集分成三部分:无遮挡、轻微遮挡和严重遮挡，每部分测试图像数量为20。
实施例的计算机配置为Intel(R)Xeon(R)E5-2630 v2 2.60 GHz CPU，64.00GB内存。实施例在Windows10系统Visual Studio 2017平台上进行，基于OpenCV视觉库采用C/C++语言编程实现。
将本发明应用到上述测试集图像目标位姿估计中，具体步骤如下：
步骤一：基于三维目标CAD模型生成不同视点的模板图像，提取模板图像的特征PCOF并进行存储，离线完成模板库构建。使用采样视点半径r，绕x-y轴和光轴z旋转角度α,β,γ四个参数表示目标位姿，依据测试集的目标图像位姿范围选取模板库采样范围r为680mm-800mm，x-y轴旋转角度α,β为±40°，光轴旋转角度γ为±180°，采样间隔r为30mm，α,β为8°，γ为5°，最终模板库采样视点数为36001。首先使用OpenGL读取CAD模型文件并解析，利用采样视点位姿参数获取的投影变换矩阵进行投影，获得三维无纹理目标模板图像。图3展示了生成的三维无纹理目标模板图像示例。
然后对模板库模板进行特征提取并进行存储，对所有模板图像提取PCOF特征，需要在每个采样视点附近生成一系列模板图像用于直方图统计，每个模板需要限制随机参数的范围以处理由随机参数引起的形状变化。随机范围由实验确定为距离r±30mm、绕x-y轴旋转角度α,β±8度和绕光轴旋转角度γ±5度，每个采样视点下生成的模板数为800，提取梯度方向直方图主方向的阈值设定为100。
步骤二：利用步骤一建立模板库时采样视点位姿的先验知识构建先验分层树，将每个采样模板视为四维空间中的一个点，然后将位姿空间中相邻的点划分为一类，每个类别的中心模板被追踪到四维空间中的下一层，使用先验知识来划分位姿空间完成建树，同时对每层模板进行降采样以进一步加速匹配。
本发明模板库的采样模板数为36001，最终构造了一个三层的先验分层树，从底层到顶层模板数分别为36001,4500,324，分辨率分别为300*300，150*150，75*75。
步骤三：输入三维无纹理目标测试集图像样本，首先对测试图像进行降采样，构建测试图像的图像金字塔；然后加载离线构建的先验分层树的模板特征以及索引信息到内存；在基于模板匹配的位姿估计方法基础上引入稀疏表示分类增强对前景遮挡和杂乱背景的鲁棒性。在先验分层树的高层使用相似性度量进行匹配，每层得到相似度最高的候选模板，并得到候选模板在底层对应的子节点模板位姿参数；然后在每个子节点对应位姿参数附近随机采样生成20个模板，构建过完备字典，最后通过稀疏表示分类进行匹配得到最佳匹配模板，并将最佳匹配模板索引和关联的位姿参数输出。基于TM-SRC的三维目标位姿估计方法结果如图4所示。
上述步骤为本发明在所选取的测试集上对三维无纹理目标进行位姿估计的具体应用，首先为了验证在先验分层树底层引入稀疏表示分类的正确性，将在底层分别使用相似性度量和稀疏表示分类进行匹配的结果进行对比，图5展示了严重遮挡下的测试图像与待匹配的底层模板示例。表1给出了模板与测试图像之间的相似度得分以及每个模板对应的位姿绝对误差。从表1可以看出，在遮挡严重的情况下，模板与测试图像之间的相似度得分全都处于很低的水平，其中模板_9的相似度得分最高，但显然模板_9不是正确模板，模板_2和模板_8都拥有比模板_9小的位姿绝对误差。因此，如果继续在先验分层树的底层使用相似度度量来匹配，错误模板的相似度得分会高于正确模板，这会导致误匹配的产生。本发明使用稀疏表示分类代替相似度度量在先验分层树的底层进行匹配。如表2所示，本发明准确匹配到了模板_2，因此，该实验很好地验证了在先验分层树底层引入稀疏表示分类进行匹配的正确性。
表1先验分层树底层各模板与测试图像之间的相似度得分和模板对应的位姿绝对误差
表2 PCOF与TM-SRC在先验分层树底层的匹配结果
为了验证本发明的有效性，设置使用PCOF特征的基于模板匹配的位姿估计方法为实验对比方法，利用平均绝对误差作为性能评价指标，评价基于TM-SRC的三维无纹理目标位姿估计方法的性能。测试数据集的位姿估计结果如表3所示。
表3基于TM-SRC的位姿估计方法在测试数据集上的位姿估计结果
由表3可知，在测试数据集上，TM-SRC在无遮挡和轻微遮挡情况下的平均绝对误差与PCOF相比都有轻微的降低，尤其在严重遮挡的情况下，TM-SRC的性能远远优于PCOF，总的平均绝对误差TM-SRC相对于PCOF的表现都有了一定的提升。实验结果表明，在三维无纹理目标出现遮挡和杂乱背景情况下，所提出的基于TM-SRC的三维无纹理目标位姿估计方法，能有效提高三维无纹理目标位姿估计的鲁棒性。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种适用于串型水果的采摘方法