一种基于互相关系数的摄像机与雷达目标匹配方法
阅读说明：本技术 一种基于互相关系数的摄像机与雷达目标匹配方法 (Camera and radar target matching method based on cross-correlation coefficient ) 是由 孙煜华 张弓 吴彬倩 于 2020-11-30 设计创作，主要内容包括：本发明公开了一种基于互相关系数的摄像机与雷达目标匹配方法。属于智能交通中多元传感器的信息融合技术领域,具体步骤：将毫米波雷达和摄像机检测到的目标根据路面坐标值投影到两个相同规格的零矩阵中；基于互相关系数的算法,对得到的雷达目标位置信息矩阵及摄像机目标位置信息矩阵进行整体校正；对于监控的每个车道,将校正后的雷达目标位置信息矩阵及摄像机目标位置信息矩阵设为两个集合,利用带权值的二分图匹配算法对两个集合中的目标位置进行局部校正,从而使两者相互匹配；两者相互匹配后即完成摄像机与雷达的目标匹配。本发明解决了智能交通监控系统中多元传感器的目标匹配问题,在普通计算机上具有计算量小、耗时少的优点。(The invention discloses a camera and radar target matching method based on cross-correlation coefficients. Belongs to the technical field of information fusion of a plurality of sensors in intelligent traffic, and specifically comprises the following steps: projecting targets detected by a millimeter wave radar and a camera into two zero matrixes with the same specification according to the coordinate value of the road surface; based on the algorithm of the cross correlation coefficient, integrally correcting the obtained radar target position information matrix and the camera target position information matrix; for each monitored lane, setting the corrected radar target position information matrix and camera target position information matrix into two sets, and locally correcting target positions in the two sets by using a bipartite graph matching algorithm with a weight value so as to enable the two sets to be matched with each other; and matching the camera and the radar after the camera and the radar are matched with each other. The invention solves the target matching problem of the multi-sensor in the intelligent traffic monitoring system, and has the advantages of small calculation amount and less time consumption on a common computer.)
技术领域
本发明属于智能交通中多元传感器的数据融合技术领域，具体涉及一种基于互相关系数的摄像机与雷达目标匹配方法。
背景技术
现有的交通检测系统中大多只采用单一摄像头获取道路信息，但获取的目标位置信息精度较低，而且其检测效果容易受到雨、雾等天气的影响，实际场景中很难用一种传感器满足需求。随着智能交通的发展，越来越多的传感器被加入到交通检测系统中，例如毫米波雷达、地磁、激光雷达等传感器，利用不同传感器各自的优势，进行多传感器数据融合，大大提高了系统的检测性能。毫米波雷达能够做到实时检测目标的位置和速度信息，环境适应性强，可全天候、全天时工作，但弊端是无法可视化。
为了利用摄像机与毫米波雷达各自的优势，可将两者获取的目标进行匹配，并进行信息融合。将雷达获取的更高精度的位置、速度信息传递给摄像机目标，在图像上进行显示，使雷达数据直观显示。由摄像机获取的目标位置和速度的精度都不高，摄像机长期架设在道路支架上，倾角会有变化，并且有些路面存在倾斜，这些都使得摄像机获取的目标空间位置信息会存在整体性的偏差，获取的位置信息有可能较实际位置远，也有可能较实际位置近，需进行必要的数据处理才能进行目标匹配与信息融合。
发明内容
针对上述问题，本发明提供了一种基于互相关系数的摄像机与雷达目标匹配方法；解决了在摄像机与雷达获取的目标进行匹配时，位置信息可能存在较大差距的问题。
本发明的技术方案是：一种基于互相关系数的摄像机与雷达目标匹配方法，其特征在于，具体步骤如下：
步骤(1.1)、在同一时刻下，将毫米波雷达和摄像机检测到的目标在路面坐标系下的坐标值投影到两个相同规格的零矩阵中，从而得到雷达目标位置信息矩阵及摄像机目标位置信息矩阵；
步骤(1.2)、基于互相关系数的算法，对得到的雷达目标位置信息矩阵及摄像机目标位置信息矩阵进行整体校正；
步骤(1.3)、对于监控的每个车道，将校正后的雷达目标位置信息矩阵及摄像机目标位置信息矩阵设为两个集合，利用带权值的二分图匹配算法对两个集合中的目标位置进行局部校正，从而使两者相互匹配；
步骤(1.4)、两者相互匹配后即完成摄像机与雷达的目标匹配。
进一步的，在步骤(1.1)中，所述两个相同规格的零矩阵具体是：矩阵中目标所在位置及其周围赋1，以3*3的1矩阵代表目标，对摄像机目标所在矩阵进行行数扩充，上下都扩充相同规格的零矩阵。
进一步的，在所述步骤(1.2)中，对雷达目标位置信息矩阵及摄像机目标位置信息矩阵进行整体校正的具体步骤是：将雷达目标位置矩阵在摄像机目标位置信息矩阵的扩充矩阵中进行上下滑动，计算滑动窗口内两个矩阵的互相关系数，得到互相关系数最大的滑动窗口位置，取出重叠部分的两个矩阵，从而得到整体校正后的雷达目标位置信息矩阵及摄像机目标位置信息矩阵。
进一步的，所述滑动窗口内两个矩阵的互相关系数的具体计算过程如下：
其中，
式中，i,j分别表示矩阵中对应的行序号和列序号，x(i,j)，y(i,j)表示两个矩阵中某点的值，mx，my表示两个矩阵对应的均值，r表示互相关系数，M表示矩阵的行数，N表示矩阵的列数。
进一步的，在步骤(1.3)中，所述带权值的二分图匹配算法的具体操作方法如下：
(1.3.1)、对每一个车道，将雷达目标和摄像机目标分为集合X和集合Y，对每一个雷达目标计算其与所有摄像机目标的欧氏距离，根据欧氏距离分配权值，距离越小权值越大，反之，越小，权值总和为1；
所述的权值分配按照下述公式进行，
其中，λi,j表示集合X中第i个目标与集合Y中第j个目标之前的权值，Xi和Yk表示集合X中第i个目标和Y中某个目标，|Xi-Yk|表示Xi和Yk两目标之间的欧式距离，n表示目标个数；
(1.3.2)、初始化顶标，对于集合X，每个目标的顶标为该目标与集合Y中所有目标的权值最大值，对于集合Y中所有目标，顶标则为0；
(1.3.3)、使用匈牙利算法寻找完备匹配；
(1.3.4)、若未找到完备匹配，则修改当前目标的可行标杆值；
(1.3.5)、重复步骤(1.3.3)及(1.3.4)，直到找到完备匹配，即一个雷达目标匹配一个摄像机目标，且其权值总和最大。
进一步的，所述的毫米波雷达通过其传感器实时采集目标信息，包括目标与雷达之间的径向距离及目标相对于雷达探测法线方向的方位角，结合这两个信息和已知的雷达高度，根据几何关系得到目标在路面坐标系下的二维坐标；
所述的摄像机通过其传感器实时采集图像数据，由目标检测算法得到目标像素坐标，通过相应转换算法得到目标在路面坐标系下的二维坐标。
本发明的有益效果是：本发明基于互相关系数，提出了一种目标匹配方法；在实际场景中的同一时刻，通过雷达与摄像机检测到的目标，经过相应的算法，得到各自目标在路面坐标系下的坐标值，由于雷达和摄像机的成像机理不同，以及摄像机在长期使用过程中存在不同程度的倾角问题，导致摄像机得到的坐标值存在局部性的精度误差以及整体性的位置偏移，无法直接与雷达目标进行匹配；若以雷达检测的目标坐标值为准，则摄像机检测的目标坐标值存在局部性的精度误差以及整体性的偏远或偏近，利用互相关系数将摄像机目标整体进行搬移，使之与雷达目标的坐标值之间互相关系数最大，消除整体性偏差；在每个车道上利用带权值的二分图匹配算法，可以解决局部精度误差带来的匹配问题，从而完成目标的精确匹配；本发明解决了智能交通监控系统中多元传感器的目标匹配问题，在普通计算机上具有计算量小、耗时少的优点，可以满足实时性的需求。
附图说明
图1是本发明的结构流程图；
图2是本发明中毫米波雷达及摄像机两种传感器的架设位置示意图。
具体实施方式
为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：
如图1所述；一种基于互相关系数的摄像机与雷达目标匹配方法，其特征在于，具体步骤如下：
步骤(1.1)、在同一时刻下，将毫米波雷达和摄像机检测到的目标在路面坐标系下的坐标值投影到两个相同规格的零矩阵中，从而得到雷达目标位置信息矩阵及摄像机目标位置信息矩阵；
步骤(1.2)、基于互相关系数的算法，对得到的雷达目标位置信息矩阵及摄像机目标位置信息矩阵进行整体校正；
步骤(1.3)、对于监控的每个车道，将校正后的雷达目标位置信息矩阵及摄像机目标位置信息矩阵设为两个集合，利用带权值的二分图匹配算法对两个集合中的目标位置进行局部校正，从而使两者相互匹配；
步骤(1.4)、两者相互匹配后即完成摄像机与雷达的目标匹配。
进一步的，在步骤(1.1)中，所述两个相同规格的零矩阵具体是：矩阵中目标所在位置及其周围赋1，以3*3的1矩阵代表目标，对摄像机目标所在矩阵进行行数扩充，上下都扩充相同规格的零矩阵。
进一步的，在所述步骤(1.2)中，对雷达目标位置信息矩阵及摄像机目标位置信息矩阵进行整体校正的具体步骤是：将雷达目标位置矩阵在摄像机目标位置信息矩阵的扩充矩阵中进行上下滑动，计算滑动窗口内两个矩阵的互相关系数，得到互相关系数最大的滑动窗口位置，取出重叠部分的两个矩阵，从而得到整体校正后的雷达目标位置信息矩阵及摄像机目标位置信息矩阵。
进一步的，所述滑动窗口内两个矩阵的互相关系数的具体计算过程如下：
其中，
式中，i,j分别表示矩阵中对应的行序号和列序号，x(i,j)，y(i,j)表示两个矩阵中某点的值，mx，my表示两个矩阵对应的均值，r表示互相关系数，M表示矩阵的行数，N表示矩阵的列数。
进一步的，在步骤(1.3)中，所述带权值的二分图匹配算法的具体操作方法如下：
(1.3.1)、对每一个车道，将雷达目标和摄像机目标分为集合X和集合Y，对每一个雷达目标计算其与所有摄像机目标的欧氏距离，根据欧氏距离分配权值，距离越小权值越大，反之，越小，权值总和为1；
所述的权值分配按照下述公式进行，
其中，λi,j表示集合X中第i个目标与集合Y中第j个目标之前的权值，Xi和Yk表示集合X中第i个目标和Y中某个目标，|Xi-Yk|表示Xi和Yk两目标之间的欧式距离，n表示目标个数；
(1.3.2)、初始化顶标，对于集合X，每个目标的顶标为该目标与集合Y中所有目标的权值最大值，对于集合Y中所有目标，顶标则为0；
(1.3.3)、使用匈牙利算法寻找完备匹配；
(1.3.4)、若未找到完备匹配，则修改当前目标的可行标杆值；
(1.3.5)、重复步骤(1.3.3)及(1.3.4)，直到找到完备匹配，即一个雷达目标匹配一个摄像机目标，且其权值总和最大。
进一步的，所述的毫米波雷达通过其传感器实时采集目标信息，包括目标与雷达之间的径向距离及目标相对于雷达探测法线方向的方位角，结合这两个信息和已知的雷达高度，根据几何关系得到目标在路面坐标系下的二维坐标；
所述的摄像机通过其传感器实时采集图像数据，由目标检测算法得到目标像素坐标，通过相应转换算法得到目标在路面坐标系下的二维坐标。
具体实施：
1、将毫米波雷达和摄像机检测到的目标根据路面坐标值投影到两个相同规格的零矩阵中，矩阵大小根据实际范围设定，本实施例中取最远距离64米，双车道宽度8米，则矩阵设置成64行21列的零矩阵，矩阵自底向上表示距离由近及远，两行间代表实际距离1米，如图2所示，雷达与摄像机架设在道路正中间的上方，故以第11列为中心轴，代表中心车道线，两列间代表实际距离0.5米；将毫米波雷达与摄像机获取的二维坐标进行量化，投影到矩阵上，令其为1，同时令周围8个数值为1，以3X3的一矩阵代表目标；并对摄像机目标所在矩阵进行行数扩充，上下各扩充相同规格的全零矩阵，将毫米波雷达目标位置信息矩阵在摄像机目标的扩充矩阵中进行上下滑动，计算滑动窗口内两个矩阵的互相关系数，得到互相关系数最大的滑动窗口位置，取出重叠部分的两个矩阵，从而解决整体性坐标偏移问题；
2、完成整体校正后，在每个车道上，令雷达目标和摄像机目标为两个集合，利用带权值的二分图匹配算法进行两个目标集合的匹配，从而解决局部偏差问题；
本方法相对于只以欧式距离进行目标匹配的方法，能在摄像机产生不同程度倾角、两者检测目标数不一致的情况下更好的进行目标匹配，还可以解决相邻车道之间目标的干扰，能够适应更多道路情况。
最后，应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则；其他的变形也可能属于本发明的范围；因此，作为示例而非限制，本发明实施例的替代配置可视为与本发明的教导一致；相应地，本发明的实施例不限于本发明明确介绍和描述的实施例。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：基于特征函数的集中式多传感器融合滤波方法