具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种雷达与视频融合交通目标跟踪方法、系统、设备、终端，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的雷达与视频融合交通目标跟踪方法包括以下步骤：

S101，确定单传感器目标跟踪问题：根据交通应用场景，选择天桥测试场景进行雷达和视频的数据采集工作并进行分析；

S102，进行时空匹配：选择较为空旷且有高测试位置的场地，对目标数量进行控制；采用单目标测试场景数据来进行坐标系匹配的调试，得到两个传感器之间准确的转换参数；

S103，构建基于模糊集理论的雷达与视频融合算法：分别进行目标分类和模糊评判问题分类，并确定目标判决准则。

如图2所示，本发明实施例提供的雷达与视频融合交通目标跟踪系统包括：

目标跟踪问题确定模块1，用于确定单传感器目标跟踪问题，根据交通应用场景，选择天桥测试场景进行雷达和视频的数据采集工作并进行分析；

时空匹配模块2，用于选择较为空旷且有高测试位置的场地，对目标数量进行控制；采用单目标测试场景数据来进行坐标系匹配的调试，得到两个传感器之间准确的转换参数；

融合算法构建模块3，用于构建基于模糊集理论的雷达与视频融合算法，分别进行目标分类和模糊评判问题分类，并确定目标判决准则。

下面结合实施例对本发明的技术方案作进一步描述。

1、本发明选择了两种常用的交通信息采集传感器毫米波雷达和摄像头，并提出了一种基于模糊集合的雷达和视频融合交通目标跟踪算法，在降低单传感器跟踪算法复杂度的情况下运用多传感器融合算法实现高精度、高准确性的目标跟踪。

2、单传感器目标跟踪问题

根据本发明交通应用场景，选择天桥测试场景进行雷达和视频的数据采集工作并进行分析。雷达和摄像头采集数据均为俯视角度，斜向下对交通道路上的车辆、非机动车、行人等交通目标进行监测。在单传感器采集数据进行目标跟踪时，观察到一些单传感器雷达或视频处理时存在的问题。

2.1单雷达目标跟踪问题

(1)可视化

雷达数据处理阶段可得到目标的位置、速度、角度等，但如果想要得知目标的形态及大小等信息，只通过对雷达数据进行处理是无法实现的，需要对雷达原始回波信号进行分析处理，往往需要更复杂的算法来进行实现。因此，如果想在已经获取雷达目标信息的基础上得到目标形态和大小等信息，可通过摄像头进行辅助。

(2)多反射点问题

在目标较大或较近的情况下，可能会出现多个雷达回波信息，如图3所示，此车辆目标视频处理结果由蓝色矩形框表示，目标ID为7，而雷达处理得到两个目标ID号13和8，速度相差不大且周围无其他目标，说明这两组雷达处理结果为同一目标的多雷达反射结果。

2.2单视频目标跟踪问题

(1)画面抖动杂波问题

在测试时由于桥面抖动造成画面出现大量杂波，主要原因是在进行背景训练时提取出的背景，在设备抖动时背景发生微小偏移，因此会将一些背景像素认为是前景目标进行框选，如图4所示，在视频画面右下角显示出多个非目标杂波。

(2)目标分割问题

由于摄像机视角的限制，在车辆出现阴影遮挡时，图像处理时形态学滤波消除了目标之间的细小连接，将两个前景区域连通为一个区域，如图5(b)所示，因此识别为同一个目标。如图5(a)所示，ID为75号的视频跟踪框框选了两辆车辆目标。

3、时空匹配

在多传感器融合系统中，需要对不同帧率及坐标系的数据进行时空匹配，以此将不同数据放置在同一个维度下进行后续的比较及融合。为了得到两个传感器之间准确的转换参数，本发明选择较为空旷且有高测试位置的场地，并对目标数量进行控制，采用单目标测试场景数据来进行坐标系匹配的调试。

3.1时间匹配

在数据测试时，雷达数据采集率为20帧/秒，视频数据采集率为60帧/秒。

在时间匹配方面首先需要进行起点对齐。混合高斯建模需要前30帧进行训练，因此雷达数据起始时间应晚于视频数据起始时间0.5秒。时间起点对齐后进行数据帧之间的匹配对应，数据帧匹配示意图如图6所示，三角图标表示视频时间戳，圆形图标表示雷达时间戳，菱形点标记部分为融合时间点。

由图6可知，由于摄像头采集率大于雷达采集率且为整数倍，因此在采集雷达数据的时间戳上每间隔2帧对视频数据进行采样，以达到时间上的匹配。

3.2空间匹配

空间匹配主要是为了将两个不同维度的数据转换至同一坐标系中。交通目标信息采集时设备一般架设位置较高，会有一定的倾斜角度并向下监测，根据设定场景中的视角，设计空间坐标系转换方法。在空间坐标系转换过程中主要涉及到五个坐标系之间的转换，最终将雷达坐标系中的数据转换至像素坐标系中，如图7所示。

由于采集数据的场景及设备不同，雷达坐标系转换至世界坐标系的角度转换关系也有所不同，因此，根据本发明设置的雷达坐标系及设备安装的高度及倾角等信息进行两个坐标系的转换，空间示意图如图8所示。

其中，雷达检测到目标的径向距离为s，角度为γ，则转换至二维雷达坐标系为：

x_r＝s·sin(γ)

y_r＝s·cos(γ)

设雷达安装高度为h，雷达波束斜向下发射，设备倾斜角度为α，则θ满足：

假设世界坐标系原点与雷达坐标系相同，X_w轴与雷达坐标系的X_r轴方向相同，世界坐标系的Z_w轴与雷达坐标系的Y_r轴方向相同，根据几何角度关系，设定世界坐标系Y_r轴垂直于雷达发射平面，方向向下。因此，雷达坐标系至世界坐标系转换关系如下式所示：

x_w＝x_r

y_w＝y_rsin(θ)

z_w＝y_rcos(θ)

测试设备安装时雷达开发板与摄像机并排放置，偏移量小，如图9所示，世界坐标系与摄像机坐标系之间转换主要通过简单调试得出摄像机外部参数进行转换。其次，通过标定获得的摄像机内部参数进行摄像机坐标系至像素坐标系之间的转换。

在实际单目标测试场景中，传感器离地面高度h＝4.6m，倾斜角度α＝30°。摄像机内参为：

根据所求得参数进行空间坐标系转换，如图10所示。

将雷达数据进行转换后显示在像素坐标系中，如图10(a)所示，红色点迹为雷达数据点迹，蓝色点迹为视频数据点迹，两条轨迹经过匹配后基本重合。如图10(b)所示，在视频画面中显示中，黄色矩形框为视频数据处理后的目标跟踪框，红色点迹为转换后的雷达点迹显示在画面的结果，雷达点迹处于视频目标框中。根据匹配结果显示，可认为两组数据集匹配成功，可进行后续融合。

4、基于模糊集理论的雷达与视频融合算法

4.1目标分类

对于交通应用场景，在测试过程中对某一车辆目标来说，可能会出现以下三种情况：

(1)同时被雷达和视频画面检测到的目标

首先，如果此车辆目标能够同时被雷达和视频探测到说明此目标的运动区域为雷达和视频探测的重叠区域，如图11中A区域所示，雷达探测范围为120度扇面探测区域，摄像机视角为145度。涉及到决策融合问题一定是重叠区域中的雷达和视频数据。

(2)被毫米波雷达检测到的目标

毫米波雷达可探测到的可以分为有效目标和无效目标和待选择目标这三个部分。

有效目标主要为视频探测区域之外的目标，如图11中B区域所示。主要由雷达探测距离决定，如果雷达探测距离大于摄像机拍摄画面，则画面之外的目标均可以被雷达所捕获到。其次，在恶劣天气情况或画面抖动时，摄像头性能降低，所得数据不具有参考性。毫米波雷达工作能力不受天气情况影响，因此可以在雨、雪、雾等不良天气下准确的采集数据。

无效目标主要是由周围建筑物、护栏或是树木导致的杂波，而雷达并不能区分探测到的目标是否为车辆目标。

待选择目标主要是同一辆车的多雷达反射点，需要进行判决选择有效目标信息。

(3)被视频探测到的目标

视频探测到的目标主要分为有效目标、无效目标和待选择目标。

有效目标主要是由于摄像机视角范围大于雷达，因此可探测到雷达的部分盲区，如图11中C区域所示。

无效目标主要是由于天桥上采集设备的抖动所致，根据视频图像处理时所训练的背景，画面的抖动后会将原本的背景认为是运动目标，因此在某几帧会突然出现大量杂波，而车辆目标的检测由于背景画面的晃动而变得不准确。

待选择目标主要是由车辆遮挡所造成的，在视频画面中，车辆行驶中画面可能造成重叠，导致图像处理时认为是一个目标，这个目标不能作为输出但有一定的参考价值。

针对以上三种情况，同时被雷达和视频探测到的目标结果可根据传统模糊集理论数据融合算法进行输出，对于第二种和第三种单传感器探测情况，需要重新进行判断，提取其中有效的目标信息进行输出。因此，本发明提出一种决策冲突解决方法，即目标判决准则，通过分区域、分情况来对目标信息进行决策融合。

4.2模糊评判问题分类

单传感器目标跟踪结果进行时空匹配后，作为融合输入的信息为两组传感器目标信息，其中，雷达目标信息包括：帧序号、目标ID、转换后像素坐标(u,v)、目标速度，视频目标信息包括：帧序号、目标ID、质心坐标(x,y)、跟踪框左上角坐标及长宽。针对以上三种目标分类情况，以雷达目标点迹为主，计算其与所有质心坐标的统计距离，并和统计距离最小的视频进行ID关联。关联结果主要分为三种：

(a)一个雷达点对应一个视频目标；

(b)多个雷达点对应一个视频目标；

(c)未关联的视频目标。

其中，关联结果(a)即为同时被雷达和视频探测到的情况；关联结果(b)可能是多雷达反射点问题或目标分割问题导致的，一个目标框中出现多个雷达点迹结果；关联结果(c)主要为视频处理中杂波问题所导致的，三种情况示意图如图12所示。

其中，跟踪框1、2、4所对应的情况为雷达与视频同时监测到的目标，跟踪框3对应多雷达反射点问题，跟踪框5对应目标分割问题，跟踪框6对应视频杂波问题。

根据以上三种关联结果，可对所解决的问题进行分类，然后对目标进行决策级判决。对于问题的分类具有模糊性，因此可以引入模糊综合评判进行分类。假设因素集为C＝{c_radar,c_camera}，即雷达与视频传感器检测准确性，根据多雷达点问题、目标分割问题及视频杂波问题可分为两大类，多对一问题及杂波问题，因此评语集可设为V＝{多对一情况，杂波情况}，然后根据如下步骤进行综合评判：

①针对每一帧数据关联情况，统计一对一关联结果，认为当一个雷达点对应一个视频点且相距较近时，这种结果为正确结果，因此可以得出其在总的雷达数据和视频数据中占据的比例，作为衡量雷达和视频传感器所占的权重，然后进行归一化处理后可得出模糊子集A。

②将剩下的数据点进行分类，分为多对一情况和杂波情况，多对一情况包括多雷达反射点问题及目标分割问题，计算出现此类问题的数据占总数中的比例，作为第i个传感器u_i的单因素模糊评价r_i＝(r_i1,r_i2,…,r_in)，并根据单因素模糊评价可获得综合评价矩阵为R。

③求出模糊综合评价集B。

④根据隶属度最大原则选择评判结果，然后根据后续决策分类对所有数据进行判决得出最终结果。

根据以上综合评判的方式可以对每一帧所出现的问题进行区分，然后在进入不同的判决分支进行目标决策。

4.3目标判决准则

根据目标数据关联时的模糊综合评判结果，融合决策时需要通过以下三个方面来考虑：

(1)一个雷达点对应一个跟踪框的情况

由于在目标关联时是以雷达点迹为主对视频跟踪框进行关联的，遵循最小统计距离原则，因此可能会出现雷达杂波点关联有效跟踪框的情况。在传统模糊集理论融合算法中，是根据决策距离的设定来对这种情况进行判断的，但这种设定结果较为绝对化，因此根据隶属函数的确定原则，引入一种常用的模糊分布Z型隶属函数，将统计距离数值进行模糊化，其隶属函数如图13所示。

其中d为统计距离，u_ij为雷达数据第i个目标和视频数据第j个目标统计距离的隶属函数，u_ij∈[0,1]，可表示为：

当d∈[0,a)时，隶属函数u_ij＝1，两个车辆目标统计距离较近，则可以确定雷达和视频分别测得的这两个目标为同一目标；当d∈[a,b]时，隶属函数随着统计距离d的增大而减小，其曲线拐点为x＝(a+b)/2处，此时隶属函数u_ij＝1/2，因此如果隶属函数小于1/2时，其统计距离已经较远，不能进行关联，以排除雷达杂波关联视频跟踪框的情况。对于可关联的点迹，将两者的目标ID号进行标记，并转至下一帧进行计算，如果在后续三帧仍出现同样被标记的目标ID号组，则认为这组雷达和视频检测出的目标为同一目标，并对视频结果的目标跟踪框及雷达跟踪结果的目标ID和速度进行输出。

(2)多个雷达点对应一个跟踪框的情况

这类情况主要包括多雷达点问题和目标分割问题，本发明根据设定距离阈值及速度阈值来区分这两类情况。多雷达反射点问题中，两个雷达点迹信息距离及速度相差不多，而目标分割问题中，两个雷达点迹距离相距较远，且速度值相差较大，因此根据设定两级综合阈值可对这两类问题进行判断，然后分别进行处理。

①多雷达反射点

针对目标反射的多个雷达点问题，若多个雷达点迹同时关联上了同一个跟踪框，计算多个雷达点与跟踪框对应的质心点之间的统计距离隶属度，根据其隶属度的大小决定哪一点为真实有效的雷达点迹，然后对所有点迹对应的速度取平均值，输出此点迹ID序号及平均速度值作为此目标的信息结果，并将此雷达ID序号和视频ID序号进行关联，在多雷达点情况消失后仍保持此ID序号进行输出，直至目标消失在视频检测范围中。

②目标分割

针对车辆较近的目标分割问题，计算雷达点与质心点的统计距离隶属度，根据隶属度对视频矩形框的大小进行权重分配，并以雷达点迹为中心，视频数据框长度和宽度乘以权重作为目标框的长度和宽度，作融合后的目标跟踪框，目标ID序号以雷达监测结果进行输出。

(3)未关联的目标

未关联的目标主要包括视频数据杂波以及雷达杂波，由于本发明雷达数据处理结果较好，因此出现雷达杂波的问题较少，主要是由于视频画面抖动而导致的视频杂波问题。针对此类问题，可将已无参考价值的视频处理结果进行删除，并将雷达目标跟踪处理结果作为输出。以雷达点为中心作矩形框，矩形框的大小根据画面远近程度及视角进行调整，将雷达点迹ID序号及速度信息作为输出，并将此ID序号保留至目标离开雷达检测范围时，避免后续视频帧无杂波时目标ID序号改变的情况。

目标决策流程图如图14所示。首先，对所输入的雷达数据和视频数据进行目标数据关联，当关联结果为一一对应的情况时，根据所设定的统计距离隶属函数和1/2阈值对数据进行判断，判断成功输出融合结果，判断失败，转至综合评判模块；在进行综合模块评判后，可对此帧所出现的问题进行分类，如果出现多对一情况则根据综合阈值判决对多雷达反射点及目标分割问题进行确定，然后根据目标判决准则，对目标结果进行输出。如果是视频杂波问题，则仅输出雷达数据结果。

5、实验与结果分析

5.1测试场景及数据

本发明基于实际工程问题，在天桥测试场景中，设备通过三脚架进行搭建，交通道路测试场景及设备如图15所示。

为了验证融合跟踪算法的准确性，本发明通过选择三种不同测试场景进行数据采集，三种测试场景如表1所示。

表1测试场景

测试场景1为仅行人和非机动车经过路段，可双向通行；测试场景2为非高峰期交通路段，为双向六车道；测试场景3为高峰期交通路段。三种测试场景视频画面显示原数据如图16所示。

5.2融合算法实现

算法总体框架由以下几个部分组成：数据输入、单传感器数据处理、时空匹配、数据融合、目标信息输出。总体算法流程图如图17所示。

融合算法测试结果如下：

(1)慢目标跟踪结果

在测试场景1中，有速度较慢的目标，由于雷达所监测的速度阈值设定，无法对这种目标进行监测，因此出现慢目标跟踪问题。在对于此类数据进行处理时融合算法会将其作为杂波处理问题，因此在数据的选择中，应选择对移动目标捕捉能力较强的视频数据跟踪结果作为输出，若存在速度较快的非机动车目标且能被雷达探测到，则根据统计距离隶属函数计算雷达点与质心坐标之间的隶属度大小，判断此雷达点属于哪个非机动车，并对其有效的速度信息进行输出。其余行人目标速度无法判断，仅输出视频数据跟踪结果。处理前后随机三帧对比结果如图18所示。

由图18(a)所示，雷达跟踪结果由黄色标签表示，仅标记出两个速度较快的非机动车，而视频数据处理可以对缓慢移动的行人进行跟踪，由蓝色矩形框标记。处理后结果如图18(b)所示，所有目标均被跟踪，但行人目标缺乏速度信息。

(2)多雷达点结果

针对一个目标反射的多个雷达点的问题，根据目标判决准则中对多雷达点问题的决策方法，处理前后对比结果如图19所示。

由图19(a)所示，视频处理结果ID序号为7的蓝色目标框中有两个雷达处理结果目标8和目标13。融合后结果如图19(b)显示为距离较近的雷达ID序号8和平均速度结果。

(3)视频多杂波问题

针对视频出现多杂波的问题，可将已无参考价值的视频处理结果进行删除，根据目标判决准则中对视频杂波问题的决策方法，处理前后对比结果如图20所示。

融合前如图20(a)所示，视频数据处理后右下角显示出大量杂波，而雷达数据只有三个，且分别对应三个目标，融合后如图20(b)所示，视频杂波消除只显示雷达数据结果。

(4)目标分割问题

由于测试时车辆阴影的相互遮挡，造成两个车辆目标识别成一个的情况，针对目标分割问题，根据目标判决准则中对目标分割问题的决策方法，处理前后对比结果如图21所示。

融合前数据由图21(a)所示，视频处理目标框75框选了两个车辆目标，而其中显示出两个雷达数据，通过融合算法处理，此矩形框被分割成了两个目标框，如图21(b)所示，划分为目标96和目标97进行显示。

为了对比雷达跟踪、视频跟踪和融合跟踪算法的准确性，通过对三种场景下的交通目标数据进行统计，设定跟踪率参数作为定量分析结果。假设测试数据段交通目标总数为N，成功跟踪的目标数量为n，则此段数据跟踪率η为：

其中，交通目标总数N通过撞线检测法得出，跟踪成功的目标判定准则为根据目标的速度及ID序号，设定此目标在数据集中出现帧数的阈值，若此目标ID序号出现帧数大于阈值，则判断目标跟踪成功，反之，跟踪失败。三种测试场景跟踪结果如表2所示。

表2跟踪结果统计

测试场景1中，由于雷达对速度移动较慢的行人识别不精确，因此总体跟踪准确率较低，但由于目标较为分散且设备安装平台稳定无抖动，除去跟踪间断目标，视频跟踪准确率较高，根据融合算法排除少量目标遮挡情况，融合后跟踪准确率有所提升。测试场景2中，车辆目标行驶较为平稳，速度较快，且车辆行驶密集情况较少，雷达检测结果较为准确，由于天桥地面有轻微晃动导致视频数据无法使用，视频跟踪结果相比于雷达跟踪结果准确率较低，根据融合算法解决单传感器跟踪问题后跟踪率有所提升。测试场景3中，由于车辆密集程度较高，目标遮挡较为严重，因此，视频和雷达跟踪率都有所下降，融合算法跟踪率相比于前两个测试场景有所下降，但整体效果比单传感器跟踪效果好。根据以上三种测试场景的跟踪结果可以看出，融合算法相比于单传感器跟踪算法精确度较高且可靠性较强。

本发明实施例提及的设备参数分别为：

(1)毫米波雷达

本发明实施例所使用雷达开发平台其参数格式如下表1.2所示。根据雷达可测的目标数量及最大测量距离等参数可知，该雷达检测范围适用于交通应用场景中。

表1.1雷达参数

(2)摄像机

摄像机采用大疆OsmoAction，设备主要参数由下表1.3所示。测试时主要选择1080p 60fps录影格式。

表1.2摄像机参数

两个传感器通过三脚架进行固定，如图9所示。摄像机通过电池供电通过录影采集数据，雷达开发板需连接电脑并通过相应测试软件进行采集数据，数据采集完毕后进行处理。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。