基于双目视觉和雷达的海上障碍物识别方法及系统
阅读说明：本技术 基于双目视觉和雷达的海上障碍物识别方法及系统 (Marine obstacle identification method and system based on binocular vision and radar ) 是由 曹琳 刘海林 袁健 李辉 张照文 胡一帆 吕斌 陈杰 于 2020-07-31 设计创作，主要内容包括：本公开提供了一种基于双目视觉和雷达的海上障碍物识别方法及系统,根据训练好的深度学习网络模型和时间融合后的双目视觉图像,得到目标物体分类标签,对目标物体进行三维重建后得到目标物体的双目视觉坐标系下的目标物体信息；根据时间融合后的雷达数据,得到雷达坐标系下的目标物体信息；对双目视觉坐标系下和雷达坐标系下的目标物体信息分别进行空间融合,将空间融合后的目标物体信息进行数据匹配,得到目标物体最优匹配对；根据最优匹配对将雷达检测的目标物体打上分类标签,得到最终的目标物体识别结果；克服了单一传感器存在的不足,在确保定位精度和识别准确率的前提下,更加适应在海上恶劣环境下实施。(The invention provides a method and a system for identifying marine obstacles based on binocular vision and radar, wherein a target object classification label is obtained according to a trained deep learning network model and a binocular vision image after time fusion, and target object information under a binocular vision coordinate system of a target object is obtained after three-dimensional reconstruction is carried out on the target object; obtaining target object information under a radar coordinate system according to the radar data after time fusion; respectively carrying out spatial fusion on target object information under a binocular vision coordinate system and a radar coordinate system, and carrying out data matching on the target object information after the spatial fusion to obtain an optimal matching pair of target objects; according to the optimal matching, a classification label is marked on a target object detected by the radar to obtain a final target object identification result; the defects of a single sensor are overcome, and the method is more suitable for being implemented in severe marine environments on the premise of ensuring the positioning precision and the identification accuracy.)
技术领域
本公开涉及海上障碍物识别技术领域，特别涉及一种基于双目视觉和雷达的海上障碍物识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。
无人艇可用于海上测绘，救灾，侦查，监测等，减少人工执行任务的危险，在民用军工领域都有重要的应用。在超视距、遥控不能发挥作用的情况下自主航行，需要具有环境感知的能力，因此环境感知技术是实现无人艇自主航行的第一环节和关键技术。相比于陆地环境，海面具有多雾，盐度高，湿度高，海浪波动大，海浪纹理近似等难点，这些都给海上环境感知提出了更高的要求。环境感知技术具体是对海上障碍物的检测定位和分类识别，可以获得船只、礁石、浮标以及其他漂浮物等在无人艇的本体坐标系下的坐标，为后续无人艇避障提供障碍物位置信息。目前，无人艇用于感知海面环境的传感器主要有视觉传感器、导航雷达、船舶自动识别系统(Automatic Identification System，AIS)等。
本公开发明人发现，现有的视觉传感器包括可见光摄像头、红外摄像头等，可见光摄像头在雨雪雾等恶劣天气下，成像质量严重下降，难以正常工作，红外摄像头相对于可见光摄像头具有全天候的特点，但是红外图像纹理信息弱，目标识别准确率低；AIS仅对安装有AIS应答器的船只具有检测能力，但是无法感知无应答器船只以及浮标等障碍物；导航雷达探测距离远，但感知精度低，且存在船舶周身检测盲区，使得无人艇对近距离障碍物丧失感知能力；激光雷达与摄像头相比，具有测距精度高，实时获取周围障碍物的点云数据的优点，但是其对远距离检测精度低，且具有容易受到海面恶劣环境影响而精度下降的缺点。
发明内容
为了解决现有技术的不足，本公开提供了一种基于双目视觉和雷达的海上障碍物识别方法及系统，通过双目摄像头提供类别信息，弥补了毫米波雷达无法探测目标类别的缺点，毫米波雷达测距精度高，弥补了视觉传感器测距精度低的缺点，克服了单一传感器存在的不足，在确保定位精度和识别准确率的前提下，更加适应在海上恶劣环境下实施。
为了实现上述目的，本公开采用如下技术方案：
本公开第一方面提供了一种基于双目视觉和雷达的海上障碍物识别方法。
一种基于双目视觉和雷达的海上障碍物识别方法，包括以下步骤：
获取双目视觉图像和雷达数据，并进行时间融合；
根据训练好的深度学习网络模型和时间融合后的双目视觉图像，得到目标物体分类标签，对目标物体进行三维重建后得到目标物体的位置和速度信息；
根据时间融合后的雷达数据，得到目标物体的位置和速度信息；
对双目视觉和雷达得到目标物体的位置和速度信息分别进行空间融合，对空间融合后的数据进行匹配，得到目标物体最优匹配对；
根据最优匹配对将雷达检测的目标物体打上分类标签，以雷达检测得到的目标坐标信息和目标物体分类标签作为目标物体识别结果。
本公开第二方面提供了一种基于双目视觉和雷达的海上障碍物识别系统。
一种基于双目视觉和雷达的海上障碍物识别系统，包括：
数据获取模块，被配置为：获取双目视觉图像和雷达数据，并进行时间融合；
双目视觉识别模块，被配置为：根据训练好的深度学习网络模型和时间融合后的双目视觉图像，得到目标物体分类标签，对目标物体进行三维重建后得到目标物体的位置和速度信息；
雷达数据处理模块，被配置为：根据时间融合后的雷达数据，得到目标物体的位置和速度信息；
数据融合模块，被配置为：对双目视觉和雷达得到目标物体的位置和速度信息分别进行空间融合，对空间融合后的数据进行匹配，得到目标物体最优匹配对；
识别模块，被配置为：根据最优匹配对将雷达检测的目标物体打上分类标签，以雷达检测得到的目标坐标信息和目标物体分类标签作为目标物体识别结果。
本公开第三方面提供了一种基于双目视觉和雷达的海上障碍物识别系统。
一种基于双目视觉和雷达的海上障碍物识别系统，包括光学传感器、雷达传感器和处理器；
所述光学传感器被配置为采集双目视觉图像，所述雷达传感器被配置为采集雷达数据，所述处理器包括：
数据获取模块，被配置为：获取双目视觉图像和雷达数据，并进行时间融合；
双目视觉识别模块，被配置为：根据训练好的深度学习网络模型和时间融合后的双目视觉图像，得到目标物体分类标签，对目标物体进行三维重建后得到目标物体的位置和速度信息；
雷达数据处理模块，被配置为：根据时间融合后的雷达数据，得到目标物体的位置和速度信息；
数据融合模块，被配置为：对双目视觉和雷达得到目标物体的位置和速度信息分别进行空间融合，对空间融合后的数据进行匹配，得到目标物体最优匹配对；
识别模块，被配置为：根据最优匹配对将雷达检测的目标物体打上分类标签，以雷达检测得到的目标坐标信息和目标物体分类标签作为目标物体识别结果。
本公开第四方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于双目视觉和雷达的海上障碍物识别方法中的步骤。
本公开第五方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于双目视觉和雷达的海上障碍物识别方法中的步骤。
与现有技术相比，本公开的有益效果是：
1、本公开所述的方法、系统、介质及电子设备，通过双目摄像头提供类别信息，弥补了毫米波雷达无法探测目标类别的缺点，毫米波雷达测距精度高，弥补了视觉传感器测距精度低的缺点，克服了单一传感器存在的不足，在确保定位精度和识别准确率的前提下，更加适应在海上恶劣环境下实施。
2、本公开所述的方法、系统、介质及电子设备，不需要对视觉模块和雷达模块进行联合标定就可以对由两个传感器测量的目标信息进行对齐和融合，最终得到目标物体的分类信息和精确的三维坐标。
3、本公开所述的方法、系统、介质及电子设备，双目立体视觉模块中改进了特征匹配算法和增加了基于实时卷积神经网络YOLOV4的初定位算法，大幅度提升了双目立体视觉模块算法的实时性。
4、本公开所述的方法、系统、介质及电子设备，对两种传感器模块的检测数据都设计了卡尔曼滤波算法，提高了传感器的精度和鲁棒性。
5、本公开所述的方法、系统、介质及电子设备，采用毫米波雷达进行雷达探测，具有较好的远距离测量精度，可以穿透海雾，不受雨雪、灰尘环境的影响，且具有体积小、重量轻、成本低、抗干扰等特点，更加适应在海上恶劣环境下全天候工作。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例1提供的基于双目视觉和雷达的海上障碍物识别方法的流程示意图。
图2为本公开实施例1提供的传感器组成和空间融合中坐标系之间转换矩阵的示意图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例1：
如图1所示，本公开实施例1提供了一种基于双目视觉和雷达的海上障碍物识别方法，采用双目视觉和雷达传感器融合可以利用两种传感器互补的优势，完成了对障碍物目标进行分类和定位的任务。
本实施例通过使用光学传感器中的可见光摄像头获取可见光图像并进行目标的检测和分类识别，一方面得到目标的分类标签，另一方面得到目标在图像坐标系下的区域位置作为框出的兴趣区域，并在框选区域内进行双目立体视觉的特征提取和同名点匹配算法，对目标进行三维重建；同时用毫米波雷达传感器对目标进行探测得到目标的三维点云数据，并经过点云处理算法，得到目标在船体坐标系下的坐标信息。
通过对两种传感器检测得到的信息进行特征信息提取和匹配，将视觉传感器和雷达传感器检测得到的目标进行对应，实现对雷达检测的目标进行分类标签标注。
具体包括以下步骤：
(1)对双目立体视觉模块中的视觉传感器进行标定；
(2)对毫米波雷达传感器进行标定；
(3)对视觉传感器和雷达传感器进行时间融合；
(4)通过YOLOV4深度学习算法对海上目标进行神经网络训练，得到训练好的神经网络训练模型；
(5)通过神经网络模型对输入图像进行障碍物检测和分类，得到图像坐标系下的图像坐标信息和类别信息；
(6)采用基于神经网络初定位和SAD特征匹配算法的双目立体视觉算法对障碍物目标进行三维重建，获取目标的位置信息和速度信息；
(7)毫米波雷达感知环境中目标障碍物的位置和速度；
(8)对毫米波雷达和双目立体视觉检测出来的障碍物目标的特征信息进行空间融合和数据匹配，得到障碍物目标匹配对；
(9)根据最优配对将雷达检测的目标打上类别标签。
(10)通过雷达检测得到的目标坐标信息以及对应的目标类别信息作为最后系统的输出。
其中，雷达与视觉传感器空间融合就是将不同传感器坐标系的测量值转换到同一个坐标系中，本实施例需要通过标定得到双目立体视觉坐标系和船体坐标系，雷达坐标系和船体坐标系之间的转换矩阵，如图2所示，即可实现多传感器的空间同步。
雷达和视觉信息在除在空间上需要进行融合，还需要传感器在时间上同步采集数据，实现时间的融合。根据毫米波雷达功能工作手册，其采样周期为50ms，即采样帧速率为20帧/秒，而摄像机采样帧速率为25帧/秒。为了保证数据的可靠性，摄像机每采集一帧图像，同时选取毫米波雷达上一帧缓存的数据，即完成共同采样一帧雷达模块与视觉模块的数据，从而保证了毫米波雷达数据和摄像机数据时间上的同步。
基于特征点提取和匹配求取视差并进行三维重建的原理如下：摄像头成像模型采用通常的针孔模型描述三维欧式空间到二维图像平面的投影变换，双目立体视觉系统由左摄像机和右摄像机两个摄像机组成，选取世界坐标系与左摄像头相机坐标系重合，对于空间中的物点p，视差为p点在左右图像中投影的位置差，定义为d；基线距离为左右相机光心的距离，定义为b；f为两个摄像头原则上选取同种规格和参数的摄像头，所以认为具有相同的焦距，设置为f(u1,v1)，(u2,v2)分别为p点在左右图像中的像素坐标。根据基于视差的三维重建原理，可以得到在坐标系下的三维坐标(xc,yc,zc)与视差d和摄像头焦距f的关系如下：
本实施例中的双目立体视觉模块中算法的具体实现步骤为：
步骤1：对双目相机进行立体标定，并进行畸变矫正和平行校正；
步骤2：通过YOLOV4深度学习算法对海上目标进行神经网络训练，得到神经网络训练模型；
步骤3：用YOLOV4卷积神经网络对图像中的障碍物目标进行分类识别；
步骤4：基于YOLOV4卷积神经网络算法的兴趣区域初定位；
步骤5：双目立体匹配算法及优化，具体为使用拉普拉斯算子对兴趣区域内的图像进行边缘检测得到边缘特征图，采用SAD特征点评价算子对像素块进行评价，得到最优匹配像素块并计算视差值；
步骤6：根据立体成像原理，利用立体相机标定的参数和视差值，根据公式计算出目标三维点云的坐标。
步骤1中选用基于张正友标定法的matlab工具箱进行人工辅助标定，离线完成对双目立体相机模块的内外参数和畸变系数的标定，并计算畸变矫正投影矩阵，用于在图像上计算投影畸变矫正后的坐标。
传统算法中通常采用SURF等特征提取算法并进行特征点匹配进而得到视差值，一方面特征提取算子本身复杂度高，另一方面要对左右图像中全局进行特征提取，过程耗时多。因此要提高双目立体视觉模块的实时性，可以从降低特征提取算子复杂度和缩小特征提取区域两方面入手。
本实施例在步骤2和3中针对前述问题对传统双目立体视觉算法做了以下的改进：
(1)双目立体视觉算法对左右图像全局进行特征提取，采用基于卷积神经网络的one-stage的YOLOV4方法检测左右单目图像中的障碍物，得到障碍物目标的类别信息和对应框选区域坐标信息，并将框选区域标记为感兴趣区域。
通过兴趣区域初定位，后续只需要在兴趣区域中进行特征提取和双目匹配算法，获得特征匹配共轭点对，这样大幅度降低了需要进行特征检测的区域范围，大幅度降低了算法运行耗时。
YOLOV4采用CSPDarknet53作为骨干网络、SPP附加模块、PANet路径聚合作为连接模块，最后和YOLOV3网络一起构成YOLOV4的体系结构。同时YOLOV4在训练模型过程中除了优选了有效的数据增强方法外，还使用了马赛克数据增强拼接和自我对抗训练方法，有效提高检测算法的精度和鲁棒性。从时间效率上来说，这些在训练模型过程中增加的优化工作，只是额外增加了离线训练的时间，并不会增加在线对图像进行目标检测的时间效率。YOLOV4算法在MaxwellGPU上对COCO数据集进行测试，处理速度为38帧每秒，准确率可以达到AP42％。YOLOV4算法在确保较高可靠性的同时，速率完全可以满足实时系统的要求。
(2)本实施例选取边界检测算子替代传统算法中的区域检测算子，大幅度简化了算法的复杂度。具体步骤为：首先对于双目立体视觉得到图像采用拉普拉斯边缘检测算子进行边缘特征检测，然后设计一个函数对前述得到的边缘特征的一致性进行评价和匹配。
一致性评价函数设计如下面公式：
式中，p(i)为5×5的像素块的一个像素点，L为拉普拉斯算子，对S设置阈值，满足该阈值的两个像素块即被认为是符合要求的块匹配。
步骤6是在前面获得的匹配点对的基础上根据立体深度计算公式计算得到障碍物在双目立体视觉坐标系下的三维坐标点云，并计算出障碍物的位置和速度，本模块最终输出信息为水面障碍物的信息。
毫米波雷达，是工作在毫米波波段，工作频率在30～100GHz，波长在1～10mm之间的电磁波，通过向障碍物发射电磁波并接收回波来精确探测目标的方向和距离，其全天候全天时以及准确的测速测距特点使它被广泛应用于环境感知。
本实施例中毫米波雷达目标检测算法的实现步骤为：
对毫米波雷达数据进行TCP/UDP包解析；
经过预处理剔除掉无效目标，以获得目标在极坐标系下的距离ρ，方向角φ和距离的变化率(径向速度)ρ′；
将经过算法处理后的水面目标ID、位置、速度信息进行卡尔曼滤波；
将卡尔曼滤波后的数据代入计算毫米波雷达和船体坐标系之间的转换矩阵计算，将目标的特征信息转化到船体坐标系下，之后输入传感器融合模块。
本实施例为了降低单一传感器的测量误差，单一传感器测量结果输入融合模块之前会先进行卡尔曼滤波。
由于本实施例中毫米波雷达对目标的检测数据是二维水面上的位置信息和速度信息，所以本实施例中的融合模块目标是对齐双目立体视觉模块和毫米波模块检测到的目标在二维水面上的位置信息和速度信息，得到两种传感器检测目标的最优匹配对。
在卡尔曼滤波之后，利用前述空间融合标定得到的坐标转换矩阵，对两种传感器模块得到的数据进行空间融合，具体为：将双目立体视觉模块测量得到的特征信息代入双目立体视觉和船体坐标系之间的转换矩阵计算，将目标的特征信息转化到船体坐标系下；将毫米波雷达模块测量得到的特征信息代入毫米波雷达和船体坐标系之间的转换矩阵计算，将目标的特征信息转化到船体坐标系下。
本实施例设计的描述障碍物目标的特征向量是鸟瞰视角下的障碍物目标在二维水平面的位置信息和速度信息；利用前述介绍的方法分别得到两种传感器模块测量的目标的三维点云信息。
假设目标t对应的点云群为{P1,P2,...,Pn-1,Pn}，Pi＝[xi,yi,yi]T，其中xi，yi，zi分别表示一个数据点i在双目立体视觉坐标系下x，y，z轴的坐标值，则目标t的特征向量如公式(3)所示：
雷达传感器测量的目标t的数据群为{P1，P2，...，Pn-1，Pn}，则目标t的特征向量如公式(4)所示：
卡尔曼滤波基本原理如下，预测方程见公式(5)，状态协方差预测方程见公式(6)。公式(5)中，
Pk＝FkPk-1Fk T+Qk (6)
观测方程见公式(7)和公式(8)。当前的状态和观测到的传感器数据应该具备特定的关系，假设这个关系通过矩阵表示为Hk。zk表示实际观测的结果，Hk是观测矩阵，观测噪声的协方差矩阵为Rk。其中，K是卡尔曼增益，计算公式如公式(9)所示。公式(7)、公式(8)和公式(9)称为卡尔曼滤波的更新方程。
按照上述公式，通过传感器不断获取新的测量数据，对更新方程进行更新迭代，完成对当前的状态的最优估计。
针对两个传感器设计卡尔曼滤波对当前检测的二维水面的位置和速度状态进行最优估计。设置观测目标在传感器坐标系下的状态向量为公式(10)，其中px和pz是x轴和z轴的坐标值，以和vz是x轴和z轴的速度分量。
状态转移矩阵Fk取值如下，其中Δt是根据时间戳计算得到的两帧数据的间隔时间，状态控制矩阵Bk和状态控制向量uk取零。方差预测矩阵中协方差矩阵Pk和过程噪声Qk的初始值分别根据经验取值如下，其中Fk是根据状态向量中位置与速度的关系给出。
下面分别介绍双目立体视觉模块和毫米波雷达模块中观测矩阵和观测向量以及观测噪声的取值方法。在双目立体视觉模块中，取障碍物在双目立体视觉坐标系下障碍物在x轴和z轴的位置坐标和速度分量作为状态向量，即
在毫米波雷达模块中，取障碍物在毫米波雷达坐标系的x轴和z轴的位置和速度作为状态向量，即将前述毫米波雷达模块检测得到的目标t的特征向量
状态向量和观测向量之间的关系如公式(14)：
由上面公式来计算Hk，由雅可比矩阵得到：
本实施例中传感器融合是将双目立体视觉模块和毫米波雷达目标检测模块得到的目标信息进行匹配融合的过程。不同传感器目标检测信息首先进行空间融合，转化到船体坐标系下。然后对空间融合之后的测量结果建立匹配特征向量，在此基础上设立融合匹配评价函数，使评价函数取值最优的目标对将被认定匹配成功。基于特征向量的目标对匹配，可以在无联合标定的情况下，完成立体视觉模块数据和雷达模块数据的信息融合。
双目立体视觉模块测量结果的特征向量如公式(17)所示：
GC(k)＝[xC，zC，vxc，vzc] (17)
分别表示在k时刻，检测得到的目标在船体坐标系下的x轴坐标值和z轴坐标值，vxc，vzc表示目标在海平面上沿x轴和z轴的速度分量，以及对应的方差矩阵如公式(18)：
∑C＝diag[dxC 2，dzC 2，dvxc 2，dvzc 2] (18)
毫米波雷达模块测量结果的特征向量如公式(19)所示：
GL(k)＝[xL，zL，vxL，vzL] (19)
分别表示在k时刻，检测得到的目标在船体坐标系下的x轴坐标值和z轴坐标值，vxL，vzL表示目标在海平面上移动速度，以及对应的方差矩阵如公式(20)所示：
∑L＝diag[dxL 2，dzL 2，dvxL 2，dvzL 2] (20)
建立特征向量匹配评价函数如公式(21)所示：
其中GI(k)和GL(k)分别代表双目立体视觉模块和毫米波雷达目标检测模块得到的特征向量，评价函数值越小，说明两个特征向量的匹配度越高。设置匹配阈值Cth，作为基本判断标准。匹配采用双向匹配，对于每一个双目立体视觉模块检测到的目标，选取匹配程度最高的雷达检测目标作为候选目标，同时对于每一个雷达检测的目标，选取匹配程度最高的双目立体视觉模块检测目标作为候选目标，当一对目标点互为最优匹配且满足不高于匹配基本阈值，则认为是最优匹配对。
双目视觉模块捕获的图像可以检测和识别多个不同标签的障碍物，而毫米波雷达模块可以检测多个障碍物目标的精确位置，但是无法获得目标的类别。根据前述最优匹配对的配对结果，可以对雷达检测的目标进行标签分类。至此，经过对两个传感器匹配融合，完成对海上障碍物目标的分类识别和定位。
实施例2：
本公开实施例2提供了一种基于双目视觉和雷达的海上障碍物识别系统，包括：
数据获取模块，被配置为：获取双目视觉图像和雷达数据，并进行时间融合；
双目视觉识别模块，被配置为：根据训练好的深度学习网络模型和时间融合后的双目视觉图像，得到目标物体分类标签，对目标物体进行三维重建后得到目标物体的位置和速度信息；
雷达数据处理模块，被配置为：根据时间融合后的雷达数据，得到目标物体的位置和速度信息；
数据融合模块，被配置为：对双目视觉和雷达得到目标物体的位置和速度信息分别进行空间融合，对空间融合后的数据进行匹配，得到目标物体最优匹配对；
识别模块，被配置为：根据最优匹配对将雷达检测的目标物体打上分类标签，以雷达检测得到的目标坐标信息和目标物体分类标签作为目标物体识别结果。
所述系统的工作方法与实施例1中提供的基于双目视觉和雷达的海上障碍物识别方法相同，这里不再赘述。
实施例3：
本公开实施例3提供了一种基于双目视觉和雷达的海上障碍物识别系统，包括光学传感器、雷达传感器和处理器；
所述光学传感器被配置为采集双目视觉图像，所述雷达传感器被配置为采集雷达数据，所述处理器包括：
数据获取模块，被配置为：获取双目视觉图像和雷达数据，并进行时间融合；
双目视觉识别模块，被配置为：根据训练好的深度学习网络模型和时间融合后的双目视觉图像，得到目标物体分类标签，对目标物体进行三维重建后得到目标物体的位置和速度信息；
雷达数据处理模块，被配置为：根据时间融合后的雷达数据，得到目标物体的位置和速度信息；
数据融合模块，被配置为：对双目视觉和雷达得到目标物体的位置和速度信息分别进行空间融合，对空间融合后的数据进行匹配，得到目标物体最优匹配对；
识别模块，被配置为：根据最优匹配对将雷达检测的目标物体打上分类标签，以雷达检测得到的目标坐标信息和目标物体分类标签作为目标物体识别结果。
所述系统的工作方法与实施例1中提供的基于双目视觉和雷达的海上障碍物识别方法相同，这里不再赘述。
实施例4：
本公开实施例4提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的基于双目视觉和雷达的海上障碍物识别方法中的步骤。
实施例5：
本公开实施例5提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于双目视觉和雷达的海上障碍物识别方法中的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：雷达设备和用于检测雷达目标的方法