位置识别方法、装置和电子设备
阅读说明：本技术 位置识别方法、装置和电子设备 (Position identification method and device and electronic equipment ) 是由 贾金让 于 2020-05-27 设计创作，主要内容包括：本申请公开了一种位置识别方法、装置和电子设备,涉及智能交通领域。具体实现方案为：通过获取三维的地面点云图,以及获取二维的相机图,根据地面点云图与相机图的映射关系,从地面点云图的各点中确定出目标点,确定在世界坐标系下目标点的地面位置,根据目标点的地面位置,对相机图中具有映射关系的像素进行定位,以得到像素呈现对象在世界坐标系下的位置。该方法通过高精度的三维地面点云图与相机图的映射关系,确定障碍物的位置,提高了自动驾驶和路侧感知障碍物的精准度。(The application discloses a position identification method and device and electronic equipment, and relates to the field of intelligent transportation. The specific implementation scheme is as follows: the method comprises the steps of determining a target point from each point of a ground point cloud picture according to the mapping relation between the ground point cloud picture and a camera picture by acquiring a three-dimensional ground point cloud picture and a two-dimensional camera picture, determining the ground position of the target point in a world coordinate system, and positioning pixels with the mapping relation in the camera picture according to the ground position of the target point to obtain the position of a pixel presentation object in the world coordinate system. According to the method, the position of the obstacle is determined through the high-precision mapping relation between the three-dimensional ground point cloud picture and the camera picture, and the accuracy of automatic driving and road side obstacle sensing is improved.)
技术领域
本申请涉及智能交通领域的计算机视觉技术领域，尤其涉及一种位置识别方法、装置和电子设备。
背景技术
随着自动驾驶技术的发展，集环境动态协同感知、数据信息处理、传输与存储、交通控制和管理等多个功能于一体的智能交通系统应运而生，以实现充分利用当代的先进技术，让人、车、路等所有主题变得更加安全、智能和高效。
在实际的应用中，在基于路侧相机的路侧感知场景中，由于相机缺少深度信息，使得计算二维图像中的障碍物在三维世界里的真实位置时，需要用到障碍物位置的地面方程，即地面法向量。并且，地面方程越准确，最终确定出的障碍物在世界坐标系下的位置越准确。
相关技术中，计算地面方程时需要人工持有手持全球定位系统(GlobalPositioning System，简称GPS)去实地戳点测量。但是，由于人工无法测量得到稠密的点，只能够利用有限的点去拟合一个地面平面，即计算出单一的地面方程，导致现有的技术方法确定的地面方程的准确率很低，从而导致自动驾驶和路侧感知的精度较低。
发明内容
本申请提供了一种位置识别方法、装置、设备以及存储介质。
本申请第一方面实施例提供了一种位置识别方法，包括：
获取三维的地面点云图，以及获取二维的相机图；
根据所述地面点云图与所述相机图的映射关系，从所述地面点云图的各点中确定出目标点；所述目标点，与所述相机图中的像素具有映射关系；
确定在世界坐标系下所述目标点的地面位置；
根据所述目标点的地面位置，对所述相机图中具有映射关系的像素进行定位，以得到所述像素呈现对象在所述世界坐标系下的位置。
本申请第二方面实施例提供了一种位置识别装置，包括：
获取模块，用于获取三维的地面点云图，以及获取二维的相机图；
确定模块，用于根据所述地面点云图与所述相机图的映射关系，从所述地面点云图的各点中确定出目标点；所述目标点，与所述相机图中的像素具有映射关系；
重建模块，用于确定在世界坐标系下所述目标点的地面位置；
定位模块，用于根据所述目标点的地面位置，对所述相机图中具有映射关系的像素进行定位，以得到所述像素呈现对象在所述世界坐标系下的位置。
本申请第三方面实施例提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面实施例的位置识别方法。
本申请第四方面实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行第一方面实施例的位置识别方法。
上述申请中的一个实施例具有如下优点或有益效果：通过获取三维的地面点云图，以及获取二维的相机图，根据地面点云图与相机图的映射关系，从地面点云图的各点中确定出目标点，确定在世界坐标系下目标点的地面位置，根据目标点的地面位置，对相机图中具有映射关系的像素进行定位，以得到像素呈现对象在世界坐标系下的位置。该方法通过高精度的三维地面点云图与相机图的映射关系，确定障碍物的位置，提高了自动驾驶和路侧感知障碍物的精准度。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例一提供的位置识别方法的流程示意图；
图2为本申请实施例二提供的位置识别方法的流程示意图；
图3为本申请实施例三提供的位置识别方法的流程示意图；
图4为本申请实施例四提供的位置识别方法的流程示意图；
图5为本申请实施例提供的位置识别方法的示例图；
图6为本申请实施例五提供的位置识别装置的结构示意图；
图7是用来实现本申请实施例的位置识别的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的位置识别方法、装置、电子设备和存储介质。
图1为本申请实施例一提供的位置识别方法的流程示意图。
本申请实施例以该位置识别方法被配置于位置识别装置中来举例说明，该问答处理装置可以应用于任一电子设备中，以使该电子设备可以执行位置识别功能。
其中，电子设备可以为个人电脑(Personal Computer，简称PC)、云端设备、移动设备等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统的硬件设备。
如图1所示，该位置识别方法，可以包括以下步骤：
步骤S101，获取三维的地面点云图，以及获取二维的相机图。
本申请实施例中，三维的地面点云，是用来表示三维扫描的原始数据点群，是通过激光探测与测量(Light Detection And Ranging，简称LiDAR)设备测量得到的，即通过激光雷达测量得到的。LiDAR通过利用全球定位系统(Global Position System，简称GPS)和惯性测量装置(Inertial Measurement Unit，简称IMU)机载激光扫描，其所测得的数据为数字表面模型(Digital Surface Model，简称DSM)的离散点表示，数据中含有空间三维信息和激光强度信息。也就是说，通过LiDAR能够测量得到三维的地面点云图。
激光雷达的优势在于测距频率高、准确，并测量产生相对固定的误差且与距离无关。激光雷达在导航中是非常有用的测距传感器，激光的优势在于其可以直接获得物品表面到点的准确距离信息，因此，激光雷达可以用来同时定位和建图。
其中，地面点云图中包含的对象可以有行人、车辆、树木以及建筑物等等。
本申请实施例中，路侧相机对视野内的对象进行拍摄，得到二维的相机图，将二维的相机图发送至电子设备，以使得电子设备获取到二维的相机图。同理，路侧相机拍摄得到的二维的相机图中包含的对象可以有行人、车辆、树木以及建筑物等等。
需要说明的是，LiDAR与路侧相机拍摄的对象相同，电子设备和路侧相机可以是集成设置的，也可以独立设置，本申请中在此不做限制。例如，电子设备和路侧相机可以设置在无人驾驶的车中。
步骤S102，根据地面点云图与相机图的映射关系，从地面点云图的各点中确定出目标点。
其中，目标点，与相机图中的像素具有映射关系。
本申请中，电子设备获取到的三维的地面点云图和二维的相机图，为拍摄同一对象得到的，因此，地面点云图中的三维点云与相机图中图像的像素坐标之间，存在一个固定的映射关系。
本申请实施例中，电子设备获取到三维的地面点云图和二维的相机图后，可以根据地面点云图与相机图的映射关系，从地面点云图的各点中确定出与相机的像素具有映射关系的目标点。
步骤S103，确定在世界坐标系下目标点的地面位置。
需要说明的是，根据地面点云图与相机图的映射关系，从地面点云图中确定出的目标点是在相机坐标系下的点，考虑到相机坐标系的不确定性，需要将相机坐标系下的目标点转换至世界坐标系中，通过对地面点云图进行三维重建，以确定在世界坐标系下目标点的地面位置。
例如，相机坐标系中与世界坐标系之间的变换关系可以利用旋转矩阵R和一个平移矩阵t表示，其中，变换过程如下公式所示：
其中，上述公式中(Xc,Yc,Zc)为相机坐标系下的点云坐标，(Xw,Yw,Zw)为世界坐标系下的点云坐标，t为三维平移向量，t＝[tx,ty,tz]，旋转矩阵R为3*3的单位正交矩阵，其矩阵元素满足如下条件：
本申请中，获取到与二维的相机图中的像素具有映射关系的三维的地面点云图后，经过点云数据的配准和融合对地面点云图进行三维重建，以确定在世界坐标系下目标点的地面位置。
其中，三维重建是通过深度数据获取、预处理、点云配准与融合、生成表面等过程，把真实场景刻画成符合计算机逻辑表达的数学模型。
作为一种可能的实现方式，电子设备获取到三维的地面点云图后，可以对三维点云图进行简化、降噪等预处理操作，以对三维点云图进行图像增强，进一步的，根据上述相机坐标系与世界坐标系之间的变化关系，将三维点云图中的点云数据转换至世界坐标系中，并对转换后的数据进行融合，进而，可以采用经典体素级重建算法中的移动立方体法生成完成的三维表面，得到地面的三维场景，从而可以根据各目标点转换至世界坐标系下的坐标，确定在世界坐标系下目标点的地面位置。
步骤S104，根据目标点的地面位置，对相机图中具有映射关系的像素进行定位，以得到像素呈现对象在世界坐标系下的位置。
本申请实施例中，确定在世界坐标系下目标点的地面位置后，可以根据地面点云图与相机图之间的映射关系，对相机图中与在世界坐标系下各目标点具有映射关系的像素进行定位，进而确定各像素所呈现对象在世界坐标系下的位置。
其中，像素呈现对象可能为行人、车辆、树木、建筑物等障碍物。
需要说明的是，上述步骤S101和步骤S102可以视为离线部分，而步骤S103和步骤S104为在线部分，本申请中是在离线状态下从地面点云图的各点中确定出目标点，并且确定出的目标点即可应用于在线的分段地面方程计算，从而加快了位置识别的速度。
本申请实施例的位置识别方法，通过获取三维的地面点云图，以及获取二维的相机图，根据地面点云图与相机图的映射关系，从地面点云图的各点中确定出目标点，确定在世界坐标系下目标点的地面位置，根据目标点的地面位置，对相机图中具有映射关系的像素进行定位，以得到像素呈现对象在世界坐标系下的位置。该方法通过高精度的三维地面点云图与相机图的映射关系，确定障碍物的位置，提高了自动驾驶和路侧感知障碍物的精准度。
在上述实施例的基础上，本申请提出了另一种位置识别方法。
图2为本申请实施例二提供的位置识别方法的流程示意图。
如图2所示，该位置识别方法可以包括以下步骤：
步骤S201，获取三维的地面点云图，以及获取二维的相机图。
本申请实施例中，步骤S201的实现过程，可以参见上述实施例中步骤S101的实现过程，在此不再赘述。
步骤S202，获取地面点云图中各点携带的第一坐标。
其中，第一坐标，为地面点云图中各点在雷达坐标系中的坐标。
本申请实施例中，三维的地面点云，是根据激光雷达测量得到的，因此，各点云中携带有在雷达坐标系中的坐标以及激光反射强度。该雷达坐标系可以以激光雷达所在位置为坐标原点，以指向雷达右侧方向为X轴正方向，以指向雷达正前方方向为Y轴正方向。
为了便于区别，本申请中，将地面点云图中各点在雷达坐标系中的坐标称为第一坐标，将各点在相机坐标系中的坐标称为第二坐标。
步骤S203，根据地面点云图与相机图的映射关系，将各点的第一坐标映射至相机坐标系，得到相机坐标系中的第二坐标。
作为一种可能的实现方式，电子设备获取到地面点云图中各点在雷达坐标系中的第一坐标后，根据雷达的外参，将各点的第一坐标，从地面点云图所在的雷达坐标系映射至世界坐标系，以得到世界坐标系下的中间坐标。进一步的，根据相机的外参，将世界坐标系下的中间坐标映射至相机坐标系，以得到相机坐标系中的第二坐标。
相机的外参决定相机坐标系与世界坐标系之间的相对位置关系，相机的外参可以为旋转矩阵和平移矩阵，旋转矩阵和平移矩阵共同描述了如何把各点从世界坐标系转换到相机坐标系。其中，旋转矩阵描述了世界坐标系的坐标轴相对于相机坐标轴的方向；平移矩阵描述了在相机坐标系下，空间原点的位置。
由此，根据雷达坐标系中地面点云图中各点的坐标，确定相机坐标系中各点的第二坐标，从而确定二维相机图中各像素点的坐标。
需要说明的是，三维的地面点云图中各点不是在获取到各点数据后立即从雷达坐标系映射到世界坐标系中，是因为各点云在雷达坐标系中的第一坐标的数据精度为浮点型，而在世界坐标系中的中间坐标和和相机坐标系中的第二坐标均高于浮点型，而浮点型的有效数字不足时，会损失点的精度，因此，先使用浮点型保存其在雷达坐标系下的坐标，使用时再将各点的坐标映射到世界坐标系中。
作为一种示例，在雷达坐标系下保存点云数据的文件一般只支持浮点型的点云数据，而世界坐标系中的数据精度通常是6位数、甚至7位数，而浮点型的有效数字不足，会损失点的精度，因此，先使用文件保存其在雷达坐标系下的结果，使用时再将各点的坐标映射到世界坐标系中。
步骤S204，在相机坐标系中，确定相机图的边界范围。
本申请实施例中，可以根据二维的相机图中各像素的坐标，在相机坐标系中，确定相机图的边界范围。
步骤S205，将地面点云图中第二坐标处于边界范围内的点作为目标点。
本申请实施例中，确定地面点云图中各点在相机坐标系中的第二坐标后，可以根据各点对应的第二坐标系，确定各点对应的第二坐标是否处于相机图的边界范围内，以确定各点是否为目标点。
作为一种可能的情况，若存在地面点云图中的点对应的第二坐标未处于相机图的边界范围内，则确定地面点云图中相应点不在路侧相机拍摄的范围内，进而将该点剔除掉。
作为另一种可能的情况，若地面点云图中的点对应的第二坐标处于边界范围内，则将地面点云图中第二坐标处于边界范围内的点作为目标点，从而可以利用该目标点生成高精度的分段地面方程。由此，通过地面点云图中的各点在相机坐标系中的第二坐标，确定各点是否为目标点，以确定高精地图中稠密且均已的地面点云，从而可以生成高精度的地面方程，有利于提高自动驾驶和路侧感知的精度。
步骤S206，确定在世界坐标系下目标点的地面位置。
步骤S207，根据目标点的地面位置，对相机图中具有映射关系的像素进行定位，以得到像素呈现对象在世界坐标系下的位置。
本申请实施例中，步骤S206和步骤S207的实现过程，可以参见上述实施例中步骤S103和步骤S104的实现过程，在此不再赘述。
本申请实施例的位置识别方法，通过获取三维的地面点云图，以及获取二维的相机图，获取地面点云图中各点携带的第一坐标；根据地面点云图与相机图的映射关系，将各点的第一坐标映射至相机坐标系，得到相机坐标系中的第二坐标；在相机坐标系中，确定相机图的边界范围；将地面点云图中第二坐标处于边界范围内的点作为目标点，确定在世界坐标系下目标点的地面位置，根据目标点的地面位置，对相机图中具有映射关系的像素进行定位，以得到像素呈现对象在世界坐标系下的位置。由此，通过激光雷达扫描地面点云，以获取到稠密的地面点云地图，并且去除掉地面点云图中未处于相机图的边界范围内的点，从而生成了精度足够高的点云数据，有利于提高自动驾驶和路侧感知的精度。
在上述实施例的基础上，作为一种可能的情况，可以通过地面法向量指示在世界坐标系下目标点的地面位置，由此，可以通过对映射相机图中相同像素的各目标点，叠加地面法向量，得到叠加法向量，以根据叠加法向量，对相机图中具有映射关系的像素所呈现对象定位在世界坐标系下的位置。下面结合图3对上述过程进行详细介绍，图3为本申请实施例三提供的位置识别方法的流程示意图。
如图3所示，该位置识别方法，还可以包括以下步骤：
步骤S301，获取三维的地面点云图，以及获取二维的相机图。
步骤S302，根据地面点云图与相机图的映射关系，从地面点云图的各点中确定出目标点。
步骤S303，确定在世界坐标系下目标点的地面位置。
本申请实施例中，步骤S301至步骤S303的实现过程，可以参见上述实施例中步骤S101至步骤S103的实现过程，在此不再赘述。
步骤S304，对映射相机图中相同像素的各目标点，叠加地面法向量，得到叠加法向量。
本申请中，对地面点云图进行三维重建，得到在世界坐标系下目标点的地面位置。其中，目标点的地面位置通过地面法向量指示。
在一种可能的情况下，从三维的地面点云图中各点确定出的目标点，映射至相机图中具有相同像素的各目标点，可以叠加各目标点的地面法向量，以得到叠加法向量。
作为一种示例，假设从地面点云图的各点中确定出目标点A1、A2和A3，A1和A2与相机图中的同一像素具有映射关系，这种情况下，可以叠加目标点A1和A2的地面法向量，得到叠加法向量。
步骤S305，根据叠加法向量，对相机图中具有映射关系的像素进行定位，以得到像素呈现对象在世界坐标系下的位置。
本申请实施例中，对映射相机图中相同像素的各目标点，叠加各目标点对应的地面法向量，得到叠加法向量，以根据叠加法向量，对相机图中具有映射关系的像素所呈现对象定位在世界坐标系下的位置。
由此，对于地面点云图进行重建，得到在世界坐标系下目标点的地面法向量后，通过对映射相机图中相同像素的各目标点的地面法向量进行叠加，以根据叠加法向量，对相机图中具有映射关系的像素进行定位，以得到像素呈现对象在世界坐标系下的位置，在自动驾驶和路侧感知的过程中，可以准确的定位出障碍物的位置，提高了自动驾驶和路侧感知的精确度。
作为一种可能的实现方式，在获取三维的地面点云图时，可以根据雷达采集的各帧数据，生成相应帧局部点云图，以对各帧局部点云图进行特征匹配和形态学滤波，进而根据各帧局部点云图的位置关系，对各帧滤波后的局部点云图拼接，得到地面点云图。下面结合图4对上述过程进行详细介绍，图4为本申请实施例四提供的位置识别方法的流程示意图。
如图4所示，该位置识别方法，还可以包括以下步骤：
步骤S401，根据雷达采集的各帧数据，生成各帧局部点云图。
作为一种实现方式，通过雷达采集得到各帧数据后，可以采用LOAM对雷达采集到的数据进行建图，以生成各帧局部点云图。
其中，LOAM的整体思想是将复杂的时定位与地图构建问题分为高频的运动估计和低频的环境建图。
步骤S402，对各帧局部点云图进行特征匹配，得到各帧局部点云图之间的位置关系。
本申请实施例中，对各帧局部点云图进行特征匹配，可以理解为两帧激光雷达数据之间的匹配。例如，当前帧的局部点云图为A，和它匹配的另一帧局部点云图为B，如果以A为起始帧，以B为目标帧，那么A经过一个相对平移和旋转变换到B，通过确定A的相对平移量和旋转角度，即可确定两帧局部点云图之间的位置关系。
需要说明的是，对各帧局部点云图进行特征匹配的过程计算量较小，因此可以多次执行，以确定各帧局部点云图的位置关系。
步骤S403，对各帧局部点云图进行形态学滤波，得到滤波后的局部点云图。
需要解释的是，形态学本来是生物中的一个概念，但是对于图像处理来说，形态学指的是数学方面的形态学滤波，特别是对图像的滤波处理。它的本质和其他滤波器一样，都能够对图像进行去噪、增强等作用。
本申请中，根据雷达采集的各帧数据，生成相应帧局部点云图后，对各帧局部点云图进行形态学滤波，以得到滤波后的局部点云图。
因为雷达采集的各帧数据量比较大，随着时间的增加，点云的数量会线性增加，对整体的点云图进行滤波会同时占用大量的内存资源，并且耗时巨大，因此，本申请中通过对各帧局部点云图进行形态学滤波，以提高点云图滤波的速率。
步骤S404，根据各帧局部点云图之间的位置关系，对各帧滤波后的局部点云图拼接，得到地面点云图。
本申请实施例中，确定各帧局部点云图之间的位置关系后，可以根据各帧局部点云图之间的位置关系，对各帧滤波后的局部点云图拼接，得到整体的地面点云图。
例如，可以根据各帧局部点云图之间的位置关系，对各帧滤波后的局部点云图进行叠加，以得到完整的地面点云图。
在一种可能的情况下，由于雷达各帧采集数据时移动速度可能不一致，因此各个位置的点云密度不一，同时由于最终的地面方程计算最好使用均匀的点云，在得到地面点云图后，可以采用体素网格滤波器对整体的地面点云图进行滤波。地面点云图在经过体素网格滤波器的滤波后不仅能够最大程度地保持其原有的几何形态，还可以使得点云更加均匀。
本申请中，体素网格滤波器用来对点云图中的点云进行降采样。如果使用高分辨率相机等设备对点云进行采集，往往点云会较为密集，然而，过多的点云数量会对后续分割工作带来困难。因此，本申请中，采用体素网格滤波器对地面点云图进行滤波，可以达到向下采样同时不破坏点云自身几何结构的功能。点云几何结构不仅是宏观的几何外形，也包括其微观的排列方式，比如横向相似的尺寸，纵向相同的距离。现有的随机下采样方式，虽然采样效率高于体素网格滤波器，但会破坏点云微观结构。由此，采用体素网格滤波器对地面点云图进行滤波，能够最大程度地保持其原有的几何结构。
在另一种可能的情况下，在得到完整的地面点云图之后，还可以剔除地面点云图中的噪声点，以得到精度足够高的点云数据。
在又一种可能的情况下，在得到完整的地面点云图之后，可以首先采用体素网格滤波器进行滤波，以使得地面点云图能够最大限度的保持其原有的几何结构，使得地面点云图的点云更加均匀，进而剔除地面点云图中的噪声点，以得到高精度的点云数据。
本申请实施例的位置识别方法，通过根据雷达采集的各帧数据，生成各帧局部点云图，对各帧局部点云图进行特征匹配，得到各帧局部点云图之间的位置关系，对各帧局部点云图进行形态学滤波，得到滤波后的局部点云图，根据各帧局部点云图之间的位置关系，对各帧滤波后的局部点云图拼接，得到地面点云图。该方法通过根据各帧局部点云图的位置关系，对各帧滤波后的局部点云图拼接，得到稠密且均匀的地面点云图，解决了现有技术中高精度地图中的点云不够稠密，不能在任意位置生成分段地面方程的技术问题。
示例性地，参见图5，本申请的位置识别方法的执行过程分为离线部分和在线部分，其中，离线部分可以包括以下过程：雷达采集的各帧数据，采用LOAM对雷达采集到的数据进行建图，以生成各帧局部点云图，对各帧局部点云图进行形态学滤波，得到滤波后的局部点云图，根据各帧局部点云图之间的位置关系，对各帧滤波后的局部点云图拼接，采用体素网格滤波器对拼接后的点云图进行滤波，并对滤波后的点云图进行噪声点的剔除，以得到高精度的地面点云图。
在线部分可以包括以下过程：根据雷达的外参，将地面点云图中各点的坐标映射到世界坐标系中，以得到世界坐标系下的中间坐标，根据相机的外参，将世界坐标系下的中间坐标映射至相机坐标系，以得到相机坐标系中的第二坐标。进一步的，剔除不在相机拍摄范围内的点，得到地面点云图中的目标点。可以根据高精度的且均匀的目标点生成高精度的分段地面方程，从而有利于提高路侧感知和自动驾驶的精度。
需要说明的是，上述过程仅作为一种示例性表述，具体的位置识别方法的实现过程，在此不做限定。
为了实现上述实施例，本申请提出了一种位置识别装置。
图6为本申请实施例五提供的位置识别装置的结构示意图。
如图6所示，该位置识别装置500，可以包括：获取模块510、确定模块520、重建模块530以及定位模块540。
其中，获取模块510，用于获取三维的地面点云图，以及获取二维的相机图。
确定模块520，用于根据地面点云图与相机图的映射关系，从地面点云图的各点中确定出目标点；目标点，与相机图中的像素具有映射关系。
重建模块530，用于确定在世界坐标系下目标点的地面位置。
定位模块540，用于根据目标点的地面位置，对相机图中具有映射关系的像素进行定位，以得到像素呈现对象在世界坐标系下的位置。
作为一种可能的情况，确定模块520，还可以包括：
获取单元，用于获取地面点云图中各点携带的第一坐标；第一坐标，为各点在雷达坐标系中的坐标。
映射单元，用于根据地面点云图与相机图的映射关系，将各点的第一坐标映射至相机坐标系，得到相机坐标系中的第二坐标；
第一确定单元，用于在相机坐标系中，确定相机图的边界范围；
第二确定单元，用于将地面点云图中第二坐标处于边界范围内的点作为目标点。
作为另一种可能的情况，映射单元，还用于：
根据雷达的外参，将各点的第一坐标，从地面点云图所在的雷达坐标系映射至世界坐标系，得到世界坐标系下的中间坐标；根据相机的外参，将世界坐标系下的坐标映射至相机坐标系，得到相机坐标系中的第二坐标。
作为另一种可能的情况，第一坐标的数据精度为浮点型；中间坐标和第二坐标的数据精度均高于浮点型。
作为另一种可能的情况，地面位置通过地面法向量指示；定位模块540，还可以包括：
叠加单元，用于对映射相机图中相同像素的各目标点，叠加地面法向量，得到叠加法向量；
定位单元，用于根据叠加法向量，对相机图中具有映射关系的像素进行定位，以得到像素呈现对象在世界坐标系下的位置。
作为另一种可能的情况，获取模块510，还可以包括：
生成单元，用于根据雷达采集的各帧数据，生成各帧局部点云图；
匹配单元，用于对各帧局部点云图进行特征匹配，得到各帧局部点云图之间的位置关系；
滤波单元，用于对各帧局部点云图进行形态学滤波，得到滤波后的局部点云图；
拼接单元，用于根据各帧局部点云图之间的位置关系，对各帧滤波后的局部点云图拼接，得到地面点云图。
作为另一种可能的情况，滤波单元，还用于采用体素网格滤波器进行滤波；和/或，获取模块，还包括：剔除单元，用于对地面点云图剔除噪声点。
需要说明的是，前述对位置识别方法实施例的解释说明也适用于该实施例的位置识别装置，此处不再赘述。
本申请实施例的位置识别装置，通过获取三维的地面点云图，以及获取二维的相机图，根据地面点云图与相机图的映射关系，从地面点云图的各点中确定出目标点，确定在世界坐标系下目标点的地面位置，根据目标点的地面位置，对相机图中具有映射关系的像素进行定位，以得到像素呈现对象在世界坐标系下的位置。该方法通过高精度的三维地面点云图与相机图的映射关系，确定障碍物的位置，提高了自动驾驶和路侧感知障碍物的精准度。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图7所示，是根据本申请实施例的位置识别方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的位置识别的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的位置识别的方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的位置识别的方法对应的程序指令/模块(例如，附图6所示的获取模块510、确定模块520、重建模块530以及定位模块540)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的位置识别的方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据位置识别的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至位置识别的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
位置识别的方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与位置识别的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过获取三维的地面点云图，以及获取二维的相机图，根据地面点云图与相机图的映射关系，从地面点云图的各点中确定出目标点，确定在世界坐标系下目标点的地面位置，根据目标点的地面位置，对相机图中具有映射关系的像素进行定位，以得到像素呈现对象在世界坐标系下的位置。该方法通过高精度的三维地面点云图与相机图的映射关系，确定障碍物的位置，提高了自动驾驶和路侧感知障碍物的精准度。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。