目标检测方法及装置、计算机存储介质、电子设备

文档序号:96189 发布日期:2021-10-12 浏览:26次 >En<

阅读说明:本技术 目标检测方法及装置、计算机存储介质、电子设备 (Target detection method and device, computer storage medium and electronic equipment ) 是由 杨磊 吴凯 许新玉 于 2020-04-08 设计创作,主要内容包括:本公开涉及人工智能技术领域,提供了一种目标检测方法、目标检测装置、计算机存储介质、电子设备,其中,目标检测方法包括:根据环视相机中各相机模组的布置方式以及雷达的扫描角度,生成各相机模组的曝光控制信号;根据曝光控制信号控制对应的相机模组进行曝光作业,得到目标区域的图像数据;基于与各相机模组相关联的各图像检测模块对图像数据进行目标检测,以确定图像数据中目标对象的二维边界框;根据二维边界框和雷达扫描得到的点云数据,确定目标对象的三维边界框。本公开中的目标检测方法不仅能够实现多个视角的图像数据的采集和处理,而且能够最大化降低处理延时,提高处理效率。(The present disclosure relates to the technical field of artificial intelligence, and provides a target detection method, a target detection device, a computer storage medium, and an electronic apparatus, wherein the target detection method comprises: generating exposure control signals of all camera modules according to the arrangement mode of all camera modules in the panoramic camera and the scanning angle of the radar; controlling a corresponding camera module to perform exposure operation according to the exposure control signal to obtain image data of a target area; performing target detection on the image data based on each image detection module associated with each camera module to determine a two-dimensional bounding box of a target object in the image data; and determining a three-dimensional boundary frame of the target object according to the two-dimensional boundary frame and the point cloud data obtained by radar scanning. The target detection method in the disclosure not only can realize the acquisition and processing of image data of multiple visual angles, but also can maximally reduce processing delay and improve processing efficiency.)

目标检测方法及装置、计算机存储介质、电子设备

技术领域

本公开涉及人工智能

技术领域

,特别涉及一种目标检测方法、目标检测装置、计算机存储介质及电子设备。

背景技术

随着人工智能技术的迅速发展,相关自动驾驶技术也在迅速发展与进步。无人驾驶汽车行驶环境中的目标对象探测是无人驾驶汽车环境感知系统的关键技术之一,如何对车辆周围的目标实现360度无死角检测对保证自动驾驶汽车安全行驶意义重大。

目前,相关目标检测方案一般仅能实现单一视角的图像与对应雷达点云的融合检测,并且,各个步骤之间为先后串行的处理关系,因而,图像视角单一,处理效率较低。

鉴于此,本领域亟需开发一种新的目标检测方法及装置。

需要说明的是,上述

背景技术

部分公开的信息仅用于加强对本公开的背景的理解。

发明内容

本公开的目的在于提供一种目标检测方法、目标检测装置、计算机存储介质及电子设备,进而至少在一定程度上避免了现有技术中检测视角单一的缺陷。

本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。

根据本公开的第一方面,提供一种目标检测方法,包括:根据环视相机中各相机模组的布置方式以及雷达的扫描角度,生成各相机模组的曝光控制信号;根据所述曝光控制信号控制对应的相机模组进行曝光作业,得到目标区域的图像数据;基于与各所述相机模组相关联的各图像检测模块对所述图像数据进行目标检测,以确定所述图像数据中目标对象的二维边界框;根据所述二维边界框和所述雷达扫描得到的点云数据,确定所述目标对象的三维边界框。

在本公开的示例性实施例中,所述环视相机中各相机模组至少包括后视相机、左视相机、前视相机和右视相机;所述多个视角的图像数据至少包括后视图像、左视图像、前视图像和右视图像。

在本公开的示例性实施例中,当所述后视相机布置于所述雷达的第一扫描角度,所述左视相机布置于所述雷达的第二扫描角度,所述前视相机布置于所述雷达的第三扫描角度,所述右视相机布置于所述雷达的第四扫描角度时,所述方法还包括:当检测到所述雷达到达所述第一扫描角度时生成第一曝光控制信号,根据所述第一曝光控制信号控制所述后视相机进行曝光作业,得到所述目标区域的后视图像;当检测到所述雷达到达所述第二扫描角度时生成第二曝光控制信号,根据所述第二曝光控制信号控制所述左视相机进行曝光作业,得到所述目标区域的左视图像;当检测到所述雷达到达所述第三扫描角度时生成第三曝光控制信号,根据所述第三曝光控制信号控制所述前视相机进行曝光作业,得到所述目标区域的前视图像;当检测到所述雷达到达所述第四扫描角度时生成第四曝光控制信号,根据所述第四曝光控制信号控制所述右视相机进行曝光作业,得到所述目标区域的右视图像。

在本公开的示例性实施例中,所述根据所述二维边界框和所述雷达扫描得到的点云数据,确定所述目标对象的三维边界框,包括:将所述二维边界框投影至三维空间,得到所述二维边界框对应的三维空间区域;提取所述点云数据中的目标点云数据,所述目标点云数据为位于所述三维空间区域内的点云数据;将所述目标点云数据输入至神经网络模型中,将所述神经网络模型的输出确定为所述目标对象的三维边界框;所述神经网络模型用于根据所述目标点云数据预测得到所述目标对象的三维边界框。

在本公开的示例性实施例中,所述方法还包括:当所述相机模组的数量为n个且在周向方向上均匀分布时,各相机模组的曝光控制信号的时间间隔为T/n,T为所述雷达的扫描周期。

在本公开的示例性实施例中,所述雷达的旋转过程为匀速旋转。

在本公开的示例性实施例中,所述方法还包括:在所述雷达的旋转过程中,通过GPS同步信号或模拟GPS信号对所述雷达进行锁相。

根据本公开的第二方面,提供一种目标检测装置,包括:信号生成模块,用于根据环视相机中各相机模组的布置方式以及雷达的扫描角度,生成各相机模组的曝光控制信号;控制模块,用于根据所述曝光控制信号控制对应的相机模组进行曝光作业,得到目标区域的图像数据;检测模块,用于基于与各所述相机模组相关联的各图像检测模块对所述图像数据进行目标检测,以确定所述图像数据中目标对象的二维边界框;确定模块,用于根据所述二维边界框和所述雷达扫描得到的点云数据,确定所述目标对象的三维边界框。

根据本公开的第三方面,提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的目标检测方法。

根据本公开的第四方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述第一方面所述的目标检测方法。

由上述技术方案可知,本公开示例性实施例中的目标检测方法、目标检测装置、计算机存储介质及电子设备至少具备以下优点和积极效果:

在本公开的一些实施例所提供的技术方案中,一方面,根据环视相机中各相机模组的布置方式以及雷达的扫描角度,生成各相机模组的曝光控制信号,根据所述曝光控制信号控制对应的相机模组进行曝光作业,得到目标区域的图像数据,不仅能获取到多个视角的图像数据,还能实现环视相机和雷达的时间同步,从而同步采集数据,并且不需要增加任何成本,可以根据相机模组的布置方式和雷达的扫描角度进行自由调整,操作灵活且适用性强(适用于不同的雷达扫描频率以及不同的相机安装方式)。进一步的,基于与各所述相机模组相关联的各图像检测模块对所述图像数据进行目标检测,以确定所述图像数据中目标对象的二维边界框,能够在各个视角的图像数据采集完之后,通过相对应的图像检测模块进行检测,互不干扰,解决了现有技术中仅通过一个图像检测模块对图像进行串行处理导致的处理延时问题,提高了图像的检测效率。另一方面,根据所述二维边界框和所述雷达扫描得到的点云数据,确定所述目标对象的三维边界框,能够在得到多个视角的二维边界框和点云数据的基础上,进一步提高目标对象在立体场景中的标注准确度,从而,保证无人驾驶车的安全驾驶。

本公开应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1示出本公开一示例性实施例中目标检测方法的流程示意图;

图2示出本公开一示例性实施例中目标检测方法的示意图;

图3示出本公开一示例性实施例中目标检测方法的子流程示意图;

图4示出本公开一示例性实施例中目标检测方法的整体流程示意图;

图5A示出现有技术中目标检测方法的示意图;

图5B示出本公开一示例性实施例中目标检测方法的示意图;

图6示出本公开示例性实施例中目标检测装置的结构示意图;

图7示出本公开示例性实施例中计算机存储介质的结构示意图;

图8示出本公开示例性实施例中电子设备的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等;用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等;用语“第一”和“第二”等仅作为标记使用,不是对其对象的数量限制。

此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。

目前,相关技术中进行目标检测一般流程为:通过激光雷达采集点云数据,以及,通过相机采集一个视角的图像数据,进而,基于CNN(Convolutional Neural Networks,卷积神经网络,简称:CNN)对一个视角的图像数据进行图像检测,得到标注目标对象的2D检测框;进而,对采集到的点云数据进行后处理分割或者聚类,根据点云处理结果和2D检测框综合得出标注周围场景中目标对象位置和坐标的3D检测框。显而易见的,上述步骤之间为先后串行的处理关系,若需要处理多个视角的图像,则串行处理导致时延较长,处理效率较低。

在本公开的实施例中,首先提供了一种目标检测方法,至少在一定程度上克服现有技术中提供的目标检测方法检测视角单一的缺陷。

图1示出本公开一示例性实施例中目标检测方法的流程示意图,该目标检测方法的执行主体可以是对目标进行检测的服务器。

参考图1,根据本公开的一个实施例的目标检测方法包括以下步骤:

步骤S110,根据环视相机中各相机模组的布置方式以及雷达的扫描角度,生成各相机模组的曝光控制信号;

步骤S120,根据曝光控制信号控制对应的相机模组进行曝光作业,得到目标区域的图像数据;

步骤S130,基于与各相机模组相关联的各图像检测模块对图像数据进行目标检测,以确定图像数据中目标对象的二维边界框;

步骤S140,根据二维边界框和雷达扫描得到的点云数据,确定目标对象的三维边界框。

在图1所示实施例所提供的技术方案中,一方面,根据环视相机中各相机模组的布置方式以及雷达的扫描角度,生成各相机模组的曝光控制信号,根据曝光控制信号控制对应的相机模组进行曝光作业,得到目标区域的图像数据,不仅能获取到多个视角的图像数据,还能实现环视相机和雷达的时间同步,从而同步采集数据,并且不需要增加任何成本,可以根据环视相机的布置方式和雷达的扫描角度进行自由调整,操作灵活且适用性强(适用于不同的雷达扫描频率以及不同的相机安装方式)。进一步的,基于与各相机模组相关联的各图像检测模块对图像数据进行目标检测,以确定图像数据中目标对象的二维边界框,能够在各个视角的图像数据采集完之后,通过相对应的图像检测模块进行检测,互不干扰,解决了现有技术中仅通过一个图像检测模块对图像进行串行处理导致的处理延时问题,提高了图像的检测效率。另一方面,根据二维边界框和雷达扫描得到的点云数据,确定目标对象的三维边界框,能够在得到多个视角的二维边界框和点云数据的基础上,进一步提高目标对象在立体场景中的标注准确度,从而,保证无人驾驶车的安全驾驶。

以下对图1中的各个步骤的具体实现过程进行详细阐述:

本公开中的环视相机可以是由多个相机模组(普通单目相机)构成的可实现360度感知的多相机套件系统,从而,可以实现360度环视效果。环视相机通过对车辆周围物体进行实时监测,同时配以标定算法计算出物体与车辆的距离,从而实现车道偏离警告、前车防撞、行人探测等功能。通过环视相机可以实现对物体内容的细致识别,例如:识别车牌号、指示牌等。

雷达(是英文Radar的音译,源于radio detection and ranging的缩写,意思为“无线电探测和测距”,即用无线电的方法发现目标并测定它们的空间位置,因此,雷达也被称为“无线电定位”)通过测量发射光线与反射光线之间的时间间隔,实现对目标对象进行精确的距离测量。雷达主动发出光线探测,能够抵御环境的影响,尤其是暗光环境中,雷达的探测效果更佳。示例性的,本公开中的雷达可以是激光雷达、毫米波雷达、超声波雷达等,可以根据实际情况自行设定,属于本公开的保护范围。

在步骤S110中,根据环视相机中各相机模组的布置方式以及雷达的扫描角度,生成各相机模组的曝光控制信号。

在本公开的示例性实施例中,雷达用于获取目标区域的点云数据,每一帧点云数据是雷达按照扫描角度范围完成一个周期的扫描得到的,点云是表示目标区域的物体表面特性的海量点集合。

雷达的旋转过程可以是匀速旋转,在雷达匀速旋转的过程中,可以通过GPS(Global Positioning System,全球定位系统,简称:GPS)同步信号或模拟GPS信号对雷达进行锁相。从而,能够实现对雷达位置的校零,提高雷达旋转运动的精度。

上述环视相机中各相机模组可以包括:后视相机、左视相机、前视相机和右视相机,其中,后视相机用于监控车辆后方的物体和目标对象;左视相机用于监控车辆左边的物体和目标对象;前视相机用于监控车辆前边的物体和目标对象;右视相机用于监控车辆右边的物体和目标对象。

需要说明的是,上述环视相机中各相机模组还可以包括底视相机(用于监控车辆底部的物体和目标对象),从而,能够对行驶路面上的目标对象进行有效规避,保证无人驾驶车的行车安全。具体的,可以根据实际情况自行设定,属于本公开的保护范围。

雷达的扫描角度为一周(360度),为了将环视相机中各相机模组获取到的图像数据和雷达扫描一周得到的点云数据匹配为一帧场景图像,则环视相机中各相机模组的布置方式可以参考图2,图2示出本公开一示例性实施例中目标检测方法的示意图,具体示出上述环视相机中各相机模组的布置方式的示意图,参考图2,201所示为雷达(Lidar),202所示为后视相机,203所示为左视相机,204所示为前视相机,205所示为右视相机,雷达扫描β1、β2、β3、β4角度所经过的时长(大约为1~5ms),对应四个相机的曝光时长,β1=β2=β3=β4(四个角度相等),具体的,可参考下述步骤S120中的相关解释。需要说明的是,各个相机模组的具体布置方式可以根据实际情况自行设定,属于本公开的保护范围。

示例性的,可以设置雷达的初始相位为135度(示例性的,也可为45度或其他角度,可以根据实际情况自行设定,属于本公开的保护范围),雷达的旋转扫描顺序为逆时针。进而,可以在雷达的第一扫描角度(180度圆心角的位置)布置一后视相机(202),在雷达的第二扫描角度(270度圆心角的位置)布置一左视相机(203),在雷达的第三扫描角度(0度圆心角的位置)布置一前视相机(204),在雷达的第四扫描角度(90度圆心角的位置)布置一右视相机(205)。

当相机模组的数量为n个且在周向方向上均匀分布时,各相机模组的曝光控制信号的时间间隔为T/n,T为雷达的扫描周期。具体的,参照上述步骤的相关解释,当雷达的扫描周期为100ms,且相机模组的数量为4个且在周向方向上均匀分布时,则各相机模组的曝光控制时间间隔为100/4=25毫秒。

进而,当检测到雷达到达第一扫描角度(180度,对应12.5毫秒)时,可以生成控制后视相机进行曝光作业的第一曝光控制信号S1,当检测到雷达到达第二扫描角度(270度,对应37.5毫秒)时可以生成控制左视相机进行曝光作业的第二曝光控制信号S2,当检测到雷达到达第三扫描角度(0度,对应62.5毫秒)时可以生成控制前视相机进行曝光作业的第三曝光控制信号S3,当检测到雷达到达第四扫描角度(90度,对应87.5毫秒)时可以生成控制右视相机进行曝光作业的第四曝光控制信号S4。

继续参考图1,在步骤S120中,根据曝光控制信号控制对应的相机模组进行曝光作业,得到目标区域的图像数据。

在本公开的示例性实施例中,在得到曝光控制信号之后,可以根据曝光控制信号控制对应的相机模组进行曝光作业(曝光是指按下快门时相机感光元件受到光线的照射产生物理化学反应并以此记录光线信息的过程),得到目标区域的图像数据。示例性的,与上述四个相机模组相对应的,目标区域的图像数据可以包括后视图像、左视图像、前视图像和右视图像。

参考上述步骤S110的相关解释,可以根据第一曝光控制信号S1控制后视相机进行曝光作业(雷达扫描β1角度所经过的时长对应后视相机的曝光时长,大约为1~5ms,可参考图2中的夹角β1),得到目标区域的后视图像;根据第二曝光控制信号S2控制左视相机进行曝光作业(雷达扫描β2角度所经过的时长对应左视相机的曝光时长,大约为1~5ms,可参考图2中的夹角β2),得到目标区域的左视图像;根据第三曝光控制信号S3控制前视相机进行曝光作业(雷达扫描β3角度所经过的时长对应前视相机的曝光时长,大约为1~5ms,可参考图2中的夹角β3),得到目标区域的前视图像;根据第四曝光控制信号S4控制右视相机进行曝光作业(雷达扫描β4角度所经过的时长对应右视相机的曝光时长,大约为1~5ms,可参考图2中的夹角β4),得到目标区域的右视图像。从而,不仅能获取到多个视角的图像数据,还能实现环视相机和雷达的时间同步,从而同步采集数据,并且不需要增加任何成本,可以根据相机模组的布置方式和雷达的扫描角度进行自由调整,操作灵活且适用性强(适用于不同的雷达扫描频率以及不同的相机安装方式)。

在步骤S130中,基于与各相机模组相关联的各图像检测模块对所述图像数据进行目标检测,以确定图像数据中目标对象的二维边界框。

在本公开的示例性实施例中,可以基于与各相机模组相关联的各图像检测模块对图像数据进行目标检测,得到图像数据中的目标对象对应的二维边界框。其中,目标对象可以是车辆行驶中周围环境的物体(例如:人、树木、其他车辆、墙等障碍物)其中,上述图像检测模块可以是根据CNN模型构建的检测模块。

参照上述步骤S120的相关解释,在得到后视图像之后,可以基于与后视相机相关联的第一图像检测模块对后视图像进行检测,得到目标对象对应的二维边界框(即包含目标对象对应的二维边界框的后视图像)。在得到左视图像之后,可以基于与左视相机相关联的第二图像检测模块对左视图像进行检测,得到目标对象对应的二维边界框(即包含目标对象对应的二维边界框的左视图像)。在得到前视图像之后,可以基于与前视相机相关联的第二图像检测模块对前视图像进行检测,得到目标对象对应的二维边界框(即包含目标对象对应的二维边界框的前视图像)。在得到右视图像之后,可以基于与右视相机相关联的第二图像检测模块对右视图像进行检测,得到目标对象对应的二维边界框(即包含目标对象对应的二维边界框的右视图像)。

从而,能够在各个视角的图像数据采集完之后,通过相对应的图像检测模块进行检测,互不干扰,解决了现有技术中仅通过一个图像检测模块对图像进行串行处理导致的处理延时问题,提高了图像的检测效率。

通过设置与环视相机中各相机模组相关联的多个图像检测模块,能够在雷达扫描一周采集点云数据的过程中,并行处理完对四幅图像(后视图像、左视图像、前视图像和右视图像)的目标检测,得到四副带有二维边界框的图像。从而,能够获知目标对象的长度、宽度、以及所处的二维坐标位置,进而,当雷达扫描完一周得到一帧点云数据之后,无需延时等待,可以直接根据得到的四幅包含二维边界框的图像和一帧点云数据,标注出目标对象的三维边界框。

在步骤S140中,根据二维边界框和点云数据,确定目标对象的三维边界框。

在本公开的示例性实施例中,在得到上述二维边界框之后,在间隔7.5毫秒到11.5毫秒之后,雷达可以完成一个周期的扫描,得到一帧点云数据。进而,可以根据二维边界框和点云数据,确定出目标对象的三维边界框。

具体的,可以参考图3,图3示出本公开一示例性实施例中目标检测方法的子流程示意图,具体示出根据二维边界框和点云数据,确定目标对象的三维边界框的子流程示意图,包含步骤S301-S303,以下结合图3对步骤S140进行解释。

在步骤S301中,将二维边界框投影至三维空间,得到二维边界框对应的三维空间区域。

在本公开的示例性实施例中,在得到上述二维边界框之后,可以将上述二维边界框投影至三维空间,得到二维边界框对应的三维空间区域(示例性的,可以是截锥体)。

在步骤S302中,提取点云数据中的目标点云数据,目标点云数据为位于三维空间区域内的点云数据。

在本公开的示例性实施例中,可以提取上述点云数据中的目标点云数据,其中,目标点云数据为位于上述三维空间的图形区域内的点云数据。

在步骤S303中,将目标点云数据输入至神经网络模型中,将神经网络模型的输出确定为目标对象的三维边界框;神经网络模型用于根据目标点云数据预测得到目标对象的三维边界框。

在本公开的示例性实施例中,在提取出上述目标点云数据之后,可以将上述目标点云数据输入至神经网络模型中,并将神经网络模型的输出确定为目标对象的三维边界框(目标对象的长度、宽度、高度和具体的三维位置情况),从而,能够在得到多个视角的二维边界框和点云数据的基础上,进一步提高目标对象在立体场景中的标注准确度,使得目标对象的标注更加贴合实际运行环境,从而,保证无人驾驶车的安全驾驶。

其中,上述神经网络模型可以是PointNet网络模型(是一种直接处理点云的新型神经网络,能够体现出输入点云的序列不变性),通过PointNet网络模型可以对目标点云数据进行三维分类和分割,进而,输出目标对象的三维边界框。具体的神经网络模型可以根据实际情况自行设定,属于本公开的保护范围。

示例性的,可以参考图4,图4示出本公开一示例性实施例中目标检测方法的整体流程示意图,参照图4,横轴(水平方向箭头)表示时间轴(单位:ms),反映了传感器(即相机模组(包括后视相机、左视相机、前视相机和右视相机)和雷达)获取数据的先后时间关系,即严格按照图像(后视→左视→前视→右视)→点云的顺序,每个图像数据的时间间隔为25ms,最后的右视图像与点云数据间隔12.5ms。

竖轴(竖直方向箭头)表示过程轴,包含传感器数据(即各相机模组获取到的后视图像、左视图像、前视图像、右视图像和雷达获取到的点云数据)、四个图像检测模型(包括第一图像检测模型、第二图像检测模型、第三图像检测模型和第四图像检测模型,用于对图像进行目标检测)、图像检测结果(即各个视角的图像中包含的目标对应的二维边界框)以及点云处理模块(即图4中的后处理模块)、点云处理结果(即根据二维边界框和点云数据得到的三维边界框)等过程。

目标检测的整体流程为:雷达扫描一周所用时间为100ms,进而,当雷达从起始相位135度(对应0毫秒)扫描到达180度(对应12.5毫秒)时,可以生成一曝光控制信号S1,以控制后视相机进行曝光作业,得到后视图像,进而,在雷达向270度扫描的过程中,第一图像检测模块可以对得到的后视图像进行检测,得到后视图像的二维边界框。当雷达到达270(对应37.5毫秒)时,可以生成一曝光控制信号S2,以控制左视相机进行曝光作业,得到左视图像,进而,在雷达向0度扫描的过程中,第二图像检测模块可以对得到的左视图像进行检测,得到左视图像的二维边界框。当雷达到达0度(对应62.5毫秒)时,可以生成一曝光控制信号S3,以控制前视相机进行曝光作业,得到前视图像,进而,在雷达向90度扫描的过程中,第三图像检测模块可以对得到的前视图像进行检测,得到前视图像的二维边界框。当雷达到达90度(对应87.5毫秒)时,可以生成一曝光控制信号S4,以控制上述右视相机进行曝光作业,得到右视图像,进而,在雷达向135度扫描的过程中,第四图像检测模块可以对得到的右视图像进行检测,得到右视图像的二维边界框。当雷达到达135度(即雷达扫描一周得到一帧点云数据)时,此时,无需延时等待,后处理模块可以直接对二维边界框和点云数据进行处理,得到目标对象的三维边界框。

示例性的,可以参考图5A,,图5A示出现有技术中目标检测方法的示意图,具体示出(改进前)单一视角单一模块的时间占用情况,网格阴影部分表示基于图形2D框检测阶段(基于CNN模型的图像检测阶段),黑色阴影部分表示点云的处理阶段;由于单一处理模块同时处理图像和点云数据,因此只有当图像和点云两个通道的数据都更新完之后(100ms后),才会进入数据处理阶段。因而,现有技术中单一视角的图像数据和点云数据的检测延时大约为30-40毫秒。

图5B示出本公开一示例性实施例中目标检测方法的示意图,具体示出改进后的基于错峰机制的多视图多模块的时间占用情况,网格阴影部分表示图形2D框检测阶段(基于CNN模型的图像检测阶段),黑色阴影表示点云的处理阶段,由于四个图像检测模块分别并行处理后/左/前/右路图像数据且互相独立,因此各路图像数据(12.5ms,37.5ms,62.5ms,87.5ms)均会及时进入对应的图像检测模块,点云处理模块同时接收四路图像检测结果数据(二维边界框)和点云数据(可以先接收图像数据,再接收点云数据,也可以先接收点云数据,再接收图像数据,具体的数据接收顺序可以根据实际情况自行设定,属于本公开的保护范围),当图像检测与点云数据均完成更新后进入点云处理。因而,本公开中多路图像数据和点云数据的检测延时大约为50毫秒。

对比图5A和图5B的检测延时情况可知,本公开具有如下优点:

(1)避免了无效的等待延时,图像/点云数据发布后可以马上进入图形检测模型中进行图像检测/点云处理操作,有效提升系统的时间利用率解决了现有技术中图像数据采集之后需要间隔一段时间才能被处理的延时问题,提高了处理效率。

(2)将检测视角由单一视角拓宽至360度环视,并保证在100ms内完成对全部图像/点云数据的处理,使检测帧率达到10Hz,保证了检测效率。

本公开还提供了一种目标检测装置,图6示出本公开示例性实施例中目标检测装置的结构示意图;如图6所示,目标检测装置600可以包括信号生成模块601、控制模块602、检测模块603和确定模块604。其中:

信号生成模块601,用于根据环视相机中各相机模组的布置方式以及雷达的扫描角度,生成各相机模组的曝光控制信号。

在本公开的示例性实施例中,环视相机中各相机模组至少包括后视相机、左视相机、前视相机和右视相机;多个视角的图像数据至少包括后视图像、左视图像、前视图像和右视图像。

在本公开的示例性实施例中,当后视相机布置于雷达的第一扫描角度,左视相机布置于雷达的第二扫描角度,前视相机布置于雷达的第三扫描角度,右视相机布置于雷达的第四扫描角度时,信号生成模块用于当检测到雷达到达第一扫描角度时生成第一曝光控制信号,根据第一曝光控制信号控制后视相机进行曝光作业,得到目标区域的后视图像;当检测到雷达到达第二扫描角度时生成第二曝光控制信号,根据第二曝光控制信号控制左视相机进行曝光作业,得到目标区域的左视图像;当检测到雷达到达第三扫描角度时生成第三曝光控制信号,根据第三曝光控制信号控制前视相机进行曝光作业,得到目标区域的前视图像;当检测到雷达到达第四扫描角度时生成第四曝光控制信号,根据第四曝光控制信号控制右视相机进行曝光作业,得到目标区域的右视图像。

在本公开的示例性实施例中,信号生成模块用于当相机模组的数量为n个且在周向方向上均匀分布时,各相机模组的曝光控制信号的时间间隔为T/n,T为雷达的扫描周期。

在本公开的示例性实施例中,雷达的旋转过程为匀速旋转。

在本公开的示例性实施例中,方法还包括:在雷达的旋转过程中,通过GPS同步信号或模拟GPS信号对雷达进行锁相。

控制模块602,用于根据曝光控制信号控制对应的相机模组进行曝光作业,得到目标区域的图像数据。

在本公开的示例性实施例中,控制模块用于根据曝光控制信号控制对应的相机模组进行曝光作业,得到目标区域的图像数据。

检测模块603,用于基于与各相机模组相关联的各图像检测模块对图像数据进行目标检测,以确定图像数据中目标对象的二维边界框。

在本公开的示例性实施例中,检测模块用于基于与各相机模组相关联的各图像检测模块对图像数据进行目标检测,以确定图像数据中目标对象的二维边界框。

确定模块604,用于根据二维边界框和雷达扫描得到的点云数据,确定目标对象的三维边界框。

在本公开的示例性实施例中,确定模块用于将二维边界框投影至三维空间,得到二维边界框对应的三维空间区域;提取点云数据中的目标点云数据,目标点云数据为位于三维空间区域内的点云数据;将目标点云数据输入至神经网络模型中,将神经网络模型的输出确定为目标对象的三维边界框;神经网络模型用于根据目标点云数据预测得到目标对象的三维边界框。

上述目标检测装置中各模块的具体细节已经在对应的目标检测方法中进行了详细的描述,因此此处不再赘述。

应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

在本公开示例性实施方式中,还提供了一种能够实现上述方法的计算机存储介质。其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

参考图7所示,描述了根据本公开的实施方式的用于实现上述方法的程序产品700,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外,在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。

下面参照图8来描述根据本公开的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。

如图8所示,电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于:上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830以及显示单元840。

其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元810执行,使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元810可以执行如图1中所示的:步骤S110,根据环视相机中各相机模组的布置方式以及雷达的扫描角度,生成各相机模组的曝光控制信号;步骤S120,根据曝光控制信号控制对应的相机模组进行曝光作业,得到目标区域的图像数据;步骤S130,基于与各相机模组相关联的各图像检测模块对图像数据进行目标检测,以确定图像数据中目标对象的二维边界框;步骤S140,根据二维边界框和雷达扫描得到的点云数据,确定目标对象的三维边界框。

存储单元820可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202,还可以进一步包括只读存储单元(ROM)8203。

存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204,这样的程序模块8205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线830可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备800交互的设备通信,和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且,电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器860通过总线830与电子设备800的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备800使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。

20页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种冰箱和食材检测方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!