用于导航的图像输出方法和装置、介质、设备、车辆

文档序号:65631 发布日期:2021-10-01 浏览:45次 >En<

阅读说明:本技术 用于导航的图像输出方法和装置、介质、设备、车辆 (Image output method and apparatus for navigation, medium, device, and vehicle ) 是由 王永力 王平原 唐俊 于 2020-03-31 设计创作,主要内容包括:本公开涉及一种用于导航的图像输出方法和装置、介质、设备、车辆。所述方法包括:获取预定物体的定位信息,并根据所述定位信息确定所述预定物体的环境图像;获取所述预定物体与所述预定物体周围的被测物体之间的距离;根据所述预定物体与所述被测物体之间的距离随时间变化的对应关系确定所述被测物体的类型;根据所述被测物体的类型、当前所述预定物体与所述被测物体之间的距离,将所述被测物体标记在所述环境图像中,并输出标记有所述被测物体的环境图像。这样,能够在导航电子地图中实时地输出除固定建筑之外的运动的环境信息,为驾驶员提供正确的驾驶指引,从而减少行驶事故的发生。(The present disclosure relates to an image output method and apparatus for navigation, a medium, a device, and a vehicle. The method comprises the following steps: acquiring positioning information of a preset object, and determining an environment image of the preset object according to the positioning information; acquiring the distance between the preset object and a measured object around the preset object; determining the type of the object to be measured according to the corresponding relation of the distance between the preset object and the object to be measured along with the change of time; and marking the measured object in the environment image according to the type of the measured object and the distance between the preset object and the measured object, and outputting the environment image marked with the measured object. Thus, the environmental information of the movement except the fixed building can be output in real time in the navigation electronic map, and the accurate driving guidance is provided for the driver, thereby reducing the occurrence of driving accidents.)

用于导航的图像输出方法和装置、介质、设备、车辆

技术领域

本公开涉及辅助驾驶领域,具体地,涉及一种用于导航的图像输出方法和装置、介质、设备、车辆。

背景技术

现有的三维导航电子地图多采用正射影像图叠加具有立体视觉效果的三维标志性建筑物模型的方式制作而成,其通过在二维导航电子地图上放置了三维建筑模型的三维仿真导航。而并没有对于道路路况关键要素(如附近的车辆、路边的行人、道路的突发状况等信息)的实时表达。在实际驾车行驶中,驾驶员更加关注的是道路路况对驾驶的影响。

传统的三维导航信息量有限,而视觉系统则可以弥补这些缺点。视觉处理系统是从二维图像中提取出有关的三维世界信息,数据量极大,对硬件处理性能要求很高。另一方面这些相机受环境干扰较大,在不同的天气,如雨雾天气,夜晚时间等环境下成像效果很差,甚至根本无法识别或误判车辆周围的物体,给安全驾驶带来较大隐患。

发明内容

本公开的目的是提供一种可靠且实用的用于导航的图像输出方法和装置、介质、设备、车辆。

为了实现上述目的,本公开提供一种用于导航的图像输出方法,所述方法包括:

获取预定物体的定位信息,并根据所述定位信息确定所述预定物体的环境图像;

获取所述预定物体与所述预定物体周围的被测物体之间的距离;

根据所述预定物体与所述被测物体之间的距离随时间变化的对应关系确定所述被测物体的类型;

根据所述被测物体的类型、当前所述预定物体与所述被测物体之间的距离,将所述被测物体标记在所述环境图像中,并输出标记有所述被测物体的环境图像。

可选地,所述对应关系根据以下方式获得:

分别在连续的多个时间点获取所述被测物体与所述预定物体之间的距离,得到多个数据组,其中,每个数据组包括时间点与对应的距离;

根据所述多个数据组确定所述对应关系。

可选地,根据所述预定物体与所述被测物体之间的距离随时间变化的对应关系确定所述被测物体的类型,包括:

将所述预定物体与所述被测物体之间的距离随时间变化的对应关系输入预设的神经网络模型中,获得所述被测物体的类型。

可选地,所述预定物体与所述被测物体之间的距离由多个超声波传感器检测得到,对应地,根据所述被测物体的类型、当前所述预定物体与所述被测物体之间的距离,将所述被测物体标记在所述环境图像中,并输出标记有所述被测物体的环境图像,包括:

根据所述多个超声波传感器检测的所述预定物体与所述被测物体之间的距离、以及所述多个超声波传感器的位置,确定所述被测物体的位置;

根据所述被测物体的位置和类型,将所述被测物体标记在所述环境图像中,并输出标记有所述被测物体的环境图像。

可选地,所述被测物体以图标的形式进行标记,其中,不同的类型对应不同的图标。

可选地,所述预定物体为车辆或无人机,所述类型包括车辆、自行车和行人。

本公开还提供一种用于导航的图像输出装置,所述装置包括:

第一确定模块,用于获取预定物体的定位信息,并根据所述定位信息确定所述预定物体的环境图像;

获取模块,用于获取所述预定物体与所述预定物体周围的被测物体之间的距离;

第二确定模块,用于根据所述预定物体与所述被测物体之间的距离随时间变化的对应关系确定所述被测物体的类型;

输出模块,用于根据所述被测物体的类型、当前所述预定物体与所述被测物体之间的距离,将所述被测物体标记在所述环境图像中,并输出标记有所述被测物体的环境图像。

本公开还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开提供的上述用于导航的图像输出方法的步骤。

本公开还提供一种电子设备,包括:

存储器,其上存储有计算机程序;

处理器,用于执行所述存储器中的所述计算机程序,以实现本公开提供的上述用于导航的图像输出方法的步骤。

本公开还提供一种车辆,包括控制器和显示器,所述控制器用于执行本公开提供的上述用于导航的图像输出方法的步骤。

通过上述技术方案,获得预定物体与被测物体的距离,并根据被测物体的距离随时间变化的对应关系来对被测物体进行分类,最终在预定物体周围的环境图像中根据被测物体的类型对被测物体进行标记。实际上,在环境图像中体现出了被测物体的距离随时间变化的对应关系。这样,能够在导航电子地图中实时地输出除固定建筑之外的运动的环境信息,为驾驶员提供正确的驾驶指引,从而减少行驶事故的发生。

本公开的其他特征和优点将在随后的

具体实施方式

部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:

图1是一示例性实施例提供的用于导航的图像输出方法的流程图;

图2是一示例性实施例提供的被测物体为自行车的距离-时间曲线图;

图3是一示例性实施例提供的被测物体为行人的距离-时间曲线图;

图4是一示例性实施例提供的环境图像的示意图;

图5是一示例性实施例提供的标记有行人和车辆的环境图像的示意图;

图6是一示例性实施例提供的用于导航的图像输出装置的框图;

图7是一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。

本公开的方案适用于车辆或无人机辅助驾驶领域中电子导航设备的图像输出。本文中以车辆中的电子导航图像输出为例进行详细描述。

图1是一示例性实施例提供的用于导航的图像输出方法的流程图。如图1所示,所述用于导航的图像输出方法可以包括以下步骤。

步骤S11,获取预定物体的定位信息,并根据定位信息确定预定物体的环境图像。

步骤S12,获取预定物体与预定物体周围的被测物体之间的距离。

步骤S13,根据预定物体与被测物体之间的距离随时间变化的对应关系确定被测物体的类型。

步骤S14,根据被测物体的类型、当前预定物体与被测物体之间的距离,将被测物体标记在环境图像中,并输出标记有被测物体的环境图像。

其中,预定物体可以为车辆或无人机,类型可以包括车辆、自行车和行人。下文中以车辆为例进行描述,预定物体为车辆。车辆可以通过自身安装的GPS定位装置进行定位来获得定位信息,然后可以采用有立体视觉效果的三维标志性建筑物模型的方式制作环境图像。该环境图像的制作为本领域技术人员所熟知,此处不再赘述。

车辆外围可以安装一个或多个超声波传感器,用于利用超声波测距原理来检测车辆周围的物体(被测物体)与车辆之间的距离。当设置多个超声波传感器时,还可以计算出被测物体相对于车辆的位置。

根据超声波传感器检测的距离的数据,结合时钟,可以得到一段时间内被测物体与车辆的距离随时间变化的对应关系。具体地,该对应关系可以根据以下方式获得:分别在连续的多个时间点获取被测物体与预定物体之间的距离,得到多个数据组,其中,每个数据组包括时间点与对应的距离,再根据多个数据组确定该对应关系。也就是,车辆可以跟踪被测物体的距离,生成多个数据组,每个数据组中包括时间点和在该时间点检测的距离。在跟踪一段时间后,根据已生成的多个数据组,例如可以采用拟合的方法得到距离随时间变化的光滑曲线,即对应关系。

由于被测物体的距离随时间变化的对应关系,体现了被测物体对车辆驾驶的影响程度,因此,在车辆导航中,输出的导航图像中将这些被测物体实时地标记出来,这样就提供了更加全面的路况信息。

可以通过试验的方式预先确定出车辆行驶过程中,各个类型的被测物体与车辆之间的距离随时间变化的对应关系的规律。在实际应用时,根据预先确定的规律对被测物体进行分类。例如,若获取到的距离随时间变化的对应关系与行人的规律相匹配,则判定该被测物体的类型为行人。

根据被测物体与车辆之间的距离,可以将该被测物体标记在环境图像中。例如,被测物体与车辆之间的距离越大,将被测物体标记在越靠近图像的上方的位置,以直观地体现出与车辆的距离越远。

同时,还可以根据被测物体的类型进行标记。即标记包含有表示被测物体类型的相关信息。例如,可以标记出被测物体所属类型的编号或者名称。这样,将被测物体的位置和类型信息与车辆的定位信息进行了空间上的融合,使驾驶员得到实时的驾驶路况信息。

举例来说,被测物体与车辆之间的距离可以由设置在车辆中的超声波传感器来检测得到。首先超声波传感器发出超声波,当其碰到物体时会反射形成回波,检测超声波的发射和返回,则可计算出超声波的探测距离:

s=ct/2

其中,s为超声波传感器与被测物体的距离,c为超声波速度,t为超声波传感器发出超声波脉冲到接收超声脉冲所用的时间。依据此原理得到超声波传感器的检测数据,单片机系统通过距离和时间数据组识别得到被测物体的类型和距离,并将该信息输出到主控计算机中;GPS导航得到车辆的位置和街道信息,输出给主控计算机,主控计算机将两部分信息融合,输出数字图像信号,通过显示系统显示出车辆周围实时变动的、标记有被测物体的环境图像,使驾驶员能够对驾驶的车辆及时做出正确的驾驶指令。

采用超声波测距的方法,与采用相机来获得路况信息的方案相比,数据量小,处理速度快,不易出错,且导航图像不受天气等环境情况的影响。

通过上述技术方案,获得预定物体与被测物体的距离,并根据被测物体的距离随时间变化的对应关系来对被测物体进行分类,最终在预定物体周围的环境图像中根据被测物体的类型对被测物体进行标记。实际上,在环境图像中体现出了被测物体的距离随时间变化的对应关系。这样,能够在导航电子地图中实时地输出除固定建筑之外的运动的环境信息,为驾驶员提供正确的驾驶指引,从而减少行驶事故的发生。

在另一实施例中,在图1的基础上,根据预定物体与被测物体之间的距离随时间变化的对应关系确定被测物体的类型的步骤(步骤S13)可以包括:

将预定物体与被测物体的距离随时间变化的对应关系输入预设的神经网络中,获得被测物体的类型。

可以通过基于人工学习的神经网络,采集以不同类型的物体作为被测物体时的超声波数据组进行训练和识别,经过反复的学习,能够精确地判断出物体的类型。例如,预先可以按照不同的被测物体的样本分别采集1000组以上的超声波数据,利用深度学习的神经网络,对这些能够反映不同类型物体的超声波数据组进行分类训练。人工神经网络从这些被测物体的超声波数据组中提取和选择有效的特征,得到正确的神经网络模型。

在识别时,可以直接输入被测物体的超声波数据,得到该被测物体属于哪种类型的输出结果。

图2是一示例性实施例提供的被测物体为自行车的距离-时间曲线图。图3是一示例性实施例提供的被测物体为行人的距离-时间曲线图。图2和图3中,横坐标为时间(t/s),纵坐标为超声波传感器测得的距离(cm)。在图2和图3的实施例中,超声波传感器的数量为多个,每一条曲线表示其中一个超声波传感器所检测的数据。图2和图3中的数据可以是预先实验获得的、用于训练神经网络模型的数据。

该实施例中,可以应用预先训练好的神经网络的模型来识别被测物体的类型,不需要复杂的图像分析算法,方法简单,识别速度快。

在以上实施例中,标记的被测物体带有距离的信息,当超声波传感器的数量为多个时,还可以计算出被测物体相对于车辆的位置。在又一实施例中,预定物体与被测物体之间的距离由多个超声波传感器检测得到。对应地,根据被测物体的类型、当前预定物体与被测物体之间的距离,将被测物体标记在环境图像中,并输出标记有被测物体的环境图像的步骤(步骤S14)可以包括:

根据多个超声波传感器检测的预定物体与被测物体之间的距离、以及多个超声波传感器的位置,确定被测物体的位置;根据被测物体的位置和类型,将被测物体标记在环境图像中,并输出标记有被测物体的环境图像。

也就是,所标记的被测物体不仅带有距离的信息,还带有位置的信息。例如,被测物体的类型为行人且位于车辆的右侧。其中,利用多个距离传感器检测的距离和多个距离传感器自身位置来计算目标的具体位置,是本领域技术人员所熟知的,此处不再赘述。

当确定被测物体的位置后,可以在环境图像中合适的位置处进行标记。标记的位置即体现了被测物体实际的相对位置。因此,驾驶员能够通过输出的图像更加直观地了解实时路况。

另外,被测物体可以以图标的形式进行标记。其中,不同的类型对应不同的图标。

也就是,除了上述的编号、名称的标记方式之外,还可以以图标的形式进行标记。所选取的图标可以是能够直观地体现被测物体类型的标记。例如,行人类型就对应行人的图标,车辆类型就对应车辆的图标。并且,车辆前端设置的超声波传感器所检测到的被测物体,其类型为车辆时,可以应用车辆的后视图的图标;车辆右设置的超声波传感器所检测到的被测物体,其类型为车辆时,可以应用车辆的左视图的图标。

图4是一示例性实施例提供的环境图像的示意图。如图4所示,当定位信息表示当前车辆行驶在一条笔直的国道上时,环境图像可以采用预先设定的、具有立体视觉效果的国道的图像。当根据本公开的上述方法在环境图像中标记被测物体时,在最终输出的导航图像中,在图4的环境图像的基础上,增加了所检测出的被测物体的图标。图5是一示例性实施例提供的标记有行人和车辆的环境图像的示意图。如图5所示,在该实施例中,检测出的两个被测物体一个是车辆类型,另一个是自行车类型。将这两个被测物体分别以车辆和自行车图标的形式标记在环境图像中,与环境图像共同输出。

该实施例中,在环境图像中,标记出与类型相匹配的图形化的被测物体,使得导航图像更加直观,使驾驶员身临其境,这样,根据导航驾驶时驾驶员更加轻松,不易疲劳,减小事故发生率。

本领域技术人员可以理解的是,以上描述的是本公开的发明构思。本公开的上述方案可以应用在多种情景当中。例如,将多雷达探测识别功能与语音模块组合,通过语音将被测物体的类型和位置播报出来,还可以用于自行车、摩托车以及盲人路况识别和行进指引,使驾驶员或盲人提前感知、预判,从而协助避障,特别适用于车辆自动驾驶领域、车辆辅助驾驶领域中,电子导航设备的图像输出。

又如,本公开的输出图像还可以通过蓝牙或其他无线方式发送至移动终端(例如手机、移动手环等),这样,移动终端的显示界面就能够实时显示超声波传感器所在设备周围的环境信息。例如,车辆中的显示屏中显示的标记有被测物体的环境图像,可以车联网发送至与该车辆绑定的手机中,用户可以远程地在手机上看到车辆行驶过程中周围的实时路况。

若本方案搭配成像传感器,还可以用于地理形貌的快速探测,以获得更加详细的物体种类信息和三维信息。若无人机在恶劣天气或夜晚的探测侦查工作时,也可以应用上述的图像输出方法,以避免恶劣天气和环境的影响。

图6是一示例性实施例提供的用于导航的图像输出装置的框图。如图6所示,用于导航的图像输出装置10可以包括第一确定模块11、获取模块12、第二确定模块13和输出模块14。

第一确定模块11用于获取预定物体的定位信息,并根据定位信息确定预定物体的环境图像。

获取模块12用于获取所述预定物体与所述预定物体周围的被测物体之间的距离。

第二确定模块13用于根据所述预定物体与所述被测物体之间的距离随时间变化的对应关系确定所述被测物体的类型。

输出模块14用于根据所述被测物体的类型、当前所述预定物体与所述被测物体之间的距离,将所述被测物体标记在所述环境图像中,并输出标记有所述被测物体的环境图像。

可选地,所述对应关系根据以下方式获得:

分别在连续的多个时间点获取所述被测物体与所述预定物体之间的距离,得到多个数据组,其中,每个数据组包括时间点与对应的距离;根据所述多个数据组确定所述对应关系。

可选地,第二确定模块13可以包括第一确定子模块。

第一确定子模块用于将所述预定物体与所述被测物体之间的距离随时间变化的对应关系输入预设的神经网络模型中,获得所述被测物体的类型。

可选地,预定物体与所述被测物体之间的距离由多个超声波传感器检测得到,对应地,输出模块14包括第二确定子模块和第一输出子模块。

第二确定子模块用于根据所述多个超声波传感器检测的所述预定物体与所述被测物体之间的距离、以及所述多个超声波传感器的位置,确定所述被测物体的位置。

第一输出子模块用于根据所述被测物体的位置和类型,将所述被测物体标记在所述环境图像中,并输出标记有所述被测物体的环境图像。

可选地,所述被测物体以图标的形式进行标记,其中,不同的类型对应不同的图标。

可选地,预定物体为车辆或无人机,类型包括车辆、自行车和行人。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

通过上述技术方案,获得预定物体与被测物体的距离,并根据被测物体的距离随时间变化的对应关系来对被测物体进行分类,最终在预定物体周围的环境图像中根据被测物体的类型对被测物体进行标记。实际上,在环境图像中体现出了被测物体的距离随时间变化的对应关系。这样,能够在导航电子地图中实时地输出除固定建筑之外的运动的环境信息,为驾驶员提供正确的驾驶指引,从而减少行驶事故的发生。

本公开还提供一种电子设备,包括存储器和处理器。

存储器上存储有计算机程序;处理器用于执行所述存储器中的所述计算机程序,以实现本公开提供的上述方法的步骤。

图7是一示例性实施例示出的一种电子设备700的框图。如图7所示,该电子设备700可以包括:处理器701,存储器702。该电子设备700还可以包括多媒体组件703,输入/输出(I/O)接口704,以及通信组件705中的一者或多者。

其中,处理器701用于控制该电子设备700的整体操作,以完成上述的图像输出方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作,这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件705可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。

在一示例性实施例中,电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的图像输出方法。

在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的图像输出方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器702,上述程序指令可由电子设备700的处理器701执行以完成上述的图像输出方法。

本公开还提供一种车辆,包括控制器和显示器,所述控制器用于执行本公开提供的上述用于导航的图像输出方法的步骤。

以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。

另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。

此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

15页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种基于单星投影的空间指向测量仪器精度评估方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!