显示控制装置、显示控制方法及程序

文档序号:1525624 发布日期:2020-02-11 浏览:9次 >En<

阅读说明:本技术 显示控制装置、显示控制方法及程序 (Display control device, display control method, and program ) 是由 大庭吉裕 塚田竹美 吉田峰由生 久保田芙衣 于 2017-08-25 设计创作,主要内容包括:显示控制装置具备:显示部,其将表示本车辆的周边状况的周边图像以从规定的假想视点观察到的显示范围显示;以及显示范围决定部,其根据所述本车辆的行驶状态来决定所述假想视点的视点位置、从所述假想视点的视场角、或者从所述假想视点的注视方向。(The display control device includes: a display unit that displays a peripheral image representing a peripheral situation of the host vehicle in a display range viewed from a predetermined virtual viewpoint; and a display range determination unit that determines a viewpoint position of the virtual viewpoint, a viewing angle from the virtual viewpoint, or a gaze direction from the virtual viewpoint, in accordance with a traveling state of the host vehicle.)

显示控制装置、显示控制方法及程序

技术领域

本发明涉及显示控制装置、显示控制方法及程序。

背景技术

以往,存在一种显示控制装置,其将由设置于车辆的拍摄机构拍摄到的图像转换为从假想视点观察到的图像而进行显示,该假想视点利用与其他车辆的关系而被变更(例如,参照专利文献1)。

在先技术文献

专利文献

专利文献1:日本特开2017-069852号公报

发明的概要

发明要解决的课题

然而,在本车辆的周边想要确认的状况根据本车辆的状态而不同。例如,在行驶中与停车中,在车辆周边想要确认的范围不同。因此,在利用与其他车辆的关系而变更了假想视点的情况下,有时无法进行与本车辆的状态对应的车辆周边的适当的显示。

发明内容

本发明鉴于这样的情况而提出,其目的之一在于,提供一种能够进行与本车辆的状态对应的车辆周边的适当的显示的显示控制装置、显示控制方法及程序。

用于解决课题的方案

(1):一种显示控制装置,其具备:显示部,其将表示本车辆的周边状况的周边图像以从规定的假想视点观察到的显示范围显示;以及显示范围决定部,其根据所述本车辆的行驶状态来决定所述假想视点的视点位置、从所述假想视点的视场角、或者从所述假想视点的注视方向。

(2):在(1)的方案的基础上,所述本车辆的行驶状态包括所述本车辆的速度,所述显示范围决定部根据所述本车辆的速度来变更所述视点位置、所述视场角、或者所述注视方向,从而变更所述周边图像的显示范围。

(3):在(2)的方案的基础上,所述显示范围决定部以所述本车辆的速度越变快则在所述周边图像的显示范围中越包含从所述本车辆到前方的更远方的位置的方式,变更所述视点位置、所述视场角、或者所述注视方向。

(4):在(3)的方案的基础上,所述显示范围决定部使所述注视方向的俯角减小,从而在所述周边图像的显示范围中包含从所述本车辆到前方的更远方的位置。

(5):在(1)至(4)中任一方案的基础上,所述显示范围决定部将所述周边图像的显示范围决定为在距所述本车辆规定的距离内从上方俯瞰本车辆的范围。

(6):在(1)至(5)中任一方案的基础上,所述显示范围决定部通过提高所述视点位置来扩宽所述周边图像的显示范围,通过降低所述视点位置来缩窄所述周边图像的显示范围。

(7):在(1)至(6)中任一方案的基础上,所述显示范围决定部将所述周边图像的显示范围决定为包含距所述本车辆的后端部规定的距离内的状况。

(8):在(2)至(7)中任一方案的基础上,所述本车辆的速度越变快,所述显示范围决定部越减小所述视点位置、所述视场角、或者所述注视方向的变化的量。

(9):在(1)至(8)中任一方案的基础上,所述显示控制装置还具备物体识别部,该物体识别部识别存在于所述本车辆的周边的物体,所述周边图像构成为能够使所述本车辆的乘员识别所述本车辆与由所述物体识别部识别出的所述物体的相对的位置关系,所述显示范围决定部在变更所述周边图像的显示范围时,变更所述相对的位置关系。

(10):在(1)至(9)中任一方案的基础上,所述显示控制装置还具备:物体识别部,其识别存在于所述本车辆的周边的物体;以及显示数据生成部,其基于所述物体识别部的检测结果及所述显示范围决定部的决定结果,来生成表示本车辆的周边状况的作为动画图像的周边图像,所述显示部显示由所述显示数据生成部生成的周边图像。

(11)一种显示控制方法,其使计算机进行如下处理:根据本车辆的行驶状态来决定规定的假想视点的视点位置、从所述假想视点的视场角、或者从所述假想视点的注视方向;以及使表示所述本车辆的周边状况的周边图像以从所述假想视点观察到的显示范围显示于显示部。

(12)一种程序,其使车载计算机进行如下处理:根据本车辆的行驶状态来决定规定的假想视点的视点位置、从所述假想视点的视场角、或者从所述假想视点的注视方向;以及使表示所述本车辆的周边状况的周边图像以从所述假想视点观察到的显示范围显示于显示部。

发明效果

根据(1)~(12)的方案,能够进行与本车辆的状态对应的车辆周边的适当的显示。

附图说明

图1是包含实施方式的显示控制装置40的车辆系统1的结构图。

图2是表示显示控制装置40的功能结构的一例的框图。

图3是表示显示控制装置40中的与本车辆M的速度的变化相对的视点位置或拍摄方向的变化量的变化的一例的图。

图4是表示本车辆M中的HMI400的一例的图。

图5是表示显示控制装置40的动作的一例的流程图。

图6是表示显示控制装置40中的假想视点的视点位置和拍摄相机的拍摄方向的移动的一例的图。

图7是表示显示控制装置40中的假想视点的视点位置和拍摄相机的拍摄方向的移动中的显示范围的移动的一例的图。

图8是表示显示控制装置40中的假想视点的视点位置的高度的移动的一例的图。

图9是表示显示控制装置40中的假想视点的视点位置的高度的移动中的显示范围的移动的一例的图。

具体实施方式

以下,参照附图来说明本发明的显示控制装置、显示控制方法及程序的实施方式。

需要说明的是,在实施方式中,将在进行自动驾驶(自主驾驶)时显示控制装置使识别车辆的周边的结果显示的情况作为一例而示出。自动驾驶是指不依赖于乘员进行的操作而自动地进行转向控制或速度控制中的至少一方来使车辆行驶的驾驶模式,是驾驶支援的一种。另外,“乘员”是指就座于驾驶员座即设有驾驶操作件的座椅的乘员。

[整体结构]

图1是包含实施方式的显示控制装置的车辆系统1的结构图。搭载有车辆系统1的车辆(以下,称为本车辆M)例如是二轮、三轮、四轮等的车辆,其驱动源是柴油发动机、汽油发动机等内燃机、电动机、或者他们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力来进行动作。

在图1中,车辆系统1例如具备相机10、雷达装置12、探测器14、物体识别装置16、通信装置20、显示控制装置40、导航装置50、MPU(Map Positioning Unit)60、车辆传感器70、驾驶操作件80、主控制部100、驾驶支援控制部200、自动驾驶控制单元300、HMI(HumanMachine Interface)400、行驶驱动力输出装置500、制动装置510及转向装置520。这些装置、设备通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而彼此连接。需要说明的是,图1所示的车辆系统1的结构只是一例,可以省略结构的一部分,也可以进一步追加其他的结构。

相机10拍摄本车辆的周边,并生成拍摄图像。相机10例如是利用了CCD(ChargeCoupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等固体拍摄元件的数码相机。相机10安装于搭载有车辆系统1的本车辆M的任意的部位。本车辆的周边包括本车辆的前方,也可以包括本车辆的侧方或后方。在对前方进行拍摄的情况下,相机10安装于前风窗玻璃上部、车室内后视镜背面等。在对后方进行拍摄的情况下,相机10安装于后风窗玻璃上部、背门等。在对侧方进行拍摄的情况下,相机10安装于车门上后视镜等。相机10例如周期性地反复对本车辆M的周边进行拍摄。相机10也可以是立体摄影机。

相机10使用规定的焦距的透镜,从而在规定的视场角中生成拍摄图像。通过变更相机10的拍摄方向,从而能够变更拍摄图像的中心位置。在相机10为多个的情况下,在各个相机10中生成拍摄图像。相机10的拍摄位置成为拍摄图像的实际的视点位置。

雷达装置12向本车辆M的周边的规定的照射方向放射毫米波等电波,并且检测由物体反射的电波(反射波)来至少检测物体的位置(距离及方位)。物体例如是指本车辆周边的其他车辆、障碍物、结构物等。雷达装置12在本车辆M的任意的部位安装有一个或多个。雷达装置12也可以通过FMCW(Frequency Modulated Continuous Wave)方式来检测物体的位置及速度。

探测器14为LIDAR(Light Detection and Ranging、或者Laser ImagingDetection and Ranging),该LIDAR测定相对于向本车辆M的周边的规定的照射方向照射的照射光的散射光,来检测到物体的距离。探测器14在本车辆M的任意的部位安装有一个或多个。

物体识别装置16对由相机10、雷达装置12及探测器14中的一部分或全部检测的检测结果进行传感器融合处理,来识别存在于本车辆的周边的物体的位置、种类、速度等。在物体为其他车辆的情况下,物体识别装置16将识别结果向驾驶支援控制部200及自动驾驶控制单元300输出。

通信装置20例如与存在于本车辆M的周边的其他车辆进行通信,或者经由无线基站与各种服务器装置进行通信。通信装置20也可以与存在于本车辆M的周边的其他车辆进行通信,由此取得其他车辆的车型、其他车辆的行驶状态(车速、加速度、行驶车道)等。

显示控制装置40取得由相机10拍摄到的拍摄图像,从而例如生成使HMI400的显示装置(后述)显示时的显示数据。显示控制装置40包括CPU(Central Processing Unit)等处理器。关于显示控制装置40的详细内容,在后面使用图2进行说明。

导航装置50具有GNSS(Global Navigation Satellite System)接收机51、导航HMI52及路径决定部53,并保持第一地图信息54。GNSS接收机51取得本车辆M的位置信息。

MPU60具有推荐车道决定部61,且保持第二地图信息62。推荐车道决定部61参照第二地图信息62,将从导航装置50提供的路径按区段来决定推荐车道。

第二地图信息62是比第一地图信息54高精度的地图信息。第二地图信息62例如具有车道的中央的信息、车道的边界的信息、道路信息、交通限制信息、住所信息、设施信息、电话号码信息等。

车辆传感器70例如包括检测本车辆M的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度的横摆角速度传感器、检测本车辆M的朝向的方位传感器等,并检测本车辆的行驶状态。车辆传感器70将检测出的速度等行驶状态向显示控制装置40输出。

驾驶操作件80例如包括加速踏板、制动踏板、变速杆、转向盘等。

[主控制部]

主控制部100进行与驾驶支援相关联的HMI400的控制等。主控制部100例如具备切换控制部110及HMI控制部120。

切换控制部110例如基于从HMI400所包含的规定的开关(例如后述的主开关及自动开关)输入的操作信号来对驾驶支援进行切换。另外,切换控制部110例如也可以基于对加速踏板、制动踏板、转向盘等驾驶操作件80指示加速、减速或转向的操作,来将驾驶支援取消而切换为手动驾驶。

HMI控制部120控制向HMI400输出的内容。HMI控制部120取得由显示控制装置40生成的显示数据并使HMI400显示。另外,HMI控制部120也可以将由HMI400接受到的信息向驾驶支援控制部200、自动驾驶控制单元300、显示控制装置40中的任一个输出。

[驾驶支援控制部]

驾驶支援控制部200执行驾驶支援。驾驶支援控制部200例如执行ACC、LKAS等驾驶支援控制。例如,驾驶支援控制部200在执行ACC时,基于从相机10、雷达装置12及探测器14经由物体识别装置16输入的信息,来对行驶驱动力输出装置500及制动装置510进行控制,以便使本车辆M在其与前行车辆的车间距离保持为恒定的状态下行驶。即,驾驶支援控制部200基于与前行车辆的车间距离进行加减速控制(速度控制)。另外,驾驶支援控制部200在执行LKAS时,对转向装置520进行控制,以使本车辆M一边维持当前行驶中的行驶车道(行车道保持)一边进行行驶。即,驾驶支援控制部200进行用于车道维持的转向控制。

[自动驾驶控制单元]

自动驾驶控制单元300例如具备第一控制部320及第二控制部340。第一控制部320例如具有外界识别部321、本车位置识别部322及行动计划生成部323。外界识别部321识别本车辆M的周边状况。例如,外界识别部321基于从相机10、雷达装置12及探测器14经由物体识别装置16输入的信息,来识别周边车辆的位置、速度、加速度、行驶车道等的状态。周边车辆的位置可以由该周边车辆的重心、角部等代表点来表示,也可以通过由周边车辆的轮廓表现出的区域来表示。周边车辆的“状态”可以包括周边车辆的加速度、加加速度、或“行动状态”(例如是否正进行车道变更或要进行车道变更)。需要说明的是,自动驾驶控制单元300是物体识别部的一例。

另外,外界识别部321除了周边车辆以外,还可以识别路上的障碍物、护栏、电线杆、停车车辆、行人等人、其他物体的位置。

本车位置识别部322例如识别本车辆M正行驶的车道(行驶车道)、以及本车辆M相对于行驶车道的相对位置及姿态。本车位置识别部322例如通过对从第二地图信息62得到的道路划分线的图案(例如实线与虚线的排列)与从由相机10拍摄到的图像中识别出的本车辆M的周边的道路划分线的图案进行比较,来识别行驶车道。本车位置识别部322也可以识别本车辆M相对于行驶车道的位置、姿态。

行动计划生成部323生成用于使本车辆M相对于目的地等进行自动驾驶的行动计划。例如,行动计划生成部323决定在自动驾驶控制中依次执行的事件,以便能够在由推荐车道决定部61决定出的推荐车道上行驶,且应对本车辆M的周边状况。在自动驾驶中的事件中,例如存在以恒定速度在相同的行驶车道上行驶的定速行驶事件、以低速(例如60[km/h]以下)为条件而追随于前行车辆的低速追随事件、变更本车辆M的行驶车道的车道变更事件、赶超前行车辆的赶超事件、使车辆在汇合地点汇合的汇合事件、使本车辆M在道路的分支地点向目的方向行驶的分支事件、使本车辆M紧急停车的紧急停车事件等。另外,在上述的事件的执行中,还存在基于本车辆M的周边状况(周边车辆、行人的存在、道路施工引起的车道狭窄等)来计划用于躲避的行动的情况。

第二控制部340例如具有行驶控制部342。行驶控制部342对行驶驱动力输出装置500、制动装置510及转向装置520进行控制,以使本车辆M按照预定的时刻通过由行动计划生成部323生成的目标轨道。

HMI400对车内的乘员提示各种信息,并且接受由乘员进行的输入操作。HMI400例如包括各种显示装置、发光部、扬声器、蜂鸣器、触摸面板、各种操作开关、按键等中的一部分或全部。HMI400的显示装置显示基于由显示控制装置40生成的显示数据得到的图像。

行驶驱动力输出装置500将用于使车辆行驶的行驶驱动力(转矩)向驱动轮输出。行驶驱动力输出装置500例如具备内燃机、电动机及变速器等的组合、以及对他们进行控制的ECU(Electronic Control Unit)。制动装置510例如具备制动钳、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达、以及制动ECU。转向装置520例如具备转向ECU和电动马达。

[显示控制装置40的结构]

以下,说明实施方式的显示控制装置40的结构例。图2是显示控制装置40的功能结构图。显示控制装置40例如具有图像取得部41a、识别结果取得部41b、行驶状态取得部42、显示范围决定部43、图像转换部44及显示数据生成部45。

这些构成要素例如通过CPU等硬件处理器执行程序(软件)来实现。另外,这些构成要素中的一部分或全部也可以通过LSI(Large Scale Integration)、ASIC(ApplicationSpecific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(GraphicsProcessing Unit)等硬件(包括电路部:circuitry)来实现,还可以通过软件与硬件的协同配合来实现。

另外,显示控制装置40可以是由一个框体实现的装置,也可以是由多个框体实现的装置。例如,显示控制装置40可以是将多个车载计算机在网络中连接而实现的计算机系统。另外,显示控制装置40也可以是通用的计算机,还可以是功能被限定的车载专用的计算机。

另外,也可以在其他装置中实现显示控制装置40的上述各功能中的至少一个以上的功能。即,显示控制装置40不需要具有上述全部的功能,可以具有一部分的功能。

在图2中,图像取得部41a取得由相机10拍摄到的本车辆周边的拍摄图像。相机10可以是由多台相机构成的相机系统。例如,可以通过使多台相机的拍摄范围相互重复,从而将拍摄的物体从不同角度立体地拍摄,或者整周地拍摄本车辆M的周围。

识别结果取得部41b取得在自动驾驶控制单元300中识别出的、存在于本车辆的周边的其他车辆等物体的位置、速度、加速度、行驶车道、距离等的识别结果。

行驶状态取得部42取得由车辆传感器70检测出的本车辆M的行驶状态。由车辆传感器70检测出的本车辆M的行驶状态例如包括本车辆M的速度、加速度、加加速度(跃度)、绕铅垂轴的角速度(横摆角速度)、本车辆M的朝向(方位)等中的一部分或全部。

显示范围决定部43根据由行驶状态取得部42取得到的行驶状态,来决定使显示部显示表示本车辆M的周边状况的周边图像(假想图像)时的周边图像的显示范围。显示范围是指在规定的帧中作为图像显示的风景的范围。显示范围决定部43根据行驶状态来决定假想视点的视点位置、从假想视点的视场角及从假想视点的拍摄方向(注视方向)中的至少一个,从而决定周边图像的显示范围。显示范围决定部43例如具有视点位置决定部431、视场角决定部432及拍摄方向决定部433。

视点位置决定部431根据行驶状态来决定假想视点的视点位置。假想视点是指将实际的相机10的拍摄位置作为实际视点时的假想的相机(假想相机)的拍摄位置。通过对由相机10拍摄到的拍摄图像进行规定的修正处理(图像转换),从而能够将从实际视点拍摄到的拍摄图像转换为从假想视点拍摄到的那样的假想图像。例如,视点位置决定部431将假想视点的视点位置决定为从上方俯瞰本车辆M的位置。另外,视点位置决定部431也可以将假想视点的视点位置决定为从后方观察本车辆M的位置。

视场角决定部432根据行驶状态来决定从假想视点的视场角。视场角是指以相机的光轴方向为中心的拍摄范围的扩展角度。进行了扩宽视场角的图像修正的假想图像与原始图像相比,显示范围变宽。另一方面,进行了缩窄视场角的图像修正的假想图像与原始图像相比,显示范围变窄。

拍摄方向决定部433根据行驶状态来决定假想相机的拍摄方向(注视方向、光轴方向)。假想相机的拍摄方向能够从假想视点作为立体角来表示。拍摄方向能够利用水平方向的方位角和高度方向的俯角(或仰角)来表示。

显示范围决定部43在行驶状态发生了变化时,对假想视点的视点位置、从假想视点的视场角及从假想视点的拍摄方向(注视方向)中的至少一个进行变更。显示范围决定部43基于变更至少一个后的、假想视点的视点位置、从假想视点的视场角及从假想视点的拍摄方向,来决定在转换了拍摄图像时的假想图像中的周边图像的显示范围。需要说明的是,显示范围决定部43也可以同时对假想视点的视点位置、从假想视点的视场角、或从假想视点的拍摄方向中的两个以上进行变更。

例如,行驶状态的变化是指本车辆M的速度的变化。显示范围决定部43在本车辆M的速度上升时,将周边图像的显示范围决定成包含从本车辆M到前方的更远方的风景。例如,显示范围决定部43通过将拍摄方向(注视方向)向上变更,从而能够将周边图像的显示范围变更成包含从本车辆M到前方的更远方的风景。通过将周边图像的显示范围变更成包含从本车辆M到前方的更远方的风景,从而显示范围决定部43在速度上升了的情况下,能够对乘员赋予前方确认的富余。

另外,显示范围决定部43在本车辆M的速度降低时,将周边图像的显示范围中的本车辆M的前方的范围决定成比本车辆M的速度上升时窄。例如,显示范围决定部43通过将拍摄方向向下变更,从而能够使周边图像的显示范围中的本车辆M的前方的范围成为比本车辆M的速度上升时窄。由此,显示范围决定部43能够使乘员详细地确认本车辆M前方的近前方向。

另外,显示范围决定部43通过使视点位置上升来扩宽显示范围。其结果是,能够以在显示范围中包含从本车辆M到前方的更远方的风景的方式变更显示范围。另外,显示范围决定部43通过使视点位置下降来缩窄显示范围。其结果是,能够将显示范围中的本车辆M的前方的范围变更成比使视点位置上升的情况窄。

[与速度的变化量相对的图像范围规定要素的变化量]

另外,显示范围决定部43在本车辆M的速度处于高速区域的情况下,可以减小视场角、视点位置或拍摄方向(以下,有时称为图像范围规定要素)的变更量,在本车辆M的速度处于低速区域的情况下,增大图像范围规定要素的变更量。另外,也可以代替于此而调整周边图像的显示范围的变更量。由此,显示范围决定部43能够使体感的速度的变化的大小与显示范围的变更量一致,能够抑制与显示范围的变更相伴的不适感的产生,且同时防止高速时显示范围变得过宽的情况。

以下,使用图3来说明与速度的变化相对的图像范围规定要素的变化量的一例。

在图3中,曲线图的横轴是本车辆M的速度。另外,曲线图的纵轴表示视点位置或拍摄方向的变化量来作为图像范围规定要素的变化量。在此,将速度小于60kph的区域作为第一区域,将速度为60kph以上且小于120kph的区域作为第二区域,将速度为120kph以上的区域作为第三区域。

在速度小于60kph的第一区域中,曲线图的倾斜度大,且与速度的上升相对的视点位置或拍摄方向的变化量大。

另外,在速度为60kph以上且小于120kph的第二区域中,曲线图的倾斜度为中等程度,且与速度的上升相对的视点位置或拍摄方向的变化量相对于第一区域变得平缓。

而且,在速度为120kph以上的区域的第三区域中,且曲线图的倾斜度小,与速度的上升相对的显示范围的移动量小。即,在速度上升时,显示区域中的视点位置或拍摄方向的变化的量相对于第二区域变得平缓。

图3所示那样的与速度的上升相对的显示区域的变化接近于乘员感觉到的与速度的上升相对的景色的变化,因此能够减轻对于显示区域的变化的不适感。

另外,显示范围决定部43也可以将周边图像的显示范围决定成,使从本车辆M的后端部到规定距离的后方成为显示范围。由此,能够使本车辆的后方的状况显示,与仅显示前方的状态的情况相比,能够给乘员带来安心感。

需要说明的是,显示范围也可以与自动驾驶控制单元300中的识别范围匹配地进行变更。例如,自动驾驶控制单元300根据速度来变更识别范围。通过使显示控制装置40中的显示范围与自动驾驶控制单元300的识别范围一致,从而能够进行与自动驾驶控制单元300的识别状态匹配的显示。

另外,视点位置、视场角或注视方向中的至少一个例如也可以能够由乘员通过手动来决定或调整。例如,在低速区域中,可以以通过乘员的操作使显示范围成为俯瞰图像的方式决定视点位置。

图像转换部44根据由显示范围决定部43决定出的周边图像的显示范围,来将由图像取得部41a取得的拍摄图像转换为假想图像。图像转换部44例如使用预先决定的转换表将从实际视点拍摄到的拍摄图像的原始数据转换为从假想视点观察到的数据。转换表是将原始数据的各像素的坐标与转换后的假想图像的各像素的坐标建立映射而得到的表。也可以替代上述转换表而根据运算式来进行向假想图像的转换处理。

例如,图像转换部44将拍摄图像所包含的本车辆M、其他车辆、道路、障碍物等的图像的大小、形状及显示范围中的显示位置等转换成与由显示范围决定部43决定出的周边图像的显示范围对应的大小等。通过进行图像转换,从而即使在变更了周边图像的显示范围的情况下,也不会给乘员带来不适感,能够提高便利性。需要说明的是,图像转换部44也可以对由多台相机拍摄到的拍摄图像分别进行图像转换。

显示数据生成部45生成使HMI400显示的周边图像的显示范围中的显示数据并向主控制部100发送。主控制部100对HMI400进行控制,以使发送的显示数据显示。以下,说明显示数据生成部45中的显示数据的生成处理的一例。

首先,显示数据生成部45识别由图像转换部44转换后的拍摄图像所包含的物体。物体例如是指本车辆、其他车辆、道路上的标志、障碍物、结构物等。识别物体例如是指识别其他车辆的车型、划分线的种类、路面上描绘的记号的种类、障碍物的种类、结构物的种类等。物体的识别例如能够通过深度学习等机械学习方法来进行。显示数据生成部45在拍摄图像中包含多个物体时,识别各个物体。另外,显示数据生成部45参照在自动驾驶控制单元300中识别出的识别结果,向基于拍摄图像识别的识别结果中追加。此时,在拍摄图像的识别结果与自动驾驶控制单元300中识别出的识别结果不同的情况下,可以基于信息的可靠度来对物体进行取舍选择,并学习选择结果。在该情况下,显示数据生成部45也可以对乘员输出警报。

接下来,显示数据生成部45基于识别出的物体的位置,来生成动画图像。更具体而言,显示数据生成部45可以基于识别出的物体、物体的位置、以及从导航装置50取得的与本车辆M行驶中的道路相关的信息(道路的形状、车道的数量)等,来生成动画图像。动画图像是指将拍摄图像所包含的本车辆、其他车辆、道路上的油漆、结构物等物体、从导航装置50取得的与道路相关的信息等用图标、文字、样本图像、表示车辆、道路等的外形的多边形等来表示的图像等。在动画图像中也可以包含后述的到其他车辆的距离、其他车辆的速度等的显示。另外,动画图像可以是动态画面,也可以是以规定间隔更新的静止画面。显示数据生成部45也可以计算本车辆M或其他车辆的速度、加速度、转弯角等的信息并使动画图像附带地显示。

显示数据生成部45以物体的绝对坐标为基准,来生成将视场角、视点、拍摄方向等参数考虑在内而设想的范围的动画图像。动画图像中的物体的位置基于绝对坐标来计算。其结果是,即使在由显示范围决定部43变更周边图像的显示范围的前后,成为动画图像的基础的绝对的位置关系也不变化。由此,显示数据生成部45能够以使物体彼此的相对的位置关系在显示范围的变更的前后不变化的方式生成显示数据。

通过上述那样生成周边图像,从而即使在周边图像的显示范围变更了的情况下,本车辆M与由物体识别装置16识别出的物体的位置关系也追随于显示范围而变更。由此,即使在显示范围变更了的情况下,本车辆M的乘员也能够更可靠地识别上述的相对的位置关系。

[HMI400的结构]

接下来,说明HMI400的结构例。图4是表示本车辆M中的HMI400的一例的图。在图中,HMI400例如具有第一操作部410、发光部430R及430L、第一显示部450、HUD(Head UpDisplay)(第二显示部)460、以及第三显示部470。

第一操作部410例如具备主开关412和自动开关414。主开关412是用于使驾驶支援成为能够开始的状态的开关。

在操作了主开关412的情况下,本车辆M进行执行驾驶支援前的准备阶段中的处理。在操作了主开关412的情况下,显示控制装置40也可以取得由自动驾驶控制单元300识别出的本车辆M的周边的识别结果,并开始显示数据的生成。自动开关414是在驾驶支援能够开始的状态下用于使驾驶支援实际开始的开关。发光部430R、430L通过HMI控制部120的控制来控制点亮状态。

第一显示部450显示本车辆M的手动驾驶时或自动驾驶时的行驶所需的信息、或者与向乘员的指示相关的信息。

第三显示部470显示由显示控制装置40生成的假想图像的显示数据。第三显示部470例如在自动驾驶中也可以将在进行自动驾驶时识别出的存在于本车辆周边的物体的识别结果与假想图像一起显示。存在于本车辆周边的物体的识别能够在物体识别装置16中进行。第三显示部470例如安装于仪表板的中央部。第三显示部470例如是LCD、有机EL显示装置等。第三显示部470也可以显示与由导航装置50执行的导航处理对应的图像、或者可视电话中的对方的影像等。另外,第三显示部470例如具有发光部472。在第三显示部470能够使用的情况下,发光部472发光。

[显示控制装置40的动作]

接下来,说明显示控制装置40的动作。图5是表示显示控制装置40的动作的一例的流程图。本流程图的处理例如以规定周期反复执行。

在图5中,图像取得部41a取得由相机10拍摄到的本车辆周边的拍摄图像(步骤S11)。

接下来,识别结果取得部41b取得在自动驾驶控制单元300中识别出的本车辆周边的物体的位置、速度、加速度、行驶车道、距离等的识别结果(步骤S12)。

接下来,行驶状态取得部42取得本车辆M的行驶状态(步骤S13)。需要说明的是,步骤S11~步骤S13的处理也可以彼此非同步地执行。

接下来,显示范围决定部43根据本车辆M的行驶状态来变更假想视点的视点位置、从假想视点的视场角、或从假想视点的注视方向中的至少一个,从而决定周边图像的显示范围(步骤S14)。周边图像的显示范围是在HMI400中显示的范围。显示范围决定部43例如可以与第三显示部470的析像度(纵横比等)匹配地决定周边图像的显示范围。

需要说明的是,根据本车辆M的行驶状态,能够预先设定是否变更视点位置、视场角或注视方向中的任一个、以及与行驶状态对应的视点位置、视场角或注视方向的变更量。显示范围决定部43可以根据这些设定来变更周边图像的显示范围。

接下来,图像转换部44根据由显示范围决定部43决定出的周边图像的显示范围,来将由图像取得部41a取得的拍摄图像转换为假想图像(步骤S15)。

接下来,显示数据生成部45生成周边图像的显示范围中的显示数据并向主控制部100输出(步骤S16),且结束本流程图的一个例程的处理。

以下,说明根据本车辆M的行驶状态来变更周边图像的显示范围的处理。

[显示范围的变更的第一例]

图6所示的显示范围的变更的第一例示出如下情况:显示范围决定部43在本车辆M的速度高的情况下降低假想视点的视点位置,并且将向下的拍摄方向(以使俯角变小的方式)向水平方向变更,另一方面,在本车辆M的速度低的情况下提高假想视点的视点位置,并且将拍摄方向向下(以使俯角变大的方式)变更。

在图6中,P1~P3表示假想视点的视点位置,v1~v3表示假想相机的拍摄方向。与视点位置P1~P3对应的显示范围用L1~L3表示。需要说明的是,在第一例中,视点位置P1~P3处的视场角a是固定的。另外,图6表示为了说明这些参数而相对于本车辆M的行进方向从侧面观察的情况的平面的概略。实际上,视点位置P1~P3相对于本车辆M具有三维坐标,而且拍摄方向v1~v3具有三维的向量。另外,显示范围L是平面的区域。

例如,视点位置P1处的显示范围是L1。视点位置P2处的显示范围是L2。另外,视点位置P3处的显示范围是L3。显示控制装置40在本车辆M的速度从低速向高速变化时,使视点位置变更为P1→P2→P3,并且使拍摄方向变更为v1→v2→v3。其结果是,显示范围如L1→L2→L3那样,变更成包含从本车辆M到前方的更远方的风景。另一方面,在速度降低的情况下,显示控制装置40使显示范围L变更成L3→L2→L1。由此,显示范围中的本车辆M的前方侧的端部随着速度的降低而接近本车辆M,显示范围与速度上升的情况相比变窄。在速度上升的情况下,将显示范围L变更成包含从本车辆M到前方的更远方的风景,从而能够使乘员具有相对于速度的富余。

在此,显示控制装置40将显示范围L1~L3决定成包含距本车辆M的后端部规定的距离(Lb)内的状况。由此,显示控制装置40在扩宽本车辆M的前方的远方侧的情况下,也能够防止观察不到本车辆M的后方的情况,从而能够始终掌握车辆的后方的状况。

需要说明的是,显示控制装置40也可以在将拍摄方向变更为v1→v2→v3时,在距本车辆M的后端部为距离Lb处使显示范围L1~L3的后端部(图示左端部)对齐。即,距后端部的距离Lb可以根据拍摄方向的变更而变更,也可以为恒定。由此,即使在周边图像的显示范围变更了的情况下,也能够使本车辆M的显示位置大致恒定,从而能够容易掌握本车辆M与其他车辆等的相对的位置关系。

接下来,说明与图6中说明的显示范围的移动相伴的相对于HMI400的显示例。图7是表示显示控制装置40中的假想视点的视点位置和拍摄相机的拍摄方向的移动中的显示范围的移动的一例的图。

图7(A)是基于图6的显示范围L1的HMI400的显示例。基于显示范围L1而生成的图像从假想视点的俯角(相对于水平方向的角度)较大,在低速区域中能够使本车辆M的周边详细地显示。

图7(B)是图6的显示范围L3中的HMI400的显示例。基于显示范围L3而生成的图像从假想视点的俯角较小,在高速区域中能够将本车辆M的前方显示到更远方的位置。

在图7(A)及图7(B)中,在本车辆M的前方显示有1台其他车辆N1。在其他车辆N1的拍摄图像上重叠显示有表示自动驾驶控制单元300识别为其他车辆的梯形的标记。即,梯形的标记表示自动驾驶控制单元300识别到其他车辆N1并基于其他车辆N1的行为进行自动驾驶的情况。通过使梯形的标记与拍摄图像重叠显示,从而能够确认自动驾驶控制单元300识别到其他车辆N1的情况,因此能够给乘员带来对于自动驾驶的安心感。

另外,当通过视点位置和注视方向的变更而将显示范围L1变更为显示范围L3时,也可以变更其他车辆N1及其他车辆N2的拍摄图像的形状和显示位置。

需要说明的是,在图7(A)和图7(B)中,由于将显示范围决定成距本车辆M的后端部的后方的水平距离为规定值内,因此能够使HMI400中的本车辆M的显示位置大致恒定。由此,即使在L1与L3之间切换显示范围的情况下,也容易确认本车辆M与其他车辆的位置关系。

[显示范围的移动(第二例)]

接下来,说明与假想视点的视点位置的高度的移动相对的显示范围的移动的例子(第二例)。图8是表示显示控制装置40中的假想视点的视点位置的高度的移动的一例的图。

在图8中,与图6同样,P4~P5表示假想视点的视点位置,a表示假想视点的视场角,v表示假想相机的拍摄方向。视点位置P4处的显示范围是L4。另外,视点位置P5处的显示范围是L5。在此,视场角a和拍摄方向v在视点位置P4和视点位置P5处不变更。在本车辆M的速度从低速向高速变化时,若使视点位置变更为P4→P5,则显示范围从向L4向L5移动(L4→L5)。即,在速度上升的情况下,显示控制装置40如L4→L5那样,变更成在本车辆M的前方包含到更远方的风景,并且变更成在本车辆M的后方包含到更远方的风景。另一方面,在速度降低的情况下,显示控制装置40如L5→L4那样,与速度上升的情况相比,变更成使本车辆M的前方侧及(或)后方侧的显示范围向本车辆M侧缩小。在速度上升的情况下,与速度降低的情况相比,将显示范围L向本车辆M的前方侧及后方侧扩大,从而能够使乘员具有相对于速度的富余。

在图8所示的第二例中,通过将视场角a和拍摄方向v固定(不变更),从而显示范围中的本车辆与其他车辆的拍摄方向不变化,因此能够减轻相对于显示变化的不适感。另外,由于即使显示范围变更也能够使本车辆M显示,从而能够掌握本车辆M与其他车辆的相对的位置关系。

需要说明的是,在图8中,示出了在本车辆M的后方也扩大显示范围的情况,但例如也可以与图6同样地固定显示(对齐)范围的后端。即,根据假想视点的视点位置的变更,本车辆M的后方的显示范围可以变更,也可以为恒定。在图8中,虽然未图示,但与上述的图6同样,也可以根据拍摄位置的变更来变更从本车辆M的后端部到显示范围的端部的距离(图6的距离Lb),还可以使该距离恒定。

需要说明的是,在变更了从假想视点的视场角、或从假想视点的注视方向的情况下,本车辆M的后方的显示范围可以变更,也可以为恒定。

接下来,说明与图8中说明的显示范围的移动相伴的相对于HMI400的显示例。图9是表示显示控制装置40中的假想视点的视点位置的移动中的显示范围的移动的一例的图。

图9(A)是图8的显示范围L4中的HMI400的显示例。显示范围L4由于假想视点的高度较低,因此能够较大地详细显示本车辆M的周边。在图9(A)中,在本车辆M的前方显示有1台其他车辆N3的动画图像。在其他车辆N3的动画图像上重叠显示有表示自动驾驶控制单元300识别为其他车辆的梯形的标记。通过使梯形的标记显示,从而能够确认自动驾驶控制单元300识别到其他车辆N3的情况,因此能够给乘员带来对于自动驾驶的安心感。

图9(B)是图8的显示范围L5中的HMI400的显示例。显示范围L5由于假想视点的高度较高,因此在高速区域中能够较宽地显示本车辆M的周围。在图9(B)中,在本车辆M的前方除了其他车辆N3以外,还显示有其他车辆N4的动画图像。另外,在本车辆M的后方显示有其他车辆N5的动画图像。在其他车辆N3~N5的动画图像上分别重叠显示有表示自动驾驶控制单元300识别为其他车辆的梯形的标记。通过使梯形的标记显示,从而能够确认自动驾驶控制单元300识别到紧前方的其他车辆N3、远方的其他车辆N4以及后方的其他车辆N5的情况,因此能够给乘员带来对于自动驾驶的安心感。

需要说明的是,在图9(A)和图9(B)中,与假想视点的高度匹配而使本车辆和其他车辆的大小、距离成为扩大或缩小的单纯变化,因此能够减轻对于显示范围的变更的不适感。

根据以上说明的实施方式,显示控制装置40能够进行与本车辆的状态对应的车辆周边的适当的显示。

以上,使用实施方式说明了本发明的具体实施方式,但本发明丝毫不被这样的实施方式限定,在不脱离本发明的主旨的范围内能够施加各种变形及替换。

符号说明:

1…车辆系统,10…相机,12…雷达装置,14…探测器,16…物体识别装置,20…通信装置,40…显示控制装置,41a…图像取得部,41b…识别结果取得部,42…行驶状态取得部,43…显示范围决定部,431…视点位置决定部,432…视场角决定部,433…拍摄方向决定部,44…图像转换部,45…显示数据生成部,50…导航装置,60…MPU,70…车辆传感器,80…驾驶操作件,100…主控制部,110…切换控制部,120…HMI控制部,200…驾驶支援控制部,300…自动驾驶控制单元,320…第一控制部,340…第二控制部,400…HMI,500…行驶驱动力输出装置,510…制动装置,520…转向装置,M…本车辆。

24页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:延时摄影的控制方法及控制装置、成像系统及存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类