车辆周边监视装置、控制方法及存储介质

文档序号:1914475 发布日期:2021-12-03 浏览:23次 >En<

阅读说明:本技术 车辆周边监视装置、控制方法及存储介质 (Vehicle periphery monitoring device, control method, and storage medium ) 是由 坂口敦俊 日隈友仁 里见洋平 于 2021-05-13 设计创作,主要内容包括:一种车辆周边监视装置、控制方法及存储介质。车辆周边监视装置具有:拍摄车辆的侧后方的侧后方拍摄部;拍摄车辆的后方的后方拍摄部;检测部,检测在利用侧后方拍摄部拍摄的侧后方图像中的与利用后方拍摄部拍摄到的后方图像重叠的侧后方重叠区域、及后方图像中的与侧后方图像重叠的后方重叠区域存在的物标;判定部,判定在利用检测部检测出的物标中,是否包括仅在侧后方图像中的侧后方重叠区域和后方图像中的后方重叠区域的任一方中视觉确认出的特定物标;以及显示控制部,在由判定部判定为包括特定物标时,在没有视觉确认出特定物标的侧后方图像或后方图像中重叠与特定物标对应的特定物标显示像,并显示于设置于车室内的至少一个显示部。(A vehicle periphery monitoring device, a control method, and a storage medium. A vehicle periphery monitoring device is provided with: a lateral rear imaging unit that images a lateral rear of the vehicle; a rear imaging unit that images the rear of the vehicle; a detection unit that detects a target object that exists in a lateral overlapping region that overlaps with the rearward image captured by the rearward image capturing unit in the lateral rearward image captured by the lateral rearward image capturing unit and a rearward overlapping region that overlaps with the lateral rearward image in the rearward image; a determination unit that determines whether or not a specific object that is visually recognized only in one of the lateral overlapping area in the lateral image and the posterior overlapping area in the posterior image is included in the objects detected by the detection unit; and a display control unit that, when the determination unit determines that the specific object is included, superimposes a specific object display image corresponding to the specific object on the lateral rearward image or the rearward image in which the specific object is not visually recognized, and displays the specific object display image on at least one display unit provided in the vehicle interior.)

车辆周边监视装置、控制方法及存储介质

相关申请的交叉引用

本申请基于2020年5月27日提交的日本专利申请第2020-092677号并要求优先权,其公开内容通过引用结合到本文中。

技术领域

本公开涉及车辆周边监视装置。

背景技术

在日本特开2020-028027号公报中,公开了如下的电子镜装置:将利用对车辆后方进行拍摄的后方相机拍摄到的后方图像和利用对车辆的侧后方进行拍摄的侧后方相机拍摄到的侧后方图像合成而生成第1合成图像,并显示于在车室内设置的显示部。

该电子镜装置,判定在因从车辆的后方接近的后续车辆产生的盲区是否存在物体,在存在物体的情况下,生成在后方图像中重叠地显示包括与物体对应的图像区域的侧后方图像的第2合成图像。并且,构成为将显示于显示部的图像切换为第2合成图像。

在日本特开2020-028027号公报所记载的技术中,第1合成图像作为后方图像与侧后方图像连续的图像而被视觉确认,相对于此,第2合成图像中,在后方图像中重叠地显示侧后方图像的部分中,后方图像与侧后方图像的视角不同,所以,图像不连续地显示。因此,即便是同一物体,在第1合成画面中视觉确认的情况下与在第2合成画面中视觉确认的情况下看起来不一样,所以,存在使对显示部进行视觉确认的乘员感到烦躁这一课题。

发明内容

本公开考虑上述事实,目的在于,获得一种能够使显示部的视觉确认性提高而使车辆的乘员能够有效地识别周边状况的车辆用周边监视装置。

本公开的第1方案的车辆周边监视装置,具有:侧后方拍摄部,对车辆的侧后方进行拍摄;后方拍摄部,对车辆的后方进行拍摄;检测部,检测在利用所述侧后方拍摄部拍摄到的侧后方图像中的与利用所述后方拍摄部拍摄到的后方图像重叠的侧后方重叠区域、及所述后方图像中的与所述侧后方图像重叠的后方重叠区域中存在的物标(物体目标);判定部,判定在利用所述检测部检测出的所述物标中,是否包括仅在所述侧后方图像中的所述侧后方重叠区域和所述后方图像中的所述后方重叠区域的任一方中视觉确认出的特定物标;以及显示控制部,在由所述判定部判定为包括所述特定物标的情况下,在没有视觉确认出所述特定物标的所述侧后方图像或所述后方图像中重叠与所述特定物标对应的特定物标显示像,并显示于设置于车室内的至少一个显示部。

在第1方案中,侧后方拍摄部对车辆的侧后方进行拍摄,后方拍摄部对车辆的后方进行拍摄。另外,显示控制部,使设置于车室内的至少一个显示部显示利用侧后方拍摄部拍摄到的侧后方图像和利用后方拍摄部拍摄到的后方图像。在此,关于侧后方图像中的与后方图像重叠的侧后方重叠区域、及所述后方图像中的与所述侧后方图像重叠的后方重叠区域,存在因从车辆的后方侧接近的其他车辆等而成为侧后方图像中或后方图像中的盲点(死角)的情况。对此,检测部检测在侧后方重叠区域及后方重叠区域存在的物标。另外,判定部判定在利用检测部检测出的物标中,是否包括仅在侧后方重叠区域和后方重叠区域的任一方中识别出的特定物标。另外,显示控制部在由判定部判定为包括特定物标的情况下,在没有视觉确认出特定物标的侧后方图像或后方图像中重叠与特定物标对应的特定物标显示像,并显示于显示部。即,在利用检测部检测出的物标中,仅在侧后方重叠区域和后方重叠区域的任一方中识别出的特定物标,是在由向车辆的后方侧接近的其他车辆等遮挡而成为了侧后方图像中或后方图像中的盲点的区域存在的物标。因而,通过在没有视觉确认出特定物标的侧后方图像或后方图像中重叠地显示与特定物标对应的特定物标显示像,能够使乘员识别出在向车辆的后方侧接近的其他车辆等的后方存在特定物标的情况。另外,显示控制部仅在没有视觉确认出特定物标的侧后方图像或后方图像中重叠地显示特定物标显示像,所以,在显示于显示部的图像中的特定物标显示像以外的区域,显示维持着一定的视角的图像。因而,容易识别图像中的特定物标显示像,能够抑制在显示特定物标显示像的前后发生特定物标显示像的漏看、错认的情况。

像这样,乘员对因从车辆的后方侧接近的其他车辆等而存在于侧后方图像中或后方图像中的盲点的特定物标的视觉确认性提高。其结果,能够提高使显示部显示的物标的视觉确认性,从而使车辆的乘员能够有效地识别周边状况。

本公开的第2方案的车辆周边监视装置,在第1方案记载的构成的基础上,在所述特定物标存在于因向所述车辆的侧后方接近的侧后方接近车辆而产生的所述侧后方图像中的第1盲区的情况下,所述显示控制部,在因所述侧后方接近车辆而没有视觉确认出所述特定物标的所述侧后方图像中重叠与在所述后方图像中视觉确认出的所述特定物标对应的所述特定物标显示像,并显示于所述显示部。

由此,即便在因向车辆的侧后方接近的侧后方接近车辆而产生的侧后方图像中的第1盲区存在物标的情况下,通过将该物标判定为特定物标,也能够在侧后方图像中以特定物标显示像的形态显示。由此,乘员通过视觉确认特定物标显示像而能够得知在侧后方接近车辆的后方附近存在特定物标的情况,能够明确地识别侧后方接近车辆的后方侧的周边状况。

本公开的第3方案的车辆周边监视装置,在第1方案或第2方案记载的构成的基础上,在所述特定物标存在于因向所述车辆的后方接近的后方接近车辆而产生的所述后方图像中的第2盲区的情况下,所述显示控制部,在因所述后方接近车辆而没有视觉确认出所述特定物标的所述后方图像中重叠与在所述侧后方图像中视觉确认出的所述特定物标对应的所述特定物标显示像,并显示于所述显示部。

由此,即便在因向车辆的后方接近的后方接近车辆而产生的后方图像中的第2盲区存在物标的情况下,通过将该物标判定为特定物标,也能够在后方图像中以特定物标显示像的形态显示。由此,乘员通过视觉确认特定物标显示像而能够得知在侧后方接近车辆的后方附近存在特定物标的情况,能够明确地识别后方接近车辆的后方侧的周边状况。

本公开的第4方案的车辆周边监视装置,在第1方案~第3方案中的任一方案记载的构成的基础上,所述显示控制部,在假想投影面上从所述侧后方图像和所述后方图像的任一方中删除所述侧后方重叠区域或后方重叠区域,将从任一方中删除了所述侧后方重叠区域或后方重叠区域后的所述侧后方图像和后方图像合成处理成单个图像,并显示于一个所述显示部。

由此,显示于显示部的侧后方处理图像和后方处理图像成为连续的图像,所以,能够使显示部显示与观察车辆后方的情况相接近的图像。其结果,识别特定物标时的乘员的负担减低,显示部的视觉确认性提高。

本公开的第5方案的车辆周边监视装置,在第1方案~第3方案中的任一方案记载的构成的基础上,所述显示控制部,将在假想投影面上包括所述侧后方重叠区域的所述侧后方图像和包括所述后方重叠区域的所述后方图像分别单独显示于多个显示部。

由此,乘员能够观察假想投影面上的包括侧后方重叠区域的侧后方图像和包括后方重叠区域的后方图像,所以,能够大范围地识别车辆后方的周边状况。另外,在多个显示部显示特定物标和与之对应的特定物标显示像双方,所以,能够从多个显示部明确地识别特定物标的位置。其结果,显示部的视觉确认性提高。

本公开的第6方案的车辆周边监视装置,在第1方案~第5方案中的任一方案记载的构成的基础上,所述显示控制部,在所述特定物标正在向所述车辆接近时,在所述侧后方图像或所述后方图像中重叠所述特定物标显示像,并显示于所述显示部。

由此,通过在危险度更高时,即特定物标正在向车辆接近时使显示部显示特定物标显示像,能够有效地引起乘员的注意。

另外,本公开的第7方案的车辆周边监视装置,在第1方案~第6方案中的任一方案记载的构成的基础上,车辆周边监视装置是搭载于所述车辆的电子镜装置。

发明效果

本公开的第1方案的车辆周边监视装置,具有能够使显示部的视觉确认性提高而使车辆的乘员能够有效地识别周边状况这一优异的效果。

本公开的第2方案的车辆周边监视装置,具有能够使乘员明确地识别侧后方接近车辆的后方侧的周边状况这一优异的效果。

本公开的第3方案的车辆周边监视装置,具有能够使乘员明确地识别后方接近车辆的后方侧的周边状况这一优异的效果。

本公开的第4方案的车辆周边监视装置,具有能够使识别特定物标时的乘员的负担减低从而使显示部的视觉确认性提高这一优异的效果。

本公开的第5方案的车辆周边监视装置,通过大范围地显示车辆后方的周边状况且以能够明确识别特定物标的位置的形态显示特定物标显示像,具有能够使显示部的视觉确认性提高这一优异的效果。

本公开的第6方案的车辆周边监视装置,具有能够与车辆后方的特定物标相关地有效地引起乘员的注意这一优异的效果。

本公开的第7方案的车辆周边监视装置,具有能够使电子镜装置的显示部的视觉确认性提高而使车辆的乘员能够有效地识别周边状况这一优异的效果。

附图说明

以下,基于以下附图,对本申请的示例性的实施方式进行详细说明,其中:

图1是示出第1实施方式的电子镜装置的硬件构成的框图;

图2是示出第1实施方式的电子镜装置的功能构成的框图;

图3是示出第1实施方式的电子镜装置的侧后方相机、显示部的配置位置的图,是从车辆后方侧观察具有电子镜装置的车辆的车室内所得到的立体图;

图4是示出侧后方相机及后方相机的拍摄范围、以及侧后方图像的侧后方重叠区域和后方图像的后方重叠区域的俯视图;

图5是示出将侧后方处理图像和后方处理图像合成处理成单个图像并显示于显示部的状态的一例的示意图;

图6是示出电子镜ECU执行的重叠处理的一例的流程图;

图7是示出因侧后方接近车辆而产生的第1盲区、和在第1盲区存在特定物标的状况的一例的俯视图;

图8是示出因后方接近车辆而产生的第2盲区、和在第2盲区存在特定物标的状况的一例的俯视图;

图9是示出与在图7的第1盲区存在的特定物标对应的特定物标显示像的一例的示意图;

图10是示出与在图8的第2盲区存在的特定物标对应的特定物标显示像的一例的示意图;

图11是示出特定物标显示像的一例的图9所对应的示意图;

图12是示出第2实施方式的电子镜装置的硬件构成的框图;

图13是示出第2实施方式的电子镜装置的功能构成的框图;

图14是示出与在第1盲区存在的特定物标对应的特定物标显示像的一例的图9所对应的示意图;并且

图15是示出特定物标显示像的一例的图14所对应的示意图。

具体实施方式

(硬件构成)

以下,使用图1~图11,对本发明中的第1实施方式进行说明。图1所示的车载系统40包括总线42,在总线42分别连接有进行互不相同的控制的多个电子控制单元及多个传感器单元。此外,图1仅示出了车载系统40中的与本发明相关的一部分。各个电子控制单元是包括CPU、存储器及非易失性的存储部的控制单元,以下,称作ECU(Electronic ControlUnit:电子控制单元)。连接于总线42的多个ECU中包括电子镜ECU22。

在电子镜ECU22,分别连接有左侧后方相机12、右侧后方相机14、后方相机16、电子镜显示器18及相机收纳ACT(致动器)20。上述电子镜ECU22、左侧后方相机12、右侧后方相机14、后方相机16、电子镜显示器18及相机收纳ACT20构成了电子镜装置10,电子镜装置10是车辆用周边监视装置的一例。此外,电子镜装置10中的电子镜显示器18是显示部的一例。

如图3所示,大致长方体形状且顶端部为圆弧状的相机支承体32L的基部,以该相机支承体32L的顶端部向车辆外侧突出的方式,安装于车辆的左侧门(前侧门,图示省略)的车辆上下方向中间部的车辆前侧端部。在相机支承体32L的顶端部附近安装有左侧后方相机12,左侧后方相机12的拍摄光轴(镜头)朝向车辆的左侧后方,对车辆的左侧后方进行拍摄。相机支承体32L能够在车辆前后方向上转动,通过相机收纳ACT20的驱动力,向相机支承体32L的长方向大致沿着车辆的外侧面的收纳位置、或者左侧后方相机12对车辆的左侧后方进行拍摄的恢复位置转动。

关于左侧后方相机12,其镜头被设为固定焦点,也未设置变更拍摄光轴的朝向的机构,在相机支承体32L位于恢复位置的状态下,对图4所示的一定的拍摄范围62进行拍摄。另外,在本实施方式中,将投影到车辆50的后方的假想投影面66上的车辆左侧的侧后方图像62A设为利用左侧后方相机12拍摄到的侧后方图像。另外,左侧后方相机12的拍摄范围62与后方相机16的拍摄范围60部分重叠,将侧后方图像62A中的、与投影到假想投影面66上的后方相机16的后方图像60A重叠的侧后方重叠区域设为62A1并示于图4。

另外,在车辆的右侧门(前侧门,图示省略)的车辆上下方向中间部的车辆前侧端部,安装有与相机支承体32L左右对称的形状的相机支承体32R的基部。在相机支承体32R的顶端部附近安装有右侧后方相机14,右侧后方相机14的拍摄光轴(镜头)朝向车辆的右侧后方,对车辆的右侧后方进行拍摄。相机支承体32R也能够在车辆前后方向上转动,通过相机收纳ACT20的驱动力,向相机支承体32R的长方向大致沿着车辆的外侧面的收纳位置、或者右侧后方相机14对车辆的右侧后方进行拍摄的恢复位置转动。

关于右侧后方相机14,其镜头被设为固定焦点,也未设置变更拍摄光轴的朝向的机构,在相机支承体32R位于恢复位置的状态下,对图4所示的一定的拍摄范围64进行拍摄。另外,在本实施方式中,将投影到车辆50的后方的假想投影面66上的车辆右侧的侧后方图像64A设为利用右侧后方相机14拍摄到的侧后方图像。另外,右侧后方相机14的拍摄范围64与后方相机16的拍摄范围60部分重叠,将侧后方图像64A中的、与投影到假想投影面66上的后方相机16的后方图像60A重叠的侧后方重叠区域设为64A1并示于图4。

后方相机16配置于车辆50(参照图4)的后部,拍摄光轴(镜头)朝向车辆的后方,对车辆50的后方进行拍摄。此外,后方相机16的配置位置只要是能够对车辆50的后方进行拍摄的位置即可,既可以配置于车辆50的后端部(例如后保险杠附近),也可以配置成隔着后窗挡风玻璃对车辆50的后方进行拍摄。关于后方相机16,其镜头被设为固定焦点,也未设置变更拍摄光轴的朝向的机构,对图4所示的一定的拍摄范围60进行拍摄。在本实施方式中,将投影到车辆50的后方的假想投影面66上的中央的后方图像60A设为利用后方相机16拍摄到的后方图像。另外,将后方图像60A中的、与投影到假想投影面66上的车辆左侧的侧后方图像62A和车辆右侧的侧后方图像64A重叠的区域设为后方重叠区域60A1并示于图4。

另外,在车辆的仪表板的中央部设置有中央监视器34,在从中央监视器34向车辆上方隔有间隔的位置设置有电子镜显示器18。电子镜显示器18,通过电子镜ECU22,显示对由左侧后方相机12拍摄到的左侧后方图像(动态图像)、由右侧后方相机14拍摄到的右侧后方图像(动态图像)以及由后方相机16拍摄到的后方图像(动态图像)实施后述的合成处理而合成的图像。

如图1所示,电子镜ECU22包括CPU(Central Processing Unit:中央处理单元)24、ROM(Read Only Memory:只读存储器)26、RAM(Random Access Memory:随机存取存储器)28以及存储设备30。

CPU24是中央运算处理单元,执行各种程序,对各部进行控制。即,CPU24从ROM26或存储设备30读出程序,将RAM28作为作业区域而执行程序。

(功能构成)

图2是示出电子镜ECU22的功能构成的框图。如该图所示,电子镜ECU22具有侧后方拍摄部220、后方拍摄部230、检测部240、判定部250、显示控制部260。各功能构成通过读出存储于ROM26或存储设备30中的执行程序,并执行该执行程序来实现。

侧后方拍摄部220通过左侧后方相机12和右侧后方相机14以动态图像的方式对车辆50的左右的侧后方进行拍摄,将拍摄到的侧后方图像向检测部240及显示控制部260输出。

后方拍摄部230通过后方相机16以动态图像的方式对车辆50的后方进行拍摄,将拍摄到的后方图像向检测部240及显示控制部260输出。

检测部240对侧后方图像62A、64A和后方图像60A进行解析,检测在侧后方图像62A、64A中的与后方图像60A重叠的侧后方重叠区域62A1、64A1、及后方图像60A中的与侧后方图像62A、64A重叠的左右的后方重叠区域60A1存在的物标。并且,将与检测出的物标有关的信息向判定部250输出。此外,检测部240可以构成为,基于将车辆50的后方作为检测范围的雷达等的检测结果,检测在与侧后方重叠区域62A1、64A1及后方重叠区域60A1对应的区域内存在的物标。

判定部250基于从检测部240输出的与物标有关的信息,判定在侧后方重叠区域62A1、64A1及后方重叠区域60A1存在的物标中,是否包括仅在侧后方重叠区域62A1、64A1及后方重叠区域60A1的任一方中识别出的特定物标。该判定部250例如对侧后方图像62A、64A和后方图像60A进行解析,通过将在侧后方图像62A、64A中检测出的物标与在后方图像60A中检测出的物标进行对比来进行判定。

显示控制部260具有生成对从侧后方拍摄部220及后方拍摄部230输出的侧后方图像62A、64A和后方图像60A实施合成处理而得到的图像,并显示于电子镜显示器18的功能。另外,该合成处理的例程中,包括作为子例程的重叠处理(参照图6),即,在检测出向车辆50的侧后方接近的侧后方接近车辆52(参照图7)或向车辆50的后方接近的后方接近车辆54(参照图8)的情况下,在侧后方图像及后方图像中重叠地显示特定物标显示像。

(作用及效果)

接着,使用图4及图5对第1实施方式的作用、和电子镜ECU22使电子镜显示器18显示利用左右的侧后方相机12、14拍摄到的侧后方图像和利用后方相机16拍摄到的后方图像的合成处理进行说明。以下对该合成处理进行具体说明:电子镜ECU22提取由左侧后方相机12及右侧后方相机14拍摄到的假想投影面66上的侧后方图像62A、64A。

在下一步骤中,电子镜ECU22提取与从由后方相机16拍摄到的假想投影面66上的后方图像60A中删除了左右的后方重叠区域60A1后的提取区域60A2相当的图像。

在下一步骤中,电子镜ECU22将侧后方图像62A合成到提取区域60A2的左侧,将侧后方图像64A合成到提取区域60A2的右侧而生成单个图像。

在下一步骤中,电子镜ECU22使电子镜显示器18显示被合成为单个图像的侧后方图像62A、64A及提取区域60A2。将通过上述合成处理而显示于电子镜显示器18的图像的一例示于图5。

如图5所示,显示于电子镜显示器18的图像,通过在假想投影面66上从后方图像60A删除左右的后方重叠区域60A1而生成提取区域60A2的图像,将侧后方图像和后方图像合成处理成单个图像来生成。由此,显示于电子镜显示器18的侧后方图像和后方图像成为顺滑连续的图像,能够使电子镜显示器18显示与观察车辆50的后方的情况相接近的图像。其结果,识别后述的特定物标时的乘员的负担减低,电子镜显示器18的视觉确认性提高。

在下一步骤中,电子镜ECU22判定是否存在向车辆50的侧后方接近的侧后方接近车辆52(参照图7)或向车辆50的后方接近的后方接近车辆54(参照图8)。此外,侧后方接近车辆52及后方接近车辆54例如能够通过对侧后方图像62A、64A及后方图像60A进行解析来进行检测,能够基于侧后方图像62A、64A及后方图像60A所包括的与侧后方接近车辆52或后方接近车辆54对应的图像区域的尺寸是否为预定值以上,判定是否在比较近的距离内存在侧后方接近车辆52、后方接近车辆54。另外,有无侧后方接近车辆52或后方接近车辆54的判定,例如也可以基于将车辆50的后方作为检测范围的雷达等的检测结果来判定。在该情况下,能够更加准确地判定车辆50与侧后方接近车辆52或后方接近车辆54的距离。

在上述判定为否的情况下,即在判定为侧后方接近车辆52和后方接近车辆54均不存在的情况下,返回合成处理步骤的开始,反复进行上述步骤。在此期间,继续进行将侧后方图像和后方图像合成后的单个图像的生成·显示。

另一方面,作为一例,如图7所示,在车辆50的右侧侧后方存在侧后方接近车辆52的情况下,上述步骤的判定为是,执行在上述合成处理中作为子例程而包括的重叠处理(参照图6)。如图7所示,在侧后方接近车辆52正在车辆50的右侧侧后方行驶的情况下,因侧后方接近车辆52而在右侧后方相机14的侧后方图像64A中产生第1盲区70。在该第1盲区70中包括右侧后方相机14的侧后方重叠区域64A1。因此,在右侧后方相机14的侧后方重叠区域64A1中存在二轮车56的情况下,二轮车56被侧后方接近车辆52遮挡而不会出现在电子镜显示器18的侧后方图像中(参照图9)。由此,有可能无法由对电子镜显示器18进行视觉确认的乘员识别出二轮车56的存在,所以,例如,在车辆50想要在侧后方接近车辆52的后方向右侧的车道进行车道变更的情况下,与二轮车56接触的危险性升高。因而,在以后的重叠处理中,如后述那样,生成·显示将与二轮车56对应的特定物标显示像M重叠地显示于侧后方图像而得到的图像。

另外,作为一例,如图8所示,在车辆50的后方存在后方接近车辆54的情况下,上述步骤的判定为是,同样执行重叠处理。如图8所示,在后方接近车辆54正在车辆50的后方行驶的情况下,因后方接近车辆54而在后方相机16的后方图像60A中产生第2盲区72。在该第2盲区72中包括后方相机16的后方重叠区域60A1。因此,在车辆50的右侧的后方重叠区域60A1存在二轮车56的情况下,二轮车56因后方接近车辆54而在电子镜显示器18的后方图像中没有被视觉确认出,在侧后方图像中,存在以由后方接近车辆54遮挡一部分的状态被视觉确认出的情况(参照图10)。由此,可能无法由对电子镜显示器18进行视觉确认的乘员识别出二轮车56的存在,所以,在车辆50想要向右侧的车道进行车道变更的情况下,与二轮车56接触的危险性升高。因而,通过重叠处理,生成·显示在后方图像中重叠地显示与二轮车56对应的特定物标显示像M而得到的图像。

具体地说,如图6所示,在步骤S100中,电子镜ECU22检测在左右的侧后方图像62A、64A的侧后方重叠区域62A1、64A1及后方图像60A的左右的后方重叠区域60A1存在的物标。

在下一步骤S101中,电子镜ECU22判定在侧后方重叠区域62A1、64A1及后方重叠区域60A1中检测出的物标中,是否包括仅在车辆50的左侧的侧后方重叠区域62A1和后方重叠区域60A1的任一方中视觉确认出的特定物标、及仅在车辆50的右侧的侧后方重叠区域64A1和后方重叠区域60A1的任一方中视觉确认出的特定物标。在步骤S101的判定为是的情况下移向步骤S102。另外,在步骤S101的判定为否的情况下结束重叠处理而返回合成处理的步骤。

作为一例,在如上述的图7那样,侧后方接近车辆52正在车辆50的右侧的侧后方行驶的情况下,二轮车56存在于因侧后方接近车辆52而产生的第1盲区70,所以,在右侧后方相机14拍摄到的侧后方图像64A中没有视觉确认出。因此,在步骤S100中,通过侧后方图像64A和后方图像60A的图像识别,没有从与车辆50的右侧后方相机14对应的侧后方重叠区域64A1检测(视觉确认)出物标(二轮车56)的存在,另一方面,从与后方相机16对应的右侧的后方重叠区域60A1检测(视觉确认)出二轮车56作为物标。然后,在下一步骤S101中,在步骤S100中检测出的二轮车56被设为仅在后方重叠区域60A1这一方中视觉确认出的特定物标。因此,在步骤S101中,电子镜ECU22判定为在步骤S100中检测出的物标(在图7的例子中仅为二轮车56)中包括特定物标(二轮车56)。

另外,在如图8那样,后方接近车辆54正在车辆50的后方行驶的情况下,二轮车56存在于因后方接近车辆54而产生的第2盲区72,所以在后方相机16的后方图像60A中没有视觉确认出。因此,在步骤S100中,通过与右侧后方相机14对应的侧后方图像64A和后方图像60A的图像识别,从侧后方重叠区域64A1检测(视觉确认)出物标(二轮车56)的存在,另一方面,没有从后方重叠区域60A1检测(视觉确认)出物标的存在。然后,在下一步骤S101中,在步骤S100中检测出的二轮车56被设为仅在侧后方重叠区域64A1这一方中视觉确认出的特定物标。因此,在步骤S101中,电子镜ECU22判定为在步骤S100中检测出的物标(在图9的例子中仅为二轮车56)中包括特定物标(二轮车56)。

在步骤S102中,电子镜ECU22判定特定物标是否正在向车辆50接近。步骤S102的判定,可以通过判定是否在识别出特定物标的侧后方图像62A、64A或后方图像60A中存在与特定物标(在图7、图8中为二轮车56)相当的区域、且该区域的尺寸伴随于时间经过而变大来实现。此外,也可以基于将包括车辆50的侧后方的范围作为检测范围的雷达等的检测结果来判定。

若步骤S102的判定为是,则移向步骤S103。另外,在步骤S102的判定为否的情况下,结束重叠处理而返回合成处理的步骤。在步骤S103中,电子镜ECU22在没有视觉确认出特定物标的侧后方图像或后方图像中重叠与特定物标对应的特定物标显示像,并显示于电子镜显示器18。

作为一例,在图7所示的状况下,电子镜ECU22,生成针对没有视觉确认出作为特定物标的二轮车56的右侧后方相机14所对应的侧后方图像64A,重叠地显示与在右侧的后方重叠区域60A1中视觉确认出的二轮车56对应的特定物标显示像M而得到的图像。然后,如图9所示,电子镜ECU22将生成的侧后方图像显示于电子镜显示器18。特定物标显示像M例如作为包围特定物标(二轮车56)的框线而显示。

特定物标显示像M重叠地显示于在侧后方图像64A中出现的侧后方接近车辆52。由此,对电子镜显示器18进行视觉确认的乘员能够识别出在侧后方接近车辆52的后方侧存在二轮车56的情况。

另一方面,在图8所示的状况的情况下,电子镜ECU22,生成针对没有视觉确认出作为特定物标的二轮车56的后方相机16所对应的后方图像60A,重叠地显示与在右侧的侧后方相机14的侧后方重叠区域64A1中视觉确认出的二轮车56对应的特定物标显示像M而得到的图像。然后,如图10所示,电子镜ECU22将生成的后方图像显示于电子镜显示器18。

特定物标显示像M重叠地显示于在后方处理图像中出现的后方接近车辆54。由此,对电子镜显示器18进行视觉确认的乘员能够识别出向后方接近车辆54的侧后方接近的二轮车56的存在。

此外,特定物标显示像M也可以是预定的图标。另外,也可以构成为,使所显示的特定物标显示像闪烁,随着特定物标与车辆50的距离接近而闪烁的次数增加。另外,也可以如图11所示的一例那样,提取与在侧后方图像62A、64A或后方图像60A中识别出的特定物标(二轮车56)对应的部分的图像来作为特定物标显示像M。另外,构成该特定物标显示像M的图像,也可以以视觉确认性比电子镜显示器18所显示的其他图像的视觉确认性低的方式作为透视的图像而生成。

〔第2实施方式〕

以下,使用图12~图15,对本发明中的第2实施方式进行说明。此外,关于与前述的第1实施方式相同的构成部分,标注同一编号并省略其说明。该第2实施方式的车载系统80的基本构成与第1实施方式是同样的,其特征在于“利用左侧后方相机12、右侧后方相机14、后方相机16拍摄到的侧后方图像及后方图像单独显示于多个显示部”这一点(参照图14)。

(硬件构成)

即,车载系统80具备由电子镜ECU92、左侧后方相机12、右侧后方相机14、后方相机16、电子镜显示器94及相机收纳ACT20构成的电子镜装置90。另外,作为显示部的电子镜显示器94具备左显示器94A、右显示器94B及中央显示器94C。左显示器94A显示利用左侧后方相机12拍摄到的图像。右显示器94B显示利用右侧后方相机14拍摄到的图像。中央显示器94C显示利用后方相机16拍摄到的图像。

(功能构成)

图13是示出电子镜ECU92的功能构成的框图。显示控制部960提取图4所示的假想投影面66上的左右的侧后方图像62A、64A,分别显示于左显示器94A及右显示器94B。也就是说,显示控制部960将包括侧后方重叠区域62A1、64A1的侧后方图像62A、64A作为侧后方图像显示于电子镜显示器94。

另外,显示控制部960提取图4所示的假想投影面66上的后方图像60A,显示于中央显示器94C。也就是说,显示控制部960将包括后方重叠区域60A1的后方图像60A作为后方图像显示于电子镜显示器94。

另外,显示控制部960与上述第1实施方式的显示控制部260同样地,执行图6所示的重叠处理。此外,侧后方拍摄部920、后方拍摄部930、检测部940、判定部950是与第1实施方式的侧后方拍摄部220、后方拍摄部230、检测部240、判定部250同样的功能,所以省略说明。

(作用及效果)

上述构成的电子镜装置90,除了侧后方处理图像和后方图像单独显示这一点以外,与第1实施方式的电子镜装置10同样地构成,所以能够得到与第1实施方式同样的效果。

另外,如图14所示,车室内的乘员能够观察假想投影面66上的包括左右的侧后方重叠区域62A1、64A1的侧后方图像62A、64A和假想投影面66上的包括左右的后方重叠区域60A1的后方图像60A。因而,观察电子镜显示器94的乘员能够大范围地识别车辆后方的周边状况。此外,作为一例,图14的示意图是在图7所示的状况下,显示于电子镜显示器94的侧后方图像和后方图像。

另外,在本实施方式中,在由左显示器94A、右显示器94B及中央显示器94C构成的电子镜显示器94,显示特定物标(二轮车56)和与之对应的特定物标显示像M双方。因而,通过在多个显示器视觉确认特定物标的图像和特定物标显示像M,能够明确地识别特定物标的位置。其结果,电子镜显示器94的视觉确认性提高。

此外,在如本实施方式那样,在电子镜显示器94显示特定物标(二轮车56)和与之对应的特定物标显示像M双方的情况下,也可以如图15所示的一例那样,在特定物标(二轮车56)的图像重叠地显示与特定物标显示像M同样的显示像。由此,即便在特定物标和特定物标显示像分别显示于不同的显示器的情况下,乘员也能够通过观察同样的显示而迅速识别出是与同一物标有关的信息。

在上述第1实施方式中构成为,假想投影面66上的左侧后方相机12的侧后方图像62A和右侧后方相机14的侧后方图像64A作为本发明的侧后方图像显示于电子镜显示器18,从后方相机16的后方图像60A中删除了左右的后方重叠区域60A1后的提取区域60A2作为本发明的后方图像显示于电子镜显示器18。但是,本发明不限于此,也可以构成为,将从侧后方图像62A、64A中删除侧后方重叠区域62A1、64A1而提取出的图像作为本发明的侧后方图像显示于电子镜显示器18,将假想投影面66上的后方图像60A作为本发明的后方图像显示于电子镜显示器18。

28页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种半挂汽车列车后视镜自动调节系统和方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类