基于车载视觉检测的自动预警交互系统及方法

文档序号:180977 发布日期:2021-11-02 浏览:57次 >En<

阅读说明:本技术 基于车载视觉检测的自动预警交互系统及方法 (Automatic early warning interaction system and method based on vehicle-mounted vision detection ) 是由 龚锐 陈岚 段吉 于 2021-08-06 设计创作,主要内容包括:本发明提供了一种基于车载视觉检测的自动预警交互系统及方法,该系统包括:车辆状态获取模块,用于实时获取车辆状态;图像采集模块,包括设于车辆头部正前方、车辆头部两侧及车辆尾部正后方的环境监测摄像装置,用于实时获取对应所述车辆状态的车辆周边环境信息;控制模块,用于接收所述图像采集模块获取的周边环境信息,对所述周边环境信息进行处理及判断,确认达到预设报警触发条件时发出报警控制指令;预警模块,与所述控制模块连接,当所述预警模块接收到所述报警控制指令时,启动预警。本发明仅通过车身安装镜头就能实时监测车辆周边环境,针对潜在行人和车辆碰撞危险及时发出预警。(The invention provides an automatic early warning interaction system and method based on vehicle-mounted vision detection, wherein the system comprises the following components: the vehicle state acquisition module is used for acquiring the vehicle state in real time; the image acquisition module comprises environment monitoring camera devices which are arranged right in front of the head of the vehicle, two sides of the head of the vehicle and right behind the tail of the vehicle and is used for acquiring the surrounding environment information of the vehicle corresponding to the state of the vehicle in real time; the control module is used for receiving the peripheral environment information acquired by the image acquisition module, processing and judging the peripheral environment information, and sending an alarm control instruction when a preset alarm triggering condition is confirmed to be met; and the early warning module is connected with the control module and starts early warning when the early warning module receives the alarm control instruction. The invention can monitor the surrounding environment of the vehicle in real time only by installing the lens on the vehicle body, and timely sends out early warning aiming at the collision danger of the potential people and the vehicle.)

基于车载视觉检测的自动预警交互系统及方法

技术领域

本公开涉及车载环视系统技术领域,尤其涉及一种基于车载视觉检测的自动预警交互系统及方法。

背景技术

针对车载360°全景/环视预警交互显示,现有以下两种技术方案:第一种无预警提醒,手动切换显示需要观察车身环境的拼接画面;第二种有预警提醒,能自动显示视频画面,需安装雷达,雷达检测障碍物预警加360环视拼接显示画面,才能自动弹出预警方位画面。

第一种无预警提醒,需手动显示视频画面,在驾驶过程中不能有危险时及时提醒司机,仅是多方位显示车身环境画面。

第二种有预警提醒,能自动显示视频画面,需安装雷达。雷达能精准检测安装位纵向障碍物,但横向检测范围有限。车身转角处需安装3个及以上雷达,四处转角需安装12个及以上,才能完整覆盖盲区检测预警,且不能识别障碍物类型。

发明内容

有鉴于此,本公开实施例提供一种基于车载视觉检测的自动预警交互系统及方法,该自动预警交互系统及方法仅通过车身安装镜头就能实时监测车辆周边环境,针对潜在行人和车辆碰撞危险及时发出预警,并且含声音播报与实时预警画面自动弹出交互策略。

为了实现上述目的,本发明提供如下技术方案:

一种基于车载视觉检测的自动预警交互系统,包括:

车辆状态获取模块,用于实时获取车辆状态;

图像采集模块,包括设于车辆头部正前方、车辆头部两侧及车辆尾部正后方的环境监测摄像装置,用于实时获取对应所述车辆状态的车辆周边环境信息;

控制模块,用于接收所述图像采集模块获取的周边环境信息,对所述周边环境信息进行处理及判断,确认达到预设报警触发条件时发出报警控制指令;

预警模块,与所述控制模块连接,当所述预警模块接收到所述报警控制指令时,启动预警。

进一步地,所述车辆状态至少包括停车启动模式、倒车模式、转向模式、行驶模式和行驶模式对应车速。

进一步地,所述图像采集模块还包括,设于车辆驾驶室内的驾驶员状态监测摄像装置,用于实时获取驾驶员面部信息,并传输至所述控制模块,所述控制模块对所述驾驶员面部信息进行处理及分析,确认符合预设报警类型,并达到当前报警类型对应的预设报警触发条件时,对所述预警模块发出报警控制指令。

进一步地,所述报警类型至少包括闭眼、打哈欠、左顾右盼、打电话、抽烟、低头、遮挡。

进一步地,所述图像采集模块还包括,设于车辆厢体左右两侧的视觉盲区监测摄像装置,用于实时获取车身两侧后方盲区环境信息,并传输至所述控制模块,所述控制模块对所述车身两侧后方盲区环境信息进行处理及判断,确认达到预设报警触发条件时发出报警控制指令。

进一步地,所述预警模块包括显示装置、语音提示装置和灯光提示装置;

所述显示装置对所述图像采集模块采集到的图像信息进行显示,并且在所述预警模块启动预警时,对当前图像信息中的异常情况进行色彩和/或图标的显示提醒;

所述语音提示装置在所述预警模块启动预警时,对预设的当前报警控制指令对应的报警内容进行语音播报;

所述灯光提示装置在所述预警模块启动预警时,对当前报警控制指令对应的报警内容进行灯光提醒。

进一步地,还包括变道辅助预警系统,所述变道辅助预警系统包括设置在车辆右侧后视镜下方的至少一个监测雷达和变道辅助预警灯,所述监测雷达和所述变道辅助预警灯均与所述控制模块连接,所述控制模块接收所述监测雷达的监测结果后进行处理及判断,确认达到预设报警触发条件时控制所述变道辅助预警灯进行灯光预警。

本发明还提供一种基于车载视觉检测的自动预警交互方法,包括:

实时获取车辆状态;

获取对应所述车辆状态下车辆前方、后方及左右两侧的车周环境图像,并对所述车周环境图像处理后进行显示;

获取对应所述车辆状态下车辆厢体左右两侧的视觉盲区环境图像,并对所述视觉盲区环境图像处理后进行显示;

实时检测当前所述车辆状态下的所述车周环境图像和所述视觉盲区环境图像中预警区域内的全部对象,识别所述全部对象中的危险对象;

基于所述危险对象的识别结果生成车周预警信息和/或盲区预警信息,启动预警。

进一步地,所述车辆状态至少包括停车启动模式、倒车模式、转向模式、行驶模式和行驶模式对应车速;

在所述车辆状态为停车启动模式时,实时检测当前模式下,车辆前方及左右两侧的所述车周环境图像和所述视觉盲区环境图像中前距离车身和左右侧距离车身的预设距离的预警区域内的全部对象,识别所述全部对象中的危险对象后,启动预警;

在所述车辆状态为倒车模式时,实时检测当前模式下,车辆后方的所述车周环境图像中后距离车身的预设距离的预警区域内的全部对象,识别所述全部对象中的危险对象后,启动预警;

在所述车辆状态为转向模式时,实时检测当前模式下,车辆前方及左右两侧的所述车周环境图像和所述视觉盲区环境图像中前距离车身和左右侧距离车身的预设距离的预警区域内的全部对象,识别所述全部对象中的危险对象后,启动预警;

在所述车辆状态为行驶模式,且当前行驶速度超过预设值时,实时检测当前模式下,车辆前方、后方及左右两侧的所述车周环境图像和所述视觉盲区环境图像中前距离车身、后距离车身和左右侧距离车身的预设距离的预警区域内的全部对象,识别所述全部对象中的危险对象后,启动预警;

所述危险对象至少包括行人、车辆。

进一步地,还包括,

实时获取驾驶员面部图像;

并对所述面部图像处理后识别当前图像信息是否符合预设报警类型;

若是,则判断是否达到当前报警类型对应的预设报警触发条件;

若是,则启动预警;

所述报警类型至少包括闭眼、打哈欠、左顾右盼、打电话、抽烟、低头、遮挡;

所述预设报警触发条件包括,当前报警类型下的状态持续时间。

本发明的基于车载视觉检测的自动预警交互系统及方法,仅通过车身安装镜头就能实时监测车辆周边环境,针对潜在行人和车辆碰撞危险及时发出预警,并且含声音播报与实时预警画面自动弹出交互策略。本发明能够实现AVM环视预警功能、DMS驾驶员状态监测功能、RCW倒车防撞预警功能、BSD厢体视频监控功能,多维度提醒司机,降低事故率。

附图说明

为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。

图1为本发明的自动预警交互系统示意图。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本公开的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。

要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本公开的基本构想,图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。

另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。

如图1所示,本公开实施例提供一种基于车载视觉检测的自动预警交互系统,包括:

车辆状态获取模块10,用于实时获取车辆状态;

所述车辆状态至少包括停车启动模式、倒车模式、转向模式、行驶模式和行驶模式对应车速。

图像采集模块20,包括设于车辆头部正前方、车辆头部两侧及车辆尾部正后方的环境监测摄像装置,用于实时获取对应所述车辆状态的车辆周边环境信息;

所述图像采集模块20还包括,设于车辆驾驶室内的驾驶员状态监测摄像装置,用于实时获取驾驶员面部信息,并传输至控制模块30,所述控制模块30对所述驾驶员面部信息进行处理及分析,确认符合预设报警类型,并达到当前报警类型对应的预设报警触发条件时,对预警模块40发出报警控制指令。

其中,所述报警类型包括闭眼、打哈欠、左顾右盼、打电话、抽烟、低头、遮挡等;所述预设报警触发条件包括,当前报警类型下的状态持续时间。

所述图像采集模块20还包括,设于车辆厢体左右两侧的视觉盲区监测摄像装置,用于实时获取车身两侧后方盲区环境信息,并传输至所述控制模块30,所述控制模块30对所述车身两侧后方盲区环境信息进行处理及判断,确认达到预设报警触发条件时发出报警控制指令。

所述图像采集模块20还包括,设于车辆厢体左右两侧的视觉盲区监测摄像装置,用于实时获取车身两侧后方盲区环境信息,并传输至控制模块30,所述控制模块30对所述车身两侧后方盲区环境信息进行处理及判断,确认达到预设报警触发条件时发出报警控制指令。

控制模块30,用于接收所述图像采集模块20获取的周边环境信息,对所述周边环境信息进行处理及判断,确认达到预设报警触发条件时发出报警控制指令;

其中,控制模块30实时检测当前所述车辆状态下的车周环境图像和视觉盲区环境图像中预警区域内的全部对象,识别全部对象中的危险对象,并基于该危险对象的识别结果生成车周预警信息和/或盲区报警控制指令;

上述危险对象至少包括行人、车辆;

预警模块40,与所述控制模块30连接,当所述预警模块40接收到所述报警控制指令时,启动预警。

其中,所述预警模块40包括显示装置、语音提示装置和灯光提示装置;

所述显示装置对所述图像采集模块采集到的图像信息进行显示,并且在所述预警模块启动预警时,对当前图像信息中的异常情况进行色彩和/或图标的显示提醒;

所述语音提示装置在所述预警模块启动预警时,对预设的当前报警控制指令对应的报警内容进行语音播报;

所述灯光提示装置在所述预警模块启动预警时,对当前报警控制指令对应的报警内容进行灯光提醒。

本公开实施例的自动预警交互系统中还包括变道辅助预警系统,所述变道辅助预警系统包括设置在车辆右侧后视镜下方的至少一个监测雷达和变道辅助预警灯,所述监测雷达和所述变道辅助预警灯均与所述控制模块连接,所述控制模块接收所述监测雷达的监测结果后进行处理及判断,确认达到预设报警触发条件时控制所述变道辅助预警灯进行灯光预警。

本发明实施例中,能够实现AVM环视预警功能、DMS驾驶员状态监测功能、RCW倒车防撞预警功能、BSD厢体视频监控功能,多维度提醒司机,降低事故率。

1、AVM环视预警功能

AVM环视预警功能主要是通过分别安装在车头LOGO下、左后视镜、右后视镜上的3个超广角高清摄像头,实时采集车辆周围的影像,经过图像处理单元(VDCU)对三个摄像头采集到的原始图像进行矫正、拼接、视角变换后,形成一幅从上往下的全景俯视画面,并实时传送到位于车辆中控大屏视频监控APP上显示。

(1)2D、3D多视角、随车画面功能

系统启动时,显示屏显示车辆车身四周全景环视图;

无车速限制,图像清晰、流畅。

进入左右转向时,视图会进行相应切换

(2)“移动物体监测”(MOD)驾驶辅助技术

“移动物体监测”(MOD)驾驶辅助技术,在不需要安装额外传感器的情况下,对270°全景式监控影像系统的功能进行了进一步强化。当车辆从静止状态准备起步,或低速行驶时(<30km/h),系统监测车辆周围是否存在车辆、行人移动物体。当移动物体进入车辆周身预警区域。则中控显示屏上的视频监控APP将在相应的区域进行闪屏警示,同时通车身喇叭语音方式提醒驾驶员,从而提高驾驶安全性。

(3)预警策略

本实施例的预警策略如下表1:

表1:预警策略

(4)检测指标

本实施例的检测指标如下表2:

表2:检测指标

(5)系统输入信号

本实施例系统的总线信号如下表3:

表3:系统总线信号

2、DMS驾驶员状态监测功能

DMS驾驶员状态监测功能是利用图像传感器采集驾驶员的面部信息,通过处理器进行图像的处理与分析,高鲁棒性的疲劳检测算法对驾驶员的疲劳及注意力分散等不安全状态进行实时监控和预警。在车辆行驶过程中,系统可检测到驾驶员的闭眼、打哈欠、抽烟、打电话、低头等危险驾驶行为,并根据指定报警策略进行语音和大屏显示方式进行司机提醒。

(1)预警策略

本实施例的预警策略如下表4:

表4:预警策略

(2)性能指标

本实施例的性能指标如下表5:

表5:性能指标

类型 标准和要求 识别率
闭眼 系统应支持驾驶员闭眼疲劳识别 识别准确率不小于95%
打哈欠 系统应支持驾驶员打哈欠疲劳识别 识别准确率不小于95%
左顾右盼 系统应支持驾驶员左顾右盼分神识别 识别准确率不小于95%
打电话 系统应支持驾驶员打电话识别 识别准确率不小于95%
抽烟 系统应支持驾驶员抽烟识别,需手持烟头 识别准确率不小于95%
低头 系统应支持驾驶员低头分神识别 识别准确率不小于95%
遮挡 系统应支持DMS镜头遮挡识别 识别准确率不小于95%

(3)系统输入信号

本实施例系统的总线信号如下表6:

表6:系统总线信号

3、BSD厢体视频监控功能

由于挂车过长两边后视镜只能看到车身前方两侧,并不能完全看到车身两边后方视线,所以通过厢体左右侧各安装一个安装高清视频监控摄像头监测视觉盲区。

4、RCW倒车防撞预警功能

RCW倒车防撞预警功能是基于倒车后视摄像头实现后方车辆、行人检测及预警,如果两车车距小于安全距离,RCA在工作状态下,后刹车灯提前点亮。提醒后车司机注意,同时本车给后车留出一定的制动距离,以此避免后车追尾。

倒车的时候,如果车后方有车辆、行人时在安全距离外则声光方式提醒驾驶员注意。

(1)预警策略

本实施例的预警策略如下表7:

表7:预警策略

(2)系统输入信号

本实施例系统的总线信号如下表8:

表8:系统总线信号

本发明针对AVM环视预警功能、DMS驾驶员状态监测功能、RCW倒车防撞预警功能、BSD厢体视频监控功能,基于车头左前、前、右前车辆/行人,碰撞提醒、盲区监测功能、基于后视的倒车和防碰撞功能多维度提醒司机。在具体实施方式中,中控大屏HMI设计,遵循:安全性原则、信息优先级原则、完整性原则、认知经验原则、信息可视化原则、个性化原则,用户体验以安全为基础向享受、高效、便捷、情感化、智能化发展。

在驾驶过程中,驾驶员第一注意力是路况与驾驶,为确保驾驶安全,预警信息要足够清晰。通过车辆将主次预警信息与语音结合、恰当的点击热区尺寸、合理的字段长度、有层次的色彩对比方法,帮助驾驶员高效接收预警信息。让驾驶者及时采取有效措施,避免危险发生,为驾驶者保驾护航。

以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。

13页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:特种车辆识别方法、电子设备和计算机可读介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!