阅读说明：本技术 驾驶辅助系统和驾驶辅助方法 (Driving assistance system and driving assistance method ) 是由 唐帅 孙铎 于 2018-07-03 设计创作，主要内容包括：本发明涉及驾驶辅助系统和驾驶辅助方法。该驾驶辅助系统包括图像接收装置,其配置为接收所述车辆的驾驶员的眼部图像；眼部参数提取装置,其配置为根据所述眼部图像来提取所述驾驶员的眼部参数；眼部动作确定装置,其配置为根据所述眼部参数来确定所述驾驶员的眼部动作；以及眼部模拟控制装置,其配置为控制所述车辆的眼部模拟装置,使得所述眼部模拟装置模拟所述驾驶员的眼部动作。根据本发明的驾驶辅助系统和驾驶辅助方法能够直接地且直观地向外部目标模拟乘坐在车厢内部的驾驶员的真实眼部动作。(The invention relates to a driving assistance system and a driving assistance method. The driving assistance system includes an image receiving device configured to receive an eye image of a driver of the vehicle; an eye parameter extraction device configured to extract an eye parameter of the driver from the eye image; an eye motion determination device configured to determine an eye motion of the driver from the eye parameter; and an eye simulation control device configured to control the eye simulation device of the vehicle such that the eye simulation device simulates the eye movement of the driver. The driving assistance system and the driving assistance method according to the present invention can directly and intuitively simulate the real eye movements of the driver seated in the vehicle compartment to the external target.)

驾驶辅助系统和驾驶辅助方法

技术领域

本发明涉及车辆的辅助技术领域。更具体地，本发明涉及用于车辆的驾驶辅助系统和驾驶辅助方法。

背景技术

已知驾驶员的眼部动作往往反映驾驶员的驾驶意图、精神状态(例如是否疲劳等)和关注点等。但是，在车辆行驶过程中，车辆外部的交通参与者(例如行人或其他车辆的驾驶员等)可能会因与车辆之间的距离太远或驾驶员的面部甚至头部被车体或玻璃贴膜遮挡而看不见驾驶员的眼部动作，由此可能导致交通参与者与驾驶员之间缺乏目光交流而存在行车安全隐患。

因此，要想使车辆外部的目标了解驾驶员的驾驶状态，需要提供一种能够清楚地反映驾驶员的眼部动作的驾驶辅助系统。

发明内容

本发明的一个目的在于提供能够检测车辆的驾驶员的眼部动作的驾驶辅助系统和驾驶辅助方法。本发明的另一个目的在于提供能够经由车辆的显示装置或照明装置来模拟驾驶员的真实眼部动作的驾驶辅助系统和驾驶辅助方法。

本发明的一个方面提供了一种用于车辆的驾驶辅助系统，包括图像接收装置，其配置为接收所述车辆的驾驶员的眼部图像；眼部参数提取装置，其配置为根据所述眼部图像来提取所述驾驶员的眼部参数；眼部动作确定装置，其配置为根据所述眼部参数来确定所述驾驶员的眼部动作；以及眼部模拟控制装置，其配置为控制所述车辆的眼部模拟装置，使得所述眼部模拟装置模拟所述驾驶员的眼部动作。

根据本发明的实施例，所述眼部参数包括以下各种参数中的至少一项：眼眶轮廓、瞳孔轮廓、眼眶位置、瞳孔位置、眼睑位置、眼眶位置的变化、瞳孔位置的变化、眼睑位置的变化。

根据本发明的实施例，所述眼部动作包括以下各项动作中的至少一项：眨眼动作、闭眼动作、扫视动作以及注视动作。

根据本发明的实施例，所述眼部动作确定装置配置为根据预置模型来确定所述驾驶员的眼部动作。

根据本发明的实施例，所述驾驶辅助系统还包括触发装置，其配置为在检测到以下触发条件中的至少一项时允许所述图像接收装置、所述眼部参数提取装置、所述眼部动作确定装置和所述眼部模拟控制装置中的至少一项开始工作：所述车辆的车速大于预定车速；和所述车辆周边的预定距离内存在外部目标。

根据本发明的实施例，所述眼部模拟装置是安装在所述车辆外部的显示装置。

根据本发明的实施例，所述眼部模拟装置是安装在所述车辆外部的照明装置，所述照明装置由M×N个光电二极管阵列形成。

本发明的另一个方面提供了一种车辆，包括上述驾驶辅助系统。

本发明的又一个方面提供了一种用于车辆的驾驶辅助方法，包括以下步骤：接收所述车辆的驾驶员的眼部图像；根据所述眼部图像来提取所述驾驶员的眼部参数；根据所述眼部参数来确定所述驾驶员的眼部动作；以及控制所述车辆的眼部模拟装置，使得所述眼部模拟装置模拟所述驾驶员的眼部动作。

根据本发明的实施例，所述眼部参数包括以下各种参数中的至少一项：眼眶轮廓、瞳孔轮廓、眼眶位置、瞳孔位置、眼睑位置、眼眶位置的变化、瞳孔位置的变化、眼睑位置的变化。

根据本发明的实施例，所述眼部动作包括以下各项动作中的至少一项：眨眼动作、闭眼动作、扫视动作以及注视动作。

根据本发明的实施例，确定所述眼部动作的步骤包括根据预置模型来确定所述驾驶员的眼部动作。

根据本发明的实施例，所述驾驶辅助方法还包括对以下各项条件进行检测：所述车辆的车速是否大于预定车速；和所述车辆周边的预定距离内是否存在外部目标。

根据本发明的实施例，所述眼部模拟装置是安装在所述车辆外部的显示装置。

根据本发明的实施例，所述眼部模拟装置是安装在所述车辆外部的照明装置，所述照明装置由M×N个光电二极管阵列形成。

因此，与现有技术相比，根据本发明的驾驶辅助系统和驾驶辅助方法能够经由车辆的显示装置或照明装置直接地且直观地向外部目标模拟乘坐在车厢内部的驾驶员的真实眼部动作。

附图说明

从下面结合附图对本发明的

具体实施方式

的描述中可以更好地理解本发明，其中，相似的标号指示相同或功能类似的组件。

图1示出了根据本发明的实施例的驾驶辅助系统的示意性视图。

图2示出了根据本发明的实施例的眼部模拟装置的应用场景。

图3示出了根据本发明的实施例的驾驶辅助方法的流程框图。

具体实施方式

下文中，参照附图描述本发明的实施例。下面的详细描述和附图用于示例性地说明本发明的原理，本发明不限于所描述的优选实施例，本发明的范围由权利要求书限定。现参考示例性的实施方式详细描述本发明，一些实施例图示在附图中。以下描述参考附图进行，除非另有表示，否则在不同附图中的相同附图标记代表相同或类似的组件。以下示例性实施方式中描述的方案不代表本发明的所有方案。相反，这些方案仅是所附权利要求中涉及的本发明的各个方面的系统和方法的示例。

根据本发明的实施例的驾驶辅助系统可以安装在车辆上或应用于车辆。车辆可以是以内燃机为驱动源的内燃机汽车、以电动机为驱动源的电动汽车或燃料电池汽车、以上述两者为驱动源的混合动力汽车、或具有其他驱动源的汽车。

图1是根据本发明的实施例的驾驶辅助系统的示意图。如图1所示，车辆10包括驾驶辅助系统100。驾驶辅助系统100可以与车辆10的其他部件彼此连接和/或通信。例如，驾驶辅助系统100可以经由控制器局域网(CAN)总线或

网络连接到车辆10的摄像装置200、显示装置300和照明装置400等。为了简明起见，车辆10中公知的动力和操纵装置、传动系统等部件未在图1中示出。

继续参考图1，驾驶辅助系统100可以包括图像接收装置110、眼部参数提取装置120、眼部动作确定装置130和眼部模拟控制装置140。根据本发明的其他实施例，驾驶辅助系统100可选地包括触发装置150。这些装置可以彼此有线或无线通信。这些装置可以由硬件电路实现，也可以由软件模块实现，还可以通过硬件和软件的组合来实现。

图像接收装置110可以接收车辆10的驾驶员的眼部图像。在示例性实施例中，图像接收装置110可以从车辆10的摄像装置200接收驾驶员的眼部图像。摄像装置200包括一个或多个车内摄像头。车内摄像头可以是RGB摄像头，或者可以能够在低光照下捕获图像的红外摄像头等。车内摄像头被设置成安装在车辆10的车厢内部，以捕获驾驶员的眼部图像。车内摄像头可以安装在车辆10的车厢内部的适合位置处，例如前挡风玻璃的上部中央、前挡风玻璃的四个角部的任一者或全部处、方向盘或仪表盘处等。在一些实施例中，车内摄像头可以被设置成可调节的，例如，车内摄像头可以设置成能够相对于车辆10的车体(例如，前挡风玻璃、方向盘或仪表盘)旋转或平移，以避免因遮挡而不能捕获合适视角和/或视场的眼部图像。眼部图像可以包括静态图像、动态图像和立体图像中的任意一者。

眼部参数提取装置120可以根据图像接收装置110接收的驾驶员的眼部图像来提取驾驶员的眼部参数。在本文中，“眼部参数”表示与车辆10的驾驶员的眼睛特征有关的参数。眼部特征包括眼眶、眼睑和瞳孔，眼睑包括上眼睑和下眼睑。眼部参数包括但不限于以下参数：眼睛特征轮廓(包括眼眶轮廓和瞳孔轮廓等)、眼睛特征位置(包括眼眶位置、瞳孔位置和眼睑位置等)、眼睛特征位置的变化(眼眶位置的变化、瞳孔位置的变化和眼睑位置的变化等)。这里，术语“眼睛特征位置”不但包括眼睛特征本身相对于驾驶员的眼睛中心的绝对位置，而且包括任意两个眼睛特征之间的相对位置。

根据本发明的实施例，首先，眼部参数提取装置120可以通过分析眼部图像的光影变化来确定驾驶员的眼部特征。光影变化例如是眼部图像的不同区域之间的亮度变化。由于眼部图像的不同区域的亮度分布不同，因此眼部参数提取装置120可以据此来确定各个眼部特征。随后，眼部参数提取装置120可以通过直接对所确定的眼部特征进行检测来得到眼部特征的一部分相关参数，例如，眼眶轮廓、瞳孔轮廓、眼眶位置、瞳孔位置、上眼睑位置、下眼睑位置。眼眶轮廓可以通过勾勒眼眶的边界来得到。瞳孔轮廓可以通过勾勒瞳孔的边界来得到。眼眶位置是指构成眼眶的边界的全部点的位置的集合。但是，应理解，眼眶位置也可以指眼眶的中心点的位置。眼眶的中心点是在检测到眼眶轮廓后通过计算两个眼角之间的距离的一半而得到的。瞳孔位置是指瞳孔的中心点的位置。瞳孔的中心点是在检测到瞳孔轮廓后通过计算瞳孔直径的一半而得到的。上眼睑位置是指上眼睑的最高点的位置。但是，应理解，上眼睑位置也可以是上眼睑的若干个特征点的位置的集合。下眼睑位置是指下眼睑的最低点的位置。类似地，下眼睑位置也可以是下眼睑的若干个特征点的位置的集合。在得到各个眼部特征的自身参数后，眼部参数提取装置120可以进一步通过对直接测量得到的这部分眼部参数进行计算来得到眼部特征之间的相对参数，由此得到眼部特征的一部分相关参数。例如，在得到瞳孔的中心点的位置和眼眶的中心点的位置之后，眼部参数提取装置120可以计算瞳孔的中心点与眼眶的中心点之间的相对距离，由此得到瞳孔与眼眶的相对位置。

上文描述了眼部参数提取装置120对眼部图像中的一张图像帧进行分析来获得一部分眼部参数。但是，根据本发明的其他实施例，眼部参数提取装置120也可以通过对眼部图像中的动态图像或静态图像中的多个连续图像帧进行分析来提取眼部特征的位置变化。例如，眼部参数提取装置120可以从眼部图像中抽取在预定时间周期内捕获的多张连续静态图像帧，并且通过依次检测某一眼部特征在这些连续静态图像帧中的位置，来得到该眼部特征在预定时间周期内的位置变化。例如，预定时间周期可以是2s。类似地，眼部参数提取装置120也可以通过依次检测在预定时间周期内所捕获的多张连续静态图像帧来获得眼部特征的相对位置变化，例如上眼睑与下眼睑的相对位置变化、瞳孔与眼眶的相对位置变化等等。

眼部动作确定装置130可以根据眼部参数提取装置120所提取的眼部参数来确定驾驶员的眼部动作。在本文中，“眼部动作”表示与车辆10的驾驶员的眼睛相关的动作，包括但不限于眨眼动作、闭眼动作、扫视动作、以及注视动作。

根据本发明的实施例，眼部动作确定装置130可以根据预置模型来确定驾驶员的眼部动作。眼部动作确定装置130可以预先存储或从外部装置获取一个或多个预置模型。在一些实施例中，眼部动作确定装置130可以：预先确定一个或多个动作类别(例如眨眼动作、闭眼动作、扫视动作和注视动作等)；针对每个动作类别，选择若干识别特征(例如眼部特征轮廓、眼部特征位置、眼部特征位置变化、持续时间等)并且以预定规则建立模型；然后将眼部参数提取装置120获得的眼部参数输入相应模型，判断驾驶员的当前眼部动作是否属于预定动作类别。

在一个示例中，眼部动作确定装置130可以在检测到眼眶轮廓、眼眶位置、瞳孔位置和眼睑位置在上述的预定时间周期内均没有发生变化时，判断驾驶员的当前眼部动作为注视动作。在另一个示例中，眼部动作确定装置130可以在检测到眼眶轮廓和眼眶位置发生了变化并且上、下眼睑的相对位置在上述的预定时间周期内从最大值变为0以及接着从0变为最大值时，判断驾驶员的当前眼部动作为眨眼动作。在又一个示例中，眼部动作确定装置130可以在检测到眼眶轮廓和眼眶位置没有发生变化并且上、下眼睑的相对位置在上述预定时间周期内一直为0时，判断驾驶员的当前眼部动作为闭眼动作。在另一个示例中，眼部动作确定装置130可以在检测到眼眶轮廓、眼眶位置眼睑位置在上述的预定时间周期内没有发生变化但是瞳孔位置发生改变时，判断驾驶员的当前眼部动作为扫视动作。

眼部模拟控制装置140可以控制车辆10的眼部模拟装置，使得眼部模拟装置模拟眼部动作确定装置130所确定的驾驶员的眼部动作。具体而言，在眼部动作确定装置130确定了驾驶员的当前眼部动作后，眼部模拟控制装置140可以通过改变眼部模拟装置的显示状态或呈现状态，以使其模拟驾驶员的当前眼部动作。

在一个实施例中，眼部模拟装置可以是安装在车辆10外部的显示装置300。显示装置300可以安装在车辆10的顶部、前部、侧部或后部的任何位置处。在一些实施例中，显示装置300可以安装在车辆10的前挡风玻璃下部、车门或车窗处。显示装置300可以是LCD显示屏、LED显示屏、OLED显示屏中的任一项。在示例性实施例中，显示装置300可以是安装在车辆10的顶部的平面显示屏，并且该平面显示屏可以设置成相对于车辆10的车体旋转以使显示装置300的前面正对外部目标，使得外部目标可以获得最佳的观看角度。此外，显示装置300也可以设置成使得相对于车辆10周围任何角度处的外部目标均可见的曲面显示屏。显示装置300可以呈现出与驾驶员的真实眼睛类似的虚拟眼睛，以模仿驾驶员的真实眼部动作。例如，在眼部动作确定装置130判断驾驶员的当前眼部动作为注视动作时，眼部模拟控制装置140可以根据眼部参数提取装置120所提取的眼部参数(例如眼眶轮廓和瞳孔位置等)来控制显示装置300，使得显示装置300显示出与这些眼部参数对应的虚拟眼部动作，以保证驾驶员的真实注视视线与显示装置300的虚拟注视视线一致。图2示出了安装在车辆10的前车窗外部显示装置300正在模拟驾驶员正在朝向左方注视的注视动作。

在此，应注意，虚拟注视视线的方位还应该考虑显示装置300的安装参数，这是本领域技术人员所公知的，在此不再赘述。

在另一个实施例中，眼部模拟装置可以是安装在车辆10外部的照明装置400。照明装置400可以安装在车辆10的顶部、前部、侧部或后部的任何位置处。在一些实施例中，照明装置400可以安装在车辆10的前、后保险杠上部。照明装置400可以由M×N个光电二极管阵列形成。M可以等于或不等于N。由此，眼部模拟控制装置140可以通过控制M行×N列个光电二极管的开启/闭合来使照明装置400显示出与驾驶员的真实眼部动作相应的虚拟眼部动作。

上文描述了眼部模拟控制装置140控制作为眼部模拟装置的显示装置300和照明装置400来模拟驾驶员的真实眼部动作。但是，本领域技术人员应理解，在模拟驾驶员的眼部动作的过程中，眼部模拟控制装置140还可以根据上述眼部参数来控制眼部模拟装置模拟驾驶员的眼部形状。

由此，根据本发明的实施例的驾驶辅助系统能够确定乘坐在车辆的车厢内部的驾驶员的真实眼部动作，并且能够经由车辆外部的显示装置或照明装置直接地且直观地向外部目标模拟驾驶员的真实眼部动作。

根据本发明的其他实施例，车辆10的驾驶员可以通过触发装置150来选择性地启动驾驶辅助系统100。具体而言，触发装置150可以在满足触发条件时允许图像接收装置110、眼部参数提取装置120、眼部动作确定装置130和眼部模拟控制装置140中的至少一项开始工作。

在一些实施例中，触发条件可以是车辆10的车速大于预定车速，这例如可以通过车辆10的车速传感器来得到。预定车速可以例如是0。因此，根据本发明的驾驶辅助系统100在车辆行驶期间执行对驾驶员的眼部动作的模拟，但是在车辆制动期间，停止对驾驶员的眼部动作的模拟，以减少驾驶资源的浪费。

在又一些实施例中，触发条件可以是车辆周边的预定距离内存在外部目标，这例如可以通过车辆10的红外线传感器或超声波传感器来得到。外部目标可以是行人、骑自行车的人、骑摩托车的人以及其他车辆的驾驶员。预定距离可以是15m。但是，应理解，预定距离不应该设置得很大，以避免以下这种情况：虽然车辆10模拟了驾驶员的眼部动作，但是外部目标因距离太大看不清楚模拟的眼部动作。因此，根据本发明的驾驶辅助系统100在车辆周边存在外部目标时执行对驾驶员的眼部动作的模拟，但是在车辆周边不存在外部目标时，停止对驾驶员的眼部动作的模拟，以减少驾驶资源的浪费。

作为替换性实施例，触发条件还可以包括手动触发，这例如可以通过检测车辆的驾驶员通过按钮、触摸、语音等输入的触发指令来得到。例如，可以在车辆10的仪表板或其他可操作的位置处提供操作接口，以使车辆的驾驶员能够在车辆行驶过程中选择是否手动输入触发指令。

下面将参考附图描述根据本发明的实施例的驾驶辅助方法。图3是示出根据本发明的实施例的驾驶辅助方法30的流程图。驾驶辅助方法30由上述的驾驶辅助系统100来执行。

如图3所示，在步骤32中，检测车辆10的车速以及车辆10周边预定距离内的外部目标。如上所述，外部目标可以是行人、骑自行车的人、骑摩托车的人以及其他车辆的驾驶员。仅当检测出车辆10的车速大于预定车速以及/或者车辆周边的预定距离内存在外部目标时，方法30前行到步骤S34。

在步骤S34中，接收车辆10的驾驶员的眼部图像。根据本发明的实施例，驾驶员的眼部图像可以从车辆10的摄像装置200获取。眼部图像可以包括眼部的静态图像、动态图像和立体图像中的任意一者。接着，方法前行到步骤S36。

在步骤S36中，根据在步骤S34中接收的眼部图像来提取驾驶员的眼部参数。在本文中，“眼部参数”表示与车辆10的驾驶员的眼睛特征有关的参数。根据本发明的实施例，可以通过分析眼部图像的光影变化来确定驾驶员的眼部特征，接着可以通过直接对所确定的眼部特征进行检测来得到眼部特征的绝对参数。此外，还可以通过对直接测量得到的这部分绝对眼部参数进行进一步计算来得到眼部特征之间的相对参数。根据本发明的其他实施例，也可以通过对眼部图像中的动态图像或静态图像中的多个连续图像帧进行分析来提取眼部特征的位置变化。有关眼部特征的眼部参数提取的具体描述参见上文，在此不再赘述。接着，方法前行到步骤S38。

在步骤S38中，根据在步骤S36中提取的眼部参数来确定驾驶员的眼部动作。在本文中，“眼部动作”表示与车辆10的驾驶员的眼睛相关的动作，包括但不限于眨眼动作、闭眼动作、扫视动作、以及注视动作。根据本发明的实施例，可以根据预置模型来确定驾驶员的眼部动作。具体而言，可以预先确定一个或多个动作类别(例如眨眼动作、闭眼动作、扫视动作和注视动作等)；针对每个动作类别，选择若干识别特征(例如眼部特征位置、眼部特征位置变化、持续时间等)并且以预定规则建立模型；然后将在步骤S36中获得的眼部参数输入相应模型，判断驾驶员的当前眼部动作是否属于预定动作类别。有关眼部动作判断的具体描述参见上文，在此不再赘述。接着，方法前行到步骤S40。

在步骤S40中，控制车辆的眼部模拟装置，使其模拟在步骤S38中所确定的驾驶员的眼部动作。根据本发明的实施例，可以通过改变眼部模拟装置的显示状态或呈现状态，以模拟驾驶员的当前眼部动作。眼部模拟装置可以是安装在车辆10外部的显示装置300或照明装置400。有关显示装置或照明装置的具体描述参见上文，在此不再赘述。

由此，根据本发明的实施例的驾驶辅助方法能够确定乘坐在车辆的车厢内部的驾驶员的真实眼部动作，并且能够经由车辆外部的显示装置或照明装置直接地且直观地向外部目标模拟驾驶员的真实眼部动作。

尽管已经参考示例性实施例描述了本发明，但是应理解，本发明并不限于上述实施例的构造和方法。相反，本发明意在覆盖各种修改例和等同配置。另外，尽管在各种示例性结合体和构造中示出了所公开发明的各种组件和方法步骤，但是包括更多、更少的组件或方法的其它组合也落在本发明的范围之内。