具体实施方式

以下，参照附图对本发明的实施方式进行详细说明。此外，在以下的说明中，对同样的构成要素赋予同一标号。

＜第一实施方式＞

以下，参照图1～图6，对本发明的第一实施方式进行说明。图1是概略地表示本发明的第一实施方式涉及的驾驶员监视系统1的构成的框图。驾驶员监视系统1搭载于车辆，监视车辆的驾驶员。驾驶员监视系统1具备拍摄装置10以及电子控制单元(ECU)20。

图2是概略地表示搭载有驾驶员监视系统1的车辆80的内部的图。拍摄装置10拍摄车辆80的驾驶员的面部并生成驾驶员的面部图像。拍摄装置10是所谓的驾驶员监视摄像头(driver monitor camera)。

拍摄装置10设置在车辆80的内部。具体而言，如图2所示，拍摄装置10设置在车辆80的转向柱81的上部。在图2中，用虚线表示了拍摄装置10的投影范围。此外，拍摄装置10也可以设置于车辆80的方向盘82、室内后视镜、仪表面板、仪表罩等。另外，驾驶员监视系统1也可以具备多个拍摄装置10。

拍摄装置10包括摄像头以及投光器(泛光灯)。摄像头由透镜以及拍摄元件构成，例如为CMOS(互补金属氧化物半导体)摄像头或者CCD(电荷耦合器件)摄像头。投光器是LED(发光二极管)，例如是配置在摄像头两侧的两个近红外LED。通过对驾驶员照射近红外光，从而即使在夜间等低照度时，也能够拍摄驾驶员的面部而不会使驾驶员感到不悦。另外，在摄像头的内部设置去除近红外以外的波长成分的光的带通滤波器，在投光器的前面设置去除从近红外LED照射的红色波长成分的光的可见光截止滤波器(visible light cutfilter)。

如图1所示，ECU20包括通信接口21、存储器22以及处理器23，执行车辆80的各种控制。此外，在本实施方式中，设置有一个ECU20，但也可以按功能设置多个ECU。

通信接口21具有用于将ECU20连接于依照CAN(Controller Area Network，控制器域网)等标准的车内网络的接口电路。ECU20经由通信接口21以及车内网络与拍摄装置10这样的车载设备通信。

存储器22例如具有易失性半导体存储器(例如RAM)以及非易失性半导体存储器(例如ROM)。存储器22存储由处理器23执行的程序、和在由处理器23执行各种处理时所使用的各种数据等。存储器22是存储装置的一例。

通信接口21以及存储器22经由信号线与处理器23连接。处理器23具有一个或多个CPU(Central Processing Unit，中央处理单元)及其外围电路，执行各种处理。此外，处理器23也可以还具有逻辑运算单元或者数值运算单元这样的运算电路。

例如，拍摄装置10在车辆80的点火开关接通(ON)时以预定间隔反复拍摄驾驶员的面部并生成驾驶员的面部图像。由拍摄装置10生成的驾驶员的面部图像经由车内网络从拍摄装置10发送到ECU20。

图3是概略地表示搭载有驾驶员监视系统1的车辆80的背部的图。如图3所示，车辆80设置有物体检测装置83以及指示器84。

物体检测装置83检测车辆80周围的物体。物体检测装置83例如是雷达传感器。雷达传感器向车辆80周围发射电波(例如毫米波)，并接收电波的反射波。由此，雷达传感器检测车辆80周围有无物体以及从车辆80到物体的距离。在本实施方式中，物体检测装置83设置在车辆的后部(例如后保险杠)，检测存在于车辆80的后部侧方区域内的其他车辆。

指示器84例如是LED，在本实施方式中，其内置于左右的车门后视镜85以使得由驾驶员视认。指示器84是显示灯，根据物体检测装置83的输出而点亮。具体而言，指示器84在由物体检测装置83检测到其他车辆时点亮。在检测到行驶于车辆80右侧的车道的其他车辆时，右侧的指示器84点亮，在检测到行驶于车辆80左侧的车道的其他车辆时，左侧的指示器84点亮。

即，指示器84作为所谓的盲点监视器发挥功能，表示在车辆80的后部侧方区域内存在有其他车辆这一情况。由此，驾驶员能够容易地识别存在于车辆80的后部侧方区域的其他车辆、尤其是存在于车门后视镜85的死角内的其他车辆。指示器84的输出、即指示器84的点亮状态经由车内网络发送给ECU20。

图4是ECU20的处理器23的功能框图。在本实施方式中，处理器23具有视点检测部24以及侧视判定部25。视点检测部24以及侧视判定部25是通过ECU20的处理器23执行存储于ECU20的存储器22的程序而实现的功能块。

视点检测部24基于由拍摄装置10生成的驾驶员的面部图像，检测驾驶员的面部方向或者视线的角度。侧视判定部25基于由视点检测部24检测出的面部方向或者视线的角度，判定驾驶员的侧视。

视点检测部24例如通过进行由拍摄装置10生成的驾驶员的面部图像和驾驶员朝向正面时的面部形状数据的匹配，检测驾驶员的面部方向的角度。具体而言，视点检测部24使驾驶员的面部图像旋转以使得二者的一致率成为最大，并检测一致率成为最大时的旋转角度作为驾驶员的面部方向的角度。面部形状数据预先存储于ECU20的存储器22或者其他存储装置。面部形状数据既可以是普通人类的面部的数据，也可以针对每个驾驶员取得。

此外，视点检测部24也可以通过进行由拍摄装置10生成的驾驶员的面部图像和驾驶员的面部方向不同的多个面部形状数据的匹配，检测驾驶员的面部方向的角度。在该情况下，视点检测部24检测二者的一致率成为最大的面部形状数据的面部方向作为驾驶员的面部方向的角度。多个面部形状数据预先存储于ECU20的存储器22或者其他存储装置。多个面部形状数据既可以是普通人类的面部的数据，也可以针对每个驾驶员取得。

另外，视点检测部24例如通过以下方法检测驾驶员的视线的角度。首先，视点检测部24从由拍摄装置10生成的驾驶员的面部图像确定面部区域，通过提取眼、鼻、口等面部部位的特征点来检测面部部位。接下来，视点检测部24检测普尔钦斑(Purkinje image)(角膜反射像)的位置和瞳孔中心的位置，基于普尔钦斑与瞳孔中心的位置关系来检测驾驶员的视线的角度。此外，视点检测部24也可以基于普尔钦斑与瞳孔中心的位置关系、和检测出的驾驶员的面部方向的角度来检测驾驶员的视线的角度。

另外，视点检测部24也可以利用其他公知方法检测驾驶员的面部方向或者视线的角度。

如上所述，在车辆80中，在由物体检测装置83检测到其他车辆时，指示器84点亮。此时，驾驶员为了确认指示器84的显示而目视指示器84。即，驾驶员使面部方向以及视线从正面向指示器84移动。若此时判定为驾驶员在侧视而对驾驶员给予警告，则变成对驾驶员的适当的行为给予了警告，从而令驾驶员感到不悦。

因此，在本实施方式中，侧视判定部25在指示器84点亮时，对于驾驶员查看指示器84时的预定角度范围，将侧视判定条件放宽。由此，能够抑制将驾驶员查看指示器84的行为判定为侧视，进而能够适当地检测驾驶员的侧视。

在本实施方式中，侧视判定部25在驾驶员的面部方向或者视线的角度在阈值范围外持续阈值时间以上时判定为驾驶员正在侧视，在指示器84点亮时，将阈值范围扩大以使得预定角度范围包含于阈值范围。预定角度范围基于指示器84的位置而预先确定。

＜阈值范围设定处理＞

以下，参照图5以及图6的流程图，对用于使用驾驶员监视系统1检测驾驶员的侧视的控制进行详细说明。图5是表示第一实施方式中的阈值范围设定处理的控制例程的流程图。本控制例程由ECU20以预定的时间间隔反复执行。在本控制例程中，设定进行侧视判定所使用的阈值范围。

首先，在步骤S101中，侧视判定部25判定右侧的指示器84是否点亮着。在判定为右侧的指示器84点亮着的情况下，本控制例程进入步骤S102。

在步骤S102中，侧视判定部25扩大右方向的阈值范围以使得驾驶员查看右侧的指示器84时的预定角度范围包含于阈值范围。例如，侧视判定部25将左右方向的阈值范围的上限值从+15°变更为+45°。在步骤S102之后，本控制例程结束。

另一方面，在步骤S101中判定为右侧的指示器84没有点亮的情况下，本控制例程进入步骤S103。在步骤S103中，侧视判定部25判定左侧的指示器84是否点亮着。在判定为左侧的指示器84点亮着的情况下，本控制例程进入步骤S104。

在步骤S104中，侧视判定部25扩大左方向的阈值范围以使得驾驶员查看左侧的指示器84时的预定角度范围包含于阈值范围。例如，侧视判定部25将左右方向的阈值范围的下限值从-15°变更为-45°。在步骤S104之后，本控制例程结束。

另一方面，在步骤S103中判定为左侧的指示器84没有点亮的情况下，本控制例程进入步骤S105。在步骤S105中，侧视判定部25将阈值范围初始化。即，阈值范围恢复到变更前的初始值。阈值范围的初始值被预先确定，例如设定为以0°(正面)为中心的预定范围(例如左右方向±15°)。在步骤S105之后，本控制例程结束。

此外，也可以为，在指示器84熄灭后的数秒钟后，阈值范围被初始化。即，也可以为，在指示器84熄灭后直到数秒钟后，阈值范围维持在变更后的值。

＜侧视判定处理＞

图6是表示第一实施方式中的侧视判定处理的控制例程的流程图。本控制例程由ECU20反复执行。在本控制例程中，判定驾驶员是否正在侧视。

首先，在步骤S201中，视点检测部24取得由拍摄装置10生成的驾驶员的面部图像。

接下来，在步骤S202中，侧视判定部25基于驾驶员的面部图像，利用上述的任一方法检测驾驶员的面部方向或者视线的角度。

接下来，在步骤S203中，侧视判定部25检测驾驶员的面部方向或者视线的角度是否在阈值范围内。阈值范围使用通过图5的控制例程设定的值。在判定为驾驶员的面部方向或者视线的角度在阈值范围内的情况下，本控制例程结束。

另一方面，在步骤S203中判定为驾驶员的面部方向或者视线的角度在阈值范围外的情况下，本控制例程进入步骤S204。在步骤S204中，侧视判定部25判定经过时间是否达到阈值时间。即，侧视判定部25判定驾驶员的面部方向或者视线的角度是否在阈值范围外维持了阈值时间。阈值时间被预先确定。在判定为经过时间没有达到阈值时间的情况下，本控制例程结束。

另一方面，在步骤S204中判定为经过时间达到了阈值时间的情况下，本控制例程进入步骤S205。在步骤S205中，侧视判定部25判定为驾驶员正在侧视。

接下来，在步骤S206中，侧视判定部25对驾驶员发出警报。例如，侧视判定部25经由设置在车辆80内部的人机接口(Human Machine Interface(HMI))从视觉上或者从听觉上对驾驶员发出警报。在步骤S206之后，本控制例程结束。

＜第二实施方式＞

除了以下说明的点之外，第二实施方式涉及的驾驶员监视系统的构成和控制基本上与第一实施方式涉及的驾驶员监视系统的构成和控制是同样的。因此，以下，以与第一实施方式不同的部分为中心，对本发明的第二实施方式进行说明。

虽然在指示器84点亮时驾驶员目视指示器84的行为是适当的行为，但是驾驶员持续地只查看指示器84在安全上是不优选的。因此，在第二实施方式中，对于驾驶员查看指示器84时的预定角度范围，如下这样放宽侧视判定条件。

侧视判定部25在指示器84没有点亮时，在驾驶员的面部方向或者视线的角度在预定角度范围内维持了第1阈值时间以上的情况下判定为驾驶员正在侧视，在指示器84点亮时，在上述角度在预定角度范围内维持了第2阈值时间以上的情况下判定为驾驶员正在侧视。第2阈值时间比第1阈值时间长，在指示器84点亮时，到判定为侧视为止的时间增长。由此，能够更适当地检测驾驶员的侧视。

＜侧视判定处理＞

图7是表示第二实施方式中的侧视判定处理的控制例程的流程图。本控制例程由ECU20反复执行。在本控制例程中，判定驾驶员是否正在侧视。

首先，在步骤S301中，视点检测部24取得由拍摄装置10生成的驾驶员的面部图像。

接下来，在步骤S302中，侧视判定部25基于驾驶员的面部图像，利用上述的任一方法检测驾驶员的面部方向或者视线的角度。

接下来，在步骤S303中，侧视判定部25判定驾驶员的面部方向或者视线的角度是否在阈值范围内。阈值范围被预先确定，例如设定为以0°(正面)为中心的预定范围(例如左右方向±15°)。在判定为驾驶员的面部方向或者视线的角度在阈值范围内的情况下，本控制例程结束。

另一方面，在步骤S303中判定为驾驶员的面部方向或者视线的角度在阈值范围外的情况下，本控制例程进入步骤S304。在步骤S304中，侧视判定部25判定指示器84是否点亮着。在判定为指示器点亮着的情况下，本控制例程进入步骤S308。

在步骤S308中，侧视判定部25判定驾驶员的面部方向或者视线的角度是否在预定角度范围内。预定角度范围是驾驶员查看指示器84时的角度范围，基于指示器84的位置而预先确定。此外，预定角度范围是阈值范围外的角度。在右侧的指示器84点亮的情况下使用关于右侧的指示器84的预定角度，在左侧的指示器84点亮的情况下使用关于左侧的指示器84的预定角度。

在步骤S304中判定为指示器84没有点亮的情况下、或在步骤S308中判定为驾驶员的面部方向或者视线的角度在预定角度范围外的情况下，本控制例程进入步骤S305。在步骤S305中，侧视判定部25判定经过时间是否达到第1阈值时间。即，侧视判定部25判定驾驶员的面部方向或者视线的角度是否在阈值范围外维持了第1阈值时间。第1阈值时间被预先确定。在判定为经过时间没有达到第1阈值时间的情况下，本控制例程结束。

另一方面，在步骤S305中判定为经过时间达到了第1阈值时间的情况下，本控制例程进入步骤S306。在步骤S306中，侧视判定部25判定为驾驶员正在侧视。

接下来，在步骤S307中，侧视判定部25对驾驶员发出警报。例如，侧视判定部25经由设置在车辆80内部的HMI从视觉上或者从听觉上对驾驶员发出警报。在步骤S307之后，本控制例程结束。

另外，在步骤S308中判定为驾驶员的面部方向或者视线的角度在预定角度范围内的情况下，本控制例程进入步骤S309。在步骤S309中，判定经过时间是否达到第2阈值时间。即，侧视判定部25判定驾驶员的面部方向或者视线的角度是否在预定角度范围内维持了第2阈值时间。第2阈值时间被预先确定，设定为比第1阈值时间长的时间。

在步骤S309中，即使指示器84熄灭及重新点亮，只要驾驶员的面部方向或者视线的角度维持在预定角度范围内，就继续对经过时间进行计数。此外，也可以在指示器84重新点亮时将经过时间复位为零。

在步骤S309中判定为经过时间没有达到第2阈值时间的情况下，本控制例程结束。另一方面，在步骤S309中判定为经过时间达到了第2阈值时间的情况下，本控制例程进入步骤S306。侧视判定部25在步骤S306中判定为驾驶员正在侧视，在步骤S307中对驾驶员发出警报。在步骤S307之后，本控制例程结束。

以上，说明了本发明涉及的优选的实施方式，但本发明不限定于这些实施方式，而可以在权利要求书的记载内施行各种修改和变更。例如，指示器84也可以设置在车辆80的内部(左右的A柱、室内后视镜、导航系统等)。