主预览区域和基于视线的驾驶员分心检测
阅读说明：本技术 主预览区域和基于视线的驾驶员分心检测 (Primary preview area and gaze-based driver distraction detection ) 是由 余海 法提赫·波里克利 吴玉珠 于 2019-01-23 设计创作，主要内容包括：一种计算机实现的分心驾驶检测方法,包括：一个或多个处理器确定环境表征中的主预览区域(primary preview region,简称PPR)；所述一个或多个处理器根据驾驶员的图像序列确定所述驾驶员的视点；所述一个或多个处理器确定所述视点在所述PPR之外；基于确定所述视点在所述PPR之外,所述一个或多个处理器降低所述PPR的注意力等级；基于所述PPR的注意力等级,所述一个或多个处理器生成警报。(A computer-implemented distracted driving detection method, comprising: one or more processors determine a Primary Preview Region (PPR) in the environment representation; the one or more processors determine a viewpoint of a driver from a sequence of images of the driver; the one or more processors determine that the viewpoint is outside of the PPR; based on determining that the viewpoint is outside of the PPR, the one or more processors reduce a level of attention of the PPR; based on the level of attention of the PPR, the one or more processors generate an alert.)
相关申请案交叉申请
本申请要求于2018年1月29日递交的发明名称为“主预览区域和基于视线的驾驶员分心检测”的第15/882,581号美国专利申请的优先权，该在先申请的内容以引入的方式并入本文。
技术领域
本发明涉及视线检测，以及在一种特定实施例中，涉及主预览区域和基于视线的驾驶员分心检测。
背景技术
很多交通事故的发生都是由于驾驶员分心,不注意道路和障碍物。这些分心驾驶导致的交通事故造成了大量的人员伤亡和经济损失。在美国，交通事故是第四大死因。
发明内容
现描述各种示例从而以简化的形式引入概念的选择，这些概念将在以下
具体实施方式
中进行进一步的描述。本发明内容的目的不在于识别权利要求书保护的主题的关键或必要特征，也不在于限制权利要求书保护的主题的范围。
根据本发明的一个方面，提供了一种计算机执行的分心驾驶检测方法，包括：一个或多个处理器确定环境表征中的主预览区域(primary preview region，简称PPR)；所述一个或多个处理器根据驾驶员的图像序列确定所述驾驶员的视点；所述一个或多个处理器确定所述视点在所述PPR之外；基于确定所述视点在所述PPR之外，所述一个或多个处理器降低所述PPR的注意力等级；根据所述PPR的注意力等级，所述一个或多个处理器生成警报。
可选地，在上述任一实施例中，所述方法还包括：根据所述驾驶员图像的第二序列确定所述驾驶员的第二视点；基于所述第二视点在所述PPR内，提高所述PPR的所述注意力等级。
可选地，在上述任一实施例中，所述降低所述PPR的所述注意力等级包括：使用逻辑衰减函数确定所述注意力等级。
可选地，在上述任一实施例中，所述PPR为第一PPR，为多个PPR中的一个，所述多个PPR中每个PPR都有对应的注意力等级；所述生成警报还基于所述多个PPR中每个PPR的所述注意力等级；所述方法还包括：通过车辆和道路信息预估未来路径；确定所述第一PPR不在所述未来路径上；基于确定所述第一PPR不在所述未来路径上，从所述多个PPR中移除所述第一PPR。
可选地，在上述任一实施例中，所述方法还包括：确定所述多个PPR中每个PPR的优先级分数；其中，所述多个PPR中每个PPR的注意力等级基于所述PPR的优先级分数。
可选地，在上述任一实施例中，所述方法还包括：一个或多个处理器识别在所述环境表征中描绘的物体；其中，所述确定所述PPR包括：确定所述物体的PPR。
可选的，在上述任一实施例中，所述确定所述物体的PPR包括：确定所述物体的速度。
可选地，在上述任一实施例中，所述识别所述环境图像中描绘的物体包括：使用经过训练的机器学习算法分析所述图像。
可选的，在上述任一实施例中，所述确定所述PPR包括：确定主预览点(primarypreview point，简称PPP)；根据所述PPP和预定半径确定所述PPR。
可选地，在上述任一实施例中，所述环境表征由红外线(infrared，简称IR)摄像头生成。
可选的，在上述任一实施例中，在所述环境表征中确定所述PPR包括：识别道路的车道。
可选地，在上述任一实施例中，所述环境表征由激光扫描仪生成。
可选地，在上述任一实施例中，所述生成警报包括：生成声音警报。
可选地，在上述任一实施例中，所述生成警报包括：生成触觉警报。
可选地，在上述任一实施例中，所述生成警报包括：激活车辆制动器。
可选地，在上述任一实施例中，所述生成警报包括：改变车辆方向。
可选的，在上述任一实施例中，所述确定PPR的注意力等级基于所述驾驶员的面部特征。
可选的，在上述任一实施例中，还根据预定阈值生成所述警报。
根据本发明的一个方面，提供了一种计算机实现的分心驾驶检测系统，包括：存储器，包括指令；一个或多个处理器，与所述存储器通信，其中，所述一个或多个处理器执行所述指令来执行以下操作：确定环境表征中的主预览区域(primary preview region，简称PPR)；根据驾驶员的图像序列确定所述驾驶员的视点；确定所述视点在所述PPR之外；基于确定所述视点在所述PPR之外，降低所述PPR的注意力等级；根据所述PPR的注意力等级，生成警报。
根据本发明的一个方面，提供了一种非瞬时性计算机可读介质，存储有用于检测分心驾驶的指令，当指令由一个或多个处理器执行时，使得所述一个或多个处理器执行以下步骤：确定环境表征中的主预览区域(primary preview region，简称PPR)；根据驾驶员的图像序列确定所述驾驶员的视点；确定所述视点在所述PPR之外；基于确定所述视点在所述PPR之外，降低所述PPR的注意力等级；根据所述PPR的注意力等级，生成警报。
在不脱离本发明范围的前提下，任何一个前述示例都可以与任何一个或多个其它前述示例结合以创建新的实施例。
附图说明
图1是一些示例性实施例提供的车辆内部示意图；
图2是一些示例性实施例提供的车辆外部示意图；
图3是一些示例性实施例提供的驾驶员视线透过挡风玻璃的视线检测点的示例性示意图；
图4是一些示例性实施例提供的一些主预览点的示例性示意图；
图5是一些示例性实施例提供的一些主预览点的示例性示意图；
图6是一些示例性实施例提供的一些主预览点的示例性示意图；
图7是一些示例性实施例提供的注意力函数图的示意图；
图8是一些示例性实施例提供的实现算法和执行方法的设备的电路框图；
图9是一些示例性实施例提供的适用于使用主预览区域进行基于视线的驾驶员检测的数据库架构框图；
图10是一些示例性实施例提供的使用主预览区域进行基于视线的驾驶员检测的方法流程图；
图11是一些示例性实施例提供的使用主预览区域进行基于视线的驾驶员检测的方法流程图；
图12是一些示例性实施例提供的使用主预览区域进行基于视线的驾驶员检测的方法流程图；
图13是一些示例性实施例提供的将自动化车辆的控制转移到人类驾驶员的方法流程图。
具体实施方式
以下结合附图进行详细描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本发明的具体实施例。这些实施例将充分详细描述，使本领域技术人员能够实施所述创新性主题，而且应该明白的是可以使用其它实施例并且在不脱离本发明的范围的情况下可以做出结构上、逻辑上、电学上的改变。因此，以下描述的示例性实施例并不当作限定，本发明的范围由所附权利要求书界定。
本文描述的函数或算法可以在一实施例的软件中实现。该软件可包含计算机可执行指令，其中，这些计算机可执行指令存储在计算机可读介质上或者计算机可读存储设备上，如一个或多个非瞬时性存储器或其它类型的本地或联网的硬件存储设备。该软件可在数字信号处理器、专用集成电路(application-specific integrated circuit，简称ASIC)、可编程数据面芯片、现场可编程门阵列(field programmable gate array，简称FPGA)、微处理器上执行或者其它计算机系统等其它类型的计算机系统上运行的处理器上执行，从而将这类计算机系统转换成一个专门编程的机器。该计算机系统可以集成在车辆中。
车辆可以包括一个或多个外部摄像头，采集车辆环境的图像。所述摄像头可以是可见光摄像头、红外线(infrared，简称IR)摄像头、激光扫描仪或其任意合适的组合。采集的图像可以转换为所述环境的三维(three-dimensional，简称3D)表征，或者作为所述环境的二维(two-dimensional，简称2D)表征进行处理。
通过(例如，经过训练的机器学习算法)分析所述环境表征来识别一个或多个主预览点(primary preview point，简称PPP)或主预览区域(primary preview region，简称PPR)。PPP是驾驶员应注意的特定点。PPR是驾驶员应注意的区域。PPP可以位于对应的PPR内。除非另有说明，此处的术语PPR将用于讨论PPP和PPR。PPR可以识别为驾驶员应注意的任何物体(例如，车辆、动物、行人、标识、凹坑、凸起、交通锥或倒下的树)、区域(例如，车道消失点或弯道)，或情况(例如，事故、泥石流或洪水)。
所述车辆还可以包括面向驾驶员的摄像头，用于采集所述驾驶员图像。视线检测系统利用所采集的所述驾驶员图像，结合所采集的环境图像，确定所述驾驶员的焦点。将所述驾驶员的焦点与每个PPR进行比较，以确定驾驶员注意力是否集中在所述PPP或者PPR上。
可以为每个PPR生成一个注意力等级，表示对所述PPR的注意程度。在所述驾驶员注意力集中在所述PPR的时间段，提高PPR的注意力等级。在所述驾驶员注意力没有集中在所述PPR的时间段，降低所述PPR的注意力等级。如果所述PPR的注意力等级低于预定阈值，则生成警报。示例性警报包括在车辆的平视显示器(heads-up display，简称HUD)上突出PPR、以闪光灯的形式显示视觉警报、通过方向盘提供触觉反馈、发出声音警报、自动接合制动器、自动转向以避免忽略所述PPR、停车，或其任意合适的组合。
通过使用本文所描述的系统和方法，车辆可以提醒分心的驾驶员注意其可能看不到并且无法做出反应的物体、区域或情况。借助所述警报，所述分心的驾驶员可以对物体、区域或情况做出反应，避免事故发生。相应地，使用本文描述的系统和方法提高了车辆的安全性。
图1是一些示例性实施例提供的车辆内部100的示意图。车辆内部100所示为驾驶员110、座椅120、光源130A和130B以及摄像头140。所述光源130A-130B和所述摄像头140可由计算机系统控制，例如下文结合图8所描述的计算机系统。
所述光源130A-130B可以是近红外线(infrared，简称IR)光源。所述摄像头140可以接收光源130A-130B(例如，近IR光源)提供的光波长，并聚焦于所述驾驶员110。所述光源130A-130B产生光，并反射在所述驾驶员110眼睛表面，生成闪光。基于此闪光，所述摄像头140采集的图像可用于确定所述驾驶员110眼睛的方向和焦深。也可以通过所述摄像头140采集的图像确定头部姿态，即所述驾驶员头部朝向，并将其用于确定所述驾驶员视线的方向和焦深。此外，所述摄像头140还可以检测所述驾驶员110手的姿势。
所述摄像头140可包括深度摄像头，其中所述深度摄像头通过采集立体图像确定物体与所述摄像头的距离。例如，两个近IR图像传感器可用于确定三维头部姿态或检测涉及移向或离开所述摄像头140的手势。又例如，飞行时间摄像头可以与所述光源130A和130B配合，并根据光源发射光与飞行时间摄像头接收光(从物体反射后)之间的时间量确定深度。
图2是一些示例性实施例提供的车辆外部的示意图200。图示200包括车辆210和摄像头220。所述摄像头220安装在车辆210的车顶，可以是由系统控制的第二摄像头，该系统同时控制第一摄像头，即图1中摄像头140。所述摄像头220可以是广角摄像头、360度摄像头、旋转摄像头或其任意合适的组合。所述摄像头220可以集成在所述车辆210中(例如，由制造商作为所述车辆210的一部分销售并永久地附着于所述车辆210的其它部分)，或者牢固地安装到所述车辆210上(例如，通过螺栓或螺钉)，或者临时附着在所述车辆210上(例如，将其置于仪表板上的支架上)。所述车辆210是汽车，但本发明不限于此。本发明可以与其它交通工具如飞机、船只或火车一起使用。
图3是一些示例性实施例提供的驾驶员视线透过挡风玻璃310的视线检测点330的示例性示意图。图3还示出了面向驾驶员的摄像头140。
所述面向驾驶员的摄像头140采集车辆驾驶员的一个或多个图像。对于采集的每个图像，识别驾驶员的眼睛，并确定驾驶员视线焦点。所述焦点为三维空间中的一个点。例如，可以为每个眼睛确定瞳孔的位置与眼睛的中心线之间的角度。从每只眼睛的中心穿过瞳孔跟踪光线，以确定两只眼睛的注意力交叉点。可通过所述车辆的环境表征与交叉点的比较，确定环境中所述视线检测点330的位置。
当环境表征为2D表征，例如摄像头220采集到的2D图像时，可根据摄像头校准，在2D图像上投射3D视角，以确定视线检测点330。摄像头校准对准采集所述驾驶员面部的摄像头(例如，摄像头140)坐标系和采集环境的摄像头(例如，摄像头220)坐标系。通过请求所述驾驶员注意已知点，并使用所述驾驶员视线测量值更新校准值，以校准摄像头。其中，可将所述方向盘的中心、所述挡风玻璃的拐角和所述后视镜等作为已知点。
图4是一些示例性实施例提供的一些主预览点的示例性示意图。图4所示为图像410、420和440以及PPP 430和450。所述图像410、420和440可以由集成在驾驶员车辆中的一个或多个摄像头采集。例如，所述图像可以由集成在所述车辆中的单个前置摄像头、安装在所述车辆车顶的旋转摄像头、集成在所述车辆中的激光扫描仪或其任意合适的组合来采集。或者，所述图像410、420和440可以由外部摄像头采集并(例如，通过Wi-Fi或蜂窝网络)传输至车辆。例如，可以在建筑物或光杆上安装固定摄像头，从而向使用所述道路的所有车辆提供环境图像。又例如，使用卫星图像。
图像410、420和440都是车辆环境的2D表征。在一些示例性实施例中，使用了环境的3D表征。3D表征可以由多个2D图像生成，这些图像从不同角度采集场景。或者，3D表征可以是2D图像结合深度图像生成。在一些示例性实施例中，所述车辆为虚拟车辆(例如，在虚拟现实(virtual reality，简称VR)模拟中)，所述环境的3D表征从所述虚拟车辆的VR环境中生成。
图像410示出了道路边缘和四条分道线。所述图像420示出了修改图像410后的道路边缘和四条分道线，所述车辆车道的两条分道线延伸至交汇。所述车辆车道边界相遇的点标记为PPP 430，称为交汇点PPP。可通过扩展所述驾驶员视野的1-2度弧，扩展所述交汇点PPP，以生成对应的PPR。
图像440示出了修改图像410后的道路边缘和四条分道线，道路边缘和分道线延伸至交汇。所述交汇点标记为PPP 450。PPP 450可以与PPP 430相同。或者，所述生成的多条线路可能不在一个点相交，那么PPP 450可以看作所述多个交汇点的几何平均值。PPP 430和450对应车辆的当前路径。
所述图像410、420和440的道路边缘和分道线可以通过卷积神经网络(CNN)识别，所述卷积神经网络检测图像中的线路。基于道路边缘和分道线，可以识别道路的一条或多条车道，包括驾驶员车辆占用的道路车道。PPP 430和450可以使用几何算法来标识，所述几何算法通过延伸线条确定交点。
图5是一些示例性实施例提供的一些主预览点的示例性示意图。图5所示为图像510、540和560以及PPP 520、530、550和570。
图像510示出了有PPP 520和530的弯道，所述PPP 520和530是曲线点PPP，指示所述道路上应注意的点，以使驾驶员能够正确地通过所述弯道。当弯道的切线与车辆的运动方向平行时，曲线点PPP可以是弯道中心的所在点。可通过扩展所述驾驶员视野的1-2度弧，扩展所述曲线点PPP，以生成对应的PPR(例如，椭圆形或圆形PPR)。
图像540示出了有PPP 550的弯道。PPP 550是物体PPP，指示所述车辆前方应注意的汽车，使得所述驾驶员避免与车辆发生碰撞。所述物体PPP可能位于物体的中心。所述物体PPP可扩展为(例如，椭圆形的或圆形的)物体PPR，或者，将物体的边界框(例如，矩形边界框)作为所述物体PPR。图像560示出了有PPP 570的弯道。PPP 570是物体PPP，指示车辆前方的大象。
通过使用经过训练的机器学习算法(例如，CNN)，可识别PPP 520、530、550和570。例如，可向机器学习算法提供一组包括不同类型物体图像及其标签的训练数据，以训练机器学习算法识别图像中的物体及其位置。可以将车辆环境的图像提供给经过训练的机器学习算法，该算法生成可识别所描绘物体的类型及其位置的输出。PPP选择算法可以根据所识别的物体类型和位置来识别其PPP。例如，汽车的PPP可以放置在汽车描述的中心，而驴的PPP可以放置在驴的头部描述中。
图6是一些示例性实施例提供的一些主预览点的示例性示意图。图6所示为图像610和630以及PPP 620和640。通过使用经过训练的机器学习算法，可识别PPP 620和640。
所述图像610示出了所述图像410的道路，并添加了汇入或穿过所述道路的汽车。PPP 620为汇入物体PPP，表示正在进入车辆路径的物体。所述汇入物体PPP可位于所述物体的中心、物体最靠近所述车辆路径的点，或两者之间的位置(如PPP 620所示)。所述汇入物体PPR可以由汇入物体PPP(例如，通过扩展驾驶员视野的1-2度弧)扩展，或者将汇入物体的边界框作为汇入物体PPR。
图像630示出了图像410的道路，并添加了汇入或穿过所述道路的骆驼。PPP 640与PPP 620类似，为汇入物体PPP。
根据车辆环境的多个图像，可确定PPP 620和640。例如，各个图像可以一个位置显示一个物体，并由图像序列确定该物体的速度。根据所述物体的速度，可选择所述PPP在所述物体边界框中的位置。例如，固定物体的PPP可以位于所述边界框的中心，而快速移动物体的PPP可以位于移动方向上的所述边界框边缘。
上述每个PPR的形状和尺寸可以基于PPP的类型(例如，曲线点PPP、交汇PPP、物体PPP、汇入物体PPP)、物体尺寸、PPP与车辆的距离、车辆的当前速度、驾驶员属性或其任意合适的组合确定。PPR可以以PPP为中心，也可以偏移一个偏移量。例如，PPR可以远离或朝向相邻PPP，朝向或远离相邻车道，或其任意合适的组合。
根据所述物体的标识，可以识别对应的二次预览点(secondary preview point，简称SPP)或二次预览区域(secondary preview region，简称SPR)，而不是识别PPP或PPR。例如，数据库表可以将物体类型映射到优先级分数(例如，范围1-10)。对于优先级分数为预定阈值(例如，7)或高于预定阈值的物体，物体检测可能产生PPP或PPR。对于优先级分数低于预定阈值的物体，物体检测可能产生SPP或SPR。与低于阈值的优先级分数相关联的示例物体包括周围交通、路边物体和沿途交通标识等。SPP和SPR可能不会立即对正在进行的驾驶过程产生影响。由于驾驶员不需要注意这些物体，因此分心检测程序不包含这类SPP和SPR。
在一些示例性实施例中，SPP和SPR用于评估驾驶员的注意力等级。驾驶员对SPR和SPP给予足够的注意，表明注意力等级令人满意。例如，疲倦的驾驶员对这类次要物体的注意程度较低，而全神贯注的驾驶员对所有周围物体(包括SPR和SPP)保持着更高水平的情境感知。相应地，SPP和SPR的监控故障可用于将驾驶特定参数修改为下文结合图7讨论的注意力函数。
图7是一些示例性实施例提供的注意力函数图700和750的示意图。图700示出了PPR作为时间函数的注意力等级740。在一些实施例中，如上所述，当检测到PPP时，可创建PPR的表征。所述PPR表征可以与注意力函数或其它机制相关联，以确定所述PPR在任何时间点的当前注意力等级。所述注意力等级可能取决于(或涉及)视点序列、动态变化的环境因子，或其任意合适的组合。所述环境因子可作为注意力函数的参数。
注意力等级710为最大注意力等级，注意力等级720为预定阈值，其中，注意力等级740不应低于所述预定阈值。在任意时间t，所述衰减速率是注意力等级740函数在时间t上的导数，如所示衰减速率730。图750示出了PPR作为时间函数的注意力等级760。图750包括注意力等级710和720以及时间770，其中，所述时间表示驾驶员开始注意PPR的时间。
在图700和750中，注意力等级函数是非线性的，当驾驶员持续不注意PPR时，衰减速率提高。在一些示例性实施例中，注意力等级函数为逻辑衰减函数。一个示例性逻辑衰减函数为：
等式1：
在等式1中，初始值Sv(t0)为驾驶员视线不再停留在PPR时的注意力等级。在一些示例性实施例中，当创建PPR时，Sv初始化为1，t0为视线离开PPR的时间(例如，根据在两个时间实例t-1和t0处与PPR相关的连续检测，识别在t-1时处于PPR内部且在t0时处于PPR外部的视线)，p是PPR的优先级分数，eg是当前视线位置与PPR之间的偏差，k是相对于车道偏差和车辆稳定裕度的比例因子，d0是与驾驶员相关的印象衰减因子，d1为基于环境条件的场景复杂度参数，tA为预览时间比例变量。在一些示例性实施例中，k、d0和d1等于1。
预览时间比例变量可以定义为tTTR、tTTC、tTTG、tp的最小值，其中tTTR(到达时间)是基于PPP以及车辆的相对位置和运动，到达未来PPP的时间；tTTC(跨越时间)是PPP到达车辆车道的时间；tTTG(行驶时间)是车辆加速的预测时间(例如，由于停车标志或红灯停车后)；tp(预览时间)是基于驾驶员特征的预览时间常数。
在一些示例性实施例中，一个没有经验的驾驶员的d0值大于有经验的驾驶员。当一个或多个高速(例如，速度超过50英里/小时的)物体出现时，或者当发现驾驶员忽视SPP和SPR时，d1值会增大。
根据分配给PPP的优先级，k的值可以是对象特定的。例如，可以根据与车辆的距离为每个PPP分配优先级，使得更靠近车辆的PPP具有更高的优先级。
在图700中，当驾驶员注意力没有集中在PPR时，注意力等级740衰减至0。当注意力等级740与注意力等级520相交时，生成警报。
在图750中，当驾驶员注意力没有集中在PPR时，注意力等级760衰减至时间770，此时，驾驶员注意力回到所述PPR。时间770之后，注意力等级760增加，直至最大注意力等级710。由于注意力等级760从未达到注意力等级720，因此警报不会产生。
一旦驾驶员的视线进入PPR内部，Sv随着恢复函数开始恢复为1。初始恢复速率较慢。但是，一旦驾驶员视线重新停留在PPR中，Sv便可在最短的时间内迅速恢复。注意力等级恢复速率可通过恢复函数设计，恢复函数与衰减函数相似，但其增长速率为正增长。一个示例性恢复函数为逻辑增长函数：
等式2：
等式2使用的常数和变量与等式1相同，但是恢复函数的t0是驾驶员视线回到PPR的时间；c是恢复函数的比例因子，可能和用于衰减函数的k相同，也可能不同；p是PPR的优先级分数。在一段时间内，驾驶员的注意力分散到每个PPR，可通过交替应用衰减函数(当驾驶员的视线在PPR之外时)和恢复函数(当驾驶员的视线在PPR内时)调整每个PPR的注意力等级。
上述两个等式包括：与车道偏差和车辆稳定裕度相关的比例因子k；与驾驶员相关的印象衰减因子d0；基于环境条件的场景复杂度参数d1；和预览时间比例变量tA等参数。在一些示例性实施例中，这些参数中的一个或多个可用于确定生成警报的动态阈值。例如，对于较差的驾驶员(表示为d1)或稳定性较差的车辆(表示为k)，生成警报的阈值可能更高。
图8为示例性实施例提供的用于实现算法和执行方法的电路框图。不需要在各实施例中使用所有组件。例如，客户端、服务器、自治系统、网络设备和基于云的网络资源可以分别使用不同组的组件，或者，例如在服务器的情况下，使用较大的存储设备。
一种示例计算设备网络设备800(也称为计算机800、计算设备800、计算机系统800)可包括处理器805、存储器810、可移动存储器815和不可移动存储器820，所有上述部件通过总线840连接。虽然示例计算设备被图示和描述为计算机800，但是所述计算设备在不同的实施例中可以是不同的形式。例如，可替代地，所述计算设备可以是智能手机、平板电脑、智能手表或者包含图8所示和所述的相同或相似元件的其它计算设备。智能手机、平板电脑、智能手表等设备通常统称为“移动设备”或“用户设备”。此外，虽然各种数据存储元件被图示为所述计算机800的一部分，但是所述存储器还可以或者可选地包括通过网络例如互联网可访问的基于云的存储器，或者基于服务器的存储器。
所述存储器810可包括易失性存储器845和非易失性存储器850，并可存储程序855。所述计算机800可包括或访问计算环境。该计算环境包括各种计算机可读介质，如易失性存储器845和非易失性存储器850、可移动存储器815和不可移动存储器820。计算机存储器包括随机存取存储器(random access memory，简称RAM)、只读存储器(read-onlymemory，简称ROM)、可擦除可编程只读存储器(erasable programmable read onlymemory，简称EPROM)和电可擦除可编程只读存储器(electrically erasableprogrammable read-only memory，简称EEPROM)、闪存或其它存储器技术、只读光盘(compact disc read-only memory，简称CD ROM)、数字多功能光盘(digital versatiledisc，简称DVD)或其它光盘存储器、盒式磁带、磁带、磁盘存储器或其它磁存储设备，或者任何其它能够存储计算机可读指令的介质。
计算机800可以包括或具有访问计算环境的权限。该计算环境包括输入接口825、输出接口830和通信接口835。其中，所述输出接口830可以连接或包括显示设备，如触摸屏。该显示设备还可作为输出设备。所述输入接口825可以连接或包括以下一种或多种：触摸屏、触摸板、鼠标、键盘、相机、一个或多个设备专用按钮、集成在所述计算机800内或通过有线或无线数据连接耦合到所述计算机800内的一个或多个传感器，以及其它输入设备。所述计算机800可以使用所述通信接口835在联网环境中工作，以连接到一个或多台远程计算机，如数据库服务器。所述远程计算机可以包括个人计算机(personal computer，简称PC)、服务器、路由器、交换机、网络PC、对端设备或其它公共网络节点等。所述通信接口835可以连接到局域网(local area network，简称LAN)、广域网(wide area network，简称WAN)、蜂窝网络、Wi-Fi网络、蓝牙网络或其它网络。
虽然示出的计算机800中，805-865中的每种元件只有一个，但每种元件也可能存在多个。例如，可能存在多个处理器805、多个输入接口825、多个输出接口830和多个通信接口835。在一些示例性实施例中，不同的通信接口835连接到不同的网络。
存储在计算机可读介质上的计算机可读指令(例如，存储在存储器810上的程序855)可由计算机800的处理器805执行。硬盘驱动器、CD-ROM和RAM是产品的一些示例，所述产品包括非瞬时性计算机可读介质，如存储设备。在某种程度上，由于载波过于短暂，因此术语“计算机可读介质”和“存储设备”不包括载波。非瞬时性计算机可读介质包括所有类型的计算机可读介质，包括磁存储介质、光存储介质、闪存介质和固态存储介质。应当理解的是软件可以安装在计算机中并与其一起销售。或者，可以获得该软件并将其加载到计算机中，包括通过物理介质或分配系统获得软件，例如包括从软件创建者拥有的服务器或者从软件创建者未拥有却使用的服务器获得所述软件。例如，该软件可以存储在服务器上以便通过因特网分发。
如图所示，所述程序855包括视线检测模块860、PPR检测模块865、注意力分析模块870和控制转移模块875。可以使用硬件(例如，机器的处理器、ASIC、FPGA或其任意合适的组合)来实现本文所述的任何一个或多个模块。此外，这些模块中的任何两个或更多个模块可以组合成单个模块，并且本文所述的关于单个模块的功能可以在多个模块之间细分。此外，根据各种示例性实施例，本文所述的在单个机器、数据库或设备内实现的模块可以分布在多个机器、数据库或设备上。
视线检测模块860处理车辆驾驶员面部的一个或多个图像，以确定所述驾驶员的视线。可通过所述输入接口825从所述面向驾驶员的摄像头120接收所述驾驶员的面部图像。现有的在二维或三维空间中确定视线估计点的方法可以用于确定所述驾驶员的视线。例如，可以为每个眼睛确定来自眼睛中心并穿过瞳孔的光线。光线相交的点是驾驶员的三维视点。为了确定所述二维视点，光线在所述两只眼睛之间的中点处生成，并在所述三维视点处结束。该光线与环境图像的二维投影的交点就是驾驶员的二维视点。
PPR检测模块865处理车辆环境的一个或多个表征，以识别PPR。例如，可以通过输入接口825从一个或多个外置摄像头接收所述环境的图像，或者根据从所述外置摄像头接收的图像生成所述环境的3D表征。环境表征中的物体可以不时地出现和消失。它们的外观(例如，尺寸和位置)也可能有所不同。采用目标跟踪，以确定当前环境表征中的物体与之前环境表征中的物体相同。首先，接收在每个环境表征中检测到的物体。第二，通过位置和运动连续性条件，在时域中跟踪物体，以将当前环境表征中检测到的物体关联到同一物体的先前实例。通常使用卡尔曼滤波器和目标跟踪算法(如DSST)。通过在线学习，特征也可用于关联和识别物体。例如，由于新物体只能从场景边界或从某些遮挡的图像区域出现，因此任何与边界或遮挡的图像区域不相邻的被识别物体都应该在先前环境表征中有对应的物体。不能与之前观察到的任何物体关联的新物体，将会在分心检测算法中进行分类和注册。类似地，现有PPP关联物体只能通过场景边界或因遮挡消失。经过预定的时间段(例如，30秒)后，消失的物体将从物体注册列表中移除。相应地，物体关联的PPR(如果有)将被删除。
所述注意力分析模块870将检测到的所述驾驶员视线与所述PPR进行比较，以确定所述驾驶员是否充分关注每个PPR。如果一个或多个PPR的注意力等级下降至低于预定阈值，则注意力分析模块870触发警报生成。例如，输出接口830可能触发车辆内的扬声器，生成声音警报，或者触发方向盘上的触觉反馈设备，使其振动。
所述控制转移模块875在计算机和人为控制之间转移自动化车辆的控制。通过所述注意力分析模块870，所述控制转移模块875可在转移控制之前，确认人类驾驶员充分关注所有的PPR。
图9是一些示例性实施例提供的适用于使用主预览区域进行基于视线的驾驶员检测的数据库架构900的框图。所述数据库架构900包括PPP表905、PPR表920、注意力等级表935和驾驶员信息表950。所述PPP表905采用表定义910，包括行915A、915B和915C。PPR表920采用表定义925，包括行930A、930B和930C。所述注意力等级表935采用表定义940，包括行945A、945B和945C。所述驾驶员表950采用表定义955，包括行960A和行960B。
PPP表905中，915A-915C各行都存储有PPP的信息。根据表定义910，915A-915C中的每一行都包括标识符、位置和类型。所述标识符可以是PPP的唯一标识符，可用于关联存储在不同表中的信息。所述位置可以是以相对或绝对定位(例如，纬度，经度以及海拔)进行存储的2D或3D位置。在所述示例PPP表905中，使用所述车辆前中心的相对定位将位置存储为3D位置(以米为单位)。所述类型表示所述PPP是否代表车辆、弯道、标识、消失点、动物、行人或任何驾驶员应注意的其它类型的点。
所述PPR表920中，930A-930C各行都存储有PPR的信息。根据表定义925，930A-930C中的每一行都包括标识符、相对PPP位置和尺寸。在一些示例性实施例中，每个PPR刚好对应一个PPP，PPR及其对应的PPP允许使用相同的标识符。所述相对PPP位置表示所述PPP在所述PPR内的位置。例如，如PPR表920所示，所述相对PPP位置可以存储为类型标识符，指示所述PPP是位于中心还是边缘(例如，距离驾驶员车辆最近的边缘或PPP移动方向前方的边缘)。或者，所述相对PPP位置可以存储为所述PPR中心的2D或3D偏移量。所述尺寸存储所述PPR的尺寸，例如球面或圆形半径。或者，所述尺寸可以存储所述PPR的边界框或边界立方。
所述注意力等级表935存储行945A-945C，每行包括标识符、注意力等级、视线状态、最后一次注意力变化时间和过渡注意力等级。标识符表示所述行注意力等级数据所适用的PPR的标识符。所述注意力等级表示对应的PPR的当前注意力等级。所述视线状态表示驾驶员视点当前是否处于PPR中。最后一次注意力变化时间表示所述驾驶员视点最后进入或离开PPR的时间。过渡注意力等级表示最后一次注意力变化时所述PPR的过渡级别。在使用等式1和2确定驾驶员注意力等级的示例性实施例中，可以基于视线状态选择使用的方程，将最后一次注意力变化时间作为t0的值，并将过渡注意力等级作为Sv(t0)的值。
所述驾驶员表950存储所述行960A-960B，每行包括表示所述驾驶员当前是否处于活动状态的布尔值(如果该行存储有当前驾驶员的数据，布尔值设置为真，否则为假)，以及该驾驶员的反应系数。其它数据也可存储在所述驾驶员表950中，例如，所述驾驶员的照片，使得根据面向所述驾驶员的摄像头140采集的一张或多张图像，通过图像识别便可识别该驾驶员。在使用等式1和2确定驾驶员注意力等级的示例性实施例中，所述驾驶员的反应系数可作为k的值。
图10是一些示例性实施例提供的基于视线的驾驶员检测方法1000的流程图。所述方法1000包括操作1010、1020、1030、1040和1050。作为示例而非限定，所述方法1000被描述为由结合上文图8所描述的计算机800的元件执行。其中，该元件集成到车辆(例如，图1中包括挡风玻璃110和面向驾驶员的摄像头120的车辆)中。
在操作1010中，所述PPR检测模块865确定环境表征中的PPR。例如，目标识别算法可以识别环境图像中描绘的物体，并确定物体的PPP。基于所述PPP和物体的分类，可以确定环境表征中的所述PPR。在一些示例性实施例中，物体的所述PPR是物体的边界框。在其它示例性实施例中，所述PPR是以所述物体为中心的立方体或球体。
在操作1020中，根据所述驾驶员的图像，视线检测模块860确定所述驾驶员的视点。例如，所述驾驶员的图像可以描绘所述驾驶员眼睛的瞳孔以及所述驾驶员的头部。使用校准数据或统计数据，可以估计所述驾驶者眼睛的中心，并且为每只眼睛确定起源于眼睛中心并穿过眼睛瞳孔的光线。光线相交的点是驾驶员的三维视点。为了确定所述二维视点，光线在所述两只眼睛之间的中点处生成，并在所述三维视点处结束。该光线与环境图像的二维投影的交点就是驾驶员的二维视点。
在操作1030中，所述注意力分析模块870确定视点在PPR之外。例如，可通过比较所述3D视点与3D的PPR的体积，确定所述视点是在所述PPR之内或之外。又例如，可通过比较所述2D视点与2D的PPR的面积，确定所述视点是在所述PPR之内或之外。
在操作1040中，基于所述确定视点在PPR之外，所述注意力分析模块870降低PPR的注意力等级。例如，如图5所示，可根据所述驾驶员视线是否在所述PPR之内，调整所述PPR的注意力等级。
在操作1050中，根据所述PPR的注意力等级和预定阈值，所述注意力分析模块870生成警报。例如，采用范围在0-1之间的归一化注意力等级，所述预定阈值可以为0.2。如果所述PPR的注意力等级低于所述预定阈值，则生成警报。
当被检测的物体注意力等级不足时，使用方法1000向驾驶员发出警报。对所有被检测物体重复操作1020-1040，如果有任何物体没有给予足够多关注，则向驾驶员发出警报。例如，在涉及多个车辆、动物、标识和弯道的复杂情况下，驾驶员可能会无意中过分关注需要关注的PPR的子集。在这种情况下，所述方法1000提供关于被忽略的PPR的警报，极有可能会阻止事故发生。
图11是一些示例性实施例提供的使用主预览区域进行基于视线的驾驶员检测方法1100的流程图。所述方法1100包括操作1110、1120、1130、1140、1150、1160和1170。作为示例而非限定，所述方法1100被描述为由结合上文图8所描述的计算机800的元件执行。其中，所述元件集成到车辆(例如，图1-3所示的包括挡风玻璃310和面向所述驾驶员的摄像头140的车辆200)中。
在操作1110中，所述PPR检测模块865从环境图像(例如，前置摄像头采集的图像)中识别PPP。例如，经过训练的机器学习算法可以将所述图像作为输入图像，并识别所述图像中描绘的物体的位置和类别。
在操作1120中，根据所有PPP的特征系数，所述PPR检测模块865在所述图像上为所有PPP构造PPR。根据与所述PPP关联的物体的类别，可从数据库中获得所述特征参数。例如，与大车辆相关联的PPP生成的PPR可能大于与小动物相关联的PPP生成的PPR。
在操作1130中，所述PPR检测模块865更新PPR并使用跟踪进程移除消失的PPR。跟踪进程跟踪物体从一个图像到另一个图像，因此，当所述物体相对于采集图像的摄像头移动时，所述物体被视为一个物体，而不是被当作两幅图像中两个不同的物体。因此，移动物体的PPR被保留下来，而先前存储的任何不再浏览的物体PPR被移除。
在一些示例性实施例中，所述PPR检测模块865使用车辆和道路信息预估未来路径。例如，可以使用车速、当前方向、车道、转向信号和方向盘角度来确定预估的车辆未来路径。所述PPR检测模块865可以确定PPR不在未来路径上，并且基于确定第一PPR不在未来路径上，移除所述第一PPR。例如，自行车位于所述车辆左侧并将驶离车辆，当车辆处于右转车道并且右转信号激活时，可以确定自行车的PPR不在车辆的路径上。因此，可以删除自行车的PPR，即使驾驶员从不关注自行车，也不会产生警报。
在操作1140中，所述视线检测模块860估计所述驾驶员的视点，并将视点叠加在环境表征上(例如，所述环境的图像或从所述环境的图像和其它数据中生成的所述环境的3D表征)。在操作1150中，该叠加使得所述注意力分析模块870能够确定驾驶员当前关注的PPR(如果有)。在操作1150中，基于确定所述驾驶员的关注点，所述注意力分析模块870更新每个PPR的注意力等级(例如，增加驾驶员关注的PPR的注意力等级，并降低其它所有PPR的注意力等级)。
在一些示例性实施例中，使用的是视线区域，而不是视点。所述视线区域可以被定义为一个以视点为中心的圆或球体，根据视点预估的平均误差确定其半径。在一些示例性实施例中，视线区域被定义为一个以视点为中心的椭圆，其中，最大和最小半径根据视点预估的定向平均误差(例如，偏航和俯仰平均误差)确定。
在操作1160中，所述注意力分析模块870确定任一PPR是否具有低于预定阈值的注意力等级。在操作1170中，对于每个已低于预定阈值的PPR，注意力分析模块870触发分心状态并采取因分心状态而产生的措施。例如，生成警报。在执行操作1170(或者，如果没有PPR的注意力等级低于预定阈值，跳过操作1170)之后，所述方法1100继续返回操作1110，并使用更新的图像数据重复所述方法1100。例如，所述方法1100可以每200ms执行一次，以监控所述驾驶员的注意力等级。
图12是一些示例性实施例提供的使用主预览区域进行基于视线的驾驶员检测方法1200的流程图。所述方法1200包括操作1210、1220、1230、1240、1250、1260、1270和1280。作为示例而非限定，所述方法1200被描述为由结合上文图8所描述的所述计算机800的元件执行。其中，该元件集成到车辆(例如，图1-3所示的包括挡风玻璃310和面向驾驶员的摄像头140的车辆200)中。所述方法1200是所述方法1100中操作1150的示例性实施。另外或可替换地，方法1200可以周期性(例如，每100ms)地执行。
在操作1210中，注意力分析模块870将循环变量i初始化为0。在操作1220中，所述注意力分析模块870增加循环变量。
在操作1230中，所述注意力分析模块870确定当前PPR(对应循环变量i)是否包含驾驶员的视点。如果当前PPR确实包含所述驾驶员的视点，则所述方法1200继续操作1240；否则，所述方法1200继续操作1260。
在操作1240中，所述注意力分析模块870更新当前PPR的恢复函数参数。例如，将等式2(上文结合图5描述)作为恢复函数，则可更新(t-t0)的值、所述驾驶员连续注视PPR的时间长度。在操作1250中，所述注意力分析模块870重新评估恢复函数，提高PPR的注意力等级。
在操作1260中，如果所述驾驶员的视点不在当前PPR内，则执行所述操作1260，所述注意力分析模块870更新当前PPR的衰减函数参数。在一些示例性实施例中，所述衰减函数的参数与所述恢复函数的参数相同。所述恢复函数和所述衰减函数也可能是具有不同参数的不同等式。在操作1270中，注意力分析模块870对当前PPR进行注意力衰减。因此，所述PPR的注意力等级降低。
在操作1250或操作1270完成后，所述注意力分析模块确定是否所有PPR都已经评估(操作1280)。如果仍然存在一些PPR，则控制返回到操作1220，从而通过执行方法1200来更新所有PPR的注意力等级。一旦处理完所有PPR，方法1200完成，所有PPR的注意力等级更新。
图13是一些示例性实施例提供的将自动化车辆的控制转移至人类驾驶员的方法1300的流程图。所述方法1300包括操作1310、1320、和1330。作为示例而非限定，所述方法1300被描述为由结合上文图8所描述的计算机800的元件执行。其中，该元件集成到车辆(例如，图1-3所示的包括所述挡风玻璃310和面向所述驾驶员的摄像头140的车辆200)中。
在操作1310中，所述控制转移模块875接收请求，将自动化车辆的控制转移至人类驾驶员。例如，所述驾驶员可通过按动方向盘上的按钮、发出语音命令、轻踩制动踏板等向所述自动化车辆表明所述驾驶员想控制车辆。
在操作1320中，所述控制转移模块875确认所述人类驾驶员注意到了所有PPR。可通过与所述注意力分析模块870通信来实现所述确认。例如，可以在预定的时间段(例如，15秒)内确定所述驾驶员对所有PPR的注意力等级。如果在所述预定时间段内，不允许注意力等级低于生成警报的阈值，则所述方法1300继续进行操作1330。否则，重新启动预定时间段，并恢复对所有PPR的驾驶员注意力等级监控。在一些示例性实施例中，对于任一PPR，如果所述驾驶员注意力等级不足，则终止所述方法1300。
在操作1330中，所述控制转移模块875响应所述请求，并根据所述确认，将所述车辆的控制转移至所述人类驾驶员。所述控制的转移可以包括车辆的脱离自动控制，向所述驾驶员提供指示手动控制已经接合的警报，或其任意合适的组合。
使用所述方法1300，可通过确保所述驾驶员充分注意道路和任何障碍或危险，将自动化车辆转移控制至人类驾驶员，可提高安全性。此外，所述方法1300的使用可以避免意外性控制转移(例如，所述驾驶员意外地按下按钮或以其它方式提出转移控制请求)，因为所述驾驶员不大可能充分关注到所述意外性请求。
虽然上文详细描述了几个实施例但是可能进行其它修改。例如，为了获得期望的结果，附图中描绘的逻辑流不需要按照所示的特定顺序或者先后顺序。所述流程中可提供其它步骤或删除步骤，所述系统中可以添加或移除其它组件。其它实施例可以在所附权利要求书的范围内。