具体实施方式

由于车载环境中的光线复杂，不同驾驶员的眼睛位置不同，造成车内的视线估计系统对驾驶员视线方向的估计准确度不高。为了提高视线估计系统对驾驶员视线估计的精度，图1b示出了一种可能的实现方式，如图1b所示，使用户06坐在特定的屏幕08前望向屏幕上显示的一系列点，通过在屏幕前摆放的相机07记录眼睛看向屏幕上的点，进而获得用户的视线；同时对眼球进行建模，计算出用户的眼球的Kappa角，从而实现对用户的视线方向的校准，提高视线方向估计的精度。

上述的实现方式存在以下缺陷：一、其仅适用于室内场景，在视线方向校准前和视线方向校准后环境的变化不大。二、其操作相对复杂，需要用户主动且刻意地注视屏幕上特定的点，并需要用户点击屏幕上的点进行记录，操作方式繁琐，用户体验不佳。

为了在复杂的车载环境中也能确定出用户的视线指向的目标位置、避免用户执行繁琐操作步骤，保证用户的体验，本申请的实施例提供了一种目标位置的确定方法、确定装置以及系统。

图2示出了本申请实施例提供的目标位置的确定方法、确定装置以及系统的一应用场景。在图2所示的场景中，位于车辆座舱200内的用户300的图像被相机(摄像机)100捕获，计算设备(例如，车载装置)根据相机获取的用户300的图像对用户300视线指向的目标位置进行确定。其中，计算设备的相关描述可参见下文中计算设备部分的描述，为了简洁起见，在此不再赘述。

图3示出了本申请实施例提供的估计模型训练方法的流程图，本申请实施例中的估计模型训练方法可以由终端执行，例如诸如智能车辆、车载装置这样的终端，也可以是由应用在终端内的电子装置，例如系统芯片、通用芯片等。如图3所示，本申请实施例提供的估计模型训练方法可以包括以下步骤：

步骤S01：获取第二用户的驾驶操作以及所述第二用户在执行所述驾驶操作时的视线方向。

其中，所述估计模型用于表示座舱内的用户的视线方向指向目标位置的概率，所述驾驶操作设置有预设目标位置，所述第二用户可以为多个，所述第二用户可以包括所述座舱内的用户。

在一些实施例中，所述估计模型可以为高斯混合模型。

其中，高斯混合模型(Gaussian Mixture Model，GMM)：是指多个高斯分布函数的线性组合，用于解决同一集合下的数据包含多个不同分布的情况。在本申请的实施例中，高斯混合模型用于表示用户的视线方向指向目标位置的概率。

在一些实施例中，所述估计模型还可以为神经网络模型。

在一些实施例中，所述驾驶操作是根据车内网信号确定的。例如，驾驶操作可以通过CAN信号确定，当用户向左转方向盘、向右转方向盘、操作倒车挡时，可以通过控制器局域网络获得向应的控制信号，进而确定驾驶操作的种类。

在一些实施例中，所述驾驶操作是根据传感器采集到的传感信息确定的。

其中，传感器可以为摄像头、麦克风、方向盘的扭矩传感器等。例如，可以根据摄像头获取到第一用户的图像，来确定第一用户的驾驶操作，例如，摄像头获取的第一用户操作中控屏的图像、第一用户操作车窗开关的图像以及第一用户操作车顶灯开关的图像来确定第一用户的驾驶操作。还可以根据麦克风获取到的第一用户的语音，来确定第一用户的驾驶操作，例如，可以根据麦克风获取到的第一用户的包含有“打开天窗”、“打开顶灯”以及“转向”等的语音来确定第一用户的驾驶操作。还可以根据其他传感器如方向盘的扭矩传感器来确定第一用户的转向操作，根据屏幕传感器感测到的用户的触屏压力来确定用户操作中控屏。

在一些实施例中，驾驶操作可以包括：以下各项操作中的至少一个：向左转方向盘、向右转方向盘、拨打转向灯操作柄、操作倒车挡、操作中控屏以及操作车内的开关(车顶灯开关、空调开关、音量开关、天窗开关、顶棚开关、后备箱开关、车窗开关等)。

在一些实施例中，驾驶操作设置有对应的预设目标位置，驾驶操作与预设目标位置的对应关系可以参见表1：

表1

在一些实施例中，步骤S01可以包括：根据所述第二用户在执行所述驾驶操作的第一时间内的眼部图像，确定所述第二用户的初始视线方向，筛选所述初始视线方向，得到指向所述预设目标位置的视线方向。

其中，用户的眼部图像可以通过车内的摄像头获取，摄像头可以是RGB摄像头、IR摄像头，本申请对此不做限制。

步骤S02：根据所述第二用户的所述驾驶操作以及所述第二用户在执行所述驾驶操作时的视线方向训练所述估计模型，直到所述估计模型输出的目标位置中对应概率最大的位置，与所述驾驶操作对应的预设目标位置一致。

其中，所述预设目标位置可以包括所述目标位置。例如，当训练样本为：向左转方向盘的驾驶操作以及向左转方向盘时的视线方向时，当估计模型输出的目标位置对应的概率为：看向左后视镜的概率为80％、看向转向灯操作柄的概率为12％以及看向左侧车窗开关位置的概率为8％时，根据表1中驾驶操作与预设目标位置的对应关系可知，概率最大的位置与向左转方向盘对应的预设目标位置一致，此时，估计模型训练完成；当估计模型输出的目标位置对应的概率为：看向左后视镜的概率为3％、看向转向灯操作柄的概率为80％以及看向左侧车窗开关位置的概率为17％时，概率最大的位置与向左转方向盘对应的预设目标位置不一致，此时，估计模型没有训练好，还需要进行训练。

例如，当训练样本为：操作中控屏的驾驶操作以及操作中控屏时的视线方向时，估计模型输出的目标位置对应的概率可以为：看向中控屏的概率为90％、看向空调开关位置的概率为2％，其中，概率最大的位置为中控屏，根据表1中驾驶操作与预设目标位置的对应关系可知，概率最大的位置与操作中控屏对应的预设目标位置一致，此时，估计模型训练完成。

需要说明的是，估计模型输出的目标位置中对应概率最大的位置，与所述驾驶操作对应的预设目标位置一致不代表完全一致，只要输出的目标位置中对应概率最大的位置，与所述驾驶操作对应的预设目标位置之间的差别在预设差别范围内即可，其中，该预设差别范围可以根据不同型号的传感器的参数的变化，也可以根据用户的偏好进行设置、还可以根据经验值来预先设置，本申请对此不做限制。

当所述估计模型被训练完成后，可以利用该估计模型确定用户视线所指向的目标位置，下面，参照附图4对本申请实施例提供的目标位置的确定方法进行说明。

图4示出了本申请实施例提供的一种目标位置的确定方法的流程图，本申请实施例中的目标位置的确定方法可以由终端执行，例如诸如智能车辆、车载装置这样的终端，也可以是由应用在终端内的电子装置，例如系统芯片、通用芯片等。

如图4所示，本申请实施例提供的一种目标位置的确定方法可以包括以下步骤：

步骤S1：获取座舱内的第一用户的视线方向。

在一些实施例中，获取第一用户的视线方向可以包括：获取第一用户的图像；对第一用户的图像进行截取，获得第一用户的人眼图像；根据第一用户的人眼图像确定第一用户的深度信息；以及将第一用户的人眼图像和深度信息输入视线估计模型，获得第一用户的视线方向。

在一些实施例中，可以通过飞行时间(Time ofFlight，TOF)法、结构光法、双目视觉法等深度估计方法来确定第一用户的图像的深度信息，本申请对此不做限制。

其中，视线估计模型可以是由深度神经网络实现，本申请对此不做限制，只要能够获得第一用户的视线方向即可。

步骤S2：根据所述第一用户的视线方向和估计模型，确定所述第一用户的视线方向指向的目标位置。

其中，所述估计模型用于表示座舱内的第一用户的视线方向指向目标位置的概率，所述估计模型是根据第二用户执行的驾驶操作时对应的视线方向，和所述驾驶操作对应的预设目标位置训练得到的，所述预设目标位置包括所述目标位置。

为了简洁起见，关于预设目标位置以及驾驶操作的描述，可以参见上述描述，在此不再赘述。

在一些实施例中，所述估计模型可以包括多个子估计模型，每个第一用户对应于一个子估计模型，当第一用户进入座舱内开始使用目标位置的确定方法时，根据第一用户的身份来选择其中一个子估计模型，根据所述第一用户的视线方向和所述第一用户对应的估计模型，确定所述第一用户的视线方向指向的目标位置。

其中，可以根据以下方式对第一用户的身份进行确定：例如：人脸识别、指纹识别、账号登录、声纹验证、虹膜验证等。第一用户的人脸信息或虹膜信息可以通过摄像头获取，第一用户的指纹信息可以通过压敏或光感指纹传感器按采集、第一用户的声纹信息可以通过麦克风获取等。

在一些实施例中，所述估计模型还可以为一个兼容模型，其无需与第一用户的身份进行绑定，能够确定多个不同第一用户的目标位置。当第一用户进入座舱内开始使用目标位置的确定方法时，直接根据所述第一用户的视线方向来确定所述第一用户的视线方向指向的目标位置。

在一些实施例中，所述估计模型还可以根据第一用户的身份进行优化。当估计模型为包括多个子估计模型的模型时，可以根据第一用户的身份确定出该第一用户对应的子估计模型，利用该第一用户执行的驾驶操作时对应的视线方向，和所述驾驶操作对应的预设目标位置训练该子估计模型，直至该子估计模型输出的目标位置中对应概率最大的位置，与所述驾驶操作对应的预设目标位置一致；当与该第一用户的身份对应的子估计模型已经训练好时，也可以在使用该子估计模型的同时，利用该第一用户的视线方向和驾驶操作优化该子估计模型，从而使子估计模型输出的目标位置更准确。

当估计模型为一个兼容模型时，其可以根据多个第二用户在执行的驾驶操作时对应的视线方向，和所述驾驶操作对应的预设目标位置来训练该兼容模型，直至该兼容模型训练好，其中，第二用户可以包括第一用户，第二用户也可以是与第一用户不同的一批用户。在该兼容模型使用的过程中，也可以继续利用座舱内的第一用户执行驾驶操作时对应的视线方向，和所述驾驶操作对应的预设目标位置来优化该兼容模型，使兼容模型能够更加适应第一用户的视线方向，从而输出更准确的目标位置。

对估计模型的优化，可以在本地进行，也可以在云端进行，即，将第一用户执行的驾驶操作时的视线方向和驾驶操作对应的预设目标位置上传至云端，在云端优化完成后，与本地进行同步。

在一些实施例中，所述目标位置为所述第一用户的视线方向所对应的目标位置中概率最大的位置。

其中，目标位置可以为一个，例如，是左后视镜、右后视镜、转向灯操作柄、中央后视镜、中控屏、车顶灯开关位置、空调开关位置、音量开关位置、天窗开关位置、顶棚开关位置、后备箱开关位置以及车窗开关位置中的一个。目标位置也可以为多个，例如，可以是预设目标位置中的多个，也可以是所有预设目标位置，每一个目标位置对应于一个概率，目标位置中概率最大的位置即为用户的视线方向指向的目标位置。例如，估计模型可以输出中央后视镜、中控屏以及空调开关位置，其中，看向中央后视镜的概率为90％，看向中控屏的概率为9％，看向空调开关位置的概率为1％，看向其他位置的概率均为0％，此时，将概率最大的中央后视镜作为第一用户的视线方向指向的目标位置。

在一些实施例中，所述估计模型是根据所述第二用户执行的驾驶操作时对应的视线方向，和所述驾驶操作对应的预设目标位置聚类得到的高斯混合模型。

其中，可以根据不同种类的驾驶操作分别设置对应的预设目标位置(驾驶操作和预设目标位置的对应关系可以参见表1)，利用驾驶操作的种类来标记执行该种驾驶操作时获取的与该种驾驶操作时对应的视线方向，将标记后的视线方向作为样本输入至高斯混合模型，直至输出的目标位置中对应概率最大的位置，与该类驾驶操作对应的预设目标位置一致。

在一些实施例中，所述估计模型是根据所述第二用户执行的驾驶操作时对应的视线方向，和所述驾驶操作对应的预设目标位置训练得到的神经网络模型。

其中，可以将驾驶操作时对应的视线方向作为训练样本，将所述驾驶操作对应的预设目标位置作为训练目标，利用驾驶操作时对应的视线方向训练神经网络模型，直至神经网络模型输出的位置与所述驾驶操作对应的预设目标位置一致。

在一些实施例中，所述驾驶操作是根据车内网信号确定的。例如，驾驶操作可以通过控制器局域网络信号确定，当用户向左转方向盘、向右转方向盘、操作倒车挡时，可以通过控制器局域网络获得向应的控制信号，进而确定驾驶操作的种类。

在一些实施例中，所述驾驶操作是根据传感器采集到的传感信息确定的。

其中，传感器可以为摄像头、麦克风、方向盘的扭矩传感器以及屏幕压力传感器等。例如，可以根据摄像头获取到用户的图像，来确定用户的驾驶操作，例如，摄像头获取的用户操作中控屏的图像、用户操作车窗开关的图像以及用户操作车顶灯开关的图像来确定用户的驾驶操作。还可以根据麦克风获取到的用户的语音，来确定用户的驾驶操作，例如，可以根据麦克风获取到的用户的包含有“打开天窗”、“打开顶灯”以及“转向”等的语音来确定用户的驾驶操作。还可以根据其他传感器如方向盘的扭矩传感器来确定用户的转向操作，根据屏幕传感器感测到的用户的触屏压力来确定用户操作中控屏。

在一些实施例中，所述估计模型是根据第二用户执行的驾驶操作时对应的视线方向，和所述驾驶操作对应的预设目标位置训练得到的，包括：根据所述第二用户在执行所述驾驶操作的第一时间内的眼部图像，确定所述第二用户的初始视线方向；筛选所述初始视线方向，得到指向所述预设目标位置的视线方向；根据所述第二用户的所述驾驶操作以及所述指向所述预设目标位置的视线方向训练所述估计模型，直到所述估计模型输出的目标位置中对应概率最大的位置，与所述驾驶操作对应的预设目标位置一致。

需要说明的是，虽然本申请先叙述了估计模型的训练方法，并不代表估计模型必须要先训练再使用，实际上，在使用估计模型的同时，还可以根据第二用户的执行的驾驶操作时对应的视线方向，和所述驾驶操作对应的预设目标位置来训练估计模型，从而随着用户的驾驶时间的增长，用户的视线方向数据的增多，估计模型对目标位置的确定更准确。

在一些实施例中，当确定出目标位置后，还可以控制位于目标位置的部件执行预设操作，例如，当确定出视线方向指向中控屏时，可以控制中控屏幕打开；当确定出视线方向指向顶灯开关位置时，可以控制顶灯开关打开等。

图5示出了本申请实施例提供的目标位置的确定方法的一具体实现方式的流程图。如图5所示，本申请实施例提供的目标位置的确定方法可以包括以下步骤：

步骤S10：相机获取用户的图像。

在一些实施例中，相机可以为RGB相机、IR相机，还可以是RGB摄像头、IR摄像头，本申请对此不做限制，所述“用户”也在本申请的上述实施例中被称为“第一用户”或“第二用户”。

步骤S20：根据用户的图像识别用户，确定用户是否处于适应阶段，当用户未处于适应阶段时执行步骤S31：对用户的图像进行截取，获得用户的人眼图像。

由于相机获取的图像还包含用户的身体，因此，需要对图像进行截取处理，获得用户的人眼部分的图像。

步骤S41：根据用户的人眼图像，获得用户的深度信息。

在一些实施例中，可以通过飞行时间法、结构光法、双目视觉法来确定用户的图像的深度信息，本申请对此不做限制。

步骤S51：将用户的人眼图像和深度信息输入估计模型，获得用户的视线方向。

在一些实施例中，也可以根据用户的图像和深度信息进行用户的识别，或者，可以利用声音识别、指纹识别、手环识别等确定用户的身份，进而确定该用户是否处于适应阶段。其中，当所述用户的使用视线确定系统的累计时间在预设时间内时，所述用户处于适应阶段；

在一些实施例中，可以将同一用户使用本申请的视线确定系统的前300小时作为适应阶段。例如，在用户进入车内座舱(驾驶位)后，可以根据用户的图像对用户进行人脸识别，确定用户身份后，确定该用户使用视线确定系统的累计时间。

当用户处于适应阶段时，执行步骤S30：获取用户在执行不同驾驶操作前和后第一时间段内的图像。

步骤S40：对用户的图像进行截取，获取用户的人眼图像。

由于相机获取的图像还包含用户的身体，因此，需要对图像进行截取处理，获得用户的人眼部分的图像。

步骤S50：根据用户的人眼图像获得用户的深度信息。

在一些实施例中，可以通过飞行时间法、结构光法、双目视觉法来确定用户的图像的深度信息，本申请对此不做限制。

在一些实施例中，还可以根据用户的人脸图像来获得用户的深度信息，本申请对此不做限制。

步骤S60：将用户的人眼图像和深度信息输入视线估计模型，获得用户执行不同驾驶操作前和后第一时间段内的视线方向。

其中，视线方向可以为一个三维的向量；每种驾驶操作设置有相对应的视线目标(在本申请中，也被称为预设目标位置)。

在一些实施例中，驾驶操作包括以下各项操作中的至少一个：向左转方向盘、向右转方向盘、拨打转向灯操作柄、操作倒车挡、操作中控屏以及操作车内的开关(顶灯开关、空调开关、音量开关、天窗开关、顶棚开关、后备箱开关、车窗开关等)。由于用户在执行这些驾驶操作时所看的位置相对固定，因此可以根据用户执行的驾驶操作来设置该驾驶操作对应的视线目标，其中，驾驶操作与预设目标位置的对应关系可以参见表1，为了简洁起见，在此不再赘述。

在一些实施例中，如图9所示，用户在向左转方向盘时，通常会看向左后视镜1；用户在向右转方向盘时，通常会看向右后视镜2；用户在操作中控屏4时会看向中控屏4，用户在打开车上部件(前车灯、后车灯、示廓灯、座舱顶灯、前后雨刷、鸣笛、空调、车窗、车天窗7、座椅5等)的开关时，通常看向相应的开关位置(前车灯开关、后车灯开关、示廓灯开关、座舱顶灯开关6、前后雨刷开关、鸣笛开关、音量大小开关、空调开关、车窗开关、车天窗开关、座椅开关等)；用户在换倒挡时，会看向中央后视镜3等。

在一些实施例中，用户的视线方向通过视线估计模型来获得，在一些实施例中，视线估计模型的输入是所述用户的图像和所述深度信息，输出为视线方向。

在另一些实施例中，视线估计模型的输入也可以是所述用户的图像，输出为视线方向。视线估计模型可以是由深度神经网络实现，本申请对此不做限制，只要能够获得用户的视线方向即可。

在一些实施例中，第一时间段可以是若干秒，例如可以在用户执行这些驾驶操作前和后5s的时间内，记录该时间段内用户的视线方向。

步骤S70：对所记录的时间段内的各个采样时刻的各个视线方向进行筛选，筛除偏离驾驶操作所对应的视线目标的视线方向，获得指向驾驶操作所对应的视线目标的视线方向。

其中，所述采样时刻可以以秒为单位，也可以以更短或更长，可以依据计算设备的算力设定。

在一些实施例中，可以在用户驾驶车辆的过程中，针对同一驾驶操作或不同的驾驶操作进行多次视线方向的采样，也可以针对同一驾驶操作或不同的驾驶操作进行单次视线方向的采样。

用户在执行这些驾驶操作时，大多时间会看向这些驾驶操作所对应的视线目标，但是也会有少部分的视线方向是看向(在本申请中，也被称为“指向”)别处，因此，需要对用户在执行这些驾驶操作时的视线方向进行筛选，筛除偏离驾驶操作对应的视线目标的视线方向，获得指向所述视线目标的视线方向。在对视线方向进行筛选时，首先根据视线方向计算该视线方向指向的视线目标，将偏离驾驶操作对应的视线目标的视线方向筛除，保留指向驾驶操作对应的视线目标的视线方向。

在一些实施例中，在用户驾驶车辆的2小时的时间里，总共执行了15次向左转方向盘的操作，记录每次用户向左转方向盘前和后5秒的时间里看向左后视镜的视线方向，则总共记录150秒用户向左转方向盘时的视线方向。在这150秒内，虽然在大部分情况用户都看向左后视镜，但是还是会有少数情况用户看向其他位置，因此，需要将用户没有看向左后视镜的视线方向筛除。

在一些实施例中，筛除偏离驾驶操作对应的视线目标的视线方向的方法例如可以包括：邻近度法、距离法、相似度的离群点检测法，密度法，簇的离群点检测法，基于回归模型的离群点检测法等。

步骤S80：利用指向驾驶操作所对应的视线目标的各个采样时刻的视线方向建立高斯混合模型，求解高斯混合模型的参数，获得高斯混合模型。

如图6所示，步骤S80可以包含以下子步骤：

步骤S81：初始化高斯混合模型的参数θ＝(μ_k0，Σ_k0，α_k0)。

高斯混合模型是由k种单高斯模型组合而成的模型，在本申请的实施例中，高斯混合模型可以描述用户的视线方向指向多种驾驶操作分别对应的视线目标的概率分布，即用户的视线方向属于不同种类的驾驶操作的概率。

将用户的视线方向输入至建立好的高斯混合模型中，可以得到用户的视线方向看向不同位置的概率，概率最大的位置为用户的视线方向看向的目标位置。

在参数θ＝(μ_k0，∑_k0，α_k0)中，μ_k0为第k种驾驶操作对应的视线方向数据均值(期望)；∑_k0为第k种驾驶操作对应的视线方向协方差，α_k0为第k种驾驶操作对应的视线方向的系数。

高斯混合模型的概率分布函数为：

其中，x_j表示用户的视线方向数据，其是一个多维(本申请为三维)的向量数据；K表示驾驶操作的种类总数；k表示第k种驾驶操作；α_k表示用户的视线方向属于第k种驾驶操作的概率，α_k≥0，φ(x_j|θ_k)表示用户在执行第k种驾驶操作期间的视线数据所服从的高斯分布密度函数，其中，μ为视线方向的数据均值(期望)；∑为协方差，D为视线方向的数据维度。

步骤S82：根据步骤S81的参数，计算视线方向属于不同种类的驾驶操作的概率Y_jk。

根据公式j＝1,2,3…N；k＝1,2,3…K，确定用户的视线方向数据x_j属于第k种驾驶操作的概率。

在一些实施例中，获得用户的一批视线方向数据，这些视线方向数据可以为用户在执行不同驾驶操作时获得的视线方向数据，例如：用户向左转方向盘k1期间的视线方向数据：x₁,x₂,x₃；用户操作中控屏k2期间的视线方向数据：x₄,x₅,x₆；用户挂倒挡k3期间的视线方向数据x₇,x₈，x₉。

根据公式(2)可以分别计算得到视线方向数据x1属于向左转方向盘k1的概率γ11、操作中控屏k2的概率γ12、挂倒挡k3的概率γ13；x2属于向左转方向盘k1的概率γ21、操作中控屏k2的概率γ22、挂倒挡k3的概率γ23……以此类推。

步骤S83：根据步骤S82计算得到的概率、视线方向迭代参数。

根据步骤S82获得的概率Y_jk，通过公式j＝1,2,3…N；k＝1,2,3…K确定参数μ_k；

通过公式j＝1,2,3…N；k＝1,2,3…K确定参数∑_k，其中，参数μ_k为由公式(3)计算得到的；

通过公式j＝1,2,3…N；k＝1,2,3…K确定参数α_k。

步骤S84：返回步骤S82进行迭代计算θ＝(μ_k，∑_k，α_k)，直到迭代达到目标，如迭代次数达到最大值，或相邻两次计算得到的参数θn与θn-1的变化很小。

由步骤S81-步骤S83可知，利用视线方向数据x₁-x₉计算参数的次数为1，还可以继续利用视线方向数据x₁-x₉重复步骤S82-步骤S83，直至迭代次数达到最大值或相邻两次计算得到的参数θn与θn-1的变化很小，即||θ_n-θ_n-1||＜ε，ε为一个很小的正数。

在建立高斯混合模型时，可以在用户的一次驾驶过程中，记录用户在执行一种或多种驾驶操作期间的视线方向数据。在用户的这次驾驶完成后，利用记录的用户在执行一种或多种驾驶操作时的视线方向数据来求解参数θ＝(μ_k，∑_k，α_k)，以备下次求解参数时使用。

步骤S85：当迭代结束后，即获得高斯混合模型的参数θ＝(μ_k，∑_k，α_k)，获得该高斯混合模型。

步骤S90：利用高斯混合模型确定视线方向属于不同驾驶操作对应的视线目标的概率。

由步骤S80获得的高斯混合模型的输入为视线估计模型确定的视线方向，输出为用户的视线方向属于不同驾驶操作对应的位置的概率，例如，左后视镜的概率，右后视镜的概率，中央后视镜的概率，中控屏的概率，车天窗开关位置的概率等。

步骤S100：将概率最大的驾驶操作对应的视线目标作为目标位置。

由于用户在执行不同驾驶操作时视线方向所看向的位置相对固定，因此将概率最大的驾驶操作对应的位置作为用户的目标位置。

在一些实施例中，可以在适应阶段中，将用户在第二次驾驶时获得的视线方向输入至建立中的高斯混合模型，获得用户的最终视线方向。

也可以在适应阶段时，仅利用视线确定模型获得用户的视线方向，本申请对此不做限制。

在一些实施例中，在所述高斯混合模型已经根据适应阶段获得的用户的视线方向建立后，还可以在将用户的人眼图像和深度信息输入视线估计模型，获得用户的视线方向情况下，执行步骤S30-步骤S50，获得用户在执行至少一种驾驶操作前和后第一时间内的视线方向，以备在用户未驾驶时迭代高斯混合模型的参数，使高斯混合模型能够实现更精确的视线确定。随着用户驾驶时间的变长，视线方向数据就越多，高斯混合模型的精确度就越高，进而能够使高斯混合模型对视线目标估计得越来越准。

由于视线估计模型仅确定用户的视线方向，高斯混合模型仅确定用户的视线目标，因此，本申请不会涉及用户隐私，消除用户的顾虑。

用户在执行驾驶操作时即可实现高斯混合模型参数的求解和迭代，不需要用户刻意执行实现校准的操作，用户体验更好。

采用本申请实施例提供的视线确定方法，能够在光线复杂的车内座舱中实现对用户视线目标的确定，解决了由于车内座舱内的光线复杂，很难准确获得视线目标的问题。

图7示出了本申请实施例提供的估计模型的训练装置1000的模块示意图，如图7所示，本申请实施例提供的训练装置包括：获取模块1001，用于获取第二用户的驾驶操作以及所述第二用户在执行所述驾驶操作时的视线方向，其中，所述驾驶操作设置有预设目标位置；训练模块1002，用于根据所述第二用户的所述驾驶操作以及所述第二用户在执行所述驾驶操作时的视线方向训练所述估计模型，直到所述估计模型输出的目标位置中对应概率最大的位置，与所述驾驶操作对应的预设目标位置一致。

在一些实施例中，所述驾驶操作是根据车内网信号确定的。

在一些实施例中，所述驾驶操作是根据传感器采集到的传感信息确定的。

在一些实施例中，所述驾驶操作包括以下各项操作中的至少一个：向左转方向盘、向右转方向盘、拨打转向灯操作柄、操作倒车挡、操作中控屏以及操作车内的开关。

在一些实施例中，所述向左转方向盘对应的预设目标位置为左后视镜；所述向左转方向盘对应的预设目标位置为右后视镜。

在一些实施例中，所述操作中控屏对应的预设目标位置为中控屏。

在一些实施例中，所述估计模型是高斯混合模型。

在一些实施例中，所述估计模型是神经网络模型。

在一些实施例中，所述获取模块1001具体用于：根据所述第二用户在执行所述驾驶操作的第一时间内的眼部图像，确定所述第二用户的初始视线方向，筛选所述初始视线方向，得到指向所述预设目标位置的视线方向。

需要说明的是，上述各模块，即：获取模块1001和训练模块1002用于执行估计模型的训练方法的相关步骤。比如获取模块1001用于执行步骤S01、步骤S60、步骤S70、步骤S51等的相关内容，训练模块1002用于执行步骤S02、步骤S80、步骤S81-步骤S85等的相关内容。

在本实施例中，估计模型的训练装置1000是以模块的形式来呈现。这里的“模块”可以指特定应用集成电路(application-specific integrated circuit，ASIC)，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。此外，以上估计模型的训练装置1000可以通过图10所示的车载装置的处理器1510来实现。

图8示出了本申请实施例提供的目标位置的确定装置2000的模块示意图。本申请实施例提供的确定装置2000包括：获取模块2001和确定模块2002。

获取模块2001，用于获取座舱内的第一用户的视线方向；确定模块2002，用于根据所述第一用户的视线方向和估计模型，确定所述第一用户的视线方向指向的目标位置；其中，所述估计模型用于表示座舱内的用户的视线方向指向目标位置的概率，所述估计模型是根据第二用户执行的驾驶操作时对应的视线方向，和所述驾驶操作对应的预设目标位置训练得到的，所述预设目标位置包括所述目标位置。

在一些实施例中，所述第二用户包括所述第一用户，所述确定模块2002具体用于：根据所述第一用户的视线方向和所述第一用户对应的估计模型，确定所述第一用户的视线方向指向的目标位置。

在一些实施例中，所述目标位置为所述第一用户的视线方向所对应的目标位置中概率最大的位置。

在一些实施例中，所述驾驶操作是根据车内网信号确定的。

在一些实施例中，所述驾驶操作是根据传感器采集到的传感信息确定的。

在一些实施例中，所述驾驶操作包括以下各项操作中的至少一个：向左转方向盘、向右转方向盘、拨打转向灯操作柄、操作倒车挡、操作中控屏以及操作车内的开关。

在一些实施例中，所述向左转方向盘对应的预设目标位置为左后视镜；所述向左转方向盘对应的预设目标位置为右后视镜。

在一些实施例中，所述操作中控屏对应的预设目标位置为中控屏。

在一些实施例中，所述估计模型是根据第二用户执行的驾驶操作时对应的视线方向，和所述驾驶操作对应的预设目标位置训练得到的，包括：所述估计模型是根据所述第二用户执行的驾驶操作时对应的视线方向，和所述驾驶操作对应的预设目标位置聚类得到的高斯混合模型。

在一些实施例中，所述估计模型是根据第二用户执行的驾驶操作时对应的视线方向，和所述驾驶操作对应的预设目标位置训练得到的，包括：所述估计模型是根据所述第二用户执行的驾驶操作时对应的视线方向，和所述驾驶操作对应的预设目标位置训练得到的神经网络模型。

在一些实施例中，所述估计模型是根据第二用户执行的驾驶操作时对应的视线方向，和所述驾驶操作对应的预设目标位置得到的，包括：根据所述第二用户在执行所述驾驶操作的第一时间内的眼部图像，确定所述第二用户的初始视线方向；筛选所述初始视线方向，得到指向所述预设目标位置的视线方向；根据所述第二用户的所述驾驶操作以及所述指向所述预设目标位置的视线方向训练所述估计模型，直到所述估计模型输出的目标位置中对应概率最大的位置，与所述驾驶操作对应的预设目标位置一致。

需要说明的是，上述各模块，即：获取模块2001和确定模块2002用于执行目标位置的确定方法的相关步骤。比如获取模块2001用于执行步骤S1步骤S60、步骤S70等的相关内容，确定模块2002用于执行步骤S2、步骤S90、步骤S100等的相关内容。

在本实施例中，目标位置确定装置2000是以模块的形式来呈现。这里的“模块”可以指特定ASIC，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。此外，以上视线确定装置2000可以通过图10所示的车载装置的处理器1510来实现。

如图2所示，目标位置的确定系统可以包括：摄像机100、计算设备(车载装置，图中未绘制出)。其中，摄像机100用于获取用户的图像，计算设备用于根据用户的图像确定用户视线所指向的目标位置。其中，计算设备的相关描述可参见本申请计算设备部分的描述，为了简洁起见，在此不再赘述。

在一些实施例中，目标位置的确定系统还可以包括目标装置，该目标装置可以包括：中控屏幕、座舱内的灯，当计算设备确定出用户视线指向的目标位置后，还可以控制目标装置执行预设操作，例如，可以控制中控屏幕打开；可以控制顶灯开关打开等。

图10是本申请实施例提供的一种计算设备1500(其可以为位于车上的车载装置)的结构性示意性图。该计算设备1500包括：处理器1510、存储器1520、通信接口1530、总线1540。

应理解，图10所示的计算设备1500中的通信接口1530可以用于与其他设备之间进行通信。

其中，该处理器1510可以与存储器1520连接。该存储器1520可以用于存储该程序代码和数据。因此，该存储器1520可以是处理器1510内部的存储单元，也可以是与处理器1510独立的外部存储单元，还可以是包括处理器1510内部的存储单元和与处理器1510独立的外部存储单元的部件。

可选的，计算设备1500还可以包括总线1540。其中，存储器1520、通信接口1530可以通过总线1540与处理器1510连接。总线1540可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。所述总线1540可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。

应理解，在本申请实施例中，该处理器1510可以采用中央处理单元(centralprocessing unit，CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器1510采用一个或多个集成电路，用于执行相关程序，以实现本申请实施例所提供的技术方案。

该存储器1520可以包括只读存储器和随机存取存储器，并向处理器1510提供指令和数据。处理器1510的一部分还可以包括非易失性随机存取存储器。例如，处理器1510还可以存储设备类型的信息。

在计算设备1500运行时，所述处理器1510执行所述存储器1520中的计算机执行指令执行上述方法的操作步骤。

应理解，根据本申请实施例的计算设备1500可以对应于执行根据本申请各实施例的方法中的相应主体，并且计算设备1500中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程，为了简洁，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行上述目标位置的确定方法以及估计模型的训练方法中的至少一个。

本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括、但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

说明书和权利要求书中的词语“第一、第二、第三等”或模块A、模块B、模块C等类似用语，仅用于区别类似的对象，不代表针对对象的特定排序，可以理解地，在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

在以上的描述中，所涉及的表示步骤的标号，如S1、S2……等，并不表示一定会按此步骤执行，在允许的情况下可以互换前后步骤的顺序，或同时执行。

说明书和权利要求书中使用的术语“包括”不应解释为限制于其后列出的内容；它不排除其它的元件或步骤。因此，其应当诠释为指定所提到的所述特征、整体、步骤或部件的存在，但并不排除存在或添加一个或更多其它特征、整体、步骤或部件及其组群。因此，表述“包括装置A和B的设备”不应局限为仅由部件A和B组成的设备。

本说明书中提到的“一个实施例”或“实施例”意味着与该实施例结合描述的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在本说明书各处出现的用语“在一个实施例中”或“在实施例中”并不一定都指同一实施例，但可以指同一实施例。此外，在一个或多个实施例中，能够以任何适当的方式组合各特定特征、结构或特性，如从本公开对本领域的普通技术人员显而易见的那样。

注意，上述仅为本申请的较佳实施例及所运用的技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请的构思的情况下，还可以包括更多其他等效实施例，均属于本申请的保护范畴。