具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

以下结合不同实施例讲解本申请车辆倒车辅助线的形成与显示方法，参见图1，为本申请车辆倒车辅助线的形成与显示方法在一实施例中的流程示意图，该方法包括步骤S101至步骤S104，其中：

步骤S101：构造以车辆为中心的三维场景图。

具体地，车辆上装有多个摄像头，以获得不同方向的多张图片为构造以车辆为中心的三维场景图做准备，便于了解车辆与周围环境的位置关系。具体的步骤S101进一步包括以下步骤，如图2所示：

S101a：获取多张以车辆为中心的二维图像。

可以理解地，一般安装在车辆上的摄像头无法通过一个摄像头同一时间获得多个角度，或者很广范围的照片，因此一般情况下，车辆上安装有多个摄像头，进而可以同时获取基于车辆不同角度的二维图像。

S101b：将多张二维图像投影到三维模型内面上。

通过步骤S101b使得多张二维图像通过投影形成三维图片。可选地，三维模型可以是球状的、碗状的或者圆柱形都可以，在此不做具体限定。

S101c：接缝融和相邻的二维图像，形成以车辆为中心的三维场景图。

具体地，本实施例中，相邻的二维图像具有重叠的部分，进而使得相邻的图片在靠近边缘的位置能够实现拼接或者融合，进而形成完整的三维场景图。在其他实施例中，相邻的二维图像中也可以有一些是刚好能够衔接上，不一定都有重合，在此不做具体限定。

步骤S102：获取车辆的方向盘的转动角度。

可以理解地，驾驶员通过转动方向盘来控制车轮的转向，且方向盘的转动方向与车轮的转动角度是相互对应的，因此通过获取方向盘的转动角度即可得到车轮的转动角度。具体地，方向盘转动控制的是车辆的前车轮的转动，而车辆的后车轮是前车轮的从动轮，后车轮的转动角度和方向与前车轮的转动角度和方向形成映射，知道前车轮的转动角度和方向即可得到后车轮的转动角度和方向。而后车轮的转动角度和方向直接决定后车轮的倒车轨迹。

具体地，在一实施例中，在车辆前后及左右倒车镜下侧各安装一个摄像头，例如鱼眼摄像头(俯仰视场角：30度～45度；水平视场角180度～190度之间)，保证四个摄像头视觉覆盖区域有重叠。当然在其他实施例中也可以是其他类型的摄像头，安装角度也可以根据需求做调整。摄像头安装完成后进行摄像头的内参数与外参数标定，使得最终能够准确获取二维平面到三维世界的投影关系。

步骤S103：根据方向盘的转动角度在三维场景图中计算后车轮欲行驶轨迹线。

可以理解地，获得了后车轮的转动角度，即可推算出倒车时后车轮欲行驶轨迹线。例如以自行车为例，如果前轮有一定转角，在维持转角不变状态和无径向移动前提下自行车走过的路径将会以某个圆点为中心旋转，同样的状态也会出现在汽车上，具体原理如下图所示：图中假设车轮不会出现轴向移动，故如果保持车轮转角不变的情况下，每个车轮只能沿着垂直其车轴的方向行进，这里取前车轮和后车轮的轴心作为轨迹跟踪点，则轨迹应该是以前车轮轴向线和后车轮的轴向线的焦点为圆心的圆。如图3所示，φ为前轮同水平方向的夹角，记前车轮到后车轮轴距为L，后车轮轴长为W，后车轮距离车尾的距离为D，从几何关系可知，后车轮轴心的运动轨迹可以描述为以半径Lcot(φ)的圆周运动。两个后轮的轨迹分别为Lcot(φ)-W/2和Lcot(φ)+W/2的圆。

辅助线根据方向盘的转动方向而不断改变。

具体地，在一实施例中，根据方向盘的转动角度在所述三维场景图中计算后车轮欲行驶轨迹线的步骤包括以下步骤，如图4所示：

步骤S103a：建立以车辆中心为原点的坐标系。

如图5所示，以车辆的车轴中心为原点建立坐标系，取车辆的宽度方向为x轴，其中x轴向左为正，取车辆的长度方向为z轴，其中z轴向车头方向为正，取车辆的厚度方向为y轴，其中y轴由车底向车顶方向为正。在其他实施例中，对于x轴，y轴和z轴的定义也可以根据实际情况进行调整，在此不做具体限定。其中图5中，W为车辆的宽度，H为车辆的长度，D为轴距，Q和Q’为圆心，左前车轮a点的所在坐标为(W/2，0，D/2)，右前车轮b点所在的坐标为(-W/2，0，D/2)，左后车轮c点的所在坐标为(W/2，0，-D/2)，右后车轮d点所在的坐标为(-W/2，0，-D/2)。

步骤S103b：根据方向盘的转动角度和转动方向及坐标系下后车轮的坐标，推算车辆中后车轮的转动轨迹的圆心位置和车轮的转动轨迹半径大小。

图中假设车轮不会出现轴向移动，故如果保持车轮转角不变的情况下，每个车轮只能沿着垂直其车轴的方向行进，这里取前后轮的轴心作为轨迹跟踪点，则轨迹应该是以前后轮轴向线的焦点为圆心(Q和Q’)的圆。具体地，结合圆心的位置，车轮转动轨迹半径大小以及车轮的转向即可得到后车轮欲运行轨迹线，半径的大小即为车轮到圆心位置之间的距离。

图5中左边的两条虚线为顺时针倒车时预测的后车轮欲运行轨迹线(以Q为圆心)，右边的两条虚线为逆时针倒车时预测的车轮轨迹线(以Q’为圆心)。以下以顺时针倒车的情况为例，进行讲解，逆时针倒车的情况类似，不进行赘述。

具体的，推算圆心位置Q(qx,qy,qz):

qx＝D*cot(Ф)

qy＝0

qz＝-D/2

步骤S103c：根据圆心位置和后车轮的转动半径大小推算后车轮欲行驶的轨迹线。

可以理解地，方向盘每转动一个角度，圆心位置和运行半径即发生变化，相应的车轮行驶的方向和轨迹也发生变化。根据车轮圆心的位置即可推算后车轮欲行驶的轨迹线。

具体地，后车轮欲行驶的轨迹线包括左后车轮以及右后车轮欲行驶的轨迹线。根据左后车轮和右后车轮各自圆心所在位置即可推算相应的轨迹线。其中，以车向左后方倒车为例：

推算左后轮轨迹线:由模型可知，左后轮的轨迹线应以Q为圆心，Qc间距离为半径(r1)的圆，预设轨迹线长度为Lleft，此处以c点为起点，顺时针方向将所述倒车轨迹线预设为90个点(c_x,c_y,c_z)，每个点间隔步长为度，

推算右后轮轨迹：由模型可知，右后轮的轨迹线应以Q为圆心，Qd间距离为半径(r2)的圆，预设轨迹线长度为Lright,此处以d点为起点，顺时针方向将所述倒车轨迹线预设为90个点(d_x,d_y,d_z)，每个点对应角度为度，

向右后方倒车时，左后轮和右后轮以Q’为圆心，具体推算方法与向左后方倒车的推算方法同理，在此不再复述。

步骤S104：根据所述后车轮欲行驶轨迹线在二维后视图中显示车轮倒车的辅助线。

可以理解地，一般在车辆的二维后视图中显示车轮欲行驶轨迹，能够让驾驶员在倒车的过程中同时预判车辆的行驶轨迹以及车尾附近的环境，以便更好地倒车。

在一实施例中，根据所述后车轮欲行驶轨迹线在二维后视图中显示倒车辅助线的步骤之前还包括：将三维场景图中的后车轮欲行驶的轨迹线经过投影转换成二维形态的辅助线。可以理解地，如果呈现给用户的是三维视图，容易出现无用的信息，对驾驶员产生干扰。本实施例中，将三维场景下的轨迹线投影到二维图像中显示，而非直接以3D形式提供给驾驶员，可在倒车过程中，减少无用信息对驾驶员的干扰。未采用3D俯视图而是采用投影到二维后视图的方式，可让驾驶员获取更多的车辆后侧环境信息。

具体地，步骤S101中构建三维场景图是将二维图像投影到三维模型的内面中，可得到真实的场景环境与车辆的位置关系。步骤S103中得到的轨迹线为三维空间中的线，而实际呈现给驾驶员的视图则为二维图像更利于驾驶员直接观察。因此需要将三维状态的轨迹线转化为二维辅助线并叠加在供驾驶员参考的二维二维后视图中。可选地，二维二维后视图可以由车辆上的摄像头直接拍摄所得，也可以是由步骤S101中构造的三维场景图中转化而来，在此不做具体限定。

例如摄像头的内参数为[f_xf_yc_xc_y]、外参数为[R(旋转矩阵)T(平移矩阵)]、畸变系数为[k₁k₂k₃k₄]，以下详述将3D轨迹线投影到二维二维后视图上的方法(鱼眼成像过程)，以左后车轮轨迹线为例，右后轮轨迹线投影方法同理，在此不做具体限定。

具体地，在一实施例中，将三维场景图中的后车轮欲行驶的轨迹线经过投影转换成二维形态的辅助线的步骤包括：

步骤S201：取三维场景中的后车轮轨迹线上的多个点投影到图像采集装置坐标下对应的多个空间点。

具体的步骤S201取三维场景中的后车轮轨迹线上的多个点投影到图像采集装置坐标下对应的多个空间点，具体地，例如为90点，或者低于90或者比90更多，具体可根据实际情况进行调整，在此不做具体限定。本步骤采用的方程式为：

x_c＝R[c_xc_yc_z]+T

x＝x_c1

y＝x_c2

z＝x_c3

可以理解地，本申请中，在将三维场景图中的轨迹线转化为二维状态辅助线过程中，以90个点为例，只需要保存90个点，两个车轮行走的轨迹为两条线，保存180个点即可，而不需要保存整张图片，能够进一步减少对存储空间的需求。

步骤S202：将图像采集装置坐标系下对应的多个空间点转化到成像坐标系下的多个点。

(1)具体的，步骤S202所采用的方程式为：

x_c＝R[c_xc_yc_z]+T

x＝x_c1

y＝x_c2

z＝x_c3

步骤S203：将所述成像坐标系下的多个点转化到二维图像坐标系下的多个点。

具体地，步骤S203所采用的方程式为：

步骤S204：顺滑连接图像坐标系下的多个点形成倒车的辅助线。

将图像左边中的多个点顺滑连接形成二维状态最终辅助线。

最后将二维形态的辅助线与二维的车辆二维后视图叠加。可以理解地，如果二维的二维后视图是由三维场景图转化过来，转化二维后视图和转化辅助线的顺序不分先后，也可以同时进行，在此不做具体限定。

可以理解地，车辆倒车的辅助线和二维后视图实时更新，每更新一次步骤S101至步骤S104执行一遍。

可选地，在一实施例中，在接缝融和相邻的二维图像，形成以车辆为中心的三维场景图的步骤之后包括：将二维图像实时更新。可以理解地，摄像头获取的画面实时更新，这样本申请只需要比较小的内存即可实现，能够进一步降低成本。

本申请还提供一种电子设备，该电子设备包括相互连接的图像采集装置、显示装置、传感器、处理器。其中图像采集装置用于采集构造以车辆为中心的三维场景图的二维图像。传感器用于采集车辆中方向盘的转动角度。处理器用于利用二维图像构造以车辆为中心的三维场景图，并根据方向盘的转动角度在三维场景图中计算后车轮欲行驶轨迹线。显示装置用于在二维后视图中显示后车轮倒车辅助线。

本申请还提供一种车辆100，如图6所示，该车辆100包括图像采集装置110、显示装置120、传感器130、处理器140、存储器150以及存储在存储器上的计算机程序，图像采集装置110、显示装置120、传感器130、处理器140耦合存储器150，图像采集装置110、显示装置120、传感器130、处理器140在工作时执行计算机程序以实现如以上实施例介绍的车辆倒车辅助线的形成与显示方法。

如图7所示，本申请还提供一种存储介质200，存储有程序数据210，该程序数据210被执行时实现以上各实施例所描述的车辆倒车辅助线的形成与显示方法。

可以理解的，以上软件集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。