具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种车外视野拓宽方法、系统、设备及计算机可读存储介质，其能解决相关技术中副驾乘客和后排乘客视野差的问题。

图1是本申请实施例提供的一种车外视野拓宽方法流程示意图，包括以下步骤：

步骤S10：获取实时的人眼焦点信息；

示范性的，在本申请实施例中，可通过头戴式的车内双摄像头12或其他类型的双摄像头对人眼进行拍摄，得到人眼图像，根据该人眼图像进行数据分析，得到人眼特征信息，人眼特征信息包括眼珠直径、眼睛垂直开度和瞳孔直径。其中，具体采用哪种类型的摄像头对人眼进行拍摄，根据具体需要确定，在此不作限定，且参见图2所示，可将车内双摄像头12和头戴显示装置11进行集成处理(其中，头戴显示装置11可以为显示屏或其他能够显示图像的设备，在此不作限定)，形成一个集成式的头戴集成设备1。

以车内双摄像头12为头戴式车内双摄像头、头戴显示装置11为显示屏为例，在开发节段，需要分别标定左眼位置对应的左水平参数ma(即人眼距离摄像头的水平距离)、右眼位置对应的右水平参数mb，左眼距离显示屏的左距离参数Na，右眼距离显示屏的右距离参数Nb，并对各个参数记录进行记录；根据双目摄像头定位方法，对左水平参数ma、右水平参数mb、左垂直参数na(即人眼距离摄像头的垂直距离)和右垂直参数nb进行标定，以左眼为例：

分别获取车内双摄像头的焦距f和左、右两摄像头之间的水平宽度k、瞳孔在左摄像头图像内距离图像左边沿的距离xl、瞳孔在右摄像头图像内距离图像左边沿的距离xr，瞳孔在左摄像头图像内距离图像上边沿的距离yl、瞳孔在右摄像头图像内距离图像上边沿的距离yr(其中，xl、xr、yl、yr、与f、k的单位相同)、单摄像头的水平视场宽度La、单摄像头的垂直视场宽度Lb，左距离参数Na＝(k×f)/(xl-xr)，左水平参数ma＝(La-xr)×Na/(Na-f)＝k×xl/(xl-xr)，左垂直参数na＝k×yl/(yl-yr)＝(Lb-yr)×Na/(Na-f)；由于mb、nb的计算原理与ma、na的相同，在此不再赘述；

由于不同的人，xl、xr、yl、yr是不同的，因此可根据实际xl、xr、yl、yr计算出眼睛转动时的实时参数，以左眼为例：参见图3和图4所示，当眼睛转动时，获取左眼的实时参数(max，nay)，参见图5所示，将显示屏水平分为p格，垂直分为q格，总共有p×q个区域，将左眼的实时参数(max，may)与左水平参数、右水平参数所在显示屏的位置坐标(其中，左水平参数、右水平参数所在显示屏的位置坐标包括(map1q1,nap1q1)、……、(mappqq，nappqq))进行对比，确认(x，y)范围，其中，(x，y)即为实时的人眼焦点在显示屏上的坐标信息。

其中，在初次使用时，需对眼珠21和瞳孔22进行标定，即在不同亮度、远度和色彩下进行眼部数据的采集，并在后续使用过程中进行数据统计和调整。

具体的，针对亮度、图像显示区域对眼珠21位置进行标定：

参见图5所示，将显示屏水平分为p格，垂直分为q格，总共有p×q个区域，每个区域分别进行点亮显示，按照显示屏点位坐标(p1，q1)、(p2，q1)、…、(pp，q1)、…、(p1，q2)、...、(pp，qq)，将左眼瞳孔22中心和车内双摄像头中左侧摄像头的连线与该左侧摄像头的光轴之间的水平夹角和垂直夹角分别定义为LLH、LLV，进而可标定瞳孔22在显示屏上所在位置的水平夹角和垂直夹角，即水平夹角和垂直夹角如下：LLHp1q1、LLVp1q1、……、LLHppq1、LLVppq1、……、LLHppqq、LLVppqq，而该水平夹角和垂直夹角即为眼珠21的位置，从而实现了眼珠21位置的标定；

同时可以获取对应的点位左瞳孔的位置度水平坐标mapx、位置度垂直坐标napy和显示屏上已点亮的坐标位置(px，qy)(其中，已点亮的坐标位置即为人眼焦点坐标位置)及已点亮位置的水平夹角LLHpxqy和垂直夹角LLVpxqy之间的对应关系，其中，x、y为对应的p，q范围内的值；因此，可根据该对应关系和实际的人眼焦点坐标获取到实际的眼珠21位置。

其中，当在显示屏左上显示图像时，可获得瞳孔与车内双摄像头的水平光轴之间的极限夹角LLU1(即左眼左侧上部夹角)、RRU1(即右眼右侧上部夹角)，以及瞳孔与车内双摄像头的垂直光轴之间的极限夹角LLU2、RRU2；当在显示屏左下显示图像时，可获得瞳孔与车内双摄像头的水平光轴之间的极限夹角LLD1、RLD1，以及瞳孔与车内双摄像头的垂直光轴之间的极限夹角LLD2、RRD2；当在显示屏右上显示图像时，获得瞳孔与车内双摄像头的水平光轴之间的极限夹角LRU1、RRU1，以及瞳孔与车内双摄像头的垂直光轴之间的极限夹角LRU2、RRU2；当在显示屏右上显示图像时，获得瞳孔与车内双摄像头的水平光轴之间的极限夹角LRD1、RRD1，以及瞳孔与车内双摄像头的垂直光轴之间的极限夹角LRD2、RRD2。其中，LLU1、RRU1、LLU2、RRU2、LLD1、RLD1、LLD2、RRD2为图像在显示屏上不同位置显示时的人眼视角极限值。

具体的，对不同亮度下的瞳孔进行标定：

调整显示屏亮度为2000lux，此时，通过车内双摄像头可获取到人的眼珠直径为R1、眼睛垂直开度为R11、瞳孔直径为r1；

调整显示屏亮度为1lux，此时，通过车内双摄像头可获取到人的眼珠直径为R2、眼睛垂直开度为R21、瞳孔直径为r2；

调整显示屏亮度为10000lux，此时，通过车内双摄像头可获取到人的眼珠直径为R3、眼睛垂直开度为R31、瞳孔直径为r3。

步骤S20：获取车外双摄像头根据所述人眼焦点信息拍摄的车外图像；

示范性的，在本申请实施例中，车外双摄像头为通过可旋转的云台安装在车顶、车尾或车侧等外部车身上的摄像头，且车外双摄像头的角度、视场可通过旋转云台进行调整，其中，云台的旋转是通过显示屏上的画面相对位置进行调整的，不过车外双摄像头具体的安装位置根据具体需求而确定，具体的摄像头类型也根据具体需求而确定，在此均不作限定。

由于人眼焦点坐标与车外双摄像头的拍摄位置一一对应，因此可通过人眼焦距调节车外双摄像头的焦点和焦距，即可使车外双摄像头根据实时人眼焦点坐标旋转并拍摄对应的车外图像，该车外图像可包括人、车、建筑、动物和植物等。

此外，车外双摄像头还可以设置录制功能，用于在旅途中进行沿途风景的记录，为旅途的美好记忆提供存储介质。

步骤S30：对所述车外图像进行裁剪拼接处理，得到待显示图像；

示范性的，在本申请实施例中，对车外双摄像头拍摄到的两张图片中的同一事物的世界坐标进行识别，并根据识别结果对两张图片中的阴影、图像进行合成处理得到2D图像，再对2D图像进行裁剪及拼接处理，得到待显示图像，该待显示图像用于在车内显示屏上进行显示。

更进一步的，在本申请实施例中，步骤S30还可以具体包括：识别所述车外图像中事物的世界坐标；根据所述世界坐标对所述车外图像中的阴影与图像进行叠加，得到叠加后3D车外图像；对所述3D车外图像进行裁剪拼接处理，得到待显示图像。

示范性的，在本申请实施例中，对车外双摄像头拍摄到的两张图像中的同一事物的世界坐标进行识别，并根据识别结果对所述车外图像中的阴影与图像进行叠加，得到叠加后3D车外图像，再对3D图像进行裁剪及拼接处理，得到待显示图像。3D图像相对于2D图像而言，其对阴影面积、单视野盲区有更好的补充，可进一步提升乘客视野和舒适度。

步骤S40：将所述待显示图像发送至头戴显示装置。

示范性的，在本申请实施例中，头戴显示装置可以为显示屏或其他能够显示图像的设备，在此不作限定。以头戴显示装置为显示屏为例，可先对3D或2D的待显示图像进行压缩处理，增加单位面积内的像素点数，使图像细致且清晰，再将3D或2D的待显示图像发送至显示屏，显示屏默认情况下会对待显示图像的中间区域进行显示，为副驾乘客或后排乘客提供不存在遮挡的车外图像，即乘客的视野被有效拓宽，其不仅可使得乘客可根据显示屏上显示的车外图像实时感知车外的全景环境，对车外环境进行感同身受，还可使得后排乘客的眼睛具有充足的视野来认定自己是运动的还是静止的，进而可在一定程度上降低乘客出现晕车的可能性。

此外，还可根据实时的焦点坐标，对显示屏上乘客视野范围内的图片进行放大，使乘客可更为清晰地看到视野范围内的车外图像。

由此可见，本申请拓宽了副驾乘客和后排乘客的视野，不仅消除了视野盲区，可将车外的风景尽揽眼中，还可以在一定程度上降低乘客出现晕车的可能性。

更进一步的，在本申请实施例中，在所述将所述待显示图像发送至头戴显示装置之后，还包括：

获取实时的瞳孔直径；

根据所述瞳孔直径对所述待显示图像进行图像大小或图像颜色的调整，得到调整后的待显示图像。

示范性的，在本申请实施例中，获取实时的瞳孔直径，并根据瞳孔的直径变化情况，进行待显示图像的缩放处理，比如，瞳孔放大时，对待显示图像进行放大处理，瞳孔缩小时，对待显示图像进行缩小处理；或者，还可以将实时的瞳孔直径与标定的瞳孔直径r1至r3进行对比，根据对比结果调整待显示图像的颜色，比如，人眼比较舒适的亮度为3500lux，若实时的瞳孔直径小于r1或r2且显示屏亮度无法调整时，此时乘客看到的待显示图像较为昏暗，因此可以通过增加冷色调色彩(蓝色或绿色)的方式来调整待显示图像的颜色，即增加了待显示图像中的色彩对比度，便于人眼进行识别，进而使乘客可看到亮度较为舒适的图像，降低人眼疲劳。

更进一步的，在本申请实施例中，在所述将所述待显示图像发送至头戴显示装置之后，还包括：

获取实时的人眼特征信息，所述人眼特征信息包括眼珠直径、眼睛垂直开度和瞳孔直径；

根据所述人眼特征信息调节所述车外双摄像头的动态范围。

示范性的，在本申请实施例中，动态范围是摄像头传感器的内参，其可指摄像头同时记录的暗部细节和亮部细节的丰富程度，动态范围越高就越能记录丰富的画面细节。在本申请实施例中，可根据人眼特征信息信息的变化情况，进行动态范围的调整，例如，当实时的眼珠直径、眼睛垂直开度和瞳孔直径较小时，说明此时的待显示图像的显示质量较差，此时可将动态范围调高，进而改善待显示图像的亮度及色彩度，提高视野内待显示图像的显示效果，进而降低人眼疲劳。

更进一步的，在本申请实施例中，在所述将所述待显示图像发送至头戴显示装置之后，还包括：

获取实时的人眼特征信息，所述人眼特征信息包括眼珠直径、眼睛垂直开度和瞳孔直径；

根据所述人眼特征信息调节所述头戴显示装置的亮度。

示范性的，在本申请实施例中，获取实时的眼珠直径、眼睛垂直开度和瞳孔直径，并将实时的眼珠直径与标定的眼珠直径R1至R3进行对比、将实时的眼睛垂直开度与标定的眼睛垂直开度R11至R31进行对比、将实时的瞳孔直径与标定的瞳孔直径r1至r3进行对比，根据对比结果调整头戴显示装置的亮度，比如，只要人眼特征信息中的某一个实时的参数小于对应的最小标定值(最小标定值包括R1、R11和r1)，说明当前述头戴显示装置的呈现的图像较为昏暗，此时，就可以将头戴显示装置的亮度增大至人眼较为舒适的亮度，以使乘客可具有一个较为舒适的亮度来观看待显示图像，降低人眼疲劳。

更进一步的，在本申请实施例中，在所述将所述待显示图像发送至头戴显示装置之后，还包括：

根据所述人眼焦点信息和预标定的视角极限值之间的关系调整所述待显示图像在所述头戴显示装置上的位置。

示范性的，在本申请实施例中，预标定的视角极限值包括LLU1、RRU1、LLU2、RRU2、LLD1、RLD1、LLD2、RRD2；根据人眼焦点信息可确定人眼焦点的坐标，若焦点坐标位于任一个预标定的极限值所在的区域，则对待显示图像进行上下左右的调整，直至该区域作为待显示图像的中间区域在显示屏进行显示，进而使乘客清晰地看到自己焦点范围内的车外图像。

更进一步的，在本申请实施例中，在所述将所述待显示图像发送至头戴显示装置之后，还包括：

根据所述人眼焦点信息和预标定的视角极限值之间的关系调整所述车外双摄像头的方向和高度。

示范性的，在本申请实施例中，预标定的视角极限值包括LLU1、RRU1、LLU2、RRU2、LLD1、RLD1、LLD2、RRD2；根据人眼焦点信息可确定人眼焦点的坐标，若焦点坐标位于任一个预标定的极限值所在区域的极限位置(即焦点坐标偏向图像的边沿时)时，则通过云台调整车外双摄像头对应的方向和高度，以适应乘客的视野需求，进而使乘客清晰地看到自己焦点范围内的车外图像。

参见图6所示，本申请实施例还提供了一种车外视野拓宽系统，包括：

第一获取模块，其用于获取实时的人眼焦点信息；

第二获取模块，其用于获取车外双摄像头根据所述人眼焦点信息拍摄车外图像；

处理模块，其用于对所述车外图像进行裁剪拼接处理，得到待显示图像；

发送模块，其用于将所述待显示图像发送至头戴显示装置。

本申请拓宽了副驾乘客和后排乘客的视野，不仅消除了视野盲区，可将车外的风景尽揽眼中，还可以在一定程度上降低乘客出现晕车的可能性。

更进一步的，在本申请实施例中，所述处理模块还用于：

获取实时的瞳孔直径；

根据所述瞳孔直径对所述待显示图像进行图像大小或图像颜色的调整，得到调整后的待显示图像。

更进一步的，在本申请实施例中，所述处理模块还用于：

获取实时的人眼特征信息，所述人眼特征信息包括眼珠直径、眼睛垂直开度和瞳孔直径；

根据所述人眼特征信息调节所述车外双摄像头的动态范围。

更进一步的，在本申请实施例中，所述处理模块还用于：

获取人眼特征信息，所述人眼特征信息包括眼珠直径、眼睛垂直开度和瞳孔直径；

根据所述人眼特征信息调节所述头戴显示装置的亮度。

更进一步的，在本申请实施例中，所述处理模块还用于：

根据所述人眼焦点信息和预标定的视角极限值之间的关系调整所述待显示图像在所述头戴显示装置上的位置。

更进一步的，在本申请实施例中，所述处理模块还用于：

根据所述人眼焦点信息和预标定的视角极限值之间的关系调整所述车外双摄像头的方向和高度。

更进一步的，在本申请实施例中，所述处理模块具体用于：

识别所述车外图像中事物的世界坐标；

根据所述世界坐标对所述车外图像中的阴影与图像进行叠加，得到叠加后3D车外图像；

对所述3D车外图像进行裁剪拼接处理，得到待显示图像。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统和各模块的具体工作过程，可以参考前述车外视野拓宽方法实施例中的对应过程，在此不再赘述。

上述实施例提供的车外视野拓宽系统可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的车外视野拓宽设备上运行。

本申请实施例还提供了一种车外视野拓宽设备，包括：通过系统总线连接的存储器、处理器和网络接口，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行，以实现前述的车外视野拓宽方法的全部步骤或部分步骤。

其中，网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

处理器可以是CPU，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件分立硬件组件等。通用处理器可以是微处理器，或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如视频播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像数据等)等。此外，存储器可以包括高速随存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMediacard，SMC)，安全数字(Secure digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。

本申请施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现前述的车外视野拓宽方法的全部步骤或部分步骤。

本申请实施例实现前述的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的仼何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only memory，ROM)、随机存取存储器(Random Accessmemory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例中的序号仅仅为了描述，不代表实施例的优劣。

本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。