一种驾驶模拟方法、装置、设备及存储介质

文档序号:138810 发布日期:2021-10-22 浏览:49次 >En<

阅读说明:本技术 一种驾驶模拟方法、装置、设备及存储介质 (Driving simulation method, device, equipment and storage medium ) 是由 王释涵 于 2020-09-28 设计创作,主要内容包括:本申请实施例公开了一种驾驶模拟方法、装置、设备及存储介质,其中该方法包括:获取在目标用户基于虚拟驾驶场景模拟驾驶操作时采集的目标图像;该目标图像中包括目标用户身上与驾驶操作相关的目标部位;识别该目标图像中目标部位的动作状态,并根据目标部位的动作状态,确定目标用户模拟的目标驾驶操作;进而,根据该目标驾驶操作调整虚拟驾驶场景,并显示调整后的虚拟驾驶场景。该方法能够大幅降低基于虚拟驾驶场景模拟驾驶所需的成本,有助于扩展此类基于虚拟驾驶场景模拟驾驶的方案的应用范围。(The embodiment of the application discloses a driving simulation method, a device, equipment and a storage medium, wherein the method comprises the following steps: acquiring a target image acquired when a target user simulates driving operation based on a virtual driving scene; the target image comprises a target part related to driving operation on a target user; identifying the action state of a target part in the target image, and determining the target driving operation simulated by a target user according to the action state of the target part; further, a virtual driving scene is adjusted according to the target driving operation, and the adjusted virtual driving scene is displayed. The method can greatly reduce the cost required by driving simulation based on the virtual driving scene, and is beneficial to expanding the application range of the scheme for driving simulation based on the virtual driving scene.)

一种驾驶模拟方法、装置、设备及存储介质

技术领域

本申请涉及计算机技术领域,尤其涉及一种驾驶模拟方法、装置、设备及存储介质。

背景技术

如今,虚拟现实(Virtual Reality,VR)技术已被广泛地应用到人们日常工作生活中的各种场景,如影视、娱乐、医疗、教育、军事等等。

在一种较为常见的应用场景中,用户可以基于VR技术模拟驾驶,感受驾驶体验。具体的,用户可以通过专用于模拟驾驶的外部设备(如包括方向盘、操作杆、脚踏板等部件的驾驶模拟系统、或能够感知用户操作的操作手柄等)触发驾驶模拟操作,这些外部设备可以根据其检测到的用户所触发的操作,生成相应的操作指令传输给VR设备,以使VR设备根据这些操作指令在其显示的虚拟场景中模拟用户操作,为用户提供沉浸式驾驶体验。

然而,上述驾驶模拟方法普遍需要借助外部设备才能实现,对于用户来说模拟驾驶的成本较高,因此,这种驾驶模拟方式难以被大范围地推广应用,使得基于VR技术的驾驶模拟应用受限。

发明内容

本申请实施例提供了一种驾驶模拟方法、装置、设备及存储介质,能够大幅降低基于VR技术模拟驾驶所需的成本,有助于扩展基于VR技术的驾驶模拟的应用范围。

有鉴于此,本申请第一方面提供了一种驾驶模拟方法,所述方法包括:

获取在目标用户基于虚拟驾驶场景模拟驾驶操作时采集的目标图像;所述目标图像中包括所述目标用户身上与驾驶操作相关的目标部位;

识别所述目标图像中所述目标部位的动作状态;

根据所述目标部位的动作状态,确定所述目标用户模拟的目标驾驶操作;

根据所述目标驾驶操作调整所述虚拟驾驶场景,并显示调整后的所述虚拟驾驶场景。

本申请第二方面提供了一种驾驶模拟装置,所述装置包括:

图像获取模块,用于获取在目标用户基于虚拟驾驶场景模拟驾驶操作时采集的目标图像;所述目标图像中包括所述目标用户身上与驾驶操作相关的目标部位;

动作识别模块,用于识别所述目标图像中所述目标部位的动作状态;

操作确定模块,用于根据所述目标部位的动作状态,确定所述目标用户模拟的目标驾驶操作;

场景显示模块,用于根据所述目标驾驶操作调整所述虚拟驾驶场景,并显示调整后的所述虚拟驾驶场景。

本申请第三方面提供了一种电子设备,所述电子设备包括处理器以及存储器:

所述存储器用于存储计算机程序;

所述处理器用于根据所述计算机程序,执行如上述第一方面所述的驾驶模拟方法的步骤。

本申请第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述第一方面所述的驾驶模拟方法的步骤。

本申请第五方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面所述的驾驶模拟方法的步骤。

从以上技术方案可以看出,本申请实施例具有以下优点:

在本申请实施例提供的驾驶模拟方法中,先获取在目标用户基于虚拟驾驶场景模拟驾驶操作时采集的目标图像,该目标图像中包括目标用户身上与驾驶操作相关的目标部位;然后,识别目标图像中各目标部位的动作状态,并根据所识别出的目标部位的动作状态,确定目标用户模拟的目标驾驶操作;进而,根据该目标驾驶操作相应地调整虚拟驾驶场景,并显示调整后的虚拟驾驶场景。相比相关技术中基于虚拟驾驶场景实现驾驶模拟时需要借助外部设备检测用户模拟的驾驶操作的实现方式,本申请实施例提供的方法利用图像识别技术,根据在目标用户基于虚拟驾驶场景模拟驾驶操作时采集的目标图像,确定目标用户所模拟的目标驾驶操作,如此,可以在不借助外部设备的情况下实现对于用户所模拟的驾驶操作的检测,因而,可以大幅降低基于虚拟驾驶场景模拟驾驶操作时所需耗费的成本,有利于这种驾驶模拟方法的大范围推广应用。

附图说明

图1为本申请实施例提供的驾驶模拟方法的应用场景示意图;

图2为本申请实施例提供的驾驶模拟方法的流程示意图;

图3为本申请实施例提供的目标部位放置区域的示意图;

图4为本申请实施例提供的驾驶操作学习方法的流程示意图;

图5为本申请实施例提供的智能电视侧的处理流程示意图;

图6为本申请实施例提供的虚拟驾驶场景的示意图;

图7为本申请实施例提供的服务器侧的处理流程示意图;

图8为本申请实施例提供的第一种驾驶模拟装置的结构示意图;

图9为本申请实施例提供的第二种驾驶模拟装置的结构示意图;

图10为本申请实施例提供的第三种驾驶模拟装置的结构示意图;

图11为本申请实施例提供的第四种驾驶模拟装置的结构示意图;

图12为本申请实施例提供的第五种驾驶模拟装置的结构示意图;

图13为本申请实施例提供的第六种驾驶模拟装置的结构示意图;

图14为本申请实施例提供的服务器的结构示意图;

图15为本申请实施例提供的终端设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

相关技术中,基于虚拟驾驶场景实现驾驶模拟时,需要借助专用于模拟驾驶的外部设备(如包括方向盘、操作杆、脚踏板等部件的驾驶模拟系统,或者能够感知用户操作的操作手柄等)检测用户所模拟的驾驶操作,进而据此调整显示的虚拟驾驶场景。由于部署上述外部设备通常需要耗费较高的成本,因此,导致相关技术中驾驶模拟方案的实现成本较高,难以被大范围地推广使用。

针对上述相关技术存在的问题,本申请实施例提供了一种驾驶模拟方法,该方法不再需要借助外部设备检测用户模拟的驾驶操作,可以大幅降低基于虚拟驾驶场景的驾驶模拟所需耗费的成本,有助于这种基于虚拟驾驶场景的驾驶模拟方案被大范围推广使用。

具体的,在本申请实施例提供的驾驶模拟方法中,先获取在目标用户基于虚拟驾驶场景模拟驾驶操作时采集的目标图像,该目标图像中包括目标用户身上与驾驶操作相关的目标部位;然后,识别目标图像中各目标部位的动作状态,并根据所识别出的目标部位的动作状态,确定目标用户模拟的目标驾驶操作;进而,根据该目标驾驶操作相应地调整虚拟驾驶场景,并显示调整后的虚拟驾驶场景。

相比相关技术中基于虚拟驾驶场景实现驾驶模拟时需要借助外部设备检测用户模拟的驾驶操作的实现方式,本申请实施例提供的方法利用图像识别技术,根据在目标用户基于虚拟驾驶场景模拟驾驶操作时采集的目标图像,确定目标用户所模拟的目标驾驶操作,如此,可以在不借助外部设备的情况下实现对于用户所模拟的驾驶操作的检测,因而,可以大幅降低基于虚拟驾驶场景模拟驾驶操作时所需耗费的成本,有利于这种驾驶模拟方法的大范围推广应用。

应理解,本申请实施例提供的驾驶模拟方法的执行主体可以为具备图像识别功能的电子设备;该电子设备具体可以为终端设备,如智能电视、电脑、平板电脑、个人数字助理(Personal DigitalAssistant,PDA)、智能手机等;该电子设备具体也可以为服务器,该服务器可以为应用服务器或web服务器,实际部署时,该服务器可以为独立服务器,也可以为集群服务器或云服务器。

为了便于理解本申请实施例提供的技术方案,下面以本申请实施例提供的驾驶模拟方法的执行主体为服务器为例,对本申请实施例提供的驾驶模拟方法适用的应用场景进行示例性介绍。

参见图1,图1为本申请实施例提供的驾驶模拟方法的应用场景示意图。如图1所示,该应用场景中包括智能电视110和服务器120,智能电视110与服务器120可以通过网络进行通信。该智能电视110上配置有前置摄像头111,该智能电视110中安装有模拟驾驶应用(Application,APP),用户可以通过该模拟驾驶应用实现基于虚拟驾驶场景的驾驶模拟;服务器120用于执行本申请实施例提供的驾驶模拟方法。

具体实现时,目标用户可以通过智能电视110的控制器件(如遥控器、控制面板等),控制启动安装在智能电视110中的模拟驾驶应用,模拟驾驶应用启动后,目标用户可以进一步通过该控制器件触发相关操作,以启动模拟驾驶应用中的驾驶模拟程序,进入基于虚拟驾驶场景的驾驶模拟模式。

驾驶模拟程序启动后,智能电视110将渲染显示对应的虚拟驾驶场景,该虚拟驾驶场景可以是基于VR技术渲染出的三维虚拟场景,进而,目标用户可以基于该虚拟驾驶场景执行相应的驾驶动作,以实现驾驶操作的模拟。在驾驶模拟程序启动的同时,智能电视110的前置摄像头111将自动开启视频录制功能,进而,智能电视110可以将前置摄像头111录制的视频作为目标图像通过网络传输给服务器120。

需要说明的是,为了确保服务器120能够准确识别目标用户模拟的驾驶操作,智能电视110在显示虚拟驾驶场景、允许目标用户开始模拟驾驶操作之前,可以先显示相关的驾驶操作模拟提示信息,以提示目标用户将其模拟驾驶操作时使用的身体部位(如手和脚等),均放置在前置摄像头111的采集范围内,如此,确保前置摄像头111采集的目标图像中包括目标用户身上与驾驶操作相关的目标部位。

服务器120获取到智能电视110的前置摄像头111在目标用户基于虚拟驾驶场景模拟驾驶操作时采集的目标图像后,可以识别该目标图像中各目标部位的动作状态,例如,可以识别目标图像中目标用户手部的动作状态以及目标用户脚部的动作状态。然后,根据所识别出的目标部位的动作状态,确定目标用户当前模拟的目标驾驶操作,例如,若识别出目标用户的手部逆时针旋转,则可以确定该目标用户当前模拟的目标驾驶操作为左转操作,又例如,若识别出目标用户的脚部在油门控制区域向下压,则可以确定该目标用户当前模拟的目标驾驶操作为加油前进操作,等等。进而,服务器120可以根据目标用户当前模拟的目标驾驶操作,调整智能电视110显示的虚拟驾驶场景,例如,若服务器120检测到用户当前模拟的目标驾驶操作为左转操作,则可以控制智能电视110将所显示的虚拟驾驶场景调整为触发左转操作后应当显示的虚拟驾驶场景,又例如,若服务器120检测到用户当前模拟的目标驾驶操作为加油前进操作,则可以控制智能电视110将所显示的虚拟驾驶场景调整为触发加油前进操作后应当显示的虚拟驾驶场景。

如此,用户只需在配置有前置摄像头的智能电视中安装模拟驾驶应用,即可实现基于虚拟驾驶场景的驾驶操作模拟,无需购买任何额外的外接设备,即实现了低成本的驾驶操作模拟。

应理解,图1所示的场景仅为示例,在实际应用中,除了可以由服务器120独立完成本申请实施例提供的驾驶模拟方法外,也可以由终端设备(如智能电视110)独立完成该驾驶模拟方法,还可以由终端设备和服务器相互配合完成本申请实施例提供的驾驶模拟方法,例如,由终端设备获取目标图像,识别目标图像中目标部位的动作状态,进而,再由服务器根据终端设备识别的动作状态确定目标用户模拟的目标驾驶操作,控制调整终端设备显示的虚拟驾驶场景。在此不对本申请实施例提供的驾驶模拟方法适用的应用场景做任何限定。

下面通过方法实施例对本申请提供的驾驶模拟方法进行详细介绍。

参见图2,图2为本申请实施例提供的驾驶模拟方法的流程示意图。下述实施例以电子设备作为执行主体进行描述。如图2所示,该驾驶模拟方法包括以下步骤:

步骤201:获取在目标用户基于虚拟驾驶场景模拟驾驶操作时采集的目标图像;所述目标图像中包括所述目标用户身上与驾驶操作相关的目标部位。

在实际应用中,目标用户可以通过相关终端设备(如智能电视、电脑等),实现驾驶模拟操作。示例性的,以目标用户通过智能电视模拟驾驶操作为例,目标用户可以在智能电视中安装模拟驾驶应用,或者智能电视也可以默认自带模拟驾驶应用,当目标用户需要通过智能电视模拟驾驶操作时,目标用户可以通过智能电视的控制器件(如遥控器、控制面板等),控制启动智能电视中安装的模拟驾驶应用,模拟驾驶应用启动后,智能电视可以相应地加载显示虚拟驾驶场景,以便目标用户基于该虚拟驾驶场景模拟驾驶操作,与此同时,智能电视还会控制自身配置的前置摄像头开启录像功能,以采集目标用户基于虚拟驾驶场景模拟驾驶操作时的目标图像。

需要说明的是,安装有模拟驾驶应用的终端设备检测到自身加载显示虚拟驾驶场景后,即可控制相关图像采集部件(如终端设备自身的前置摄像头,或者外接的摄像装置)开启录像功能,以开始采集目标用户基于虚拟驾驶场景模拟驾驶操作时的目标图像。

需要说明的是,上述虚拟驾驶场景是终端设备渲染的与驾驶环境对应的虚拟场景,不同的驾驶环境可以对应不同的虚拟驾驶场景,例如,城市道路驾驶环境对应的虚拟驾驶场景中可以包括道路、红绿灯、路牌等虚拟元素,又例如,野外驾驶环境对应的虚拟驾驶场景中可以包括野外道路、树木等虚拟元素,本申请在此不对虚拟驾驶场景所对应的驾驶环境做任何限定,也不对虚拟驾驶环境中包括的虚拟元素做任何限定。

此外,为了给目标用户提供身临其境的驾驶体验感,上述虚拟驾驶场景可以是基于VR技术渲染的三维立体场景;当然,在实际应用中,也可以采用其它图像渲染技术渲染上述虚拟驾驶场景,上述虚拟驾驶场景也可以为二维场景、四维场景等等,本申请在此不对虚拟驾驶场景的渲染方式及表现形式做任何限定。

需要说明的是,为了确保能够检测出目标用户模拟的驾驶操作,在目标用户基于虚拟驾驶场景模拟驾驶操作时采集的目标图像中应当包括该目标用户身上与驾驶操作相关的部位,例如,包括目标用户的手部和脚部。

为了保证目标图像能够包括目标用户身上与驾驶操作相关的目标部位,终端设备可以在开始采集目标图像之前向目标用户提供相关指导提示;例如,终端设备可以将其前置摄像头当前采集的图像显示在屏幕上,并提示目标用户根据屏幕上当前显示的图像调整自身目标部位的位置,以使各目标部位均处在前置摄像头的采集范围内。更进一步的,终端设备还可以规定各目标部位应当所处的区域范围,例如,终端设备可以规定与驾驶操作相关的方向盘操作区、操作杆操作区和脚踏板操作区,在将前置摄像头当前采集的图像显示在屏幕上时,还可以在屏幕当前显示的画面上叠加显示方向盘操作区、操作杆操作区和脚踏板操作区,并提示用户将其手部放置在方向盘操作区和/或操作杆操作区,将其脚部防止在脚踏板操作区。

应理解,若本申请实施例提供的驾驶模拟方法的执行主体是显示虚拟驾驶场景的终端设备本身,则该终端设备可以直接获取其前置摄像头采集的目标图像,并基于该目标图像进行后续驾驶操作的识别处理。若本申请实施例提供的驾驶模拟方法的执行主体是为模拟驾驶应用提供相关服务的服务器,则终端设备获取到其前置摄像头采集的目标图像后,可以通过网络将该目标图像传输给服务器,以使该服务器基于所接收的目标图像进行后续驾驶操作的识别处理。

在本申请实施例提供的驾驶模拟方法中,识别目标用户模拟的驾驶操作的一个前提是准确地识别目标用户,本申请实施例提供了以下两种示例性的识别目标用户的方式:

第一种方式,根据目标用户的基准外观特征,在目标图像中识别目标用户;上述基准外观特征是根据目标用户登录或者注册模拟驾驶应用时上传的基准人物图像确定的。

具体的,目标用户通过终端设备登录或注册模拟驾驶应用时,可以在终端设备本地选择一张包括目标用户正脸的基准人物图像,并将该基准人物图像通过网络上传至服务器;服务器接收到该基准人物图像后,可以根据该基准人物图像确定目标用户的基准外观特征。当目标用户需要通过模拟驾驶应用模拟驾驶操作时,终端设备可以将其采集的目标图像传输给服务器,进而,服务器可以在该目标图像中检测与目标用户的基准外观特征相匹配的用户,并将该用户确定为目标用户,此后针对该目标用户进行驾驶操作的检测。

应理解,在实际应用中,也可以由终端设备根据目标用户的基准人物图像,确定目标用户的基准外观特征;进而,由终端设备在其自身采集的目标图像中查找与该基准外观特征相匹配的用户,并将该用户确定为目标用户。

第二种方式,检测目标图像中执行目标操作的用户,确定执行该目标操作的用户为目标用户;上述目标操作是在对用户进行身份认证时提示需要模拟驾驶操作的用户执行的操作。

具体的,终端设备检测到用户触发启动模拟驾驶应用、准备基于虚拟驾驶场景模拟驾驶操作时,终端设备可以先提示本次模拟驾驶操作的用户执行目标操作,进而获取其前置摄像头当前采集的目标图像,并在该目标图像中检测出执行目标操作的用户,将该用户作为本次模拟驾驶操作的目标用户。例如,终端设备可以提示本次模拟驾驶操作的用户举起左手,进而,在其前置摄像头当前采集的目标图像中查找举起左手的用户,将所查找到的用户作为本次模拟驾驶操作的目标用户。

应理解,在实际应用中,也可以由服务器向终端设备发送目标操作指令,使终端设备根据该目标操作指令提示本次模拟驾驶操作的用户执行目标操作,然后,终端设备可以将其采集的目标图像发送给服务器,由服务器在该目标图像中查找执行目标操作的目标用户。

当然,在实际应用中,也可以采用其它方式识别目标图像中的目标用户,本申请在此不对目标用户的识别方式做任何限定。

在本申请实施例提供的驾驶模拟方法中,识别目标用户模拟的驾驶操作的另一个前提是准确地识别目标用户的目标部位,本申请实施例提供了下述示例性的识别目标用户的目标部位的方式:

在目标图像中的各目标部位区域范围内分别识别各目标部位;各目标部位区域范围分别对应于模拟驾驶操作时使用的虚拟车辆的方向盘操作区域、操作杆操作区域和脚踏板操作区域。

正如前文所述,目标用户基于虚拟驾驶场景模拟驾驶操作之前,终端设备可以向目标用户提供相关提示信息,以使目标用户的目标部位放置在相应的区域范围内。示例性的,如图3所示,终端设备可以在屏幕上显示其前置摄像头当前采集的图像,并在该图像上叠加显示方向盘操作区域301、操作杆操作区域302和脚踏板操作区域303,并相应地提示目标用户调整自身手部及脚部的放置位置,使其手部放置在方向盘操作区域301和/或操作杆操作区域302内,使其脚部放置在脚踏板操作区域303内;相应地,在目标用户基于虚拟驾驶场景模拟驾驶操作的过程中,终端设备或服务器获取到所采集的目标图像后,可以在方向盘操作区域301和操作杆操作区域302检测目标用户的手部,在脚踏板操作区域303检测目标用户的脚部。

当然,在实际应用中,终端设备或服务器也可以直接根据目标部位特征,在目标图像中识别目标用户的目标部位,例如,终端设备或服务器可以直接根据手部特征在目标图像中识别目标用户的手部,根据脚部特征在目标图像中识别目标用户的脚部。本申请在此不对目标用户的目标部位的识别方式做任何限定。

步骤202:识别所述目标图像中所述目标部位的动作状态。

电子设备(即终端设备或服务器)获取到在目标用户基于虚拟驾驶场景模拟驾驶操作时采集到的目标图像后,可以识别该目标图像中各目标部位的动作状态,如识别目标图像中目标用户手部的动作状态以及脚部的动作状态。

具体的,由于目标图像为相关图像采集部件实时采集的视频流,因此电子设备可以对该目标图像进行逐帧识别,即先针对目标图像中的每帧图片识别该帧图片中各目标部位各自呈现的姿态,然后按照各帧图片的时间顺序将各帧图片中各目标部位各自呈现的姿态串联起来,从而确定目标图像中各目标部位的动作姿态,即确定目标图像中各目标部位各自执行的动作。

步骤203:根据所述目标部位的动作状态,确定所述目标用户模拟的目标驾驶操作。

电子设备识别出目标图像中各目标部位的动作状态后,可以进一步根据该动作状态确定目标用户所模拟的目标驾驶操作。示例性的,电子设备可以调取用于记录目标部位动作状态与驾驶操作之间的对应关系的目标映射关系表,然后,在该目标映射关系表中查找与经步骤202确定的目标部位的动作状态相对应的驾驶操作,将该驾驶操作作为目标用户模拟的目标驾驶操作。

例如,假设电子设备根据目标图像识别出目标用户的手部在方向盘操作区域内逆时针旋转30°,则电子设备可以在目标映射关系表中查找该操作对应的驾驶操作,若查找到与该操作对应的驾驶操作为将车头向左侧方向调整,则电子设备可以确定目标用户模拟的目标驾驶操作为将车头向左侧方向调整。又例如,假设电子设备根据目标图像识别出目标用户的手部在操作杆操作区域内向后推,则电子设备可以在目标映射关系表中查找与该操作对应的驾驶操作,若查找到与该操作对应的驾驶操作为挂倒挡操作,则电子设备可以确定目标用户当前执行的目标驾驶操作为挂倒挡操作。再例如,假设电子设备根据目标图像识别出目标用户的脚部在脚踏板操作区域内偏右侧的位置下压,则电子设备可以在目标映射关系表中查找该操作对应的驾驶操作,若查找到与该操作对应的驾驶操作为加油,则电子设备可以确定目标用户模拟的目标驾驶操作为加油。

应理解,上述目标部位的动作状态以及驾驶操作仅为示例,在实际应用中,目标映射关系表中通常记录有大量不同的对应关系,电子设备可以根据该目标映射关系表,相应地识别目标用户所模拟的各种驾驶操作。

步骤204:根据所述目标驾驶操作调整所述虚拟驾驶场景,并显示调整后的所述虚拟驾驶场景。

电子设备确定出目标用户所模拟的目标驾驶操作后,可以根据所确定的目标驾驶操作相应地调整目标用户模拟驾驶操作时所依据的虚拟驾驶场景,并控制终端设备显示该调整后的虚拟驾驶场景。

具体实现时,电子设备可以根据目标驾驶操作生成目标驾驶操作指令,然后根据该目标驾驶操作指令,调整虚拟驾驶场景中虚拟元素,进而在虚拟驾驶场景中显示该调整后的虚拟元素。

应理解,在执行本申请实施例提供的驾驶模拟方法的电子设备为显示虚拟驾驶场景的终端设备的情况下,该终端设备检测出目标用户执行的目标驾驶操作后,可以直接生成与该目标驾驶操作对应的目标驾驶操作指令,进而,根据该目标驾驶操作指令调整虚拟驾驶场景中虚拟元素,并在当前显示的虚拟驾驶场景中显示调整后的虚拟元素。

应理解,在执行本申请实施例提供的驾驶模拟方法的电子设备是为模拟驾驶应用提供相关服务的服务器的情况下,该服务器检测出目标用户执行的目标驾驶操作后,可以生成与该目标驾驶操作对应的目标驾驶操作指令,并根据该目标驾驶操作指令调整虚拟驾驶场景中虚拟元素,进而,据此向显示虚拟驾驶场景的终端设备发送虚拟元素调整指示,以控制该终端设备调整其显示的虚拟驾驶场景中的虚拟元素。

例如,假设电子设备确定目标用户模拟的目标驾驶操作为加油前行,则电子设备可以调整虚拟驾驶场景中的背景虚拟元素(如路灯、路边的建筑物、路边的植物等)的显示状态为加速后退,从而逼真地模拟出车辆加速的场景。又例如,假设电子设备确定目标用户模拟的目标驾驶操作为左转掉头,则电子设备可以将虚拟驾驶场景中的道路虚拟元素改变为左转掉头后应当显示的道路虚拟元素,将虚拟驾驶场景中的背景虚拟元素(如路灯、路边的建筑物、路边的植物等)改变后左转掉头后应当显示的背景虚拟元素,从而逼真地模拟出车辆掉头的场景。

应理解,上述虚拟元素的调整方式仅为示例,在实际应用中,电子设备可以适应于不同的驾驶环境、不同的目标驾驶操作,采用不同的调整方式对虚拟驾驶场景中的虚拟元素进行调整,本申请在此不对虚拟元素的调整方式做任何限定。

需要说明的是,本申请实施例提供的方法可以应用于学习驾驶车辆的场景中,即帮助用户通过模拟驾驶学习车辆驾驶技巧。由于现代生活的节奏较快,大部分时间比较碎片化,因而使得人们到线下驾校学习车辆驾驶的成本变得越来越高,通过本申请实施例提供的驾驶模拟方法,可以帮助用户在家学习驾驶车辆的基本操作技巧。

具体实现时,电子设备可以确定虚拟驾驶场景对应的标准驾驶操作,然后判断目标用户所模拟的目标驾驶操作与该标准驾驶操作是否匹配;在该目标驾驶操作与标准驾驶操作不匹配的情况下,电子设备可以生成第二提示信息,并显示该第二提示信息,该第二提示信息用于提示目标用户在虚拟驾驶场景中应当执行的标准驾驶操作。

以上述电子设备为显示虚拟驾驶场景的终端设备为例,终端设备中安装的模拟驾驶应用可以为用户提供用于学习驾驶的虚拟驾驶场景,此类虚拟驾驶场景可以与在驾校中学习驾车时的驾驶环境相对应,例如,可以是与练习倒车入库操作的驾驶环境相对应的虚拟驾驶场景、与练习侧方位停车的驾驶环境相对应的虚拟驾驶场景、与练习行驶S弯相对应的虚拟驾驶场景等等;此类虚拟驾驶场景还可以与在道路上练习驾车的驾驶环境相对应,例如,可以是与真实道路环境相对应的虚拟驾驶场景。在此不对虚拟驾驶场景所对应的驾驶环境做任何限定。

目标用户基于某种虚拟驾驶场景模拟驾驶操作时,终端设备可以获取该种虚拟驾驶环境对应的标准驾驶操作,例如,假设目标用户选择基于与练习倒车入库操作的驾驶环境相对应的虚拟驾驶场景模拟驾驶操作时,终端设备可以请求服务器提供标准的倒车入库驾驶操作。进而,终端设备可以判断其确定的目标用户所模拟的目标驾驶操作与其获取的标准驾驶操作是否匹配,例如,确定该目标驾驶操作与标准驾驶操作之间的误差是否在预设误差范围内,若是,则可确定目标用户基于该虚拟驾驶场景模拟的驾驶操作规范,若否,则可确定目标用户基于该虚拟驾驶场景模拟的驾驶操作不规范。在确定目标用户模拟的目标驾驶操作与标准驾驶操作不匹配的情况下,即在确定目标用户基于该虚拟驾驶场景模拟的驾驶操作不规范的情况下,终端设备可以根据标准驾驶操作生成相关提示信息,并显示该提示信息,以提示目标用户在该虚拟驾驶场景中所应执行的标准驾驶操作,例如,终端设备在确定目标用户没有规范模拟倒车入库操作的情况下,可以显示用于提示目标用户如何规范执行倒车入库操作的提示信息。

如此,可以通过本申请实施例提供的方法,可以帮助时间紧张、无法到驾校学习驾驶技巧的用户初步学习驾驶技巧,通过VR技术,实现实时地配合用户动作模拟驾驶视频,提供较为真实的代入感,达到更好的体验和教学目的。

需要说明的是,本申请实施例提供的方法还可以应用于试驾车辆的场景中,考虑到用户亲自到4S店试驾车辆通常需要耗费用户大量的时间,因此,可以将本申请实施例提供的方法应用于试驾车辆的场景中,使用户通过模拟试驾其选择的车辆感知该车辆的相关性能,以为用户提供参考。

具体实现时,目标用户可以在基于虚拟驾驶场景模拟驾驶操作之前,触发驾驶车辆选择操作,电子设备响应于目标用户触发的该驾驶车辆选择操作,确定目标用户模拟驾驶操作时所使用的目标虚拟车辆,该目标虚拟车辆与目标实体车辆相对应;在确定出目标用户模拟的目标驾驶操作后,电子设备可以根据该目标驾驶操作和该目标实体车辆对应的性能条件,确定该目标驾驶操作对应的性能参考数据,进而在当前显示的虚拟驾驶场景上叠加显示该性能参考数据。

以上述电子设备为显示虚拟驾驶场景的终端设备为例,在显示虚拟驾驶场景、支持目标用户基于该虚拟驾驶场景模拟驾驶操作之前,终端设备可以显示若干台可供用户选择的虚拟车辆,并相应地显示每台虚拟车辆对应的介绍信息,这些虚拟车辆分别与4S店中的实体车辆对应,虚拟车辆对应的介绍信息实质上即为其对应的实体车辆的介绍信息;目标用户可以根据各台虚拟车辆各自对应的介绍信息,在这些虚拟车辆中选择其模拟驾驶操作时使用的目标虚拟车辆。

终端设备检测到目标用户完成目标虚拟车辆的选择后,可以获取与该目标虚拟车辆对应的目标实体车辆的性能条件,在目标用户使用该目标虚拟车辆基于虚拟驾驶场景模拟驾驶操作的过程中,终端设备可以根据该目标用户模拟的目标驾驶操作和目标实体车辆的性能条件,确定该目标驾驶操作对应的性能参考数据,例如,假设目标用户模拟的目标驾驶操作为启动车辆的操作,则终端设备可以根据其获取的目标实体车辆对应的性能条件,确定与启动该目标实体车辆的操作相关的性能参数数据,如起步加速时间等。

如此,可以通过本申请实施例提供的方法,基于虚拟驾驶环境模拟试驾车辆,方便用户快捷地了解其试驾的车辆的性能参数,为用户购买车辆提供初步的参考信息。

相比相关技术中基于虚拟驾驶场景实现驾驶模拟时需要借助外部设备检测用户模拟的驾驶操作的实现方式,本申请实施例提供的方法利用图像识别技术,根据在目标用户基于虚拟驾驶场景模拟驾驶操作时采集的目标图像,确定目标用户所模拟的目标驾驶操作,如此,可以在不借助外部设备的情况下实现对于用户所模拟的驾驶操作的检测,因而,可以大幅降低基于虚拟驾驶场景模拟驾驶操作时所需耗费的成本,有利于这种驾驶模拟方法的大范围推广应用。

需要说明的是,为了确保上述图2所示的方法顺利实现,通常需要在目标用户初次基于虚拟驾驶场景模拟驾驶操作之前,为目标用户提供相关驾驶操作的学习指导,以保证目标用户获知各种驾驶操作的标准模拟方式,后续顺利地模拟各种驾驶操作。下面结合图3对指导目标用户学习驾驶操作的过程进行介绍。

参见图4,图4为本申请实施例提供的驾驶操作学习方法的流程示意图。下述实施例仍以电子设备作为执行主体进行描述。如图4所示,该驾驶操作学习方法包括以下步骤:

步骤401:获取在所述目标用户模拟待学习驾驶操作时采集的学习图像。

电子设备指导目标用户模拟学习待学习驾驶操作时,需要获取终端设备在目标用户模拟待学习驾驶操作时采集的图像,将该图像作为学习图像。

具体的,假设上述电子设备为用于显示虚拟驾驶场景的终端设备,终端设备检测到目标用户触发学习待学习驾驶操作的操作时,例如,假设终端设备的屏幕上显示有若干种驾驶操作的示意图,并在每种驾驶操作的下方显示有学习控件,若终端设备检测到目标用户通过控制器件选择触控某种驾驶操作下方的学习控件,则可认为目标用户当前想要学习该种驾驶操作,进而将该种驾驶操作视为待学习驾驶操作。与此同时,终端设备可以开启其前置摄像头启动视频录制功能,开始采集学习图像。

应理解,当电子设备为服务器时,服务器可以获取终端设备在目标用户模拟待学习驾驶操作时采集的图像,并将所获取的图像作为学习图像。

可选的,为了便于目标用户初步了解待学习驾驶操作对应的模拟方式,电子设备可以在获取目在目标用户模拟待学习驾驶操作时采集的学习图像之前,先显示第一操作提示界面,该第一操作提示界面用于显示待学习操作对应的标准图像,以及该待学习驾驶操作的模拟方式对应的操作提示信息。

具体的,以上述电子设备为用于显示虚拟驾驶场景的终端设备为例,终端设备可以在检测到目标用户触发学习待学习驾驶操作的操作后,从自身的存储空间或者服务器处获取该待学习驾驶操作对应的标准图像以及该待学习驾驶操作对应的操作提示信息,进而,在第一操作提示界面上显示该待学习驾驶操作对应的标准图像以及该待学习驾驶操作对应的操作提示信息,如此,帮助目标用户通过该第一操作提示界面初步了解该待学习驾驶操作的模拟方式。上述第一操作提示界面可以在显示预设时长(如15s)后自动关闭,也可以在检测到目标用户触发的关闭操作后相应地关闭。

应理解,若上述电子设备是为模拟驾驶应用提供相关服务的服务器,则该服务器可以向用于显示虚拟驾驶场景的终端设备发送待学习驾驶操作对应的标准图像以及该待学习驾驶操作对应的操作提示信息,以使该终端设备基于该待学习驾驶操作对应的标准图像以及该待学习驾驶操作对应的操作提示信息,显示上述第一操作提示界面。

应理解,在实际应用中,还可以控制终端设备播放上述待学习驾驶操作对应的操作提示信息。

步骤402:根据所述学习图像与所述待学习驾驶操作对应的标准图像,判断所述目标用户是否规范模拟所述待学习驾驶操作。

步骤403:在判断所述目标用户没有规范模拟所述待学习驾驶操作的情况下,生成第一提示信息,并显示所述第一提示信息;所述第一提示信息用于提示所述目标用户所述待学习驾驶操作的规范模拟方式。

由于步骤402与步骤403的关联紧密,因此下文对步骤402和步骤403的整体实现过程进行介绍。

电子设备获取到目标用户模拟待学习驾驶操作时的学习图像后,可以根据该学习图像与该待学习驾驶操作对应的标准图像,判断目标用户是否规范模拟该待学习驾驶操作;若是,则可以提示目标用户其已完成对于该待学习驾驶操作的学习;若否,则需要生成第一提示信息,并显示该第一提示信息,以通过该第一提示信息提示目标用户该待学习驾驶操作的规范模拟方式。

应理解,若上述电子设备是显示虚拟驾驶场景的终端设备,则该终端设备可以在判断目标用户没有规范模拟待学习驾驶操作的情况下,直接生成并显示第一提示信息;若上述电子设备是为模拟驾驶应用提供相关服务的服务器,则该服务器可以在判断目标用户没有规范模拟待学习驾驶操作的情况下,生成第一提示信息,并将该第一提示信息发送给用于显示虚拟驾驶场景的终端设备,以控制该终端设备显示该第一提示信息。

电子设备判断目标用户是否规范模拟待学习驾驶操作时,可以从目标部位所处的位置以及目标部位所呈现的动作状态这两方面进行判断。

当电子设备从目标部位所处的位置来判断目标用户是否规范模拟待学习驾驶操作时,电子设备可以检测其获取的学习图像中各目标部位各自所处的区域,将目标部位所处的区域作为该目标部位对应的学习区域;然后,针对每个目标部位,根据该目标部位对应的学习区域与该目标部位对应的标准区域,判断目标用户的该目标部位所处的位置是否规范;此处目标部位对应的标准区域是该目标部位在标准图像中所处的区域;在判断目标用户的该目标部位所处的位置不规范的情况下,根据该目标部位对应的学习区域与该目标部位对应的标准区域之间的位置差异,生成位置提示信息;该位置提示信息用于提示目标用户调整该目标部位的位置。

具体的,电子设备可以检测其获取的学习图像中目标用户的手部和脚部所处的区域,将目标用户的手部所处的区域作为手部对应的学习区域,将目标用户的脚部所处的区域作为脚部对应的学习区域。然后,分别针对手部和脚部来判断其所处的位置是否规范,即根据手部对应的学习区域与标准图像中用户的手部所处的区域,来判断目标用户的手部所处的位置是否规范,以及根据脚部对应的学习区域与标准图像中用户的脚部所处的区域,来判断目标用户的脚部所处的位置是否规范。若存在任一目标部位所处的位置不规范。则电子设备可以根据所处位置不规范的目标部位对应的学习区域以及该目标部位对应的标准区域之间的位置差距,生成用于提示目标用户如何调整该目标部位的摆放位置的位置提示信息。

例如,假设目标用户当前学习的待学习驾驶操作为挂挡操作,电子设备检测其获取的学习图像中目标用户的手部处于在方向盘操作区域,脚部处于脚踏板操作区域中偏右侧的油门操作区域内,而在挂挡操作对应的标准图像中,用户的手部处于操作杆操作区域,脚部处于脚踏板操作区域内偏左侧的离合器操作区域内,根据上述学习图像中目标用户的手部和脚部所处的区域以及标准图像中目标用户的手部和脚部所处的区域,可以判断目标用户的目标部位所处的位置不规范。进而,电子设备可以根据学习图像中目标用户的手部所处的区域和标准图像中用户的手部所处的区域之间的位置差距,以及学习图像中目标用户的脚部所处的区域与标准图像中用户的脚部所处的区域之间的位置差距,生成位置提示信息,该位置提示信息可以提示目标用户将其手部从方向盘操作区域移动至操作杆操作区域,将其脚部从脚踏板操作区域中的油门操作区域移动至离合器操作区域。

当电子设备从目标部位所呈现的动作状态来判断目标用户是否规范模拟待学习驾驶操作时,电子设备可以识别其获取的学习图像中各目标部位各自的动作状态,将目标部位的动作状态作为该目标部位对应的学习动作状态;然后,针对每个目标部位,根据该目标部位对应的学习动作状态与该目标部位对应的标准动作状态,判断目标用户的该目标部位执行的操作是否规范;此处目标部位对应的标准动作状态是目标部位在标准图像中的动作状态;在判断目标用户的目标部位执行的操作不规范的情况下,根据目标部位对应的学习动作状态与该目标部位对应的标准动作状态之间的差异,生成动作提示信息;该动作提示信息用于提示目标用户调整其目标部位的动作状态。

具体的,电子设备可以识别其获取的学习图像中目标用户的手部和脚部呈现的动作状态,将目标用户的手部呈现的动作状态作为手部对应的学习动作状态,将目标用户的脚部呈现的动作状态作为脚部对应的学习动作状态。然后,分别针对手部和脚部来判断其呈现的动作状态是否规范,即根据手部对应的学习动作状态与标准图像中用户的手部呈现的标准动作状态,来判断目标用户的手部执行的操作是否规范,以及根据脚部对应的学习动作状态与标准图像中用户的脚部程序的标准动作状态,来判断目标用户的脚部执行的操作是否规范。若存在任一部位执行的操作不规范,则电子设备可以根据执行操作不规范的目标部位对应的学习动作状态以及该目标部位对应的标准动作状态之间的差异,生成用于提示目标用户如何调整该目标部位的动作状态的动作提示信息。

例如,假设目标用户当前学习的待学习驾驶操作为加油直行,电子设备识别其获取的学习图像中目标用户的手部处于方向盘操作区域且处于回正状态保持不动,目标用户的脚部处于脚踏板操作区域内偏左侧的离合器操作区域内,在加油直行操作对应的标准图像中,用户的手部处于方向盘操作区域且处于回正状态保持不动,而用户的脚部处于脚踏板操作区域内偏右侧的油门操作区域且呈下压状态,根据上述学习图像中目标用户的手部和脚部所呈现的动作状态以及标准图像中目标用户的手部和脚部所呈现的动作状态,可以判断目标用户的脚部执行的操作不规范。进而,电子设备可以根据学习图像中目标用户的脚部所呈现的动作状态与标准图像中用户的脚部所呈现的动作状态之间的差异,生成动作提示信息,该动作提示信息可以提示目标用户将其脚部从脚踏板操作区域中的离合器区域移动至油门区域,并呈下压状态。

可选的,为了便于目标用户更好地更正自身对于待学习驾驶操作的模拟方式,电子设备可以显示第二操作提示界面,以通过该第二操作提示界面方便用户对比自身对于待学习驾驶操作的模拟方式和标准的待学习驾驶操作的模拟方式。

即电子设备显示第二操作提示界面,该第二操作提示界面中包括用于显示学习图像的第一图像窗口、用于显示标准图像的第二图像窗口、以及用于显示第一提示信息的提示信息窗口。

具体的,以上述电子设备为用于显示虚拟驾驶场景的终端设备为例,确定目标用户没有规范模拟待学习驾驶操作时,终端设备可以显示第二操作界面,该第二操作界面中包括第一图像窗口、第二图像窗口和提示信息窗口,其中,第一图像窗口中显示有在目标用户模拟待学习驾驶操作时采集的学习图像,第二图像窗口中显示有该待学习驾驶操作对应的标准图像,提示信息窗口中显示有所生成的位置提示信息和/或动作提示信息。

应理解,若上述电子设备是为模拟驾驶应用提供相关服务的服务器,则该服务器可以向用于显示虚拟驾驶场景的终端设备发送待学习驾驶操作对应的标准图像以及所生成的位置提示信息和/或动作提示信息,以使该终端设备基于该标准图像以及位置提示信息和/或动作提示信息,显示上述第二操作提示界面。

应理解,在实际应用中,还可以控制终端设备播放上述位置提示信息和/或动作提示信息。

通过上述驾驶操作学习方法可以帮助目标用户标准快速地学习各种驾驶操作的模拟方式,进而便于目标用户利用其学习的驾驶操作的模拟方式,基于虚拟驾驶场景模拟驾驶操作,保证目标用户可以顺利地模拟驾驶操作,更好地感受驾驶体验。

为了便于进一步理解本申请实施例提供的技术方案,下面以本申请实施例提供的驾驶模拟方法应用于学习驾驶车辆的场景,且由智能电视与服务器配合完成为例,对本申请实施例提供的驾驶模拟方法进行整体示例性介绍。

总体技术流程可以分为两部分:第一部分是由智能电视打开其前置摄像头,捕捉目标用户基于虚拟驾驶场景模拟驾驶操作时的视频,然后根据捕捉到的视频快速计算目标用户所模拟的目标驾驶操作,生成对应的目标驾驶操作指令,如左转弯、右转弯、刹车等等,并将所生成的目标驾驶操作指令传输给服务器。第二部分是服务器对于智能电视上传的目标驾驶操作指令,调整虚拟驾驶场景,并将调整后的虚拟驾驶场景传输至智能电视,由智能电视显示该虚拟驾驶场景,并且服务器还可以对于用户的危险驾驶操作给出相关教学提示及更正建议。

下面先结合图5对上述第一部分的实现过程进行详细介绍,智能电视检测到用户触发基于虚拟驾驶场景模拟驾驶操作的操作后,可以自动打开自身的前置摄像头,开始采集目标用户基于虚拟驾驶场景模拟驾驶操作时的视频。智能电视获取到其前置摄像头采集的视频后,可以针对该视频进行人物识别以找到模拟驾驶操作的目标用户。智能电视在视频中找到目标用户后,可以对目标用户进行相关的动作提示,以指导目标用户如何模拟各种驾驶操作,并在完成驾驶操作指导后,加载显示对应的虚拟驾驶场景。目标用户基于虚拟驾驶场景模拟驾驶操作时,智能电视可以针对其前置摄像头采集的视频,识别其中目标用户的手部和脚部的动作状态,以确定目标用户模拟的驾驶操作,进而生成与目标用户模拟的驾驶操作相对应的驾驶操作指令,并将所生成的驾驶操作指令发送给服务器。

图6所示为一种示例性的虚拟驾驶场景示意图,如图6中的(a)所示,该虚拟驾驶场景中可以包括目标用户模拟驾驶操作时所使用的虚拟车辆,以及驾驶环境中的虚拟背景元素,如道路、树木、路牌等等。如图6中的(b)所示,在该虚拟驾驶场景中还可以叠加显示相关驾驶提示信息。

下面先结合图7对上述第二部分的实现过程进行详细介绍,服务器接收到智能电视发送的驾驶操作指令后,可以根据该驾驶操作指令相应地调整虚拟驾驶场景,以使调整后的虚拟驾驶场景与目标用户模拟的驾驶操作相适配,进而,将调整后的虚拟驾驶场景传输给智能电视,以使智能电视显示该调整后的虚拟驾驶场景。此外,服务器还可以结合智能电视当前显示的虚拟驾驶场景,判断目标用户模拟的驾驶操作是否符合规范,并给出相应的指导建议或告警提示。

针对上文描述的驾驶模拟方法,本申请还提供了对应的驾驶模拟装置,以使上述驾驶模拟方法在实际中的应用以及实现。

参见图8,图8为上文图2所示的驾驶模拟方法对应的一种驾驶模拟装置800的结构示意图,该驾驶模拟装置800包括:

图像获取模块801,用于获取在目标用户基于虚拟驾驶场景模拟驾驶操作时采集的目标图像;所述目标图像中包括所述目标用户身上与驾驶操作相关的目标部位;

动作识别模块802,用于识别所述目标图像中所述目标部位的动作状态;

操作确定模块803,用于根据所述目标部位的动作状态,确定所述目标用户模拟的目标驾驶操作;

场景显示模块804,用于根据所述目标驾驶操作调整所述虚拟驾驶场景,并显示调整后的所述虚拟驾驶场景。

可选的,在图8所示的驾驶模拟装置的基础上,参见图9,图9为本申请实施例提供的另一种驾驶模拟装置900的结构示意图。

在图9所示的驾驶模拟装置中,所述图像获取模块801,还用于获取在所述目标用户模拟待学习驾驶操作时采集的学习图像;

如图9所示,该装置还包括:

操作规范检测模块901,用于根据所述学习图像与所述待学习驾驶操作对应的标准图像,判断所述目标用户是否规范模拟所述待学习驾驶操作;

提示信息显示模块902,用于在判断所述目标用户没有规范模拟所述待学习驾驶操作的情况下,生成第一提示信息,并显示所述第一提示信息;所述第一提示信息用于提示所述目标用户所述待学习驾驶操作的规范模拟方式。

可选的,在图9所示的驾驶模拟装置的基础上,所述操作规范检测模块901具体用于:

检测所述学习图像中各所述目标部位各自所处的区域,将所述目标部位所处的区域作为所述目标部位对应的学习区域;

针对每个所述目标部位,根据所述目标部位对应的学习区域与所述目标部位对应的标准区域,判断所述目标用户的所述目标部位所处的位置是否规范;所述目标部位对应的标准区域是所述目标部位在所述标准图像中所处的区域;

所述第一提示信息显示模块902具体用于:

在判断所述目标用户的所述目标部位所处的位置不规范的情况下,根据所述目标部位对应的学习区域与所述目标部位对应的标准区域之间的位置差异,生成位置提示信息;所述位置提示信息用于提示所述目标用户调整所述目标部位的位置。

可选的,在图9所示的驾驶模拟装置的基础上,所述操作规范检测模块901具体用于:

识别所述学习图像中各所述目标部位各自的动作状态,将所述目标部位的动作状态作为所述目标部位对应的学习动作状态;

针对每个所述目标部位,根据所述目标部位对应的学习动作状态与所述目标部位对应的标准动作状态,判断所述目标用户的所述目标部位执行的操作是否规范;所述目标部位对应的标准动作状态是所述目标部位在所述标准图像中的动作状态;

所述第一提示信息显示模块902具体用于:

在判断所述目标用户的所述目标部位执行的操作不规范的情况下,根据所述目标部位对应的学习动作状态与所述目标部位对应的标准动作状态之间的差异,生成动作提示信息;所述动作提示信息用于提示所述目标用户调整所述目标部位的动作状态。

可选的,在图9所示的驾驶模拟装置的基础上,参见图10,图10为本申请实施例提供的另一种驾驶模拟装置1000的结构示意图。如图10所示,该装置还包括:

第一提示界面显示模块1001,用于显示第一操作提示界面;所述第一操作提示界面用于显示所述待学习驾驶操作对应的标准图像,以及所述待学习驾驶操作的模拟方式对应的操作提示信息。

可选的,在图9所示的驾驶模拟装置的基础上,参见图11,图11为本申请实施例提供的另一种驾驶模拟装置1100的结构示意图。如图11所示,该装置还包括:

第二提示界面显示模块1101,用于显示第二操作提示界面;所述第二操作提示界面中包括用于显示所述学习图像的第一图像窗口、用于显示所述标准图像的第二图像窗口、以及用于显示所述第一提示信息的提示信息窗口。

可选的,在图8所示的驾驶模拟装置的基础上,参见图12,图12为本申请实施例提供的另一种驾驶模拟装置1200的结构示意图。如图12所示,该装置还包括:

驾驶学习模块1201,用于确定所述虚拟驾驶场景对应的标准驾驶操作;判断所述目标驾驶操作与所述标准驾驶操作是否匹配;在所述目标驾驶操作与所述标准驾驶操作不匹配的情况下,生成第二提示信息,并显示所述第二提示信息;所述第二提示信息用于提示所述目标用户在所述虚拟驾驶场景中应当执行的标准驾驶操作。

可选的,在图8所示的驾驶模拟装置的基础上,参见图13,图13为本申请实施例提供的另一种驾驶模拟装置1300的结构示意图。如图13所示,该装置还包括:

性能参考模块1301,用于在获取在目标用户基于虚拟驾驶场景模拟驾驶操作时采集的目标图像之前,响应于所述目标用户触发的驾驶车辆选择操作,确定所述目标用户模拟驾驶操作时使用的目标虚拟车辆;所述目标虚拟车辆与目标实体车辆对应;在根据所述目标部位的动作状态,确定所述目标用户模拟的目标驾驶操作之后,根据所述目标驾驶操作和所述目标实体车辆对应的性能条件,确定所述目标驾驶操作对应的性能参考数据;在所述虚拟驾驶场景上叠加显示所述性能参考数据。

可选的,在图8所示的驾驶模拟装置的基础上,所述动作识别模块802具体用于:

根据所述目标用户的基准外观特征,在所述目标图像中识别所述目标用户;所述基准外观特征是根据所述目标用户登录或者注册模拟驾驶应用时上传的基准人物图像确定的;

或者,

检测所述目标图像中执行所述目标操作的用户,确定执行所述目标操作的用户为所述目标用户;所述目标操作是在对用户进行身份认证时提示需要模拟驾驶操作的用户执行的操作。

可选的,在图8所示的驾驶模拟装置的基础上,所述动作识别模块802具体用于:

在所述目标图像中的各目标部位区域范围内分别识别各所述目标部位;各所述目标部位区域范围分别对应于模拟驾驶操作时使用的虚拟车辆的方向盘操作区域、操作杆操作区域和脚踏板操作区域

可选的,在图8所示的驾驶模拟装置的基础上,所述场景显示模块804具体用于:

根据所述目标驾驶操作生成目标驾驶操作指令;

根据所述目标驾驶操作指令,调整所述虚拟驾驶场景中虚拟元素;

在所述虚拟驾驶场景中显示调整后的所述虚拟元素。

本申请实施例提供的装置利用图像识别技术,根据在目标用户基于虚拟驾驶场景模拟驾驶操作时采集的目标图像,确定目标用户所模拟的目标驾驶操作,如此,可以在不借助外部设备的情况下实现对于用户所模拟的驾驶操作的检测,因而,可以大幅降低基于虚拟驾驶场景模拟驾驶操作时所需耗费的成本,有利于这种驾驶模拟方法的大范围推广应用。

本申请实施例还提供了一种用于模拟驾驶的电子设备,该电子设备具体可以为服务器或终端设备,下面将从硬件实体化的角度对本申请实施例提供的服务器和终端设备进行介绍。

参见图14,图14为本申请实施例提供的一种服务器1400的结构示意图。该服务器1400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)1422(例如,一个或一个以上处理器)和存储器1432,一个或一个以上存储应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存储设备)。其中,存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1422可以设置为与存储介质1430通信,在服务器1400上执行存储介质1430中的一系列指令操作。

服务器1400还可以包括一个或一个以上电源1426,一个或一个以上有线或无线网络接口1450,一个或一个以上输入输出接口1458,和/或,一个或一个以上操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于该图14所示的服务器结构。

其中,CPU 1422用于执行如下步骤:

获取在目标用户基于虚拟驾驶场景模拟驾驶操作时采集的目标图像;所述目标图像中包括所述目标用户身上与驾驶操作相关的目标部位;

识别所述目标图像中所述目标部位的动作状态;

根据所述目标部位的动作状态,确定所述目标用户模拟的目标驾驶操作;

根据所述目标驾驶操作调整所述虚拟驾驶场景,并显示调整后的所述虚拟驾驶场景。

可选的,CPU 1422还可以用于执行本申请实施例提供的驾驶模拟方法的任意一种实现方式的步骤。

参见图15,图15为本申请实施例提供的一种终端设备的结构示意图。为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。以终端为智能电视为例:

图15示出的是与本申请实施例提供的终端相关的智能电视的部分结构的框图。参考图15,智能电视包括:射频(Radio Frequency,RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(wireless fidelity,WiFi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解,图15中示出的智能电视结构并不构成对智能电视的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

存储器1520可用于存储软件程序以及模块,处理器1580通过运行存储在存储器1520的软件程序以及模块,从而执行智能电视的各种功能应用以及数据处理。存储器1520可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据智能电视的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1580是智能电视的控制中心,利用各种接口和线路连接整个智能电视的各个部分,通过运行或执行存储在存储器1520内的软件程序和/或模块,以及调用存储在存储器1520内的数据,执行智能电视的各种功能和处理数据,从而对智能电视进行整体监控。可选的,处理器1580可包括一个或多个处理单元;优选的,处理器1580可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1580中。

在本申请实施例中,该终端所包括的处理器1580还具有以下功能:

获取在目标用户基于虚拟驾驶场景模拟驾驶操作时采集的目标图像;所述目标图像中包括所述目标用户身上与驾驶操作相关的目标部位;

识别所述目标图像中所述目标部位的动作状态;

根据所述目标部位的动作状态,确定所述目标用户模拟的目标驾驶操作;

根据所述目标驾驶操作调整所述虚拟驾驶场景,并显示调整后的所述虚拟驾驶场景。

可选的,所述处理器1580还用于执行本申请实施例提供的驾驶模拟方法的任意一种实现方式的步骤。

本申请实施例还提供一种计算机可读存储介质,用于存储计算机程序,该计算机程序用于执行前述各个实施例所述的一种驾驶模拟方法中的任意一种实施方式。

本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前述各个实施例所述的一种驾驶模拟方法中的任意一种实施方式。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称:Read-OnlyMemory,英文缩写:ROM)、随机存取存储器(英文全称:RandomAccess Memory,英文缩写:RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。

应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。

以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

30页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种飞行训练器仿真结果检查方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!