具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，在下述描述中，参考附图，附图描述了本发明的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本发明的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本发明。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、““下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。

在通篇说明书中，当说某部分与另一部分“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部分“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素，排除在外，而是意味着可以还包括其它构成要素。

其中提到的第一、第二及第三等术语是为了说明多样的部分、成分、区域、层及/或段而使用的，但并非限定于此。这些术语只用于把某部分、成分、区域、层或段区别于其它部分、成分、区域、层或段。因此，以下叙述的第一部分、成分、区域、层或段在不超出本发明范围的范围内，可以言及到第二部分、成分、区域、层或段。

再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

本发明实施例中提供一种基于VR逝者仿真的交互方法，首先通过逝者现实生活场景的全景图像以及逝者生前的人物图像构建逝者虚拟定制生活场景以及逝者初始化人物模型，用户可由语音在虚拟图像中直接调整逝者初始化人物模型，再根据用户表情图像控制人物模型执行符合用户心理需求的一或多种互动动作。本发明不仅可以根据个人情况定制专属于自己的逝者生活虚拟场景，还可以根据呈现在VR设备的虚拟图像通过语音直接对逝者人物模型进行直接调整，以获得更真实的逝者人物形象，还可以根据用户的表情变化自动控制逝者人物模型作出符合用户心理需求的互动动作；本方案不仅可以使虚拟画面更真实，并且可以满足不同用户的需求，增强了交互性以及提高了沉浸感，并且以每一位逝者亲人的心理需求为基础，与在熟悉的场景与已经失去的亲人相见，呈现出最能治愈人心的VR虚拟现实影像，进而减少因丧亲而导致的心理障碍或心理疾病，使用户尽早摆脱心理创伤，解决了现有技术的问题。

下面以附图为参考，针对本发明的实施例进行详细说明，以便本发明所述技术领域的技术人员能够容易地实施。本发明可以以多种不同形态体现，并不限于此处说明的实施例。

如图1所示，展示本发明实施例中的基于VR逝者仿真的交互方法的流程示意图。

应用于用户佩戴的VR设备，所述方法包括：

步骤S11：基于逝者现实生活场景的全景图像，构建对应所述逝者现实生活场景的逝者虚拟定制生活场景。

可选的，所述基于逝者现实生活场景的全景图像，构建对应所述逝者现实生活场景的逝者虚拟定制生活场景包括：

提取所述逝者现实生活场景的全景图像的生活场景特征信息；具体的，基于特征提取模型，提取所述逝者现实生活场景的全景图像的生活场景特征信息；其中，所述特征提取模型经过训练集中多个全景图像以及其对应的生活场景特征信息进行训练获得。其中，所述生活场景特征信息可以为室内或室外场景布置特征、环境特征以及天气特征等特征信息，对此不作限定。需要说明的是，所述全景图像可以为图片也可以视频。

将所述的生活场景特征信息输入三维场景构建模型，获得对应所述逝者现实生活场景的逝者虚拟定制生活场景；其中，所述三维场景构建模型经过训练集中多个虚拟生活场景以及其对应的生活场景特征信息进行训练获得。需要说明的是，所述生活场景特征信息可为虚拟现实场景制作软件，将所述的生活场景特征信息输入该软件，可以获得逝者虚拟定制生活场景；

其中，所述逝者现实生活场景包括：逝者家居环境场景、逝者工作环境场景以及逝者亲人互动环境场景等场景中的一种或多种。其中，所述逝者亲人互动环境场景可以为处于室内或室外的互动环境，主要是针对用户需求选择需要定制的用户最想见到亲人的场景，例如女儿想在学校门口见到逝去的爸爸，则场景选择学校门口，由此可以满足用户的心理需求。

可选的，所述基于逝者现实生活场景的全景图像可以为使用3D扫描仪对其空间进行扫描并而生成的3D全景环境影像。

步骤S12：基于逝者生前的人物图像，构建对应所述人物图像的逝者初始化人物模型，并生成处于所述逝者虚拟定制生活场景中的逝者初始人物模型所对应的虚拟画面。

可选的，所述基于逝者生前的人物图像，构建对应所述人物图像的逝者初始化人物模型，并生成处于所述逝者虚拟定制生活场景中的逝者初始人物模型所对应的虚拟画面包括：

提取逝者生前的人物图像的一或多个人物特征信息；具体的，基于人物特征提取模型，提取逝者生前的人物图像的一或多个人物特征信息；其中，所述人物特征提取模型经过训练集中多个人物图像以及其对应的人物特征信息进行训练获得。其中，所述人物特征信息包括：外貌特征信息和/或声音特征信息，其中所述外貌特征包括面部特征、身材特征、穿着特征、神态特征以及表情特征等人物特征信息，为了达到更好的真实性，面部特征还包括各个器官的特征、肤色特征以及脸上痣等细节特征；身材特征还包括：身高、胖瘦、身材比例、以及身体各外在器官(肩宽、胳膊、腿等)等特征；穿着特征还包括：衣服特征(样式以及颜色)、裤子、鞋、帽子以及眼镜首饰等特征。神态特征可以为各个细节神态特征，在此不作赘述；表情特征可以包括：喜怒哀乐等表情特征。所述声音特征信息包括：声音频率、音调以及音色等特征信息；需要说明的是，所述人物图像可以为图片也可以视频。

将各人物特征信息输入虚拟人物构建模型，获得逝者初始人物模型；其中，所述逝者初始人物模型包括：一或多个初始人物特征信息；具体的，将各人物特征信息输入虚拟人物构建模型，获得具有对应各人物特征信息的初始人物特征信息的逝者初始人物模型；其中，所述虚拟人物构建模型经过训练集中多个人物模型以及其对应的人物特征信息进行训练获得。

将所述逝者初始人物模型植入所述逝者虚拟定制生活场景，并生成处于所述逝者虚拟定制生活场景中的逝者初始人物模型所对应的虚拟画面，以供用户在VR设备上观看。

可选的，基于图像合成技术，将所述逝者初始人物模型合成到逝者虚拟定制生活场景中，得到虚拟画面，并将虚拟画面展示给用户佩戴的VR设备的用户的视场范围，以供用户观看。

其中，图像合成技术具体可以是但不限于:基于深度学习的语义控制图像合成、基于视点合成的深度图编码和最小通信开销的Direct Send并行图像合成方法等。

步骤S13：根据采集到的来自用户的语音信息，对所述虚拟画面中的逝者初始人物模型进行一次或多次更新，以获得处于所述逝者虚拟定制生活场景中的逝者最终人物模型所对应的虚拟画面。

详细来说，由于用户是最熟悉逝者的，用户可在VR设备中观看到所述虚拟画面中的逝者初始人物模型，并通过语音实时完善所述逝者初始人物模型，具体的，根据实时采集到的来自用户的一或多个语音信息对所述虚拟画面中的逝者初始人物模型分别进行一次或多次更新，直至观看到所述虚拟画面中的人物模型为满意状态，用户停止发出语音，则获得处于所述逝者虚拟定制生活场景中的逝者最终人物模型所对应的虚拟画面。

可选的，所述根据采集到的来自用户的语音信息，对所述虚拟画面中的逝者初始人物模型进行一次或多次更新，以获得处于所述逝者虚拟定制生活场景中的逝者最终人物模型所对应的虚拟画面包括：

将采集到的来自用户的一或多个语音信息分别进行语音识别，获得对应各语音信息的语音识别信息；基于各语音识别信息，分别获得对应各语音识别信息的人物模型更新信息；基于所述人物模型更新信息，一次或多次更新所述虚拟画面中的逝者初始人物模型；其中，所述逝者初始人物模型包括：一或多个初始人物特征信息；

具体的，将采集到的来自用户的一语音信息进行语音识别，获得对应该语音信息的语音识别信息；具体来说，将采集到的来自用户的一语音信息输入语音识别模型，获得对应所述语音信息的语音识别信息，其中，所述语音识别模型经过训练集中多个语音信息以及其对应的语音识别信息进行训练获得。举例来说，所述语音信息为“我想让爸爸的身高矮两公分”；语音识别信息为“身高矮两公分”。其中，所述语音识别模型具体包括但不限于：Bert模型、NLP模型和Transform模型等，由于这些技术较为成熟，属于本领域的技术人员所知晓，此处不进行赘述。

基于该语音识别信息，获得对应该语音识别信息的人物模型更新信息；具体的，基于该语音识别信息，在语音信息数据库中找到对应该语音识别信息的人物模型更新信息；其中，所述语音信息库包括：各语音识别信息以及分别与各语音识别信息所对应的人物模型更新信息。

基于所述人物模型更新信息，更新所述虚拟画面中的逝者初始人物模型的初始人物特征信息，至此第一次更新结束；以此次更新的人物模型作为下一次更新的初始人物模型，同样的，更新后的初始人物特征信息作为下一次更新的初始人物特征信息，进行下一次更新；和上一次更新步骤类似，直至用户停止语音控制则进行下一步。

将经过一次或多次更新的在所述虚拟画面中逝者初始人物模型作为逝者最终人物模型，并生成处于所述逝者虚拟定制生活场景中的逝者最终人物模型所对应的虚拟画面；其中，所述逝者最终人物模型包括：一或多个最终人物特征信息。且最终人物特征信息为经过经过一次或多次更新的在所述虚拟画面中逝者初始人物模型的初始人物特征信息。

可选的，所述基于所述人物模型更新信息，更新所述虚拟画面中的逝者初始人物模型包括：基于所述人物模型更新信息中的分别对应各初始人物特征信息的人物特征更新信息，分别对在虚拟画面中的逝者初始人物模型的各初始人物特征信息进行更新。举例来说，所述语音识别信息为“身高矮两公分”则人物模型更新信息包括：对应初始人物特征信息(身高特征)的人物特征更新信息(矮两公分)，将逝者初始人物模型的身高特征信息中身高降低两公分，降低后的身高特征信息为更新后的身高特征信息。

步骤S14：根据实时采集的用户表情图像，控制所述虚拟画面中的逝者最终人物模型执行符合用户心理需求的一或多种互动动作。

详细来说，用户在VR设备中看到虚拟画面时不免有一些心理波动，进而造成表情变化，因此实时采集用户的用户表情图像，通过用户的表情变化控制所述虚拟画面中的逝者最终人物模型执行一或多种互动动作，以满足用户心理需求，并且大大的增加了真实感。

可选的，所述根据实时采集的用户表情图像信息，控制所述虚拟画面中的逝者最终人物模型执行符合用户心理需求的一或多种互动动作的方式包括：

对实时采集的一或多个用户表情图像分别进行识别，获得对应各用户表情图像的用户表情识别信息；具体来说，将采集到的用户表情图像输入表情识别模型，获得对应所述用户表情图像的用户表情识别信息，其中，所述语音识别模型经过训练集中多个表情图像以及其对应的用户表情识别信息进行训练获得，需要说明的是，所述用户表情图像可以为图片也可以视频。

基于用户表情识别信息，获得对应各用户表情图像的动作控制信息；具体的，基于所述用户表情识别信息，在表情信息数据库中找到对应所述用户表情识别信息的人物模型更新信息；其中，所述表情信息库包括：各用户表情识别信息以及分别与各用户表情识别信息所对应的动作控制信息。并且其中，各动作控制信息分别对应一或多个互动动作。所述用户表情识别信息可以包括但不仅限于微笑、哭泣、悲伤、激动、生气识别信息等表情识别信息中的一种或多种；所述动作控制信息所对应的互动动作可以包括但不仅限于：说话、唱歌、比心、拥抱、亲吻、摸头，拍肩、走近、跳舞、跑步以及招手等任一动作中的一种或多种。举例来说，对应哭泣表情识别信息的所述动作控制信息所对应的互动动作为拥抱，可以使用户被安慰。

基于所述动作控制信息，控制所述虚拟画面中的逝者最终人物模型执行对应所述动作控制信息的符合用户心理需求的一或多个互动动作。由于用户表情体现了自身的情绪，逝者最终人物模型执行对应该表情预设的动作，大大的满足了用户心理需求。需要说明的是，所述表情信息库中各用户表情识别信息以及对应各互动动作的动作控制信息的关联关系可以是根据逝者的习惯建立的，使得仿真的真实度更高。

可选的，所述方法还包括：获取对应所述逝者最终人物模型执行一或多种互动动作的背景音乐，并进行播放。具体的，从音乐库中获取对应所述逝者最终人物模型执行一或多种互动动作的背景音乐，并进行播放；其中，所述音乐库包含：与各互动动作相对应的背景音乐，以增加沉浸感。

与上述实施例原理相似的是，本发明提供一种基于VR逝者仿真的交互系统。

以下结合附图提供具体实施例：

如图2展示本发明实施例中的一种基于VR逝者仿真的交互方法的系统的结构示意图。

应用于用户佩戴的VR设备，所述系统包括：

虚拟场景构建模块21，用于基于逝者现实生活场景的全景图像，构建对应所述逝者现实生活场景的逝者虚拟定制生活场景；

初始人物模型构建模块22，连接所述虚拟场景构建模块21，用于基于逝者生前的人物图像，构建对应所述人物图像的逝者初始化人物模型，并生成处于所述逝者虚拟定制生活场景中的逝者初始人物模型所对应的虚拟画面；

语音更新人物模型模块23，连接所述初始人物模型构建模块22，用于根据采集到的来自用户的语音信息，对所述虚拟画面中的逝者初始人物模型进行一或多次更新，以获得处于所述逝者虚拟定制生活场景中的逝者最终人物模型所对应的虚拟画面；

表情控制互动模块24，连接所述语音更新人物模型模块23，用于根据实时采集的用户表情图像，控制所述虚拟画面中的逝者最终人物模型执行符合用户心理需求的一或多种互动动作。

需说明的是，应理解图2系统实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现；

例如各模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

因此，由于该基于VR逝者仿真的交互系统的实现原理已在前述实施例中进行了叙述，因此此处不作重复赘述。

可选的，所述系统还包括：音乐播放模块，连接所述表情控制互动模块24，用于获取对应所述逝者最终人物模型执行一或多种互动动作的背景音乐，并进行播放。具体的，所述音乐播放模块从音乐库中获取对应所述逝者最终人物模型执行一或多种互动动作的背景音乐，并进行播放；其中，所述音乐库包含：与各互动动作相对应的背景音乐，以增加沉浸感。

如图3展示本发明实施例中的基于VR逝者仿真的交互终端30的结构示意图。

所述基于VR逝者仿真的交互终端30包括：存储器31及处理器32所述存储器31用于存储计算机程序；所述处理器32运行计算机程序实现如图1所述的基于VR逝者仿真的交互方法。

可选的，所述存储器31的数量均可以是一或多个，所述处理器32的数量均可以是一或多个，而图3中均以一个为例。

可选的，所述基于VR逝者仿真的交互终端30中的处理器32会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器31中，并由处理器32来运行存储在第一存储器31中的应用程序，从而实现如图1所述基于VR逝者仿真的交互方法中的各种功能。

可选的，所述存储器31，可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备；所述处理器32，可能包括但不限于中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可选的，所述处理器32可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明还提供计算机可读存储介质，存储有计算机程序，所述计算机程序运行时实现如图1所示的基于VR逝者仿真的交互方法。所述计算机可读存储介质可包括，但不限于，软盘、光盘、CD-ROM(只读光盘存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品，也可以是已接入计算机设备使用的部件。

如图4展示本发明实施例中的一种VR设备的结构示意图。

用户佩戴的VR设备可以包括VR头戴式设备、控制手柄等等部分。与VR设备之间的数据交互可以通过网络实现，包括但不限于广域网、局域网等等。网络的制式包括但不限于LTE、CDMA、SCDMA等等。

所述VR设备包括：

如图4所述的基于VR逝者仿真的交互终端41；需要注意的是，由于该基于VR逝者仿真的交互终端的实现原理已在前述实施例中进行了叙述，因此此处不作重复赘述。

以及与所述终端分别连接的生活场景图像接收装置42、人物图像接收装置43、用户语音采集装置44以及用户表情图像采集装置45；

其中，所述生活场景图像接收装置42可以为具有接收图像功能的任意装置或接口，用于接收逝者现实生活场景的全景图像；所述人物图像接收装置，可以为具有接收图像功能的任意装置或接口，用于接收逝者生前的人物图像；所述用户语音采集装置，为具有采集语音功能的任意装置，用于采集来自用户的语音信息；例如具有录音功能的话筒。所述用户表情图像采集装置，为具有图像采集功能的任意装置，用于实时采集用户表情图像；例如摄像头。

需说明的是，应理解图4系统实施例中的各个装置以及终端的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现.

可选的，所述VR设备还包括：音乐播放装置，连接所述基于VR逝者仿真的交互终端，用于播放背影音乐；其中，所述音乐播放装置为具有音乐功能的任意装置。

综上所述，本发明基于VR逝者仿真的交互方法、系统、终端及VR设备，首先通过逝者现实生活场景的全景图像以及逝者生前的人物图像构建逝者虚拟定制生活场景以及逝者初始化人物模型，用户可由语音在虚拟图像中直接调整逝者初始化人物模型，再根据用户表情图像控制人物模型执行符合用户心理需求的一或多种互动动作。本发明不仅可以根据个人情况定制专属于自己的逝者生活虚拟场景，还可以根据呈现在VR设备的虚拟图像通过语音直接对逝者人物模型进行直接调整，以获得更真实的逝者人物形象，还可以根据用户的表情变化自动控制逝者人物模型作出符合用户心理需求的互动动作；本方案不仅可以使虚拟画面更真实，并且可以满足不同用户的需求，增强了交互性以及提高了沉浸感，并且以每一位逝者亲人的心理需求为基础，与在熟悉的场景与已经失去的亲人相见，呈现出最能治愈人心的VR虚拟现实影像，进而减少因丧亲而导致的心理障碍或心理疾病，使用户尽早摆脱心理创伤，解决了现有技术的问题。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。