阅读说明：本技术 在增强现实中渲染虚拟物体的方法及装置 (The method and device of dummy object is rendered in augmented reality ) 是由 白雪莲 于 2019-08-22 设计创作，主要内容包括：本发明提供了一种在增强现实中渲染虚拟物体的方法及装置,所述方法包括以下步骤：S1：获取现实场景的图像数据；S2：根据虚拟场景中的虚拟物体的相关信息从获取的现实场景的图像数据中识别出参考物体的图像数据；S3：使用人工智能算法将参考物体的图像数据的光照数据迁移至虚拟物体的图像数据中以得出目标虚拟物体。本发明基于人工智能算法将现实场景中的参考物体的光照迁移至虚拟场景中的虚拟物体上,使虚拟物体与现实场景更真实的融合。(The present invention provides a kind of in augmented reality renders the method and device of dummy object, the described method comprises the following steps: S1: obtaining the image data of reality scene；S2: the image data of Reference is identified from the image data of the reality scene of acquisition according to the relevant information of the dummy object in virtual scene；S3: the photometric data of the image data of Reference is migrated into the image data of dummy object to obtain destination virtual object using intelligent algorithm.The present invention is based on intelligent algorithms to migrate the illumination of the Reference in reality scene on the dummy object into virtual scene, merges dummy object more really with reality scene.)

在增强现实中渲染虚拟物体的方法及装置

技术领域

本发明涉及增强现实技术领域，更具体地讲，涉及一种在增强现实中渲染虚拟物体的方法及装置。

背景技术

增强现实(Augmented Reality，简称AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，该技术通过实时地计算摄像机影像的位置及角度并加上相应虚拟模型以实现将虚拟模型加载到真实世界中并进行互动。但是，在增强现实中对虚拟模型的渲染问题一直是影响视觉体验的关键，特别是对虚拟模型的光照渲染，对视觉体验的影响最大。

现有技术中，在增强现实中对虚拟模型的光照渲染是通过人为设置的虚拟光源来进行渲染，被渲染的虚拟模型显示起来有突兀感，不能很好的融合到真实世界中以满足用户的要求。此外，对虚拟模型的光照渲染还可以通过light probe、光照贴图等传统的方法来解决，但这些方法通常会受到场景限制和器材限制，并不能大范围的使用，具有其使用局限性。

发明内容

本发明针对现有技术的不足，提供了一种在增强现实中渲染虚拟物体的方法及装置，通过人工智能算法将现实场景中的参考物体的光照迁移至虚拟场景中的虚拟物体上，以使虚拟物体与现实场景更真实的融合。

根据本发明的一方面，提供了一种在增强现实中渲染虚拟物体的方法，所述方法包括以下步骤：S1：获取现实场景的图像数据；S2：根据虚拟场景中的虚拟物体的相关信息从获取的现实场景的图像数据中识别出参考物体的图像数据；S3：使用人工智能算法将参考物体的图像数据的光照数据迁移至虚拟物体的图像数据中以得出目标虚拟物体。

优选地，所述虚拟物体的相关信息包括虚拟物体的材质参数和/或虚拟物体在虚拟场景中的位置信息。

优选地，所述步骤S2包括：根据虚拟物体的材质参数从获取的现实场景的图像数据中识别出与虚拟物体材质类似的同类别物体的图像数据，或者根据虚拟物体在虚拟场景中的位置信息从获取的现实场景的图像数据中识别出与虚拟物体的位置邻近的物体的图像数据。

优选地，所述步骤S3包括：将与虚拟物体材质类似的同类别物体的图像数据的光照数据迁移至虚拟物体的图像数据中，或者将与虚拟物体的位置邻近的物体的图像数据的光照数据迁移至虚拟物体的图像数据中。

优选地，将与虚拟物体材质类似的同类别物体的图像数据的光照数据迁移至虚拟物体的图像数据中的步骤包括：对虚拟场景中的虚拟物体的3D模型进行初步渲染；基于人工智能算法将同类别物体的光照数据迁移至初步渲染后的虚拟物体上以得出带有光照的虚拟物体的图像数据；对所述带有光照的虚拟物体的图像数据进行二次渲染以得出目标虚拟物体。

优选地，将与虚拟物***置邻近的物体的图像数据的光照数据迁移至虚拟物体的图像数据中的步骤包括：对虚拟场景中的虚拟物体的3D模型进行初步渲染；基于人工智能算法将与虚拟物***置邻近的物体的光照数据和阴影数据迁移至初步渲染后的虚拟物体上以得出目标虚拟物体。

优选地，所述对虚拟场景中的虚拟物体进行初步渲染的步骤包括：根据当前用户的姿态数据来使用环境光渲染虚拟物体以得到用户当前视角的初步渲染的虚拟物体的图像数据。

优选地，所述对所述带有光照的虚拟物体的图像数据进行二次渲染以得出目标虚拟物体的步骤包括：对带有光照的虚拟物体的图像数据进行阴影识别以获取虚拟物体的光照方向，并依据获取的虚拟物体的光照方向和虚拟物体放置的平面位置来渲染虚拟物体的阴影图像。

根据本发明的另一方面，提供了一种在增强现实中渲染虚拟物体的装置，所述装置包括：场景数据模块，被配置为获取现实场景的图像数据；物体识别模块，被配置为根据虚拟场景中的虚拟物体的相关信息从获取的现实场景的图像数据中识别出参考物体的图像数据；数据处理模块，被配置为使用人工智能算法将参考物体的图像数据的光照数据迁移至虚拟物体的图像数据中以得出目标虚拟物体。

优选地，所述虚拟物体的相关信息包括虚拟物体的材质参数和/或虚拟物体在虚拟场景中的位置信息。

优选地，所述物体识别模块被配置为：根据虚拟物体的材质参数从获取的现实场景的图像数据中识别出与虚拟物体材质类似的同类别物体的图像数据，或者根据虚拟物体在虚拟场景中的位置信息从获取的现实场景的图像数据中识别出与虚拟物体的位置邻近的物体的图像数据。

优选地，所述数据处理模块被配置为：将与虚拟物体材质类似的同类别物体的图像数据的光照数据迁移至虚拟物体的图像数据中，或者将与虚拟物体的位置邻近的物体的图像数据的光照数据迁移至虚拟物体的图像数据中。

优选地，对与虚拟物体材质类似的同类别物体的图像数据进行光照迁移时，所述数据处理模块被配置为：对虚拟场景中的虚拟物体的3D模型进行初步渲染；基于人工智能算法将同类别物体的光照数据迁移至初步渲染后的虚拟物体上以得出带有光照的虚拟物体的图像数据；对所述带有光照的虚拟物体的图像数据进行二次渲染以得出目标虚拟物体。

优选地，对与虚拟物***置邻近的物体的图像数据进行光照迁移时，所述数据处理模块被配置为：对虚拟场景中的虚拟物体的3D模型进行初步渲染；基于人工智能算法将与虚拟物***置邻近的物体的光照数据和阴影数据迁移至初步渲染后的虚拟物体上以得出目标虚拟物体。

优选地，所述数据处理模块还被配置为：根据当前用户的姿态数据来使用环境光渲染虚拟物体以得到用户当前视角的初步渲染的虚拟物体的图像数据。

优选地，所述二次渲染为对带有光照的虚拟物体的图像数据进行阴影识别以获取虚拟物体的光照方向，并依据虚拟物体的光照方向和放置的平面位置来渲染虚拟物体的阴影图像。

根据本发明的另一方面，提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器运行时，所述处理器执行如上所述的在增强现实中渲染虚拟物体的方法。

根据本发明的另一方面，提供了一种计算机设备，包括处理器和存储计算机程序的存储器，所述计算机程序被处理器运行时，所述处理器执行如上所述的在增强现实中渲染虚拟物体的方法。

附图说明

下面将结合附图进行本发明的详细描述，本发明的上述特征和其它目的、特点和优点将会变得更加清楚，其中：

图1示出根据本发明的实施例的一种在增强现实中渲染虚拟物体的方法的流程图；

图2示出根据本发明的实施例的一种在增强现实中渲染虚拟物体的装置的框图。

在附图中，相同的标号将被理解为表示相同的元件、特征和结构。

具体实施方式

以下，参照附图来详细说明本发明的实施例。其中，相同的标号始终表示相同的部件。

图1是示出根据本发明的实施例的一种在增强现实中渲染虚拟物体的方法的流程图。

如图1所示，在步骤S1，获取现实场景的图像数据。根据本发明的实施例，具体地，通过拍摄设备如相机、摄像机等获取现实场景的图像数据并将拍摄得到的图像数据进行存储，其中，获取的图像数据包括图片数据和/或视频数据。

接下来，在步骤S2，根据虚拟场景中的虚拟物体的相关信息从获取的现实场景的图像数据中识别出参考物体的图像数据。具体地，虚拟物体的相关信息包括虚拟物体的材质参数和/或虚拟物体在虚拟场景中的位置信息，因此，可根据虚拟物体的材质参数从获取的现实场景的图像数据中识别出与虚拟物体材质类似的同类别物体的图像数据，或者根据虚拟物体在虚拟场景中的位置信息从获取的现实场景的图像数据中识别出与虚拟物体的位置邻近的物体的图像数据。其中，虚拟物体的材质参数包括高光强度、高光面积、自发光系数、反射率、折射率、光泽度、粗糙度等物体特有的光照参数，材质类似是指与虚拟物体的材质参数相同或者差别很小的情况，虚拟物体在虚拟场景中的位置信息为虚拟物体的三维坐标信息。应理解，上述对于虚拟物体的材质参数的举例仅是示例性举例，本发明可采用的材质参数的种类不限于此。

根据本发明的实施例，假设步骤S1中获取的现实场景的图像数据为图片T，则根据虚拟场景中的虚拟物体的材质参数或者位置信息来识别图片T中的参考物体的图像数据。当根据虚拟场景中的虚拟物体的材质参数来识别参考物体的图像数据时，若虚拟物体的材质参数为PBR材质系统的高光参数，则识别图片T中材质参数同为PBR材质系统的高光参数或者与PBR材质的高光参数类似的Vray材质系统的高光参数的同类别物体(以下用参考物体A来表示)，并将该同类别物体的图像数据作为参考物物体的图像数据。这里，对于同类别物体的识别可采用特征点提取的方式或者人工智能算法来进行识别。当根据虚拟场景中的虚拟物体的位置信息来识别参考物体的图像数据时，可仅仅识别出虚拟物体所放置位置附近的物体(以下用参考物体B来表示)，并在识别出参考物体后对识别的参考物体的进行材质参数的识别。这里，虚拟物体所放置位置附近的物体是指与虚拟物体邻近且在同一个平面上的现实场景的图像数据中的物体。应理解，上述对于识别方法的举例仅是示例性举例，本发明可采用的识别方法不限于此。

在步骤S3，使用人工智能算法对参考物体的图像数据进行光照迁移以得出目标虚拟物体。具体地，可使用人工智能算法对与虚拟物体材质类似的同类别物体的图像数据进行光照迁移或者对与虚拟物体的位置邻近的物体的图像数据进行光照迁移以得出目标虚拟物体。这里，常见的人工智能算法可包括人工神经网络(Artificial Neural Network)类算法、贝叶斯(Bayesin)类算法、决策树(Decision Tree)类算法、线性分类器(LinearClassifier)类算法等。当使用人工智能算法对与虚拟物体材质类似的同类别物体的图像数据进行光照迁移时，先对虚拟场景中的虚拟物体的3D模型进行初步渲染，然后，基于人工智能算法模型将同类别物体的光照数据迁移至初步渲染后的虚拟物体上以得出带有光照的虚拟物体的图像数据，再对带有光照的虚拟物体的图像数据进行二次渲染以得出目标虚拟物体。当使用人工智能算法对与虚拟物体的位置邻近的物体的图像数据进行光照迁移时，在对虚拟场景中的虚拟物体的3D模型进行初步渲染后，可直接基于人工智能算法模型将与虚拟物***置邻近的物体的光照数据和阴影数据迁移至初步渲染后的虚拟物体上以得出目标虚拟物体。这里，初步渲染是指根据当前用户的姿态数据来使用环境光渲染虚拟物体以得到用户当前视角的虚拟物体的图像数据，其中，用户的姿态数据包括用户与虚拟物体之间的位置关系、用户本身的三维坐标、用户的手势等动作数据。

根据本发明的实施例，当对与虚拟物体材质类似的同类别物体的图像数据进行光照迁移时，如上述举例，可将参考物体A的图像数据和初步渲染后的虚拟物体的图像数据作为预先训练的卷积神经网络模型的输入，则卷积神经网络模型的输出(即光照迁移的结果)为带有光照的虚拟物体的图像数据，然后，对带有光照的虚拟物体进行二次渲染以得出目标虚拟物体。这里，卷积神经网络可实现将有光照的物体G的光照迁移至无光照的物体F上并输出物体F的过程，其中，有光照的物体G与无光照的物体F的材质可以类似。预先训练的卷积神经网络模型是通过对上述卷积神经网络进行大量的迭代训练得到的，卷积神经网络模型的输出为带有光照的物体F的图像数据。二次渲染是指对卷积神经网络模型输出的图像数据中带有光照的虚拟物体进行阴影识别以获取虚拟物体的光照方向和阴影数据，并依据虚拟物体的光照方向、阴影数据和放置的平面位置来渲染虚拟物体的阴影图像。根据本发明的实施例，当对与虚拟物体的位置邻近的物体的图像数据进行光照迁移时，如上述举例，将参考物体B的图像数据和初步渲染后的虚拟物体的图像数据以及两个物体的材质参数作为预先训练的另一个卷积神经网络模型的输入，则该卷积神经网络模型的输出(即光照迁移的结果)为目标虚拟物体的图像数据。采用该深度卷积神经网络模型对虚拟物体进行光照迁移是将参考物体B的光照数据和识别的阴影数据一起迁移到初步渲染后的虚拟物体上，因此，不需要进行二次渲染便得到了目标虚拟物体的图像数据。这里，卷积神经网络可实现将有光照的物体G的光照和识别的物体G的阴影数据一起迁移至无光照的物体F上并输出物体F的过程，其中，有光照的物体G与无光照的物体F的材质可以不同。该卷积神经网络模型是通过对上述卷积神经网络进行大量的迭代训练得到的，且该卷积神经网络模型的输出为带有光照和阴影的物体F的图像数据，即目标虚拟物体的图像数据。

图2是示出根据本发明的实施例的一种在增强现实中渲染虚拟物体的装置的框图。

如图2所示，用于在增强现实中渲染虚拟物体的装置200包括场景数据模块201、物体识别模块202和数据处理模块203。具体地，场景数据模块201被配置为获取现实场景的图像数据，物体识别模块202被配置为根据虚拟场景中的虚拟物体的相关信息从获取的现实场景的图像数据中识别出参考物体的图像数据，数据处理模块203被配置为使用人工智能算法对参考物体的图像数据进行光照迁移以得出目标虚拟物体。

场景数据模块201被配置为包括拍摄设备和存储设备，其中，拍摄设备如相机或者摄像机等用于拍摄现实场景的图像数据，存储设备用于对拍摄得到的图像数据进行存储，其中，拍摄的图像数据包括图片数据和/或视频数据。

物体识别模块202根据虚拟场景中的虚拟物体的相关信息从场景数据模块201中获取的现实场景的图像数据中识别出参考物体的图像数据，其中，虚拟物体的相关信息包括虚拟物体的材质参数和/或虚拟物体在虚拟场景中的位置信息。具体地，物体识别模块202可根据虚拟物体的材质参数从场景数据模块201中获取的现实场景的图像数据中识别出与虚拟物体材质类似的同类别物体作为参考物体，也可以根据虚拟物体在虚拟场景中的位置信息从场景数据模块201中获取的现实场景的图像数据中识别出与虚拟物体的位置邻近的物体作为参考物体。

数据处理模块203基于人工智能算法对物体识别模块202中识别得到参考物体的图像数据进行光照迁移以得出目标虚拟物体。具体地，数据处理模块203对与虚拟物体材质类似的同类别物体的图像数据进行光照迁移时，先对虚拟场景中的虚拟物体的3D模型进行初步渲染，并基于人工智能算法模型将同类别物体的光照数据迁移至初步渲染后的虚拟物体上，然后，再对光照迁移后的虚拟物体进行二次渲染才能得出目标虚拟物体。其中，初步渲染是指根据当前用户的姿态数据来使用环境光渲染虚拟物体以得到用户当前视角的虚拟物体的图像数据，用户的姿态数据包括用户与虚拟物体之间的位置关系、用户本身的三维坐标和用户的手势等数据。二次渲染是指对带有光照的虚拟物体进行阴影识别以获取虚拟物体的光照方向和阴影数据，并依据虚拟物体的光照方向、阴影数据和放置的平面位置来渲染虚拟物体的阴影图像。此外，数据处理模块203在对与虚拟物体的位置邻近的物体的图像数据进行光照迁移时，可同样先对虚拟场景中的虚拟物体的3D模型进行初步渲染，然后，基于人工智能算法模型将与虚拟物***置邻近的物体的光照数据和阴影数据迁移至初步渲染后的虚拟物体上以得出目标虚拟物体。

根据本发明的实施例的在增强现实中渲染虚拟物体的方法及装置能够将现实场景中的参考物体的光照迁移至虚拟场景中的虚拟物体上，使虚拟物体与现实场景真实的融合一起，满足了用户对视觉体验的要求。

尽管已经参照本发明的特定示例性实施例显示和描述了本发明，但是本领域技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可进行各种形式和细节上的各种改变。