阅读说明：本技术 基于虚拟主播的节目视频生成方法、系统和存储介质 (Program video generation method, system and storage medium based on virtual anchor ) 是由 李新福 于 2020-05-07 设计创作，主要内容包括：本发明公开了一种基于虚拟主播的节目视频生成方法、系统和存储介质,其中方法包括以下步骤：接收虚拟数据,所述虚拟数据由远程生成后通过网络传输至现场,所述虚拟数据包括虚拟视频数据或虚拟主播模型数据的至少之一；获取现场录制的视频数据；将视频数据和虚拟数据进行融合,获得直播视频,所述直播视频中显示有虚拟主持人。本发明通过远程生成的虚拟数据实时传输至录制/直播现场,与现场录制的视频数据进行融合,生成带有虚拟主持人的直播视频,无需再经过后期视频处理,实现了实时融合虚拟数据的播放,可广泛应用于网络技术领域。(The invention discloses a program video generation method, a system and a storage medium based on a virtual anchor, wherein the method comprises the following steps: receiving virtual data, wherein the virtual data is generated remotely and then transmitted to a site through a network, and the virtual data comprises at least one of virtual video data or virtual anchor model data; acquiring video data recorded on site; and fusing the video data and the virtual data to obtain a live video, wherein a virtual host is displayed in the live video. The invention realizes the playing of real-time fusion virtual data by transmitting the remotely generated virtual data to a recording/live broadcasting site in real time and fusing the virtual data with the video data recorded on the site to generate live broadcasting video with a virtual host without post video processing, and can be widely applied to the technical field of networks.)

基于虚拟主播的节目视频生成方法、系统和存储介质

技术领域

本发明涉及网络技术领域，尤其涉及一种基于虚拟主播的节目视频生成方法、系统和存储介质。

背景技术

随着虚拟技术的发展，虚拟合成应用到越来越多的行业当中，其中媒体行业中应用最为广泛。现在的天气预报或者一般的军事评论节目，为了更加绚丽的视觉效果，都会加入虚拟画面或者虚拟视频，比如在主持人讲到坦克时，视频中会“冲出”一辆坦克，现在这种虚拟画面都是通过后期视频处理时增加的，无法适用于直播视频中。

发明内容

为了解决上述技术问题，本发明的目的是提供一种适用于直播的基于虚拟主播的节目视频生成方法、系统和存储介质。

本发明所采用的技术方案是：

一种基于虚拟主播的节目视频生成方法，包括以下步骤：

接收虚拟数据，所述虚拟数据由远程生成后通过网络传输至现场，所述虚拟数据包括虚拟视频数据或虚拟主播模型数据的至少之一；

获取现场录制的视频数据；

将视频数据和虚拟数据进行融合，获得直播视频，所述直播视频中显示有虚拟主持人。

进一步，所述虚拟数据为虚拟主播模型，所述将视频数据和虚拟数据进行融合，获得直播视频这一步骤，具体为：

采用预设的空气成像装置播放虚拟数据，以在现场呈现出虚拟主持人；

对呈现虚拟主持人的现场进行拍摄，将获得的视频数据作为直播视频；或者

对虚拟主持人的进行拍摄，获得第一视频，将第一视频与视频数据进行拼接融合，获得直播视频。

进一步，所述虚拟数据为虚拟主播模型，所述将视频数据和虚拟数据进行融合，获得直播视频这一步骤，具体为：

结合视频数据、虚拟主播模块和预设的视频融合算法进行融合后，获得直播视频。

进一步，还包括现场播放虚拟主持人的步骤，具体为：

采用预设的AR设备播放虚拟数据，以使现场人员看到虚拟主持人。

进一步，所述虚拟数据通过5G网络传输至现场。

进一步，还包括采用智能显示屏、MR设备、VR设备、智能移动终端、微信小程序、APP和页面浏览模块中的至少一种设备展示或访问所述虚拟主持人的步骤。

本发明所采用的另一技术方案是：

一种基于虚拟主播的节目视频生成系统，包括：

远程传输模块，用于接收虚拟数据，所述虚拟数据由远程生成后通过网络传输至现场，所述虚拟数据包括虚拟视频数据或虚拟主播模型数据的至少之一；

现场录制模块，用于获取现场录制的视频数据；

视频融合模块，用于将视频数据和虚拟数据进行融合，获得直播视频，所述直播视频中显示有虚拟主持人。

进一步，所述视频融合模块包括播放单元、拍摄单元和拼接单元；

所述播放单元用于采用预设的空气成像装置播放虚拟数据，以在现场呈现出虚拟主持人；

所述拍摄单元用于对呈现的虚拟主持人进行拍摄后，获得主持人视频数据；

所述拼接单元用于将视频数据和主持人视频数据进行拼接融合，获得直播视频。

进一步，所述视频融合模块用于结合视频数据、虚拟主播模块和预设的视频融合算法进行融合后，获得直播视频。

本发明所采用的另一技术方案是：

一种基于虚拟主播的节目视频生成系统，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。

本发明所采用的另一技术方案是：

一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本发明的有益效果是：本发明通过远程生成的虚拟数据实时传输至录制/直播现场，与现场录制的视频数据进行融合，生成带有虚拟主持人的直播视频，无需再经过后期视频处理，实现了实时融合虚拟数据的播放。

附图说明

图1是实施例一种基于虚拟主播的节目视频生成方法的步骤流程图；

图2是实施例一种基于虚拟主播的节目视频生成系统的结构框图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

如图1所示，本实施例提供了一种基于虚拟主播的节目视频生成方法，包括以下步骤：

S101、接收虚拟数据，所述虚拟数据由远程生成后通过网络传输至现场，所述虚拟数据包括虚拟视频数据或虚拟主播模型数据的至少之一。

在本实例中，所述虚拟数据由远程生成后发送至现场，所述虚拟数据包括虚拟视频数据或虚拟主播模型数据，所述虚拟视频数据可以为主持人的画面和其他画面，所述主播模型数据可以为建立好的主持人的形象模型，该形象模型可以为真实人物形象也可以为虚拟人物形象。当虚拟数据为虚拟视频数据时，基于现有的5G技术，实时发送虚拟视频数据至录制现场。当虚拟数据为虚拟主播模型数据时，先发送虚拟主播模型至录制现场，后续根据节目的录制过程，发送动作指令和语音指令等，控制虚拟主播模型，从而控制虚拟主持人切换动作，如此可减少数据传输量。通过远程传输虚拟数据，至少具有以下效果：1、虚拟数据只需存储在远程的服务器中，当现场需要使用时，远程传输到现场，避免现场需要存储过多的虚拟数据，降低了存储服务器的成本。2、只需后台制作一次虚拟数据后，通过远程传输，可将虚拟数据应用到多个录制现场，提高虚拟数据的利用率。3、通过结合远程传输过来的数据，使录制的视频更加炫丽，提高了视频的效果。具体地，基于虚拟主持人的方案，具有两个主持人，一个现场的真实主持人，一个虚拟主持人，通过结合真实与虚拟的主持人，增加主持现场的科技感和乐趣。

S102、获取现场录制的视频数据。

所述视频数据为通过摄像机等设备现场采集的数据，具体采用的是现有的技术，在此不赘述。

S103、将视频数据和虚拟数据进行融合，获得直播视频，所述直播视频中显示有虚拟主持人。

所述直播视频为实时直播的视频，视频画面中显示有虚拟主持人，为了使现场的观众和远程终端的观众都能看到虚拟主持人，本实施例采用两种实现方式。第一种实现方式包括步骤A1～A3：

A1、采用预设的空气成像装置播放虚拟数据，以在现场呈现出虚拟主持人；

A2、对呈现虚拟主持人的现场进行拍摄，将获得的视频数据作为直播视频；或者

对虚拟主持人的进行拍摄，获得第一视频，将第一视频与视频数据进行拼接融合，获得直播视频。

在本实施例中，采用空气成像装置播放虚拟数据，从而呈现出虚拟主持人，所述空气成像装置可以为3D全息投影设备。将虚拟主持人投影出来后，现在人员可以通过裸眼观看到虚拟主持人。通过摄像头将虚拟主持人拍摄后传输至远程终端，远程观众也能够看到虚拟主持人。其中，将视频数据和虚拟数据进行拼接融合有两层定义，第一层定义为：直接通过摄像头对虚拟主持人进行拍摄获得的视频数据发送至远程终端。第二层定义为：通过摄像头对准虚拟主持人实时拍摄的数据，获得第一视频，通过将第一视频拼接到视频数据中，比如在视频数据画面的右下角设一弹框播放主持人视频数。

第二种实现方式具体如下：结合视频数据、虚拟主播模块和预设的视频融合算法进行融合后，获得直播视频。

在本实施例中，在数据层面进行处理，现在并不直接投影显示虚拟主持人。基于此，观众需借助终端设备观看虚拟主持人，具体地，终端设备可以为AR设备、VR设备、MR设备和智能终端；其中，基于智能终端，可以通过web浏览器或小程序来观看虚拟主持人。其中，所述视频融合算法采用现有的视频融合技术来实现即可。

进一步作为可选的实施方式，所述虚拟数据通过5G网络传输至现场。

由于5G网络具有低时延的优点，数据能够在毫秒级别传输数据，因此能够使虚拟数据与视频数据做到同步，提高了视频的质量。

进一步作为可选的实施方式，还包括采用智能显示屏(如(移动终端、平板电脑、笔记本电脑、PC电脑、OLED显示屏、LCD显示屏))、MR设备、VR设备、智能移动终端、微信小程序、APP和页面浏览模块(如浏览器)中的至少一种设备展示或访问所述虚拟主持人的步骤。观众可远程通过上述多种方式观看虚拟主持人。

基于上述的节目视频生成方法，依靠人工智能"分身"技术研发出来的AI虚拟主持人，使得以往依靠人力来操作的新闻的各个环节将逐渐向人机协作、以智能化机器为主转变，智能化对传统广播电视报道格局的颠覆日益凸显。依托于科技的精准度，AI虚拟主持人能够最大限度地降低播报中出现的读错字、漏字、吞字等失误，提高新闻的准确度并保持极高的工作效率。另外，在播报外文稿件时，虚拟主持人无需有外语基础，大幅降低跨语种播报的门槛，满足新闻报道境外宣传的需求。

如图2所示，本实施例还提供了一种基于虚拟主播的节目视频生成系统，包括：

远程传输模块，用于接收虚拟数据，所述虚拟数据由远程生成后通过网络传输至现场，所述虚拟数据包括虚拟视频数据或虚拟主播模型数据的至少之一；

现场录制模块，用于获取现场录制的视频数据；

视频融合模块，用于将视频数据和虚拟数据进行融合，获得直播视频，所述直播视频中显示有虚拟主持人。

在本实例中，所述虚拟数据由远程生成后发送至现场，所述虚拟数据可以为主持人的画面或者其他画面，所述主持人的形象可以为真实人物形象也可以为虚拟人物形象。当主持人为真实人物形象时，先实时获取主持人的视频信息，再远程传输到现场，实现远程主持。基于现有的5G技术，在主持过程中，实时将现场的情况返回给主持人的现场。当主持人为虚拟主持人时，可先远程发送虚拟主持人的模型至节目录制现场，后续根据节目的录制过程，发送动作指令和语音指令等，从而控制虚拟主持人切换动作，如此可减少数据传输量。具体地，基于虚拟主持人的方案，具有两个主持人，一个现场的真实主持人，一个虚拟主持人，通过结合真实与虚拟的主持人，增加主持现在的科技感和乐趣。

进一步作为可选的实施方式，所述视频融合模块包括播放单元、拍摄单元和拼接单元；

所述播放单元用于采用预设的空气成像装置播放虚拟数据，以在现场呈现出虚拟主持人；

所述拍摄单元用于对呈现的虚拟主持人进行拍摄后，获得主持人视频数据；

所述拼接单元用于将视频数据和主持人视频数据进行拼接融合，获得直播视频。

进一步作为可选的实施方式，所述视频融合模块用于结合视频数据、虚拟主播模块和预设的视频融合算法进行融合后，获得直播视频。

本实施例的一种基于虚拟主播的节目视频生成系统，可执行本发明方法实施例所提供的一种基于虚拟主播的节目视频生成方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种基于虚拟主播的节目视频生成系统，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。

本实施例的一种基于虚拟主播的节目视频生成系统，可执行本发明方法实施例所提供的一种基于虚拟主播的节目视频生成方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本实施例的一种存储介质，可执行本发明方法实施例所提供的一种基于虚拟主播的节目视频生成方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。