一种视频合成方法、装置、电子设备和存储介质

文档序号:1849991 发布日期:2021-11-16 浏览:11次 >En<

阅读说明:本技术 一种视频合成方法、装置、电子设备和存储介质 (Video synthesis method and device, electronic equipment and storage medium ) 是由 董平 何建丰 叶侃 陈丰 李全亮 刘璐 邓曦澄 于 2021-05-24 设计创作,主要内容包括:本发明提供一种视频合成方法、装置、电子设备和存储介质。所述方法包括:获取视频模板;响应于用户对视频模板的选择指令,获取并呈现可选的空间类型;响应于用户对空间类型的选择指令,获取并呈现用户所选择空间类型对应的可选镜头组;获取用户选择的镜头组,根据所述镜头组的预设规则模拟镜头的运动路径;根据镜头运动轨迹和画面设置,并按照视频模板对应模板动画片段的目标时长,计算路径运动速度,并生成动画片段;获取镜头运动路径终点位置和相机设置,渲染生成定点渲染图片;将动画片段和定点渲染图片,导入视频模板的相应位置中,合成视频。本发明只需重点渲染定格图片,快速生成预定路径的视频片段,实现低成本快速生成家装展示视频。(The invention provides a video synthesis method, a video synthesis device, electronic equipment and a storage medium. The method comprises the following steps: acquiring a video template; responding to a selection instruction of a user on the video template, and acquiring and presenting selectable space types; responding to a selection instruction of a user for the space type, and acquiring and presenting a selectable lens group corresponding to the space type selected by the user; acquiring a lens group selected by a user, and simulating a movement path of the lens according to a preset rule of the lens group; calculating the path movement speed according to the lens movement track and the picture setting and the target duration of the animation segment of the corresponding template of the video template, and generating the animation segment; acquiring the end point position of a lens motion path and camera setting, and rendering to generate a fixed point rendering picture; and (4) leading the animation fragments and the fixed-point rendering pictures into corresponding positions of a video template, and synthesizing the video. According to the invention, the video clip of the preset path is quickly generated only by mainly rendering the stop-motion picture, so that the home decoration display video is quickly generated at low cost.)

一种视频合成方法、装置、电子设备和存储介质

技术领域

本发明属于视频技术领域,具体涉及一种视频合成方法、装置、电子设备和存储介质。

背景技术

在视频合成制作领域,已有标准化的视频设计产品,采用视频模板快速生成短视频,用户无需手动使用视频处理软件制作视频文件,仅根据需求选择适合的视频模板文件,然后用录制的视频片段或照片对视频模板文件中的某些资源进行替换,即可得到符合业务需求的新的视频文件。通过多次复用同一个视频模板文件,生成大量的视频,达到批量生成的目的。而现有的生成视频的技术方案无法解决家装设计领域快速生成设计方案呈现展示视频、宣传短视频的技术问题,现在仍依赖传统的渲染技术制作房间或整体设计方案的漫游视频,成本高且耗时长。

发明内容

有鉴于此,为解决制作房间或整体设计方案的漫游视频成本高、耗时长的问题,本申请提供一种视频合成方法、装置、电子设备和存储介质。

根据本申请实施例的第一方面,提供了一种视频合成方法,包括:

步骤101、获取视频模板;

步骤102、响应于用户对视频模板的选择指令,获取并呈现可选的空间类型;

步骤103、响应于用户对空间类型的选择指令,获取并呈现用户所选择空间类型对应的可选镜头组;

步骤104、获取用户选择的镜头组,根据所述镜头组的预设规则模拟镜头的运动路径;

步骤105、根据步骤104生成的镜头运动轨迹和画面设置,并按照步骤101中的视频模板对应模板动画片段的目标时长,计算路径运动速度,并生成动画片段;

步骤106、获取步骤4的镜头运动路径终点位置和相机设置,渲染生成定点渲染图片;

步骤107,将步骤105生成的动画片段和步骤106生成的定点渲染图片,导入视频模板的相应位置中,合成视频。

在一种可能实现方式中,视频模板包括至少一个模板动画片段和至少一个模板定格渲染图片。

在一种可能实现方式中,步骤101中获取视频模板的方式为响应于用户选择视频模板的指令确定所使用的视频模板,或者是接收用户上传的视频模板。

在一种可能实现方式中,步骤101中前还包括根据用户指令制作的视频模板,包括:

获取用户选择的空间模型或空间模型的组合;

获取用户设置的视频模板总时长;

获取用户建立的至少一种镜头组并配置镜头信息;

生成模板动画片段;

生成模板定点渲染图;

将模板动画片段与模板定点渲染图合成为视频模板。

在一种可能实现方式中,所述镜头组包括设置在不同位置的镜头;

镜头的配置信息包括:位置、相机参数、路径、空间属性和模型属性;

镜头的路径为镜头在空间中的运动路径。

在一种可能实现方式中,还包括根据定点渲染图片的品质和/或数量计算费用。

在一种可能实现方式中,所述动画片段为三维场景漫游动画片段,生成所述动画片段的方法为:

按预设的距离间隔计算镜头运动路径中的动画采样点位;

获取每个点位的空间三维场景动画帧;

按计算得到的镜头路径运动速度录制该镜头的三维场景漫游动画片段。

根据本申请实施例的第二方面,提供了一种视频合成装置,包括:

视频模板获取单元,用于获取视频模板,以及响应于用户对视频模板的选择指令,获取并呈现可选的空间类型;

镜头组配置单元,用于响应于用户对空间类型的选择指令,获取并呈现用户所选择空间类型对应的可选镜头组;以及获取用户选择的镜头组,根据所述镜头组的预设规则模拟镜头的运动路径;

动画片段录制单元,用于根据镜头运动轨迹和画面设置,并按照视频模板对应模板动画片段的目标时长,计算路径运动速度,并生成动画片段;

定点渲染图片生成单元,用于获取镜头运动路径终点位置和相机设置,渲染生成定点渲染图片;

合成单元,用于将动画片段和定点渲染图片,导入视频模板的相应位置中,合成视频。

根据本申请实施例的第三方面,提供一种电子设备,包括:至少一个处理器;与所述至少一个处理器通信连接的存储器;

其中,所述存储器存储有能被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述第一方面中的任一所述视频合成方法。

根据本申请实施例的第四方面,还提供一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行前述第一方面中的任一所述视频合成方法。

根据本申请实施例的第五方面,还提供了一种计算机程序产品,该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序,该计算机程序包括程序指令,当该程序指令被计算机执行时,使该计算机执行前述第一方面或第一方面的任一实现方式中的视频合成方法。

本申请将视频制作任务分解为若干个定格动画渲染任务、若干路径动画片段生成任务以及将定格画面和动画片段进行视频合成的任务。改变了以往设计方案漫游视频需要渲染每一帧的做法,只需重点渲染若干张定格图片,快速生成预定路径的视频片段,进而实现展示短视频的低成本、快速生成。

附图说明

图1本申请实施例提供的一种视频合成方法的流程图;

图2本申请实施例提供的一种视频结构示意图。

具体实施方式

下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本公开,而非对本公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本公开相关的部分而非全部结构。

图1为本申请实施例提供的一种视频合成方法的流程图。本实施例可适用于针对家装设计方案的多媒体呈现需求,快速制作合成家装效果展示视频的情况,该方法可以由视频合成装置来执行,该装置可以采用软件和/或硬件的方式实现,该装置可以配置于电子设备,例如,终端设备或服务器中。如图1所示,该方法可以用于制作装修设计方案的展示视频,包括如下步骤:

步骤101、获取视频模板,具体而言可以是响应于用户选择视频模板的指令确定所使用的视频模板。

连续的图像变化每秒超过24帧画面以上时,利用人的视觉暂留原理,实现看上去是连续的视觉效果,这样连续的图像画面叫做视频。视频包括很多帧,其中帧的图片在按顺序运行时建立视频。

视频模板是根据数据库中存储的原始视频文件生成的模板文件。原始视频文件可以为使用视频处理软件生成的视频文件。视频模板中可以包括图片,文字,视频,以及音频等资源。

视频模板包括视频片段和音乐。视频模板中涉及视频片段的时长、叠加设置以及转场设置。叠加设置包括叠加视频、图片、滤镜等。如果有叠加,还有关于叠加的内容在画面中的坐标位置、叠加的内容位于视频的层级位置等设定。转场设置包括是否应用转场、以及具体选择的转场。

在一个具体实例中,视频模板的视频片段包括帧,对每一帧进行以下配置:

帧的类型,包括两种类型:图片、视频,其中图片即表示当前帧为定格画面,视频表示当前帧为空间动画的一帧;

转场类型,包括转场和不转场;

转场时长,如果转场类型为转场,则需进一步配置转场时长,一般而言转场时长不超过帧时长的50%;

帧时长,以毫秒计的数值,例如500毫秒;

素材类型,例如可以包括渲染、固定、随机定格画面等;

当素材类型为固定时,进一步需要配置素材链接;

叠加视频,配置叠加视频资源的地址;

背景音乐,配置背景音乐资源的地址。

在一个具体实例中,视频模板可以由用户编辑或自定义设置,例如通过时间线和时间线指示器来辅助用户组合、编辑或定义视频模板,用户可通过在时间线上将时间线指示器的指针移动到与某个帧相对应的点来选择该帧,进而对该帧进行配置。

在一个具体实例中,制作视频模板的方法包括:

选择空间模型或空间模型的组合;

设置视频模板总时长;

建立至少一种镜头组并配置镜头信息;

配置每一种镜头组对应的至少一张定点渲染图位置;

配置叠加内容,包括叠加文字、叠加音乐、叠加视频等素材;

生成视频片段;

将视频片段与定点渲染图合成为视频模板。

根据设计方案展现手法的需要,有些视频模板中镜头组的每个运动镜头都需要配置一张定点渲染图,而有些视频模板中镜头组的部分运动镜头设置定点渲染图,甚至可以全部运动镜头不设置定点渲染图。

在一个具体实例中,响应于用户选择确定的视频模板,向用户显示视频模板的信息,例如包括名称、预览图、匹配空间类型、时长、镜头轨迹等,必要时显示预览动画。

在一个具体实例中,还包括根据素材的品质、数量等计算费用,品质包括尺寸、数量等。以定点渲染图作为典型素材为例,定点渲染图的尺寸越大、分辨率越高,费用也越高;定点渲染图的数量越多,费用越高。由于同一个视频模板可以对应多种视频路径和多种分辨率的定点渲染图,还可以进一步针对不同的视频路径计算不同的费用。

步骤102、根据用户选择的视频模板,获取相应的可选空间类型供用户选择。

在家装展示短视频中,针对不同类型的空间采用不同的展现手法,即根据空间特点设计有针对性的脚本。涉及的常见空间有:客厅、餐厅、卧室。

在一个具体实例中,通过一图形用户界面获取用户对于视频模板的选择。例如,在显示设备的一显示区域中设置候选视频模板的显示窗口,以名称或者效果预览图的形式向用户展示候选视频模板。

步骤103、获取用户选择空间类型对应的可选镜头组供用户选择。

针对某一特定类型的空间,提供一种或多种适用的镜头组。用户选择镜头组或者向用户推荐镜头组。镜头组包括设置在不同位置的镜头;镜头的配置信息包括:位置、相机参数、路径、空间属性、模型属性。空间属性即对应于哪个类型的空间,模型属性即适用于哪类模型。例如,对于客厅,模型可以有沙发、电视;对于餐厅,模型可以有餐桌。

镜头的路径为镜头拍摄视频或模拟镜头拍摄角度针对设计方案生成视频时的运动路径,包含起点位置、终点位置、相机参数。模拟镜头拍摄角度针对设计方案生成的视频可以是有多张渲染效果图生成的效果图序列。

例如,针对客厅,一种供选择的镜头组可以是由6个镜头组成,构成的视频结构如图2所示:

1号镜头为客厅推镜头,路径为推镜头,选择客厅一边的中点作为起点,对边的中点作为终点,镜头沿两点连线做直线平推运动,时长3.5s;

2号镜头,用于生成1号镜头终点的定格画面,时长2.5s;

3号镜头为绕沙发镜头,路径为环绕沙发一定角度,时长3.5s;

4号镜头,用于生成3号镜头终点的定格画面,时长3.5s;

5号镜头为电视背景墙平行镜头,时长3.3s;

6号镜头,用于生成5号镜头终点的定格画面,时长2.5s。

在一个具体实例中,在视频末尾还加入片尾特效镜头,例如展示设计师、设计公司或设计软件公司宣传信息的片尾视频或画面。

步骤104、按照步骤103中用户选择的镜头组的预设规则,并基于步骤102中用户当前方案该空间的参数和模型进行适配,模拟出镜头在空间中的运动路径、起始点位置和相机设置。

空间的参数包括提取户型结构、家具分布、背景墙、门窗位置等信息,根据路径规则的镜头类型、移动规则、参照物、朝向规则计算路径,有遮挡的情况下用相机裁剪。

其中,需要进行一些校验,例如:

空间和模型的校验,客厅需要沙发及电视,餐厅需要餐桌,卧室需要床等等;

还需校验房间尺寸是否满足镜头路径要求,即镜头移动路径不能超出房间范围;

镜头移动路径上的模型不能造成视野遮挡,遇模型遮挡的路径不能超过路径总长度的一定比例,比如1/4。

步骤105、根据步骤104生成的镜头运动轨迹和画面设置,并按照步骤101中的视频模板对应片段的目标时长,计算路径运动速度并生成动画片段。

动画片段属于一种视频片段,确切的说是一种漫游视频片段。

在一个实施例中,可以根据步骤104生成的镜头运动轨迹和画面设置,并按照步骤101中的视频模板对应片段的目标时长,计算路径运动速度并生成动效预览播放,同时录屏生成视频片段,将此视频片段作为动画片段参与后续合成。

根据固定速度和镜头规则(在空间里的位置)生成点位,根据点位生成弧,并按照目标时长和弧长计算速度。

通过显示设备播放这个镜头,同时录屏保存视频。这里视频片段的画面是没有经过渲染的、包含材质和线框的动画画面。

在一个具体实例中,生成动画片段的方式为先沿镜头运动轨迹以及以计算的速度生成空间的第一人称视角下的三维场景漫游动画,再进行预览播放。为每个镜头生成所述第一人称视角下的三维场景漫游动画的方法包括:按预设的距离间隔计算镜头运动路径中的动画采样点位;获取每个点位的空间三维场景动画帧;按计算得到的镜头路径运动速度录制该镜头的三维场景漫游动画。

步骤106、获取步骤4的镜头运动路径重点位置和相机设置,发起渲染生成定点渲染图片。

根据相机位置、相机视角、构图和分辨率渲染定格画面(即定点渲染图片)。

步骤107,将步骤105的录屏视频片段和步骤106的定点渲染图片,导入步骤101中用户选择的视频模板的相应位置中,完成视频合成。

导入操作即根据定义好的视频模板结构,对应位置替换成对应的资源。

在一个具体实例中,通过FFmpeg技术进行视频的合成。

在一个具体实例中,针对合成好的视频,用户希望进一步升级为渲染的视频,可以重新对动画片段进行渲染生成新的全渲染视频,全渲染视频的分辨率可选用定点渲染图的分辨率,根据视频的时长计算费用。也可以根据用户选择的分辨率计算费用。

本申请实施例还提供了一种视频合成装置,包括:

视频模板获取单元,用于获取视频模板,以及响应于用户对视频模板的选择指令,获取并呈现可选的空间类型;

镜头组配置单元,用于响应于用户对空间类型的选择指令,获取并呈现用户所选择空间类型对应的可选镜头组;以及获取用户选择的镜头组,根据所述镜头组的预设规则模拟镜头的运动路径;

动画片段录制单元,用于根据镜头运动轨迹和画面设置,并按照视频模板对应模板动画片段的目标时长,计算路径运动速度,并生成动画片段;

定点渲染图片生成单元,用于获取镜头运动路径终点位置和相机设置,渲染生成定点渲染图片;

合成单元,用于将动画片段和定点渲染图片,导入视频模板的相应位置中,合成视频。

本申请实施例还提供一种电子设备,包括:至少一个处理器;与所述至少一个处理器通信连接的存储器;

其中,所述存储器存储有能被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述第一方面中的任一所述视频合成方法。

本实施例中的电子设备可以包括但不限于诸如智能手机、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)等移动终端以及诸如台式计算机等等的固定终端。电子设备可以包括处理装置(例如中央处理器、图形处理器等),其可以根据存储在只读存储器(ROM)中的程序或者从存储装置加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中,还存储有电子设备操作所需的各种程序和数据。处理装置、ROM以及RAM通过总线304彼此相连。输入/输出(I/O)接口也连接至总线。

本申请实施例还提供一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行前述第一方面中的任一所述视频合成方法。

本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序,该计算机程序包括程序指令,当该程序指令被计算机执行时,使该计算机执行前述第一方面或第一方面的任一实现方式中的视频合成方法。

本实施例中,将视频制作任务转化为若干个定格动画渲染任务、若干低成本的路径视频片段生成任务,再将定格画面和视频片段进行视频合成。改变了以往设计方案漫游视频需要渲染每一帧的做法,只需重点渲染若干张定格图片,快速生成预定路径的视频片段,进而实现展示短视频的低成本、快速生成。

值得说明的是,附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

11页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:基于Tile编码的视频拼接、编码、解码方法及装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类