具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

发明人发现，随着网络带宽的提升和移动终端的普及，动画逐渐受到了越来越多人的关注与喜爱，人们倾向于选择动画作为获取信息的主要形式之一。然而，动画的制作过程包括多道工序，如动态脚本制作、动画建模和视觉特效制作等，制作与实现较复杂，这对于普通用户或动画新手创作者而言，动画创作的技术门槛较高，难度较大，成本较高。动画是漫画进阶的表现形式，按照国际惯例，动画的制作标准是24帧每秒，这意味着动画1秒钟所包含的信息量等同于24张漫画，因此制作所需的时间和成本都会随着动画总时长的增加而呈现指数级递增，这也就加大了普通用户或动画新手创作者的动画创作难度。因此，发明人提出一种动画生成方法、系统、介质及电子终端，通过采集故事文本，获取镜头元素信息，将所述镜头元素信息输入动画图层生成模型进行背景图层匹配、文本词法分析、文本情感分析、文本语音转换和唇形序列生成，获取一个或多个动画图层，通过对多个所述动画图层进行合成渲染，生成动画，降低了普通用户或动画新手创作者的动画创作难度，门槛较低，成本较低，自动化程度较高，实施较方便，可行性较高。

如图1所示，本实施例中的动画生成方法，包括：

S101：通过采集故事文本，获取镜头元素信息；所述镜头元素信息包括：场景描述、人物信息、对话内容和旁白内容；例如：当用户输入故事文本时，按照预设的输入格式，分别输入不同类别的镜头元素信息，通过输入多个类别的镜头元素信息，便于后期生成与输入的故事文本的准确度与贴合度较高的动画。所述人物信息包括：姓名、性别、年龄和穿着等。

S102：将所述镜头元素信息输入动画图层生成模型进行图层生成，获取一个或多个动画图层；所述图层生成的步骤包括：背景图层匹配、文本词法分析、文本情感分析、文本语音转换和唇形序列生成；例如：根据所述场景描述和/或所述人物信息，进行背景图层匹配，获取动画的背景图层；根据所述对话内容和/或所述旁白内容，进行文本情感分析，获取对应的情感标签和情感倾向，根据所述情感标签和情感倾向，获取动画的特效图层；根据所述对话内容和/或所述旁白内容，进行文本词法分析，获取实体识别结果和词性分类结果，根据所述人物信息、实体识别结果、词性分类结果、获取的情感标签和情感倾向，获取人物动作图层；根据所述人物信息、情感标签和情感倾向，获取人物表情图层。通过获取一个或多个动画图层，便于后续动画的合成，精准度较高。

S103：通过对多个所述动画图层进行合成渲染，生成动画。通过将镜头元素信息输入动画图层生成模型，生成一个或多个与所述镜头元素信息相贴合的动画图层，并对多个动画图层进行合成渲染，生成与所述镜头元素信息贴合度较高的动画，实现了动画的自动生成，便于根据用户输入的故事文本生成相应的动画，降低用户的动画创作门槛与创作难度，降低用户动画创作成本，自动化程度较高，实施较方便。在一些实施例中，可以利用动画合成渲染器(ZAC，Zipping animation composer)对多个所述动画合成进行合成渲染，生成动画。

请参考图2，为了提高动画图层生成模型生成动画图层的精确度，发明人提出，所述动画图层生成模型的获取步骤包括：

S201：获取训练集；所述训练集包括：多个训练文本，以及与所述训练文本对应的一个或多个真实动画图层。

S202：将所述训练集中的训练文本输入神经网络进行训练，获取动画图层，所述神经网络包括：用于进行文本词法分析的第一卷积神经子网络、用于进行文本情感分析的长短期记忆子网络、用于进行文本语音转换的深度神经子网络和用于进行唇形序列生成的第二卷积神经子网络；

S203：根据所述神经网络输出的动画图层和预设的损失函数，对所述神经网络进行训练，获取动画图层生成模型；所述损失函数可以采用现有的损失函数，如对于用于进行文本词法分析的第一卷积神经子网络、用于进行情感分析的长短期记忆子网络，以及用于进行唇形序列生成的第二卷积神经子网络可采用交叉熵损失函数进行训练，对于用于进行文本语音转换的深度神经子网络可采用均方误差损失函数等进行训练。

为了便于获取多个动画图层，发明人提出，预先设置数字资产管理中心(DAM，Digital assets management)，所述数字资产管理中心用于存储多个与动画内容创作相关的文本、图像、模型、动作等数据，如：场景资源、特效资源、人物模型资源、动作资源、表情资源等，以供动画图层生成模型进行资源调取。

如图3所示，所述动画图层包括：背景图层，为了便于获取背景图层，发明人提出，所述背景图层的获取步骤包括：

S301：对所述场景描述和/或所述人物信息进行关键词提取，获取关键词；

S302：将所述关键词与预设的数字资产管理中心中的场景资源标签进行匹配，获取第一匹配结果，所述场景资源标签与场景资源具有第一对应关系；

S303：根据所述第一匹配结果和所述第一对应关系，获取对应的场景资源，将对应的所述场景资源作为动画的背景图层，完成背景图层匹配。例如：当所述第一匹配结果超出预设的场景资源标签匹配阈值时，则确定所述场景资源标签所对应的场景资源为动画的背景图层。

请参考图4，所述动画图层还包括：特效图层，所述特效图层的获取步骤包括：

S401：将所述对话内容和/或所述旁白内容输入所述动画图层生成模型的长短期记忆子网络，根据所述对话内容和/或所述旁白内容的上下文，进行情感标签匹配，获取对应的情感标签；通过结合所述对话内容和/或所述旁白内容的上下文，能够获取较准确的情感标签。

S402：根据所述情感标签，确定对应的情感倾向，所述情感倾向包括：消极和积极，完成文本情感分析；例如：当所述情感标签为愤怒或悲伤时，对应的情感倾向即为消极；当所述情感标签为高兴或兴奋时，对应的情感倾向即为积极。

S403：将所述情感标签和情感倾向分别与预设的数字资产管理中心中的特效资源标签进行匹配，获取第二匹配结果，所述特效资源标签与特效资源具有第二对应关系；

S404：根据所述第二匹配结果和所述第二对应关系，获取对应的特效资源，将对应的所述特效资源作为动画的特效图层。

如图5所示，所述动画图层还包括：人物动作图层，所述人物动作图层的获取步骤包括：

S501：对所述对话内容和/或所述旁白内容进行分词处理，获取一个或多个分词词汇；

S502：将所述分词词汇输入所述动画图层生成模型的第一卷积神经子网络进行实体识别与词性分类，获取实体识别结果和词性分类结果，所述实体识别的类型包括：人名、组织名、地址和时间，完成文本词法分析；可以理解的，所述词性分类结果包括：动词、名词、形容词和数量词等。

S503：根据人物信息，获取对应的人物模型资源；例如：根据人物信息中的性别、年龄和穿着等，匹配数字资产管理中心中的人物模型资源，获取与所述人物信息相对应的人物模型资源。

S504：根据所述实体识别结果、所述词性分类结果、所述情感标签和所述情感倾向，获取对应的动作资源；例如：对所述实体识别结果、所述词性分类结果、所述情感标签和所述情感倾向分别设置不同的权重，根据所述权重，确定对应的动作资源。

S505：根据所述人物模型资源和所述动作资源，合成所述人物动作图层。

请参考图6，所述动画图层还包括：人物表情图层，所述人物表情图层的获取步骤包括：

S601：将所述情感标签和情感倾向分别与预设的数字资产管理中心中的表情资源标签进行匹配，获取第三匹配结果，所述表情资源标签与表情资源具有第三对应关系；

S602：根据所述第三匹配结果和所述第三对应关系，获取对应的表情资源；

S603：根据获取的人物模型资源和所述表情资源，合成所述人物表情图层。通过利用情感标签和情感倾向，匹配对应的表情资源，并根据人物模型资源和表情资源，合成人物表情图层，使得人物表情图层的精确度较高，更加贴合故事文本。

请参考图7，所述动画图层还包括：人物唇形图层，所述人物唇形图层的获取步骤包括：

S701：将所述对话内容和/或所述旁白内容输入所述动画图层生成模型的深度神经子网络进行语音转换，获取对应的语音序列；

S702：根据所述情感标签和情感倾向，对所述语音序列进行韵律调整，获取语音音频，完成文本语音转换；韵律包括：节奏和音调，节奏指语音序列的快慢程度。即根据预设的韵律调整规则、情感标签和情感倾向，对语音序列的节奏和音调进行调整，获取较优的语音音频。例如：当情感标签为愤怒，且情感倾向为消极时，根据预设的韵律调整规则，加快语音序列的节奏，并提高语音序列的音调，实现对语音序列韵律调整。

S703：将所述语音音频输入所述动画图层生成模型的第二卷积神经子网络进行语音特征提取，获取语音特征；

S704：根据所述语音特征，获取对应的唇形序列，完成唇形序列生成；即利用语音特征，匹配对应的唇形特征，根据唇形特征，获取对应的唇形序列。

S705：根据所述唇形序列和获取的人物模型资源，合成所述人物唇形图层。通过将唇形序列与获取的人物模型资源进行合成，能够获取较佳的人物唇形图层，有效提高人物唇形图层合成的精确度与贴合程度。

在一些实施例中，将多个动画图层输入动画合成渲染器，进行合成渲染，生成动画；

根据生成的动画和所述语音音频，获取动画视频。如：将生成的动画和语音音频进行时序匹配或对应，获取动画视频。

在一些实施例中，在获取镜头元素信息后，还可以通过其他方式进行动画生成，步骤包括：

根据所述镜头元素信息中的场景描述和/或人物信息，在预设的数字资产管理中心进行场景资源检索，获取对应的场景资源作为背景图层；

将所述镜头元素信息中的对话内容和/或旁白内容通过预先设置的第一接口传输至预设的情感分析模块，利用所述情感分析模块获取对应的情感信息；所述情感分析模块可以为现有的具备文本情感分析功能的系统，通过将对话内容和/或旁白内容输入情感分析模块进行情感分析，能够较快获取对应的情感信息，如：喜爱、愉快、感谢、中性、抱怨、愤怒、厌恶、恐惧、悲伤等，实现了对外部资源的调用，降低运算难度；

将所述情感信息与所述数字资产管理中心的特效资源标签进行匹配，获取对应的特效资源作为特效图层；

将所述对话内容和/或旁白内容通过预先设置的第二接口传输至预设的词法分析模块，获取实体识别结果和词性分类结果；所述词法分析模块可以为现有的具备词法分析能力的系统，通过设置第二接口，利用所述第二接口将对话内容和/或旁白内容传输至词法分析模块进行词法分析，能够较好地调用外部资源进行词法分析，实施较方便；

根据所述实体识别结果、词性分类结果和情感信息，在所述数字资源管理中心进行动作资源匹配，获取对应的动作资源；

根据所述人物信息，在所述数字资产管理中心进行检索，获取相应的人物模型资源；

根据所述动作资源和人物模型资源，合成人物动作图层；

根据所述情感信息，从所述数字资产管理中心中获取对应的表情资源；

根据获取的人物模型资源和所述表情资源，合成人物表情图层；

将所述对话内容和/或旁白内容通过预先设置的第三接口传输至预设的文本转语音模块，获取对应的语音序列；所述文本转语音模块可以为现有的具有文本转语音能力的系统或装置，调用对应文本转语音系统的资源，将对话内容和/或旁白内容转换为语音序列，降低运算负载；

利用预设的音素提取工具，对所述语音序列进行音素提取，获取音素信息，所述音素信息包括：元音音素信息和辅音音素信息；

根据所述音素信息，从所述数字资产管理中心中获取对应的唇形图片，按时间顺序对所述唇形图片进行组合，获取与语音序列相匹配的唇形序列；

根据所述唇形序列和获取的人物模型资源，合成人物唇形图层；

通过对所述背景图层、特效图层、人物动作图层、人物表情图层和人物唇形图层进行合成渲染，生成动画。如图8所示，本实施例还提供一种动画生成系统，包括：

元素信息获取模块，用于通过采集故事文本，获取镜头元素信息；

动画图层合成模块，用于将所述镜头元素信息输入动画图层生成模型进行图层生成，获取一个或多个动画图层；所述图层生成的步骤包括：背景图层匹配、文本词法分析、文本情感分析、文本语音转换和唇形序列生成；

动画生成模块，用于通过对多个所述动画图层进行合成渲染，生成动画；所述元素信息获取模块、动画图层合成模块和动画生成模块连接。本实施例中的动画生成系统通过采集故事文本，获取镜头元素信息，将所述镜头元素信息输入动画图层生成模型进行背景图层匹配、文本词法分析、文本情感分析、文本语音转换和唇形序列生成，获取一个或多个动画图层，通过对多个所述动画图层进行合成渲染，生成动画，降低了普通用户或动画新手创作者的动画创作难度，门槛较低，成本较低，自动化程度较高。

在一些实施例中，所述动画图层生成模型的获取步骤包括：

获取训练集；

将所述训练集中的训练文本输入神经网络进行训练，获取动画图层，所述神经网络包括：用于进行文本词法分析的第一卷积神经子网络、用于进行文本情感分析的长短期记忆子网络、用于进行文本语音转换的深度神经子网络和用于进行唇形序列生成的第二卷积神经子网络；

根据所述神经网络输出的动画图层和预设的损失函数，对所述神经网络进行训练，获取动画图层生成模型。

在一些实施例中，所述动画图层包括：背景图层，所述镜头元素信息包括：场景描述和人物信息，所述背景图层的获取步骤包括：

对所述场景描述和/或所述人物信息进行关键词提取，获取关键词；

将所述关键词与预设的数字资产管理中心中的场景资源标签进行匹配，获取第一匹配结果，所述场景资源标签与场景资源具有第一对应关系；

根据所述第一匹配结果和所述第一对应关系，获取对应的场景资源，将对应的所述场景资源作为动画的背景图层，完成背景图层匹配。

在一些实施例中，所述动画图层还包括：特效图层，所述镜头元素信息还包括：对话内容和旁白内容，所述特效图层的获取步骤包括：

将所述对话内容和/或所述旁白内容输入所述动画图层生成模型的长短期记忆子网络，根据所述对话内容和/或所述旁白内容的上下文，进行情感标签匹配，获取对应的情感标签；

根据所述情感标签，确定对应的情感倾向，所述情感倾向包括：消极和积极，完成文本情感分析；

将所述情感标签和情感倾向分别与预设的数字资产管理中心中的特效资源标签进行匹配，获取第二匹配结果，所述特效资源标签与特效资源具有第二对应关系；

根据所述第二匹配结果和所述第二对应关系，获取对应的特效资源，将对应的所述特效资源作为动画的特效图层。

在一些实施例中，所述动画图层还包括：人物动作图层，所述人物动作图层的获取步骤包括：

对所述对话内容和/或所述旁白内容进行分词处理，获取一个或多个分词词汇；

将所述分词词汇输入所述动画图层生成模型的第一卷积神经子网络进行实体识别与词性分类，获取实体识别结果和词性分类结果，所述实体识别的类型包括：人名、组织名、地址和时间，完成文本词法分析；

根据人物信息，获取对应的人物模型资源；

根据所述实体识别结果、所述词性分类结果、所述情感标签和所述情感倾向，获取对应的动作资源；

根据所述人物模型资源和所述动作资源，合成所述人物动作图层。

在一些实施例中，所述动画图层还包括：人物表情图层，所述人物表情图层的获取步骤包括：

将所述情感标签和情感倾向分别与预设的数字资产管理中心中的表情资源标签进行匹配，获取第三匹配结果，所述表情资源标签与表情资源具有第三对应关系；

根据所述第三匹配结果和所述第三对应关系，获取对应的表情资源；

根据获取的人物模型资源和所述表情资源，合成所述人物表情图层。

在一些实施例中，所述动画图层还包括：人物唇形图层，所述人物唇形图层的获取步骤包括：

将所述对话内容和/或所述旁白内容输入所述动画图层生成模型的深度神经子网络进行语音转换，获取对应的语音序列；

根据所述情感标签和情感倾向，对所述语音序列进行韵律调整，获取语音音频，完成文本语音转换；

将所述语音音频输入所述动画图层生成模型的第二卷积神经子网络进行语音特征提取，获取语音特征；

根据所述语音特征，获取对应的唇形序列，完成唇形序列生成；

根据所述唇形序列和获取的人物模型资源，合成所述人物唇形图层。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。

本实施例还提供一种电子终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。

本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。

在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述实施例中所有“特征向量”均指能代表数据特征的向量，不是指线性代数中公认的“特征向量”术语，线性代数中的“特征向量”是指矩阵的特征值与特征向量。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。