本申请公开了一种语音合成方法、装置、设备及可读存储介质,属于人工智能技术领域。方法包括：获取第一对象的会话数据；根据第一对象的会话数据确定第二对象的情绪信息；从文本数据库中查找与第一对象的会话数据相匹配的文本数据；根据文本数据和第二对象的情绪信息合成第二对象的语音数据,基于第二对象的语音数据对第一对象的会话数据进行回复。由于第二对象的语音数据中包含第二对象的情绪信息,增强了语音数据的表现力,提高了智能机器人的服务质量。

本发明公开一种用于虚拟形象的肢体动作与语言因素匹配方法及装置,通过虚拟形象肢体动作生成：预设自定义动作,自定义动作包括虚拟形象在地图中的位置和肢体运动路径,将自定义动作生成对应的动作二维数据；虚拟形象与语言匹配交互：对动作二维数据进行语义学习,并进行虚拟形象与语言匹配交互,生成运动控制信息；虚拟形象骨骼驱动：将运动控制信息传送至虚拟形象的底层驱动,底层驱动根据运动控制信息控制虚拟形象的骨骼驱动动作。本发明实现虚拟形象的语义与动作的匹配,使沟通过程中的情绪表达、表情互动、肢体动作等最大限度地接近真人,做到语言与动作同步,表述一致。

本申请公开了一种语音生成方法、装置和电子设备。涉及数据处理技术领域,所述方法包括：接收用户对应用图标或应用界面的第一输入；响应于所述第一输入,根据所述第一输入的轨迹信息,确定语义信息；根据所述语义信息生成语音信息。

被实现为仅嗓音代理或被具化为具有面部的会话代理可以匹配用户的语音和面部表情。由会话代理进行的语言风格匹配可以通过标识用户语音的韵律特性并且合成用于虚拟代理的具有相同或类似特性的语音来被实现。用户的面部表情可以被标识并且由具化的会话代理的面部模仿。虚拟代理的话语可以是基于预定的脚本化响应和由机器学习技术生成的开放式响应的组合。与用户的会话风格和面部表情对齐的会话代理可以被感知为更值得信任的、更易于理解的,并且创建更自然的人机交互。

本公开提供一种语音合成方法、装置、设备及介质,其中该方法包括：获取目标文本的语义特征、音素特征以及声学特征；对语义特征与声学特征执行第一对齐操作,得到第一对齐结果；对音素特征与声学特征执行第二对齐操作,得到第二对齐结果；根据第一对齐结果和第二对齐结果进行特征融合,得到融合特征；基于融合特征生成目标文本对应的合成语音。本公开可以较好地提升语音合成效果。

本发明涉及人工智能领域,公开了一种基于跨被试多模态的语音合成方法及相关设备,该方法包括：获取源域和目标域内的原始语音数据和原始脑电数据,并对原始语音数据和原始脑电数据进行预处理,得到各自领域内的语音数据和脑电数；将语音数据和脑电数据输入至预设的自编码器进行多视图变分自编码,得到各自领域内的隐含表征；将源域的隐含表征映射到预设的特征空间中,并根据预设的分类器,对源域的隐含表征进行分类学习,得到情感信息；根据情感信息,对各自领域内的隐含表征进行对抗学习,得到情感语音。本发明实现了对情感语音合成的迁移学习,提高了情感语音的合成效率。

本发明涉及人工智能领域,公开了一种多模态的语音合成方法、装置、设备及存储介质,该方法包括：获取并预处理原始语音数据和原始脑电数据,得到语音数据和脑电数据；将语音数据和脑电数据输入至预设的自编码器进行变分自编码,得到隐含表征；对隐含表征进行概率计算,得到先验分布；根据预设的贝叶斯公式,对先验分布进行多模态深度表征学习,得到后验分布,并根据预设的期望-最大值算法,对后验分布进行混合高斯处理；根据处理后的先验分布和后验分布,对隐含表征进行参数重构处理,生成情感语音。本发明通过对脑电数据和语音数据进行处理,提取情感信息以合成情感语音,提高了合成语音的自然度和人机交互的友好度。

本申请为语音合成技术领域,本申请提供了一种情感语音合成方法、装置、设备及存储介质,其中,所述方法包括：获取情感语音合成片段,对情感语音合成片段设置同步标记；以情感语音合成片段的同步标记为中心,选择预设时长的时间窗对情感语音合成片段进行加窗处理,得到多段语音信号；依据预设的情感语音合成规则调整同步标记,得到目标同步标记；根据目标同步标记将多段语音信号进行拼接,得到合成语音。本申请利用情感语音合成片段,通过基音同步分析、基音同步修改、基音同步合成等方式合成语音,提高合成效果；同时无需获取文本情感分类标签,降低了合成成本。