具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例1：

结合附图1所示，一种多说话人、多语言的语音合成方法，包括：

训练阶段：

步骤S11：获取多说话人、单语言的语音训练数据库，提取语音声学特征，多说话人、单语言的语音训练数据包括至少两种以上不同语言的多说话人语音数据以及对应的文本；所述语音声学特征包括梅尔频谱特征、频谱能量特征和基频特征；可选地，选取中文、英文语音数据库作为训练数据库，中文数据集可以使用标贝的公开女声数据库以及我们自己录制的的涵盖20多个人的语音数据库；英文语音数据库可以使用LJSpeech、VCTK等公开数据库；

步骤S12：将语音训练数据库不同语言的文本处理为统一的表征方式，即处理为统一的音素表达方式，或将不同语言的文本处理为统一的Unicode编码表达方式，并采用MFA(Montreal Forced Aligner)算法将音频和文本进行对齐，获取对齐后的文本及文本对应的时长信息；将时长转化为帧数，时长帧数的总和与梅尔频谱特征的帧数之和相等；

举例说明，英文文本为“who met him at the door.”，将英文文本转换为音素表达方式，得到“h u1 m ai1 t h i1 m a1 t s i a0 d uo1 r pp4”；中文文本为“我是中国人，我爱中国”，处理为统一的音素表达，得到“uo3 sh iii4 pp1 zh ong1 g uo2r en2 pp3uo3 ai4 zh ong1 g uo2 pp4”。采用MFA算法获得对齐后的文本(会多出sil，sp等字符)以及文本中每个字符对应的时长，并将时长转换为帧数，保证时长帧数的总和与所提取的梅尔频谱特征的帧数之和相等。

步骤S13：构建说话人空间、语言空间，对将步骤S12处理后的文本生成对应的说话人id，对每个字符生成对应的语言id，用生成的id在说话人空间、语言空间分别提取说话人向量、语言向量；即：设置每一条语音训练数据的语言id的长度与对齐后的文本的时长相等；设置每一条语音训练数据的说话人id的长度为1，对不同的说话人、不同的语言分别取不同的id值；

根据语音训练数据中的说话人数量、语言数量构建说话人空间与语言空间，并进行初始化，将说话人id、语言id转换为one-hot向量，并提取说话人向量和语言向量。

举例说明，经S12处理后的英文文本为“sil h u1 m ai1 t h i1 m a1 t s i a0d uo1r pp4”，语音对应的说话人id为[20]，对应的语言id为[1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]，经S12处理的中文文本为“sil uo3 sh iii4 pp1 zh ong1 g uo2 r en2pp3 sp uo3 ai4 zh ong1 g uo2 pp4”，语音对应的说话人id为[7]，对应的语言id为[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]，将语言id、说话人id转换为one-hot向量后，在空间中提取出说话人向量、语言向量。

步骤S14：将步骤S130得到的说话人向量和语言向量加入到初始语音合成模型的各个部分，具体，结合附图2所示，带韵律的音素序列经过嵌入层变为音素嵌入向量，并在音素嵌入向量中加入位置编码(将不同音素的位置直接带入正弦函数得到的绝对位置编码)，目的是加入音素之间的位置信息；在经过可变信息适配器后，由于经过长度调节器的扩帧操作，为了保证位置信息不丢失，需要再次加入位置编码信息；其中可变信息适配器中的韵律时长预测器主要预测音素序列的停顿时长，用于控制合成语音的韵律；将在说话人空间提取的说话人向量，直接加入到语音合成模型的编码器、可变信息适配器、解码器；在语言空间提取的语言向量，在加入解码器之前，需要经过长度调节器对说语言向量的长度调节；此处的长度调节器主要作用是根据时长预测结果，对语言向量进行扩帧操作，将以便于加入到解码器。

采用所述对齐后的文本、时长信息和语音声学特征对说话人空间、语言空间和初始语音合成模型进行训练，得到训练好的语音合成模型。

推理阶段：

步骤S21：对待合成文本进行规范化处理，并按文本语言分类；

步骤S22：将分类后的文本处理成统一的表征方式，并将音频和文本进行对齐，由预测器预测文本对应的时长信息，生成文本每个字符对应的语言id；

步骤S23：指定说话人id，将说话人id、经S22处理后的文本以及对应字符的语言id，输入到训练好的语音合成模型，输出语音声学特征；

步骤S24：采用Multi-band MelGAN声码器将语音声学特征转换为音频。

实施例2：

一种多说话人、多语言的语音合成系统，包括文本处理模块、信息标记模块、信息编码模块、声学特征输出模块和声码器模块，其中：

文本处理模块，用于对文本进行规范化处理，将文本按对语言分类并且将不同语言的文本处理为统一的表达方式；

可选的，将语音数据库不同语言的文本处理为统一的音素表达方式，或将不同语言的文本处理为统一的Unicode编码表达方式；若是用于训练，则采用MFA算法将不同语言的文本及音频进行对齐，获得对齐后的文本及文本对应的时长，将时长转化为帧数，时长帧数的总和与提取的梅尔频谱特征的帧数之和相等；

信息标记模块，用于对文本的每个字符生成对应的语言id，同时根据用户需要，生成说话人id；

语言id的长度与经文本处理模块处理后的文本长度相等，说话人id的长度为1，对不同的说话人、不同的语言取不同的id值；

信息编码模块，用于构建说话人空间和语言空间，根据语言id、说话人id在语言空间、说话人空间中提取对应的语言向量、说话人向量；说话人空间与语言空间需要根据训练数据中的说话人数量、语言数量来进行构建；

声学特征输出模块，用于训练阶段将输入经过处理的文本、语言向量、说话人向量，输入到语音合成模型进行模型训练得到训练好的语音合成模型；并在推理阶段将经过处理的文本、语言向量、说话人向量输入训练好的语音合成模型，转换成语音的声学特征并输出；

在说话人空间提取的说话人向量，直接加入到语音合成模型的编码器、可变信息适配器、解码器；在语言空间提取的语言向量，在加入解码器之前，需要经过语言调节器对说语言向量的长度调节，得到每一帧频谱对应的语言向量；

声码器模块，用于根据输入语音的声学特征输出音频。优选地，声码器模块可以采用Multi-band MelGAN声码器。

尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。