具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在本申请一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

多角色对话(如双角色对话)嵌入的研究主要局限在采用监督学习的方案上，也即给出一批多人对话文本及该对话的标签，通过对多人对话文本信息进行聚合并预测对话的主题，从而学习到多角色对话的隐变量表示。本申请发明人发现，不同于常规文本任务的标注，对于对话的标注是非常困难且成本高昂的；同时，由于对话的复杂性，为所有对话梳理一套标签体系也是非常困难甚至是不可行的。如果能提供一种不依赖于对话的标签的方式，那么不但可以降低成本，而且还能提升多角色对话的实现效果。

无监督学习特别是自监督学习，利用数据中的固有特征来学习，如果能将自监督学习应用于多角色对话的实现中，那么，是可以摆脱对监督学习中的标签的依赖的，为此，本申请实施例提出一种语义表示模型训练方法，如图1所示，包括：

步骤100：对待训练的至少两个角色之间的样本对话文本进行嵌入操作，获得每个角色的样本对话文本的嵌入表示向量样本，其中，样本对话文本包括正样本和负样本。

在一种示例性实例中，以双角色对话为例，本步骤可以包括：

对待训练的双角色对话的样本对话文本分别进行嵌入操作，获取样本对话文本对应的嵌入表示向量样本，其中，样本对话文本包括正样本和负样本。

在一种示例性实例中，以双角色对话为例，本步骤可以包括：

按照角色和发言顺序，将待训练双角色对话的样本对话文本分别输入语义表示模型，分别进行嵌入层查表(embedding lookup)操作，以获得不同角色的样本对话文本对应的嵌入表示向量样本。

在一种示例性实例中，步骤100之前还包括：

从同一份原始数据(即原始的多角色对话信息)中随机切分出三个具有相同格式的数据集：训练集、验证集和测试集，其中，训练集用于训练语义表示模型，验证集用于在训练过程中验证语义表示模型的效果并挑选最优表示模型，测试集用于测试选择出的最优语义表示模型的最终效果即最终评价模型并给出指标。

对训练集、验证集和测试集中的数据进行常规的数据清洗，包括但不限于如：数据匿名化、去停用词、分词等。

在一种示例性实例中，步骤100之前还包括：构建正样本和负样本。

正样本为待训练的至少两个角色之间的样本对话文本本身；

生成负样本包括：对于待训练的对话的正样本，随机选择其中一个角色，随机抽取该选择出的角色的另一个对话的对话文本与该正样本的另一个角色的对话文本组成新对话的样本对话文本，将新对话的样本对话文本作为负样本。

以角色A与角色B的对话为例，假设按照对话顺序包括：a1-b1，a2-b2，a3-b3，a4-b4，a5-b5，本实施例中，在构建负样本时，假设随机选择出的角色为角色A，随机抽取角色A的一个对话文本为a1'、a2'、a3'、a4'和a5'，与角色B的正样本中的对话组成负样本，如表1的左半部分所示为正样本示例，右半部分所示为负样本示例。其中，文本a1'、a2'、a3'、a4'和a5'是来自角色A在另一个对话中的对话文本。

表1

无监督学习特别是自监督学习是利用数据中的固有特征来学习，摆脱了对监督学习标签的依赖。本申请实施例中的将自监督学习用于多角色对话嵌入表示任务上，提出了一种角色级响应选择的自监督任务，并通过角色级负样本采样的实现方式来构建该自监督任务所需的训练数据，在多角色对话嵌入表示上得到了很好的效果，实现了多角色对话在无标注的情况下的自监督训练和优化。

步骤101：对同一个角色嵌入表示向量样本进行编码，得到每个角色对应的句向量样本。

在一种示例性实例中，以双角色对话为例，按照待训练双角色对话的不同角色，对嵌入表示向量分别进行编码，获取与角色对应的两组句向量样本。

在一种示例性实例中，本步骤可以包括：对得到的嵌入表示向量样本，根据不同角色，使用不同的编码器(Encoder)进行编码，得到与角色对应的两组句向量样本。比如：对双角色对话中的第一角色，使用第一编码器对第一角色的嵌入表示向量进行编码；对双角色对话中的第二角色，使用第二编码器对第二角色的嵌入表示向量进行编码。第一编码器和第二编码器可以相同也可以不相同，也就是说，对第一角色的嵌入表示向量的编码方式和对第二角色的嵌入表示向量的编码方式可以相同也可以不相同。

编码器可以包括但不限于如：长短期记忆(LSTM，Long Short-Term Memory)编码器、变换器(Transformer)编码器、基于变换器的双向编码器表示技术(BERT，Bidirectional Encoder Representations from Transformers)编码器、XLNET编码器等。其中，XLNet使用预训练语言模型(PLM，Permutation Language Model)实现将自回归(AR，Auto Regression)和自编码器(AE，Auto Encoder)两种方法的优点结合起来。

通过步骤101的编码处理后，对应一个角色的每一个句子会得到一个高维的分布式句向量样本，对应一个角色的所有句子可以得到一组句向量样本。那么，对话的双角色可以分别得到两组句向量样本，如图2所示的第一角色句向量1，第一角色句向量2…第一角色句向量n，以及第二角色句向量1，第二角色句向量2…第二角色句向量m。图2中的大括号代表一个滑动窗口，在大括号中的句子被一起聚合成一个embedding，大括号之外的句子不参与当前计算，直到滑动窗口滑到才参与计算。

步骤102：通过自注意力机制对每个角色对应的组向量演变进行聚合，获得每个角色对应的语义表示样本。

在一种示例性实例中，以双角色对话为例，步骤102可以包括：

通过自注意力机制对得到的两组句向量样本分别进行聚合，获取与角色对应的语义表示样本。

在一种示例性实例中，步骤102可以包括：

为待训练的某个角色的一组文本中的每个句子分配一个权重；

计算每个句子的句向量样本与其对应的权重的乘积后聚合，得到一个对话的某个角色对应的分布式高维向量，作为其语义表示样本。

在一种示例性实例中，自注意力(Self-attention)机制可以通过在一个对话的某个角色对应的一组文本上计算注意力权重，来学习哪些句子是更为重要的，哪些句子是可以被忽略的，也就是说，对于学习到的重要的句子，其权重值就大，对于学习到的可以忽略的句子，其权重值就小。在一种实施例中，注意力权重可以这样获得：根据每个句子的编码得到的embedding结果，施加一个映射将其映射成一个浮点数，最终对浮点数取指数并将其归一化，所得到的值即为权重。本申请实施例中，对每个句子都会施加这样的操作，归一化的分母是所有句子计算出的浮点数的加和。

本申请实施例中，通过引入角色级自注意力机制，实现了语义表示模型自动学习，对多角色对话表示具有更加重要意义的发言，使得对话语义表示具备了更加良好的效果。

步骤103：将不同角色对应的语义表示样本进行拼接，得到匹配特征。

步骤104：根据匹配特征对语义表示模型的网络参数进行调整。

在一种示例性实例中，步骤103和步骤104可以包括：

拼接待训练双角色对话的两个角色对应的语义表示样本得到匹配特征；

将匹配特征输入前馈神经网络(FFN)，以预测是否匹配。

在一种示例性实例中，对于正样本来说，双角色语义表示模型需要将该匹配特征预测为1，对于负样本来说，双角色语义表示模型需要将该匹配特征预测为0。这样，表示模型通过预测值与真实值的损失来更新其自身的网络参数，并收敛到最优参数以实现对表示模型的参数的调整。

本申请实施例提供的语义表示模型训练方法，通过引入角色级响应选择自监督任务，实现了多角色对话在无标注的情况下的自监督训练和优化，摆脱了对话表示学习对于标签的依赖；通过引入角色级自注意力机制，实现了语义表示模型自动学习，对多角色对话表示具有更加重要意义的发言，使得对话语义表示具备了更加良好的效果。

本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行图1任一项所述的语义表示模型训练方法。

本申请再提供一种实现语义表示模型训练的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行图1任一项所述的语义表示模型训练方法的步骤。

图3为本申请实施例中语义表示模型训练装置的组成结构示意图，如图3所示，至少包括：嵌入模块、编码模块、聚合模块和调整模块；其中，

嵌入模块，对待训练的至少两个角色之间的样本对话文本进行嵌入操作，获得每个角色的样本对话文本的嵌入表示向量样本，其中，样本对话文本包括正样本和负样本；

编码模块，用于对同一个角色嵌入表示向量样本进行编码，得到每个角色对应的句向量样本；

聚合模块，用于通过自注意力机制对每个角色对应的组向量演变进行聚合，获得每个角色对应的语义表示样本；

调整模块，用于将不同角色对应的语义表示样本进行拼接，得到匹配特征，根据匹配特征对语义表示模型的网络参数进行调整。

在一种示例性实例中，还可以包括预处理模块，用于对原始的多角色对话信息进行数据清晰，得到待训练的至少两个角色之间的样本对话文本；生成正样本和负样本。其中，正样本为待训练的至少两个角色之间的样本对话文本本身；生成负样本包括：对于待训练的对话的正样本，随机选择其中一个角色，随机抽取该选择出的角色的另一个对话的对话文本与该正样本的另一个角色的对话文本组成新对话的样本对话文本，将新对话的样本对话文本作为负样本。

在一种示例性实例中，嵌入模块具体用于：

按照角色和发言顺序，将待训练多角色对话的样本对话文本分别输入语义表示模型，分别进行嵌入层查表操作，以获得不同角色的样本对话文本对应的嵌入表示向量。

在一种示例性实例中，编码模块具体用于：

对得到的嵌入表示向量，根据不同角色，使用不同的编码器进行编码，得到与角色对应的两组句向量。

在一种示例性实例中，编码模块包括第一编码器和第二编码器。第一编码器和第二编码器可以相同也可以不相同，也就是说，对第一角色的嵌入表示向量的编码方式和对第二角色的嵌入表示向量的编码方式可以相同也可以不相同。比如：对双角色对话中的第一角色，使用第一编码器对第一角色的嵌入表示向量进行编码；对双角色对话中的第二角色，使用第二编码器对第二角色的嵌入表示向量进行编码。

编码器可以包括但不限于如：长短期记忆(LSTM，Long Short-Term Memory)编码器、变换器(Transformer)编码器、基于变换器的双向编码器表示技术(BERT，Bidirectional Encoder Representations from Transformers)编码器、XLNET编码器等。其中，XLNet使用预训练语言模型(PLM，Permutation Language Model)实现将自回归(AR，Auto Regression)和自编码器(AE，Auto Encoder)两种方法的优点结合起来。

在一种示例性实例中，聚合模块具体用于：

为待训练的同一个角色的每个对话语句的句向量配置权重；

根据每个角色的对话语句的句向量及其权重聚合得到所述角色的语义表示。

本申请实施例中，通过引入角色级自注意力机制，实现了表示模型自动学习，对多双角色对话表示具有更加重要意义的发言，使得对话语义表示具备了更加良好的效果。

在一种示例性实例中，调整模块具体用于：

拼接得到的双角色对话的两个角色对应的语义表示，得到一个匹配特征；

将匹配特征输入一个FFN，以预测是否匹配。

本申请实施例提供的生成实现多角色对话的表示模型的装置，通过引入角色级响应选择自监督任务，实现了多角色对话在无标注的情况下的自监督训练和优化，摆脱了对话表示学习对于标签的依赖；通过引入角色级自注意力机制，实现了语义表示模型自动学习，对多角色对话表示具有更加重要意义的发言，使得对话语义表示具备了更加良好的效果。

图4为本申请实施例中获取对话语义表示的方法的流程示意图，获取对话语义表示的方法可以通过训练完成的语义表示模型实现，如图4所示，包括：

步骤400：获得至少两个角色之间的对话文本，其中，对话文本包括多个对话语句。

在一种示例性实例中，以双角色对话为例，本步骤可以包括：

按照双角色对话的不同角色，将双角色之间对话的包括多个对话语句的对话文本输入语义表示模型。

在一种示例性实例中，步骤400之前还包括：按照图1任一项所述的表示模型生成方法获取表示模型。

步骤401：获得每个角色的对话语句的句向量组，并根据获得的句向量组获得每个角色的语义表示。

在一种示例性实例中，步骤401中的获得每个角色的对话语句的句向量组，可以包括：

对每个角色的对话语句进行嵌入操作和编码，获取与该角色对应的句向量组。

在一种示例性实例中，步骤401中的根据获得的句向量组获得每个角色的语义表示，可以包括：

为同一个角色的每个对话语句的句向量配置权重；

根据每个角色的对话语句的句向量及其权重聚合得到该角色的语义表示。

在一种示例性实例中，以双角色对话为例，步骤401中的根据获得的句向量组获得每个角色的语义表示，可以包括：

为双角色对话中的某个角色的一组文本中的每个句子分配一个权重；

计算每个句子的句向量与其对应的权重的乘积后聚合，得到一个对话的某个角色对应的分布式高维向量，作为其语义表示

在一种示例性实例中，以双角色对话为例，步骤401中的获得每个角色的对话语句的句向量组，可以包括：对双角色对话的文本进行嵌入操作和编码，获取与双角色对话中的角色对应的两组句向量。具体可以包括：

对输入语义表示模型的双角色对话的文本分别进行嵌入操作，获取文本对应的嵌入表示向量；

按照双角色对话的不同角色，对嵌入表示向量分别进行编码，得到与角色对应的两组句向量。

步骤402：根据获得的不同角色的语义表示，得到对话语义表示。

在一种示例性实例中，本步骤可以包括：聚合不同角色各自的语义表示，获取对话语义表示。

在一种示例性实例中，以双角色对话为例，可以通过自注意力机制对得到的两组句向量分别进行聚合，得到与角色对应的语义表示。

在一种示例性实例中，聚合的方法可以包括但不限于如：双角色对话中双方角色的语义表示进行加和处理、或采用双角色对话中的一方角色的语义表示作为对话的语义表示等。

在一种示例性实例中，聚合不同角色各自的语义表示，获取对话语义表示，可以包括：

将不同角色的语义表示进行加和，得到对话语义表示；

或者，采用任一角色的语义表示作为对话语义表示。

本申请实施例中获取对话语义表示的方法，将利用数据中的固有特征实现的自监督学习应用于多角色对话的实现中，摆脱了对监督学习中的标签的依赖的，不仅降低了实现成本，而且也提升了实现多角色对话的效果，简单、有效地实现了多角色对话。

本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行图4任一项所述的获取对话语义表示的方法。

本申请再提供一种获取对话语义表示的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行图4任一项所述的获取对话语义表示的方法的步骤。

虽然本申请所揭露的实施方式如上，但所述的内容仅为便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。