具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的一种文本摘要与关键词抽取方法的流程示意图。在本实施例中，所述文本摘要与关键词抽取方法包括：

S1、获取训练文本数据，所述训练文本数据包括若干文本分句。

本申请实施例中，所述训练文本数据为预先获取的可用于对既定文本处理模型进行训练的数据。

本申请实施例中，所述获取训练文本数据，包括：

获取原始文本数据；

利用标点符号编译的正则表达式提取所述训练文本数据中目标标点符号的符号位置；

根据所述符号位置将所述原始文本数据拆分为包含若干文本分句的训练文本数据。

标点符号编译生成的正则表达式可用于识别标点符号在文本数据中的符号位置，进而可按照识别出的符号位置将训练文本数据进行拆分，得到若干文本分句。

本申请其他实施例中，还可通过Python中NLTK库内的sent_tokenize()方法对原始文本数据进行分句处理，得到该原始文本数据对应的若干文本分句。

示例性地，可利用如下sent_tokenize()方法将原始文本数据拆分为若干文本分句：

from nltk.tokenize import sent_tokenize

data = "x"

print(sent_tokenize(data))

其中，x为所述原始文本数据。

本申请实施例中，将原始文本数据拆分为若干文本分句，有利于减少后续对于训练文本数据进行分析时的整体效率，以提高分析效率。

S2、将多个所述文本分句转换为句向量，并标记多个所述句向量的关键词标签及摘要句标签。

本申请实施例中，由于自然语言处理模型无法直接对文本进行分析处理，因此，可将多个所述文本分句转换为句向量，进而使得文本分句具有模型可处理性。

详细地，可对每个所述文本分句进行分词处理，并将文本分句中包含的词语逐个编码为词向量，进而利用词向量拼接出每个文本分句的句向量。

本申请实施例中，参图2所示，所述将多个所述文本分句转换为句向量，包括：

S21、依次从所述文本分句中选取其中一个文本分句为目标分句；

S22、将所述目标分句拆分为若干文本分词，并将每个所述文本分词编码为词向量；

S23、按照每个所述文本分词在所述目标分句中位置的先后顺序将所述词向量拼接为句向量。

例如，目标分句为：“work and no play”，将该目标分句进行拆分得到的文本分词为：“work”、“and”、“no”和“play”，其中，对上述四个文本分词进行编码后得到的词向量依次为：“token_1”、“token_2”、“token_3”和“token_4”，因此，可按照“work”、“and”、“no”和“play”四个文本分词在所述目标语句中的先后顺序将该四个词向量拼接为如下句向量：

sent_i={ token_1，token_2，token_3，token_4}

其中，sent_i为从所述文本分句中选取的第i个目标分句。

详细地，可利用预设的jieba、SnowNLP、PKUse、THULAC等分词工具将所述目标分句拆分为若干文本分词；或者，可通过Python中NLTK库内的word_tokenize()方法将所述目标分句拆分为若干文本分词。

示例性地，可利用如下word_tokenize()方法将所述目标分句拆分为若干文本分词：

from nltk.tokenize import word_tokenize

data = "y"

print(word_tokenize(data))

其中，y为所述目标分句。

具体地，可利用transformer编码器、word2vec编码器、Autoencoder编码器等具有词语编码功能的编码器将将每个所述文本分词编码为词向量。

本申请其中一个实际应用场景中，由于生成的句向量需用于后续对所述训练文本数据进行分析，因此，需利用所述训练文本数据中的关键词标签及摘要句标签对每个所述句向量进行标记。

详细地，所述关键词标签可以为E_Si，其中，E_Si可取0或1，当所述文本分句内的第i个目标分句中的文本分词为关键词，则可用E_Si=1对该文本分词进行标记，当所述文本分句内的第i个目标分句中的文本分词为关键词，可利用E_Si=0对该文本分词进行标记。

所述摘要句标签可以为E_ABi，其中，E_ABi可取0、1或2，当所述文本分句内的第i个目标分句为摘要句且该目标分句内包含关键词，可利用E_Abi=2对该目标分句进行标记；当所述文本分句内的第i个目标分句为摘要句且该目标分句内不包含关键词，可利用E_Abi=1对该目标分句进行标记；当所述文本分句内的第i个目标分句不为摘要句，可利用E_Abi=0对该目标分句进行标记。

S3、通过预设的编码模型对标记后的多个句向量进行上下文信息嵌入，得到标准向量集。

本申请其中一个实际应用场景中，由于文本具有一定的连贯性以及上下文语义的关联性，因此，可通过预设的编码模型对标记后的每个句向量进行位置信息的嵌入，以使得句向量中包含丰富的上下文信息，有利于提高后续根据句向量进行关键词和摘要分析的精确度。

详细地，所述编码模型可以为BERT模型，其中，对于句向量中的单个词语，可利用所述编码模型将该词语在该句向量中的位置信息以及该词语在所述训练文本数据中的位置信息进行编码，并将编码后得到的信息作为该词语上下文信息；对于句向量，可将该句向量在所述训练文本数据中的位置信息，以及该句向量中每个词语的位置信息进行编码，并将编码后得到的信息作为该句向量的上下文信息。

具体地，所述位置信息包括每个文本分句对应的句向量在所述训练文本数据中的位置信息，以及每个文本分句中包含的文本分词在所述训练文本数据中的位置信息。

本申请实施例中，所述通过预设的编码模型对标记后的多个句向量进行上下文信息嵌入，得到标准向量集，包括：

利用预设的编码模型将多个所述句向量对应的文本分句在所述训练文本数据中的位置信息编码为句位置向量，将多个所述句位置向量与多个所述句向量进行组合，得到句标准向量；或者

利用所述编码模型将多个所述句向量对应的文本分句中包含的多个文本分词在所述训练文本数据中的位置信息编码为词位置向量，将多个所述词位置向量嵌入多个所述文本分词的词向量进行组合，得到词标准向量；

将所述句标准向量或所述词标准向量汇集为所述标准向量集。

具体地，可通过如步骤S2中向量拼接的方式将所述句位置向量嵌入每个所述句向量中，以及将所述词位置向量嵌入每个所述文本分词中。

当每个所述句向量以及句向量中的词向量被嵌入位置信息后，得到所述标准向量。

本申请实施例中，通过预设的编码模型对标记后的每个句向量进行上下文信息嵌入，可使得句向量中包含丰富的上下文信息，进而避免后续在对句向量进行分析时，将每个句向量进行独立分析，体现了句向量之间的关联性，有利于提高分析的精确度。

S4、利用所述标准向量集对预构建的摘要句分析模型以及关键词分析模型进行联合训练，所述联合训练通过预设的联合损失函数同时对所述摘要句分析模型和所述关键词分析模型进行参数优化，所述联合损失函数包括所述摘要句分析模型的第一损失值以及所述关键词分析模型的第二损失值。

本申请实施例中，所述摘要句分析模型包括但不限于具有摘要句识别功能的卷积神经网络（Convolutional Neural Network，CNN）模型、支持向量机（Support VectorMachines，SVM）模型；所述关键词分析模型包括但不限于具有关键词识别功能的条件随机场（Conditional Random Field，CRF）模型、Lstm（Long short-term memory，长短期记忆）模型。

本申请实施例中，在嵌入上下文信息时使用BERT模型，在构建摘要句模型和关键词模型时使用CRF模型，利用了BERT和CRF结合的方式构建模型，无需构建人工特征模板与规则，因此可以方便快捷地构建模型。

本申请实施例中，参图3所示，所述利用所述标准向量集对预先构建的摘要句分析模型以及关键词分析模型进行联合训练，所述联合训练通过预设的联合损失函数同时对所述摘要句分析模型和所述关键词分析模型进行参数优化，所述联合损失函数包括所述摘要句分析模型的第一损失值以及所述关键词分析模型的第二损失值，包括：

S31、对所述摘要句分析模型及所述关键词分析模型的参数赋初值，利用赋初值后的所述摘要句分析模型及所述关键词生成多个所述标准向量的摘要预测标签和关键词预测标签；

S32、根据所述摘要预测标签和标记的实际摘要标签计算所述第一损失值，以及根据所述关键词预测标签和标记的实际关键词标签计算所述第二损失值；

S33、根据所述第一损失值和所述第二损失值计算所述联合损失函数的联合损失值，并利用梯度下降算法根据所述联合损失值计算所述摘要句分析模型和所述关键词分析模型的更新梯度；

S34、按照所述更新梯度对所述摘要句分析模型和所述关键词分析模型的参数进行调整优化，得到训练后的摘要句分析模型和关键词分析模型。

其中，标记的实际摘要标签和实际关键词标签是S2中进行标记的标签。

本申请实施例中，所述利用赋初值后的所述摘要句分析模型及所述关键词生成多个所述标准向量的摘要预测标签和关键词预测标签，包括：

利用所述摘要句分析模型对每个所述标准向量进行预设次数的卷积及池化处理，得到向量特征；

根据所述向量特征计算每个所述标准向量对应的文本分句为摘要句的句概率值；

利用属于摘要句的摘要预测标签对所述句概率值大于或等于预设概率阈值的文本分句进行标记；

利用不属于摘要句的摘要预测标签对所述句概率值小于所述预设概率阈值的文本分句进行标记。

详细地，所述预设激活函数可以与所述摘要句分析模型中的softmax层的激活函数相同。

具体地，当计算出每个所述标准向量中包含的每个词向量为关键词的词概率值后，可按照每个词向量在标准向量中排列的先后顺序将计算得到的次概率排列为概率矩阵，进而将所述概率矩阵输入至所述关键词分析模型（如CRF模型）中，并利用所述关键词分析模型根据所述概率矩阵预测每个词向量对应的文本分词的关键词预测标签。

具体地，可利用摘要句分析模型中的softmax层根据所述向量特征计算每个所述标准向量对应的文本分句为摘要句的概率值。

较佳地，所述概率阈值为0.5。

详细地，所述对所述摘要句分析模型及所述关键词分析模型的参数赋初值可利用预设的随机数生成器生成不同的随机数，并利用生成的随机数对所述摘要句分析模型及所述关键词分析模型的参数赋初值；或者，可将所述摘要句分析模型及所述关键词分析模型的参数全部置为零，以实现对所述摘要句分析模型及所述关键词分析模型的参数赋初值。

经实验，摘要抽取与关键词分析存在一定的内部联系，一模型的训练结果能促进另一模型结果的精确，本实施例中利用预设的联合损失函数两个任务的损失值同时训练两个模型，能够同时对摘要句分析模型和关键词分析模型的共同优化，并且同时提高摘要句分析模型和关键词分析模型的精确度。

详细地，所述第一损失值为所述摘要预测模型输出的摘要预测标签与标记的实际摘要标签之间的损失值，第二损失值为所述关键词分析模型输出的关键词预测标签与标记的实际关键词标签之间的损失值。

具体地，所述梯度下降算法包括但不限于批量梯度下降算法、随机梯度下降算法、小批量梯度下降算法；当计算得到所述联合损失值时，可利用预设的梯度下降算法对所述联合损失值进行计算，得到所述摘要句分析模型和所述关键词分析模型的更新梯度，该更新梯度为矢量值，具有方向，因此，可按照该更新梯度的方向对所述摘要句分析模型和所述关键词分析模型的参数进行调整优化，直至所述联合损失值小于预设损失阈值。

具体的，可利用梯度下降算逐轮计算所述摘要句分析模型以及关键词分析模型中参数的更新梯度，进而按照所更新梯度逐轮对摘要句分析模型以及关键词分析模型进行更新，直至摘要句分析模型以及关键词分析模型输出结果计算得到的联合损失值小于预设损失阈值。

本申请实施例中，所述联合损失函数包括：

其中，为所述联合损失函数的联合损失值，为所述第一损失值，为所述第二损失值，为平衡因子。

详细地，所述平衡因子可以为预设常数，也可以为根据每轮训练后的摘要句分析模型以及关键词分析模型经过预设的验证集进行验证后，根据验证的结果计算调整的值，例如，当摘要句分析模型以及关键词分析模型经过一轮训练后，利用训练后的摘要句分析模型以及关键词分析模型对预设的验证集进行分析，并根据摘要句分析模型以及关键词分析模型对验证集分析得到的结果的准确率，对所述平衡因子进行更新（如平衡因子为所述准确率的预设比例值）。

本申请实施例中，利用联合损失函数计算摘要预测标签和关键词预测标签计算联合损失值，并基于该联合损失值通过梯度下降算法对两个模型的参数进行反向传播优化，实现了对摘要句分析模型与关键词分析模型的同步优化，提高了模型优化的效率。

S5、利用训练后的摘要句分析模型和关键词分析模型抽取获取到的待处理文本的文本摘要与关键词。

本申请实施例中，所述待处理文本可以为任何预先获取到的文本，可利用参数优化后的摘要句分析模型（即训练后的摘要句分析模型）提取出该待处理文本中包含的摘要句；以及，利用参数优化后的关键词分析模型（即训练后的关键词分析模型抽取）提取出该待处理文本中的关键词。

本申请实施例提供的该方法，可通过对文本数据对应的词向量以及句向量进行上下文信息嵌入，以保证向量中包含丰富的上下文信息，有利于提高进行关键词和摘要分析的精确度，进而利用包含位置信息的向量和联合损失函数对摘要句分析模型和关键词分析模型进行同时优化训练，所述联合损失函数包括所述摘要句分析模型的第一损失值以及所述关键词分析模型的第二损失值，能够避免一个模型精确度提高的同时另一模型精确降低的情况，对两个模型的精确度都能进行同步提高，进而利用优化后的模型抽取待处理文本的文本摘要与关键词，可解决利用单独训练的摘要模型和关键词抽取模型时无法同时精确地对摘要与关键词进行抽取的问题。

如图4所示，本申请实施例提供了一种文本摘要与关键词抽取装置10的模块示意图，所述文本摘要与关键词抽取装置10，包括：文本分句模块11、向量转换模块12、模型优化模块13和文本处理模块14。

所述文本分句模块11，用于获取训练文本数据，所述训练文本数据包括若干文本分句；

所述向量转换模块12，用于将多个所述文本分句转换为句向量，并标记多个所述句向量的关键词标签及摘要句标签，通过预设的编码模型对标记后的多个句向量进行上下文信息嵌入，得到标准向量集；

所述模型优化模块13，用于利用所述标准向量集对预构建的摘要句分析模型以及关键词分析模型进行联合训练，所述联合训练通过预设的联合损失函数同时对所述摘要句分析模型和所述关键词分析模型进行参数优化，所述联合损失函数包括所述摘要句分析模型的第一损失值以及所述关键词分析模型的第二损失值；

所述文本处理模块14，用于利用训练后的摘要句分析模型和关键词分析模型抽取获取到的待处理文本的文本摘要与关键词。

详细地，本申请实施例中所述文本摘要与关键词抽取装置10中所述的各模块在使用时采用与上述图1至图3中所述的文本摘要与关键词抽取方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。

如图5所示，本申请实施例提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111、通信接口112、存储器113通过通信总线114完成相互间的通信；

存储器113，用于存放计算机程序；

在本申请一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的文本摘要与关键词抽取方法，包括：

获取训练文本数据，所述训练文本数据包括若干文本分句；

将多个所述文本分句转换为句向量，并标记多个所述句向量的关键词标签及摘要句标签；

通过预设的编码模型对标记后的多个句向量进行上下文信息嵌入，得到标准向量集；

利用所述标准向量集对预构建的摘要句分析模型以及关键词分析模型进行联合训练，所述联合训练通过预设的联合损失函数同时对所述摘要句分析模型和所述关键词分析模型进行参数优化，所述联合损失函数包括所述摘要句分析模型的第一损失值以及所述关键词分析模型的第二损失值；

利用训练后的摘要句分析模型和关键词分析模型抽取获取到的待处理文本的文本摘要与关键词。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的文本摘要与关键词抽取方法的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。