阅读说明：本技术 中文文档抽取式摘要方法 (Chinese document abstraction type abstract method ) 是由 游新冬 吕学强 李宝安 孙少奇 于 2020-12-15 设计创作，主要内容包括：本申请公开了一种中文文档抽取式摘要方法,包括：文本向量化；识别基本篇章单元；抽取摘要句,所述文本向量化,包括：对输入文本进行分句、分词、标识符插入操作,使用中文Bert预处理模型,对文本进行向量化。本申请实施例提供的中文文档抽取式摘要方法,利用Bert模型进行文本向量化,更好地捕捉长文本上下文的语义,提升信息抽取的准确性；在识别中文长文本的基本篇章单元的基础上,以基本篇章单元为抽取对象,降低摘要抽取的冗余度；最后利用Transformer神经网络抽取模型,实现基本篇章单元的抽取,提升了摘要句抽取的准确率。(The application discloses a Chinese document abstraction type summarization method, which comprises the following steps: vectorizing the text; identifying basic chapter units; extracting abstract sentences, and vectorizing the text, wherein the text vectorization comprises the following steps: the operations of sentence segmentation, word segmentation and identifier insertion are carried out on the input text, and the Chinese Bert preprocessing model is used for vectorizing the text. According to the extraction type abstract method of the Chinese document, the text vectorization is carried out by utilizing the Bert model, the semantics of the long text context are better captured, and the accuracy of information extraction is improved; on the basis of identifying the basic chapter units of the long text in Chinese, the basic chapter units are taken as extraction objects, and the redundancy of abstract extraction is reduced; and finally, extracting the model by using a Transformer neural network to realize the extraction of basic chapter units and improve the accuracy of abstract sentence extraction.)

中文文档抽取式摘要方法

技术领域

本申请涉及文本处理技术领域，具体涉及一种中文文档抽取式摘要方法。

背景技术

随着互联网的快速发展，面对大量的文本信息，如新闻，文献，报告等，传统的阅读方式，需要人们自己阅读全篇，总结核心内容，效率低，成本高，如何快速、准确的获取长文本的概括主旨摘要是一个急需解决的问题。文本摘要在自然语言处理领域是最重要的研究工作之一，并随着深度学习的兴起成为研究热点，而中文长文本的摘要抽取面临更大的挑战，存在长文本-摘要语料库不足，摘要抽取信息不准确、目标摘要冗余、摘要句缺失等问题。

文本摘要方法可以分为提取式摘要和生成式摘要。提取式摘要方法包括根据单词和句子的特征从文档中选择高等级的句子，并将它们放在一起以生成摘要，句子的重要性取决于句子的统计和语言特征。生成式摘要用于理解给定文档中的主要概念，然后以清晰自然的语言表达这些概念。抽取式摘要和生成式摘要具有各自的优缺点。

抽取式摘要可以最大化地保证摘要内容来自于原文，抽取式摘要的任务对象非常适合科技文献，法律文书，医疗诊断书等文本载体，可以提高摘要内容的正确性，避免生成不准确甚至是错误的信息。然而，抽取式摘要也有较大的缺陷，抽取式摘要的对象是文本中的句子，当要抽取的数值确定时，会有正确的摘要句未被抽取，造成摘要内容的缺失，而被抽取的摘要内容也会有很大冗余。由于中文表达规则的宽泛性问题，一个句子所表达的内容并非都是重要的，并非都可以作为摘要组成部分的，以句子为单位的抽取模式摘要存在的冗余性问题较为严重，在一个句子中，可能只有部分内容应当被抽取，其他部分并不符合作为摘要。除了抽取式摘要本身的缺陷，在中文长文本抽取式摘要研究方面面临更大的挑战，当前公开主流语料库文本和摘要长度不足，大多都是短文本，而中文长文本-摘要语料库数量不足。

发明内容

本申请的目的是提供一种中文文档抽取式摘要方法。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本申请实施例的一个方面，提供一种中文文档抽取式摘要方法，包括：

文本向量化；

识别基本篇章单元；

抽取摘要句。

进一步地，所述文本向量化，包括：对输入文本进行分句、分词、标识符插入操作，使用中文Bert预处理模型，对文本进行向量化。

进一步地，所述文本向量化，包括：

对于一篇有i个句子的文本将输入文本通过两个特殊标记进行预处理，对每个句子之前插入一个[CLS]标识，在Bert中[CLS]用来从一个句子或一对句子中聚合特征，在每个句子后面插入一个[SEP]标识，通过[CLS]标识和[SEP]标识表示一篇文本的顺序特征，对文本进行分词预处理，采用StanfordNLP工具包对文本进行分词；

定义V_t为文本的字符嵌入，通过Bert预处理模型进行编码，对每个字符进行嵌入；

定义V_s为文本的区间嵌入，使用区间嵌入来区分文本中的多个句子，当句子编号i为奇数时，将句子S_i定义为E_A，与之对应，当句子编号i为偶数时，句子S_i定义为E_B；

定义V_p为文本的位置嵌入，对分词后的文本，共有n个字符，定义表示每个字符的顺序；

通过[CLS]和[SEP]来区分每个句子的位置，每个句子向量表示为T_i＝[V_t V_s V_p]，i∈D，完成文本的向量化。

进一步地，所述识别基本篇章单元，包括：

对于输入文本，使用Berkeley NLP工具，以中文整句标点为界限，对文本进行分句，得到文本整句；

根据逗号从句原则，对整句进一步分句，以逗号为界限，得到整句的字句，同时，对每个字句区分左右，并标记为左从句和右从句；

对得到的子句，使用Jieba分词工具对每个子句进行分词；

对分词后的字句，使用Jieba词性识别工具，对每个词进行词性识别；

根据从句分割规则，利用基本篇章单元识别规则库对子句进行识别，得到一个句子的基本篇章单元。

进一步地，所述抽取摘要句，包括：

提出一个基于Transformer的神经网络抽取模型，对基本篇章单元进行抽取，最终生成摘要；

所述神经网络抽取模型包括三层叠加的Transformer，每个Transformer是一种全Attention机制的Seq2Seq模型，由Encoder和Decoder组成，Transformer是由6个编码器和6个解码器组成。

进一步地，所述抽取摘要句，还包括：使用公式(1)对输入文本T_i进行PositionalEncodings，

P_i＝PE(T_i) (1)

对于编码器的输入向量X_i，公式(2)将Inputs Encodings和PositionalEncodings组成编码器的输入向量，

X_i＝[T_i，P_i] (2)

初始化三个矩阵W_q，W_k，W_v，使用公式(3)分别和X_i相乘，得到Q，W，V，

Q＝X_i×W_q (3)

对当前输入状态使用公式(4)计算Attention，

使用多头注意力机制进一步计算，Multi-Head Attention则是通过公式(5)、(6)对h个不同的线性变换对Q，K，V进行投影，最后将不同的Attention结果拼接起来；

MultiHead(Q，K，V)＝Concat(head₁，K，head_h)W^Or (6)

接着对Multi-Head的输出Z进行一次相加归一化计算，再经过一个前馈网络，对输出Z通过公式(7)计算，

FFN(Z)＝max(0，ZW₁+b₁)W₂+b₂ (7)

最后再进行一次相加归一化计算，整个Encoder层完成。

进一步地，所述抽取摘要句，还包括：Decoder层结构和Encoder层相同，只是在最前面一层加上Masked Multi-Head Attention，对于Decoder中的第一个多头注意力子层，添加Masking，确保预测位置i的时候仅仅依赖于位置小于i的输出，确保预测第i个位置时不会接触到未来的信息；

在Decoder结束后，使用一个线性层做输出，通过公式(8)做分类，判断当前输入文本是否应该被抽取；

其中，1代表抽取，0代表不抽取。

根据本申请实施例的另一个方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述的方法。

根据本申请实施例的另一个方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述的方法。

本申请实施例的其中一个方面提供的技术方案可以包括以下有益效果：

本申请实施例提供的中文文档抽取式摘要方法，利用Bert模型进行文本向量化，更好地捕捉长文本上下文的语义，提升信息抽取的准确性；在识别中文长文本的基本篇章单元的基础上，以基本篇章单元为抽取对象，降低摘要抽取的冗余度；最后利用Transformer神经网络抽取模型，实现基本篇章单元的抽取，提升了摘要句抽取的准确率。

本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地确定，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请的一个实施例的BETES方法的整体框架图；

图2示出了本申请的一个实施例的文本向量生成模型示意图；

图3示出了本申请的一个实施例的基本篇章单元的快速识别模型示意图；

图4示出了本申请的一个实施例的抽取模型示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本申请做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本申请的一个实施例提供了一种中文文档抽取式摘要方法，中文文档抽取式摘要方法可以简称为BETES。

文本向量化是自然语言处理任务极其重要的工作，计算机无法对文本直接读取，向量化是将高维文本进行数字化，编码成低维向量。文本早期的向量化方法是基于统计的方法，例如One-hot编码、TF-IDF、N-Gram，这些早期的编码方式，代价成本高，特征表示是离散的，稀疏的，向量的维数过高，且不能表示一词多义。为了提高模型的精度，降低成本，谷歌在2013年提出了Word2Vec，它是目前最常用的词嵌入模型之一。

除了Word2Vec，GloVe也是一种常见的词向量模型，GloVe可以被看作是更换了目标函数和权重函数的全局Word2Vec，它更容易并行化，速度更快，容易在大规模语料上训练。

虽然Word2Vec和GloVe效果很好，但是无法针对特定任务做动态优化，对于长文本很难获取上下文特征，Bert预训练模型的出现，可以很好的解决这个问题，更加高效地捕捉更长距离的依赖，可以更好的进行上下文表示，因此，利用Bert进行文本向量化可以更好地捕捉文本的语义，进而应用在下游任务中具有更好的效果。

基本篇章单元识别

对于基本篇章单元，国内外很多学者给出了自己的定义，不同的理论看法并不完全相同，而汉语在语法和表达上更为复杂和丰富，当前并未完全定义出汉语的基本篇章单元表达方式，定义是，基本篇章单元可以称为句子的字句，通常是以逗号、分号、句号等标点结尾，每一个字句至少有一个谓语，表达一个命题，并且是独立的，不作为其他字句的结构，字句之间发生命题关系。

语篇分析中的基本篇章单元的识别是自然语言处理中一个基础且重要的研究方向，基本篇章单元的识别大致分为两种方法，第一种是通过自然语言学的知识，分析篇章和句式结构，确定基本篇章单元的表达形式，通过制定规则进而识别。另外，为了进一步提高识别的准确性，目前主流的方法，是通过标注汉语篇章话题结构语料库(CDTC)语料库，通过深度学习训练自动识别模型，虽然提高了识别准确度，但是，需要标注大量的语料库，人力和时间成本较大，不利于在其他领域直接灵活使用。

抽取式摘要方法

随着机器学习，深度学习等有监督的方法的发展，有监督的方法在摘要生成方面应用越来越多，有监督的方法大致可以分为三种，基于条件随机场方法、机器学习方法、神经网络方法。机器学习方法应用在摘要抽取工作上，可以根据语料库的特点，自动学到抽取特征，摘要句抽取更准确，任务细化更具体，但是，机器学习也有它自身的缺点，当数据量较大时，机器学习算法效率较低，当数据多样化时，抽取方法的灵活性低，无法根据复杂的数据，形成更好的抽取方法。

近几年，神经网络的深度学习方法已经成为文本摘要的主流方法，伴随着神经网络的发展，摘要生成的方法也在快速更新迭代。目前，随着神经网络的快速发展，自然语言处理工作应该紧密跟随最新的神经网络，通过最新的神经网络，在特定任务上以达到更好的效果。

中文长文档抽取式摘要方法(BETES)

针对中文长文本的摘要抽取中存在的问题，为了提高摘要句抽取的准确性，降低抽取摘要的冗余，提出了一种BETES方法，该方法主要有三部分组成：

文本向量化部分：对输入文本进行预处理，进行分句、分词、标识符插入等操作，使用中文Bert预处理模型，对文本进行向量化。

基本篇章识别部分：设计一个基于规则的基本篇章单元识别模型，针对中文科技文献长文本，可以实现自动识别基本篇章单元。

摘要抽取模型：设计一个基于Transformer的神经网络抽取模型，可以将上述生成的基本篇章单元自动抽取，然后对抽取后的基本篇章单元进行融合，生成最终的摘要。BETES方法的整体框架如图1所示。

一、文本向量生成模型

对于中文长文本数据，根据Bert预训练模型的思想，需要进行三部分编码，即词嵌入，区间段嵌入，位置嵌入，将三部分的文本编码相加，最终得到整个篇章中的句子编码，结构图如图2所示。

对于一篇文本有i个句子，首先，将输入文本通过两个特殊标记进行预处理，对每个句子之前插入一个[CLS]标识，在原始Bert中[CLS]用来从一个句子或一对句子中聚合特征，在每个句子后面插入一个[SEP]标识，通过多个这样的标识，可以表示一篇文本的顺序特征，然后对文本进行分词预处理，采用StanfordNLP工具包对文本进行分词。通过三部分的工作完成中文长文本的向量化表示：

1)首先定义V_t为文本的字符嵌入，通过Bert预处理模型进行编码，对每个字符进行嵌入；

2)定义V_s为文本的区间嵌入，使用区间嵌入来区分文本中的多个句子，当句子编号i为奇数时，将句子S_i定义为E_A，与之对应，当句子编号i为偶数时，句子S_i定义为E_B；

3)定义V_p为文本的位置嵌入，对分词后的文本，共有n个字符，定义表示每个字符的顺序。

最后，通过[CLS]和[SEP]来区分每个句子的位置，每个句子向量表示为T_i＝[V_t V_sV_p]，i∈D，这样就完成了文本的向量化工作。

二、基本篇章单元识别模型

当前对于文本基本篇章单元的识别，是通过标注语料库，训练深度学习识别模型，使用模型识别基本篇章单元。基于深度学习的方法虽然会提高识别的准确率，但会消耗大量的人力和时间成本。经过综合考虑，本申请实施例的对象是中文长文本科技文献，在语言描述和句式句法上相对比较固定，的目的是快速获取文本的基本篇章单元，灵活地整合到整个摘要抽取框架中，因此，针对当前工作的实际需求，提出一个基本篇章单元的快速识别模型，流程图如3所示。

基本篇章单元的算法流程如下：

算法1中文长文本Edus识别

中文长文本基本篇章单元识别算法流程如下：

1)对于输入文本，使用Berkeley NLP工具，以中文常见的整句标点为界限，如句号，问号，感叹号等，对文本进行分句，得到文本整句。

2)根据逗号从句原则，对整句进一步分句，以逗号为界限，得到整句的字句，同时，对每个字句区分左右，并标记为左从句和右从句。

3)对得到的子句，使用Jieba分词工具对每个子句进行分词。

4)对分词后的字句，使用Jieba词性识别工具，对每个词进行词性识别。

5)以逗号为标志点分割的字句，并不是都可以作为基本篇章单元，因此，需要规则进行判定，针对中文科技文献的句式表达，根据从句分割规则，制定了一个基本篇章单元识别规则库(部分规则如表1所示)，对子句进行识别，最终得到一个句子的基本篇章单元。

表1 基本篇章单元识别规则

三、摘要句抽取模型

抽取式摘要的工作，通常被认为是对原始文本的句子进行分数排名，选取分数排名最高的句子组合，作为最终的摘要，上述的工作的对象是更细粒度的基本篇章单元的抽取，因此的模型是抽取分数排名较高的基本篇章单元，这在原理和方法上与摘要句的抽取是相通的。

对于文本的摘要句进行抽取，主流方法是深度学习方法，通过训练神经网络模型对句子自动抽取。当前常见的方法，无论是LSTM还是GRU，大多还是以循环神经网络作为基线。在机器翻译领域，Transformer神经网络的优越性已经得到充分的验证，针对英文数据集，基于Transformer的神经网络也用于文本摘要任务中，效果提升明显。因此，对于中文长文本，提出一个基于Transformer的神经网络抽取模型，对上述生成的基本篇章单元进行抽取，最终生成摘要。

本申请实施例的抽取模型是三层Transformer叠加，每个Transformer是一种全Attention(注意力)机制的Seq2Seq模型，它的结构是由Encoder(编码器)和Decoder(解码器)组成，下面将介绍如何使用Transformer实现基本篇章单元的抽取模型，结构图如图4所示。

Transformer是由6个编码器和6个解码器组成，其中Encoder结构图如图4左边所示，输入对象是一个长文本，因此，使用公式(1)对输入文本T_i进行Positional Encodings(位置编码)，

P_i＝PE(T_i) (1)

对于编码器的输入向量X_i，公式(2)将Inputs Encodings(输入编码)和Positional Encodings组成编码器的输入向量，

X_i＝[T_i，P_i] (2)

初始化三个矩阵W_q，W_k，W_v，使用公式(3)分别和X_i相乘，得到Q，W，V，

Q＝X_i×W_q (3)

对当前输入状态使用公式4，计算Attention，

使用多头注意力机制进一步计算，Multi-Head Attention(多头注意力)则是通过公式(5)、(6)对h个不同的线性变换对Q，K，V进行投影，最后将不同的Attention结果拼接起来。

MultiHead(Q，K，V)＝Concat(head₁，K，head_h)W^O _r (6)

接着对Multi-Head的输出Z进行一次相加归一化计算，再经过一个前馈网络，对输出Z通过公式(7)计算，

FFN(Z)＝max(0，ZW₁+b₁)W₂+b₂ (7)

最后再进行一次相加归一化计算，这样整个Encoder层就完成了。

对于Decoder层，如图4右边所示，结构和Encoder层相同，只是在最前面一层加上Masked Multi-Head Attention(多头注意力机制)，对于Decoder中的第一个多头注意力子层，需要添加Masking(掩饰层)，确保预测位置i的时候仅仅依赖于位置小于i的输出，确保预测第i个位置时不会接触到未来的信息。feed-forward是前馈。

在Decoder结束后，使用一个线性层做输出，通过公式(8)做分类，判断当前输入文本是否应该被抽取。

其中，1代表抽取，0代表不抽取。

本申请的另一个实施例中进行了实验。针对中文长文本，首先建立了一个中文长文本-摘要数据集，对于实验的设置，在三个维度上，设置了九组对比实验，证明了提出的BETES方法的有效性，在评测指标上，选择ROUGE评测指标。

数据集

在中文文本自动摘要领域，文本-摘要数据集比较少，目前主流的数据集有两个，分别是哈工大LCSTS新浪微博短文本新闻摘要数据集和NLPCC(2015、2017、2018)中文新闻摘要数据集，除了上述主流的公开语料库外，还有一些其他语料库，例如，教育新闻自动摘要语料库、娱乐新闻文本摘要语料库、中文科学文献数据集(CSL)等。然而，在这些常见语料库中，原文本和生成的摘要长度都较短，表2是对三个语料库的数据长度统计分析。

表2 语料库长度统计

数据集	文本平均长度	摘要长度
			LCSTS	112	14
NLPCC2017	1036	45
			CSL	235	20

由上表可以看出，当前主流的文本摘要数据集，文本和摘要的长度都很短，即使是NLPCC的数据集，长度只能是中篇文本，中文长文本摘要数据集目前处于缺失状态，符合一定长度要求的文本比较难获取，手动构建过程比较困难，会消耗大量人力和物力。针对中文长文本摘要语料库的不足的情况，构建了一个的中文长文本-摘要数据集，数据集的构建过程如下。

首先，在人工智能领域，选取了十个方向，数据来源为知网和万方文献网站，通过手动和自动相结合方法，获得中文长文科技文献，进而对文献构建摘要。

构建科技文献的摘要，摘要句的表达有着特定的表达方式，使用温浩[24]总结出的科技文献创新点语句的表达方式，提取出能够构建摘要的句子，同时将文献的原始摘要作为参考，将提取出来的句子和原始摘要进行筛选组合，并辅以人工过滤筛选，构建科技文献的摘要。

构建的中文长文本-摘要数据集，经过筛选和处理，有3208篇科技文献，经过统计分析，数据集的文本平均长度为3802，摘要平均长度为145。本申请实施例使用的语料库公开在以下网址。

https：//drive.google.com/file/d/1tfml9zC37WoTRfaNL6efjrrmcRbMizmq

对比实验

通过上述介绍的方法，在三个维度上进行对比实验，首先是文本向量化方法上的对比，其次是应用基本篇章单元方法的对比，最后是模型方法上的对比。

文本向量化实验：选择当前主流的中文文本向量化的方式，Word2Vec和GloVe词向量模型，来验证本申请实施例提出的文本向量化的有效性，Word2Vec和GloVe都采用中文维基百科的预训练模型，词向量设置为300维，对比实验采用BERT-Base-Chinese中文预训练模型。在抽取模型选择上，为了节省训练成本，只选取了简单的线性分类器进行训练，通过二元分类，进而抽取摘要句。

抽取模型对比实验：在模型的对比实验上，本申请实施例选择主流的摘要抽取模型方法，设置了四组对比实验，分别是：

1)强化学习抽取模型，使用Narayan[25]等提出的一种新颖的抽取方法，首先使用Glove对文本向量化表示，然后将句子选取概念化为对句子打分，通过强化学习目标来全局优化ROUGE评估指标，选取分数最高的句子。

2)双向LSTM神经网络抽取模型，以Bi-LSTM作为神经网络进行抽取模型训练也是当前主流的一种抽取式摘要的方法，使用Xiao[26]在论文中提出的Bi-LSTM摘要句抽取方法，使用Glove进行文本向量化，Bi-LSTM搭建神经网络进行训练，对文本进行摘要句的抽取。

3)Bi-LSTM+Attention抽取模型，在实验3的基础上，保持文本向量化相同，同时在LSTM的基础上加入Attention机制，这是当前在NLP领域比较常见的神经网络模型。

4)BETES模型方法是采用Bert进行文本向量化，使用Beet+Transformer抽取模型，为了实验的严谨性，排除Bert文本向量化带来的影响，仅对比在模型上的差距，使用Bert+Bi-LSTM，对原文Glove文本向量化替换为Bert文本向量化，这样就保证了在同一维度上的公平性。

基本篇章单元对比实验：除了上述文本向量化的对比实验，为了验证本申请实施例提出的BETES方法，以基本篇章单元作为更细粒度的抽取对象，在抽取式摘要任务中的有效性。在实验4的基础上，采用Bert进行文本向量化表示，通过基本篇章单元识别算法，获取文本的基本篇章单元，采用基于Transformer的神经网络抽取模型，以验证文本提出的BETES方法的最终效果。

实验过程

实验均在PyTorch 1.4.0环境上，采用4块TeslaV100 GPU并行训练，对比实验的方法详细介绍如下。

对比实验1中，采用简单的机器学习方法，只设置一个线性分类器，选择SoftMax分类器，在文本向量化之后，通过分类对句子进行分类，识别是否可以被选择为摘要句。

对比实验2中，由于原文数据集是英文，在文本向量化上，统一使用Glove词向量模型，词向量设置为200维，批次大小为20，每一批次训练20轮，学习率为0.001，损失函数采用文中提出的基于强化学习的损失函数。

对比实验3中，采用双向LSTM，其中，LSTM中隐藏单元数为300，每次训练数据的批次大小为128，学习率为0.0001，采用二元交叉熵损失函数，每个批次经过50轮的训练，多层感知机的最后一层为100维，最后通过1维线性层，计算句子被抽取的最大概率。

对比实验4中，Bert模型中dropout为0.1，隐藏层单元数为768，隐藏层数为12，采用glue激活函数，神经网络为两层transformer，学习率为0.002，经过10000步的训练，在最后一层为1维线性层，得出句子被抽取的概率。

在基本篇章单元对比实验中，实验过程在对比实验4的基础上，在得到文本向量化之后，通过本申请实施例提出的基本篇章单元识别方法，自动识别基本篇章单元，然后作为输入，利用Bert+Transformer的抽取方法进行训练，最终实现基本篇章单元的抽取。

实验结果及评测

本实施例的评测指标，使用ROUGE作为本申请实施例实验结果的评测指标，ROUGE是一种准对摘要生成任务的一种评测方法，现在已经成为应用最广泛的评测指标，分别计算ROUGE-1，ROUGE-2和ROUGE-L的F1值，来评测各个对比实验的结果，实验的结果如表3所示：

表3 实验结果

通过实验结果看出，在文本向量化模型的选择上，在保证抽取方法一致性的情况下，Word2Vec和GloVe词向量模型效果产局很小，而使用Bert进行文本向量化的效果，会比使用Word2Vec和GloVe词向量模型有着明显的提高。在摘要句的抽取模型上，排除文本向量化的影响，使用Bert+Transformer作为摘要抽取模型，效果会优于当前主流的摘要抽取模型。最后一个对比实验，在确定最优的抽取模型后，使用基本篇章单元作为更细粒度的抽取对象时，摘要句的抽取效果会进一步提高，因此，证明了所提出的BETES方法的有效性。

使用对比实验中得出的最优抽取模型Bert+Transformer对中文科技文献做抽取。同时，使用本申请实施例BETES方法作对比，实例对比结果如表5所示：

表5 实例对比结果

通过表6可以看出，在使用了最好的抽取模型Bert+Transformer对长文档进行摘要句抽取时，模型可以抽取句子数量是固定的，当数值较大时，会造成摘要的冗余，增大了模型的训练量，当数值较小时，可能未抽取到需要的句子，造成摘要句的缺失，影响最终摘要的准确性。而BETES方法以基本篇章单元作为更细粒度的抽取对象，在抽取句子过程中，很多多余信息，不必要抽取，对基本篇章单元进行抽取，可以降低抽取的摘要的冗余度，实现对更多信息进行抽取，避免了最终摘要信息缺失，最终，证明了本申请实施例方法的有效性。

本申请的实施例以中文长文本的摘要抽取为研究对象，提出一种BETES方法，基于规则和人工辅助筛选构建中文长文本-摘要语料库；利用Bert预处理模型进行文本向量化，更好地捕捉长文本上下文的语义，提升信息抽取的准确性；在识别中文长文本的基本篇章单元的基础上，以基本篇章单元为抽取对象，降低摘要抽取的冗余度；最后利用Transformer神经网络抽取模型，实现基本篇章单元的抽取，提升摘要句抽取的准确率。提出的BETES方法在中文长文本的抽取式摘要过程中提高了准确性，降低了冗余度，并且ROUGE分数优于主流的摘要抽取方法。

以上所述实施例仅表达了本申请的实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。