具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的基于反向提示的预训练模型文本生成方法和装置。

图1为本申请实施例一所提供的一种基于反向提示的预训练模型文本生成方法的流程图。

如图1所示，该基于反向提示的预训练模型文本生成方法包括以下步骤：

步骤101，将初始提示文本输入至大规模预训练模型中进行文本生成，生成第一条语句的多个候选语句；

步骤102，对多个候选语句进行文本筛选，按照候选语句的分数从高到低的顺序选择预设个数的候选语句作为备选语句；

步骤103，将每一个备选语句作为下一条语句的上文输入至大规模预训练模型中，生成下一条语句的多个候选语句；

步骤104，重复进行步骤102、步骤103，直到句子生成结束，选出分数最高的语句的组合作为最终生成文本。

本申请实施例的基于反向提示的预训练模型文本生成方法，通过步骤S1：将初始提示文本输入至大规模预训练模型中进行文本生成，生成第一条语句的多个候选语句；步骤S2：对多个候选语句进行文本筛选，按照候选语句的分数从高到低的顺序选择预设个数的候选语句作为备选语句；步骤S3：将每一个备选语句作为下一条语句的上文输入至大规模预训练模型中，生成下一条语句的多个候选语句；步骤S4：重复进行步骤S2、步骤S3，直到句子生成结束，选出分数最高的语句的组合作为最终生成文本。由此，能够解决现有方法大规模预训练模型生成结果与输入主题内容偏离的技术问题，同时也可以解决现有方法输入额外与主体相关的提示对生成结果与主题相关性的提升有局限性的技术问题，通过提出反向提示方法，改进束搜索中的束评分函数，增强了提示与生成的文本之间的相关性，提供了更好的可控性。同时本申请提出的反向提示方法，利用对偶的过程去增强人工智能的文本生成能力，不需要额外的属性模型训练或人工手动定义模式，直接使用原始语言模型本身来提高其生成能力，并且已经在实际应用中取得了较好的效果。

进一步地，在本申请实施例中，大规模预训练模型用于根据输入的文本进行文本生成，文本生成具体为：

给定一个具有概率分布的语言模型，通过束搜索实现最大化条件概率，完成文本生成。

进一步地，在本申请实施例中，对多个候选语句进行文本筛选，包括：

根据大规模预训练模型的当前输入语句和对应生成的多个候选语句构建多对反向提示文本，其中，候选语句的数量与反向提示文本的数量相同，每对反向提示文本包括输入文本和评估文本，输入文本为当前输入语句，评估文本为对应生成的多个候选语句中的一条候选语句；

将反向提示文本输入大规模预训练模型中，生成新的文本；

将新的文本的模型编码的向量中心与评估文本的向量中心做相似度计算，计算得到的值作为对应候选语句的分数，其中，候选语句的分数与候选语句与输入语句的相似度呈正相关；

根据候选语句的分数选择预设个数的候选语句作为备选语句。

输入初始提示文本，模型开始生成文本，每生成一句话(当生成一个标点符号，并且本句生成的字数大于25个，定义为一句话)，需要做本组的文本筛选。机器写诗应用，初始提示文本是："主题 作者:作者名 体裁:诗歌题名:主题 正文:"。(其中斜体加粗是可变的输入)。例如：希望模型做一首李白写的以大山为题的诗，提示文本就是："大山作者: 李白体裁:诗歌题名:大山正文:"。

在生成每一句时，生成本句的10个候选句子，将每个候选句子与初始提示文本根据具体的应用特点构造响应的10对反向提示文本。反向提示文本有2部分，1部分是输入文本， 1部分是评估文本。反向提示文本是由给定的一段生成的文本构建而来的。具体地，输入提示文本："大山作者:李白体裁:诗歌题名:大山正文:"后，大规模预训练模型可以输出本诗的第一句，在这里，设定的候选句有4个，分别是“朝来入破一山中”、“朝来横盘硬卧中”、“朝起浮云入苍苔”、“日光寒涧碧色间”。根据此4句候选和原始的输入提示文本，构建反向提示文本。因此，反向提示文本由两部分组成，一是4句反向提示输入文本，二是1句反向提示评估文本。

将本组的10对反向提示文本输入模型，生成n个文本，在分别用这10个生成的文本的模型编码的向量中心与评估文本的向量中心作相似度计算，将这个值作为对应候选句子的得分。在“开放域中文诗歌生成”的机器写诗的应用中，根据预训练模型计算给定反向提示c_p时原始提示c_g的条件似然函数记为f(c_g|c_p)。条件似然函数f(c_g|c_p)可以被用在束搜索(beam search)中的束搜索评分函数f(·)来选择最佳候选句，即：

分别将生成的反向提示输入文本输入到模型，输出生成文本的向量表示，再分别计算每句的中心向量s’∈c_g，同时将反向提示评估文本用模型进行向量表示编码，并且计算中心向量c’_p，最后计算这2个中心向量c’_p和s’的束搜索评分函数f(·)，以此相似度计算作为每句的得分，组成本组候选句子。

从本组候选句子中，选择分数最高的m句(m可预设)作为下一句的上文分别输入模型。

进一步地，在本申请实施例中，采用改进后的束搜索评分函数进行相似度计算，改进后的束搜索评分函数表示为：

f(c_g|c_p)＝logp(c'_p|c'_g)

其中，c'_p为反向提示文本中的评估文本，c'_g为采用了新格式的反向提示文本，c_g为模型生成的文本，c_p为提示文本，p(·)为最大化条件概率。

给定一个具有概率分布p的语言模型，一种简单且广泛使用的文本生成的方法是最大化条件概率p(c_g|c_p)。这通常是通过束搜索(beam search)来实现的。在束大小为n的情况下，束搜索根据束搜索评分函数f(·)在解码期间保持前n个序列。常用的束评分函数是利用对数似然函数去定义的，即f(c_g|c_p)＝logp(c_g|c_p)。

影响生成文本质量的一个重要原因就是，随着文本的不断生成，文本逐渐变得与给定的提示无关。当给定提示和生成的句子之间的距离变大时，会阻止生成器与提示保持紧密的联系。为了缓解这个问题，提出了一种新颖的束搜索评分函数f(·)，如公式 f(c_g|c_p)＝logp(c_p|c_g)所定义，该功能可以评估反向对数似然；如果可以从文本中生成提示，则提示应该彼此非常相关。

简单地以反向的方式阅读文本，文本必然是不流畅的。简单的反向定义可能会导致学习失败。由于自然语言的本质，存在一些方法可以重新排列上下文，使它们正确地以相反的顺序出现。为了实现反向提示，采用改进后的束搜索评分函数f(c_g|c_p)＝logp(c'_p|c'_g)。反向提示根据束的似然函数对不同的束进行排序，从而以反向方式产生原始提示，以促进生成最相关的文本。只要语言支持反向结构以适当的方式重新排列提示和上下文，就可以使用反向提示。

用于大规模预训练模型中的“开放域中文诗歌生成”的技术，根据语言模型LM随机生成子句，并在子句级使用反向提示进行束搜索。对每个子句应用反向提示并对其求和。为了使生成的上下文流畅，将分数与归一化的前向困惑相结合。此外，还在束搜索中添加了一种诗式术语l_format(c_g)，这会根据上下文违反节奏或音调的程度来惩罚上下文。“开放域中文诗歌生成”的束搜索的评分函数定义如下：

进一步地，在本申请实施例中，随机选择初始提示文本，使用大规模预训练模型产生最终生成文本，之后将最终生成文本的大规模预训练模型进行微调，多次循环，达到训练大规模预训练模型的目的。

“开放域中文诗歌生成”需要AI根据相对较短的提示来生成长而深入的上下文，展示反向提示的出色表现。采用在通用语料库上预先训练的大规模语言模型，并利用反向提示来增强其生成质量。

鉴于该模型是在包含很少的诗歌格式文本的现代中文文本上进行训练的，因此它几乎无法生成完全遵循诗歌格式的文本，同时又无法与给定标题保持高度相关性。因此，为了提高其性能，尝试使用AlphaGo-Zero中的生成和微调自训练协议来完成此任务。首先随机选择1500个标题，然后让模型产生基于它们的诗歌。然后，将这些生成的诗歌中的模型微调2000步。此循环可以重复多次。经过微调的模型更有可能生成具有更好的诗歌格式和其他诗歌特定属性(例如美学)的句子，而又不会失去它们与给定标题的相关性。

图2为本申请实施例的基于反向提示的预训练模型文本生成方法的语言模型生成和语言模型反向提示的详细说明图。

如图2所示，在基于反向提示的预训练模型文本生成方法中，反向提示根据束的似然函数对不同的束进行排序，从而以反向方式产生原始提示，以促进生成最相关的文本。只要语言支持反向结构以适当的方式重新排列提示和上下文，就可以使用反向提示。反向提示是一种简单、易实现的方法，不需要额外的模型或数据处理，反向提示分数可以通过相同的生成式语言模型简单地计算得到，反向提示极大地改善了所生成文本的质量。

图3为本申请实施例的基于反向提示的预训练模型文本生成方法的文本生成过程示意图。

如图3所示，该基于反向提示的预训练模型文本生成方法包括：步骤1，模型输出初始提示文本，输入初始提示文本，模型开始生成文本；步骤2，构建反向提示文本，根据候选句子与初始提示文本构造反向提示文本，反向提示文本有2部分，1部分是输入文本， 1部分是评估文本；步骤3，筛选候选句，将反向提示文本输入模型，生成n个文本，分别用生成的文本的模型编码的向量中心与评估文本的向量中心作相似度计算，将这个值作为对应候选句子的得分；步骤4，确定下一次输入，选择分数最高的m句(m可预设)作为下一句的上文分别输入模型；步骤5，获得最终的生成文本，重复步骤二到四，直到句子生成结束，最终选出分数最高的句子的组合作为本次文本的最终生成。

图4为本申请实施例的基于反向提示的预训练模型文本生成方法的构建提示分本图。

如图4所示，该基于反向提示的预训练模型文本生成方法，在机器写诗应用中，根据4 句候选句分别生成4句反向提示输入文本和1句反向提示评估文本，具体地，输入提示文本："大山作者:李白体裁:诗歌题名:大山正文:"后，大规模预训练模型可以输出本诗的第一句，在这里，设定的候选句有4个，分别是“朝来入破一山中”、“朝来横盘硬卧中”、“朝起浮云入苍苔”、“日光寒涧碧色间”。根据此4句候选和原始的输入提示文本，构建反向提示文本，反向提示文本由两部分组成，一是4句反向提示输入文本，二是 1句反向提示评估文本。

图5为本申请实施例的基于反向提示的预训练模型文本生成方法的筛选候选句图。

如图5所示，该基于反向提示的预训练模型文本生成方法，在“开放域中文诗歌生成”的机器写诗的应用中，根据预训练模型计算给定反向提示c_p时原始提示c_g的条件似然函数记为f(c_g|c_p)，分别将生成的反向提示输入文本输入到模型，输出生成文本的向量表示，再分别计算每句的中心向量s’∈c_g，同时将反向提示评估文本用模型进行向量表示编码，并且计算中心向量c’_p，最后计算这2个中心向量c’_p和s’的束搜索评分函数f(·)，以此相似度计算作为每句的得分，组成本组候选句子。

图6为本申请实施例的基于反向提示的预训练模型文本生成方法的以纽约为标题的中国传统诗歌的生成流程图。

如图6所示，为了更加详细的说明机器写诗的整个流程，机器写诗应用以纽约为标题生成的中国传统诗歌，不仅结合了纽约的现代概念，例如曼哈顿和金融中心，而且结合了传统形式，如云雾与雨水的传统诗意意象。在这项任务上，人类专家的评估表明，反向提示的效果明显优于提示基线。

在图灵测试(也称为模仿游戏)中，要求人类询问者区分生成的诗歌和人类诗歌。一个在线游戏平台，任何玩家都可以不受限制地参与其中。在游戏中，给每个玩家几对诗歌，每对诗歌包含一首人类诗人写的诗，另一首由AI在同一标题下产生。在游戏中，玩家需要弄清楚人类诗人写的是哪首诗，生成1,500对诗歌，并为每个游戏随机显示5对诗歌。从370 个不同的用户那里收集了1,656个游戏记录，平均响应时间为23.9秒。每个游戏记录都涉及人类诗歌和AI诗歌之间的二进制选择。45.2％的用户记录选择AI诗歌，其余54.8％的选择人类诗歌，这表明通过反向提示+针对特定领域的标题进行自训练生成的诗歌质量对于普通在线用户而言可能接近人类水平。

为了实现上述实施例，本申请还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现上述实施例的基于反向提示的预训练模型文本生成方法。

为了实现上述实施例，本申请还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的基于反向提示的预训练模型文本生成方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。