具体实施方式

为了使本技术领域的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本实施例，提供了一种预训练语言模型的评测方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的计算设备中执行。图2示出了一种用于实现预训练语言模型的评测方法的计算设备的硬件结构框图。如图2所示，计算设备可以包括一个或多个处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器、以及用于通信功能的传输装置。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算设备还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。

应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本实施例中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算设备中的其他元件中的任意一个内。如本公开实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器可用于存储应用软件的软件程序以及模块，如本公开实施例中的预训练语言模型的评测方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的预训练语言模型的评测方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算设备的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算设备的用户界面进行交互。

此处需要说明的是，在一些可选实施例中，上述图2所示的计算设备可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图2仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算设备中的部件的类型。

图3是根据本实施例所述的预训练语言模型评测系统的示意图。参照图3所示，该系统100包括：预训练语言模型输入接口110以及探针模组120。其中预训练语言模型输入接口110用于接收待评测的预训练语言模型以及接收待评测的语言知识能力的信息，探针模组120根据所接收的待评测的语言知识能力的信息，选取相应的探针任务对预训练语言模型进行评测。

并且进一步参考图3所示，探针模组120包括多个用于对预训练语言模型的不同语言知识能力进行评测的探针任务。例如，探针模组120包括用于对预训练语言模型的句法知识能力进行评测的句法知识探针任务、用于对预训练语言模型的语义知识能力进行评测的语义知识探针任务、用于对预训练语言模型的事实知识能力进行评测的事实知识探针任务以及用于对预训练语言模型的推理能力进行评测的推理能力探针任务。

作为示例，本实施例针对英语单词的主谓一致设计句法知识探针任务，因为它反映了重要的句法属性，包括动词的时态、名词的单复数、人称以及形容词的比较级和最高级。进一步地，本实施例将该任务定义为选择题，每个题目具有2-4个选项，每个选项代表目标词的不同形式。下面所示的表1包含了具体的示例，模型需要根据上下文线索，如two、soul和stepped，找到对应的正确答案分别是daughters、bless和open。

作为示例，本实施例从词义消歧的角度定义语义知识探针任务，让预训练语言模型判断一个多义词在不同句子中是否具备相同的义项。具体来说，本实施例将该任务定义为语义知识测试问题。本实施例提出的语义知识测试问题由同一个多义词的三个例句构成，其中一个句子中的目标词与其他两个句子含义不同。如表1所示，在这三个句子中，appeal的意义是不同的。在句子a和b中，指的是一个严肃或紧急的请求，而在句子c中，指的是有吸引力或者有趣。预训练语言模型应该从三个例句中找出哪两个句子使用了同一个义项。

作为示例，本实施例将事实知识探针任务定义为填空任务，选取具备一定事实知识的句子，将其中的实体挖空生成问题，预训练语言模型需要对句子进行补全。表1中的例子显示，需要获取的是著名作家Jack London的国籍，预训练语言模型需要对缺失部分进行正确填充。

作为示例，本实施例将指代消解问题转换为选择题，进而定义推理能力探针任务。如表1所示，预训练语言模型需要理解fit的含义，并且可以根据奖杯不适合放入手提箱这一事实，推断出奖杯比手提箱大，最后得出奖杯和手提箱各自的大小情况，完成相应的选择。

表1：各项任务示例

综上，本实施例提出的探针任务包含三类问题：用于测试句法知识和推理能力的选择题、测试语义知识的向量相似度问题，以及测试事实知识的填空题。选择题和填空题都可以使用同一种方法进行解决，唯一的区别是候选项是否给出。这三类问题可以由预训练语言模型直接解决，不需要额外的微调或训练。在构建数据集时，本发明仔细选择了词汇和源语料库，以确保：(1)目标词可以从主流的预训练语言模型的词表中检索出来；(2)知识可以从自然文本中提取，而非模板生成；以及(3)数据集是大规模并且均衡的。表2示出了本实施例构建的数据集概况，具体的构建方法如下。

构建句法知识探针数据集：为了构建目标词表，本实施例首先获取了BERT和RoBERTa词表中的公共部分。其中所有的词都经过WordNet、拼写检查工具Enchant和一些英语词表资源的验证，去除了不规则的词和子词。然后本实施例使用Pattern工具来识别单词的形态变化，包括名词的单复数、动词变位以及形容词的比较级和最高级，因此可以将单词还原为原始的形式。随后本实施例进行数据抽样。考虑到数据的平衡性，本实施例最终选取了1062组词汇，共包含3186个目标单词。每组词汇由2个、3个或4个相同原始词汇形式的单词构成。对于每个目标词，本实施例从COHA(Corpus ofHistorical American)平衡语料库中随机抽取10个句子,同时保证目标词在句子中只出现一次，句子长度在10到60个单词之间，长度以5为间隔，如[10,14]、[15,19]或[20,24]等。然后，本实施例将句子中的目标词替换为[MASK]，并使用和目标词同一组的剩余词作为干扰项，最终得到了31,860组数据构成句法知识探针数据集。

构建语义知识探针数据集：本实施例使用句法知识探针数据集中的词汇表，从牛津词典中检索单词的释义和例句，保留至少拥有两个义项的多义词。对于一个多义词的每个义项，本实施例选择两个例句作为正样本，其余义项的例句作为负样本。同时保证目标词在例句中只出现一次，每个例句的长度被限制在10到25个词之间。最后得到了关于4,676个词的35,735组数据构成语义知识探针数据集。

构建事实知识探针数据集：本发明使用FewRel和KBP37大规模关系抽取数据集构建事实知识探针数据集。这两个数据集中的知识三元组信息是人工标注的，并且包含原始的自然句，可以作为高质量的数据源。在此基础上，本实施例删除标注的实体包括代词和数字的句子，并且让实体在句子中只出现一次；然后保留了样本数大于200的关系类型，以确保用于测试的关系是常见通用的；最后将句子中的实体替换为[MASK]。本实施例从FewRel中获取了5742个问题，涉及到17种关系；从KBP37中获取了7190个问题，涉及到10种关系，将二者合并组成了事实知识探针数据集。

构建推理能力探针数据集：本发明使用WinoGrande作为数据源来构建推理能力探针数据集，该数据集去掉了系统性的偏差，即不需要理解文本就可以猜到正确答案的部分，适合用于评估模型的推理能力。本发明将句子中的代词替换为了[MASK]，并且直接使用源数据中的候选项作为选项，最终得到了3248个问题。

表2：探针数据集概览

从而，通过以上方式，完成对各个探针任务的探针问题的探针数据集的构建。

此外，需要说明的是，图3所示的预训练语言模型评测系统适用上面图2所述的硬件结构。

在上述运行环境下，根据本实施例的第一个方面，提供了一种预训练语言模型的评测方法，该方法由图3中所示的预训练语言模型评测系统100实现。图4示出了该方法的流程示意图，参考图4所示，该方法包括：

S402：确定用于评测预训练语言模型的指定语言知识能力的探针任务；

S404：获取与探针任务相关的探针问题，其中探针问题包括至少一个用于对指定语言知识能力进行评测的语句，并且语句包括用于对指定语言知识能力进行评测的测试文本；以及

S406：利用预训练语言模型生成与语句相关联的向量集合，向量集合包括分别与语句的文本对应的语境向量；以及

S408：利用预先设置的探针模型，根据与测试文本对应的语境向量对指定语言知识能力进行评测，其中探针模型为不需要对参数进行更新的计算模型。

具体地，参考图3和图5所示，当工作人员通过预训练语言模型评测系统100对预训练语言模型进行评测时，可以通过预训练语言模型输入接口110接收待评测的预训练语言模型，并且通过探针模组120对预训练语言模型进行评测。其中探针模组120对训练语言模型进行评测的过程参考图5所示。

首先，探针模组120根据工作人员输入的待评测的语言知识能力来确定相应的探针任务。例如工作人员请求对预训练语言模型的句法知识能力、语义知识能力、事实知识能力以及推理能力中的一种或多种语言知识能力进行评测。从而探针模组120可以逐一对以上语言知识能力进行评测。其中对于每一项指定的语言知识能力的评测过程中，探针模组120首先确定用于当前评测的语言知识能力(即指定语言知识能力)的探针任务(S402)。

然后探针模组120获取与该探针任务相关的探针问题(S404)，参考前文所述以及图5所示，如果探针模组120对预训练语言模型的事实知识能力进行评测，则获取与该探针任务相关的填空题。如果探针模组120对预训练语言模型的句法知识能力或者推理能力进行评测，则获取与该探针任务相关的选择题。如果探针模组120对预训练语言模型的语义知识能力进行评测，则获取与该探针任务相关的向量相似度问题。其中，正如上面表1和表2所示，探针问题包括一个或多个与待评测的语言知识能力相关的语句，并且语句中包括用于隐藏相应位置处的字词的掩码标识[MASK]或者是具有不同词义的多义词(例如，“appeal”)，也就是上面所述的测试文本。

然后参考图5所示，探针模组120会利用预训练语言模型对探针问题的语句进行编码，从而生成与该语句相关的向量集合，其中该向量集合包括与该语句中的文本对应的语境向量(S406)。

然后，进一步参考图5所示，探针模组120会继续利用与相应的探针任务对应的探针模型，根据与掩码标识[MASK]或者多义词对应的语境向量，对预训练语言模型的该语言知识能力进行评测(S408)。并且，该探针模型不需要对参数进行更新，因此也就不需要对该探针模型进行训练。用探针模型对该语言知识能力进行评测的具体过程，下文将详细说明。

正如背景技术中所述的，现有的对预训练语言模型进行评测的基准所评测的是预训练语言模型的微调能力，而非通用的语言理解能力。而现有的探针由于在评测过程中需要额外训练探针分类器，因此无法判断知识编码于预训练语言模型中，还是存在于探针分类器中，亦或受到二者的共同作用，因此当前的探针任务无法测试预训练语言模型本身的知识。

有鉴于此，本实施例的技术方案在用于构建用于评测预训练语言模型的语言知识能力的探针任务时，首先构建与该探针任务相关的探针问题，并且与该探针问题相关的语句中包含有用于对该语言知识能力进行评测的测试文本(例如掩码标识或者是多义词)。然后，本实施例的技术方案将与探针问题相关的语句输入至预训练语言模型从而得到与该语句对应的向量集合。然后，本实施例的技术方案根据与测试文本对应的语境向量，利用探针模型进行该语言知识能力的评测。由于，本实施例是根据与测试文本对应的语境向量来对预训练语言模型的语言知识能力进行评测，因此在评测过程中不需要对预训练语言模型进行训练(即微调)，也不需要对探针模型进行额外的训练，从而不会干扰对预训练语言模型的评测，从而解决了现有技术中存在的对预训练语言模型进行评测的方法需要对预训练语言模型进行微调或者是对探针分类器进行额外训练，从而干扰预训练语言模型的知识评测结果的技术问题。

可选地，探针模型包括与探针问题对应的解题函数。其中解题函数将与测试文本对应的语境向量作为输入参数并且解题函数的参数固定。并且其中，利用预先设置的探针模型，根据与测试文本对应的语境向量对指定语言知识能力进行评测的操作，包括：将与测试文本对应的语境向量输入解题函数进行计算；以及根据解题函数的计算结果，对指定语言知识能力进行评测。

具体地，根据本实施例的方法，探针模组120在实施句法知识探针任务、推理探针任务以及事实知识探针任务的过程中，可以通过探针模型的解题函数根据与掩码标识对应的语境向量计算得到掩码标识所掩藏的字词为预设词库中的各个字词的概率值。然后探针模组120进一步根据所计算的概率确定相应的探针问题的预测结果并根据预测结果来对预训练语言模型的句法知识能力、推理能力以及事实知识能力进行评测。

此外，探针模组120在实施语义知识探针任务的过程中，可以通过探针模型的解题函数根据多义词的语境向量计算各个多义词语境向量之间的相似度(例如距离或者余弦相似度等)。然后探针模组120进一步根据所计算的相似度来对预训练语言模型的语义知识能力进行评测。

而关于具体的解题函数自己具体的评测过程将在下文中详细说明。

从而根据本实施例所述的方法，可以通过比较简单并且参数固定的解题函数，根据与测试文本对应的语境向量进行预训练语言模型的语言知识能力的评测。由于采用了比较简单的解题函数来构建探针模型，因此在预训练语言模型的评测过程中也就不需要对探针模型进行训练，从而避免了对探针分类器进行训练而对预训练语言模型的评测构成干扰。

可选地，根据解题函数的计算结果，对指定语言知识能力进行评测的操作，包括：根据预先设置的与探针问题对应的参考答案，判定解题函数的计算结果是否正确，得到与探针问题对应的判定结果；以及根据与探针任务相关的多个探针问题所对应的判定结果，确定预训练语言模型相对于探针任务的正确率；以及根据正确率对预训练语言模型的指定语言知识能力进行评测。

具体地，参考上文中表1和表2以及相关内容的描述，本实施例的技术方案针对各个不同的探针任务都构建了相应的探针数据集。各个探针数据集都包含了大量的问题以及相应的参考答案。

从而探针模组120例如在对预训练语言模型的句法知识能力进行评测时，可以从句法探针数据集中选取多个选择题。然后利用探针模型分别对各个选择题进行预测，并判定探针模型对各个选择题的预测是否正确。从而探针模组120可以根据各个选择题的判定结果，确定该预训练语言模型在该句法知识探针任务下的正确率。从而探针模组120进一步根据预训练语言模型在句法知识探针任务下的正确率，评测预训练语言模型的句法知识能力。

类似地，探针模组120在对预训练语言模型的推理能力、事实知识能力以及语义知识能力进行评测时。也分别利用各个探针任务的数据集中的问题对该预训练语言模型进行评测，从而确定该预训练语言模型在各个探针任务下对问题预测的正确率，并根据所确定的正确率确定该预训练语言模型的各个语言知识能力。例如正确率越高，说明预训练语言模型的相应的语言知识能力越强。反之，正确率越低，则说明预训练语言模型的相应的语言知识能力越弱。

可选地，探针问题包括一个语句，并且语句所包括的测试文本为掩码标识，掩码标识用于指示与该掩码标识的位置所对应的字词被掩藏。并且其中，将与测试文本对应的语境向量输入解题函数进行计算，以及根据解题函数的计算结果，对指定语言知识能力进行评测的操作，包括：利用解题函数，根据与掩码标识对应的语境向量确定与掩码标识对应的预测字词；判定预测字词是否为掩码标识所掩藏的字词；以及根据判定的判定结果对预训练语言模型的指定语言知识能力进行评测。

具体地，参考表1所示，句法知识探针任务、推理探针任务以及事实知识探针任务的数据集的问题包括掩码标识[MASK]，该掩码标识[MASK]指示在相应位置处的字词被掩藏，需要预训练语言模型根据上下文预测被掩藏的字词。从而当探针模组120在评测预训练语言模型的句法知识能力、推理能力或者事实知识能力时，会将相应探针问题包含掩码标识[MASK]的语句输入至预训练语言模型，从而预训练语言模型会生成与该语句对应的向量集合。

然后，探针模组120会利用与探针任务对应的解题函数，根据与掩码标识[MASK]对应的语境向量，确定与掩码标识[MASK]对应的预测字词。然后探针模组120根据预先设置的与探针问题对应的参考答案判定预训练语言模型所确定预测字词是否正确。

然后探针模组120根据判定结果对预训练语言模型相应的语言知识能力进行评测。例如，如上面所述的那样，探针模组120会利用预训练语言模型对与指定的语言知识能力对应的探针任务的多个探针问题进行预测，并利用与各个探针问题相关的判定结果确定预训练语言模型对多个探针问题进行预测的正确率，然后根据所确定的正确率对预训练语言模型的该语言知识能力进行评测。

可选地，利用解题函数，根据与掩码标识对应的语境向量确定与掩码标识对应的预测字词的操作，包括：利用解题函数，确定与掩码标识对应的语境向量相对于预设词库中的各个字词的概率；以及根据所确定的概率，从与掩码标识对应的多个候选字词中确定预测字词，其中多个候选字词为预设词库中的字词。

具体地，参考表1所示，句法探针任务和推理探针任务所对应的问题都是选择题，因此其探针模型的处理方式类似。因此本实施例提出了按照以下方式对选择题进行预测：

例如，针对句法探针任务的问题中的语句“By 1980,they had two[MASK],andLeavell’s career was soaring.”，探针模组120首先利用预训练语言模型生成与该语句对应的向量集合，具体如下所示：

[h₁,h₂,h₃,…,h_T]＝f_enc(w₁,w₂,w₃,…,w_T) (1)

例如，其中w₁～w_T代表上述语句所包含的文本序列，f_enc代表预训练语言模型的编码操作。

然后探针模组120根据公式(1)得到的向量集合，提取到掩码标识[MASK]的位置所对应的语境向量h_target。

然后探针模组120根据公式(2)将语境向量h_target通过一个线性层，将语境向量h_target变换到另一个特征空间。

h_dense＝W₁h_target+b₁ (2)

其中W₁为权重矩阵，b₁为偏置向量。

然后，探针模组120根据公式(3)所示的GELU激活函数对向量h_dense进行处理，从而增加探针模型的非线性表达能力。即将h_dense中所有小于0的元素都取0值。

h_act＝max(0,h_dense) (3)

然后，探针模组120利用以下公式对向量h_act进行归一化处理，从而有助于得到均值为0，方差为1的高斯分布的词嵌入表示，有助于对一词多义空间进行约束。

h_hidden＝LayerNorm(h_act) (4)

其中关于LayerNorm函数参考以下公式定义：

计算向量h_act的各个元素的均值，其中d_model为向量h_act的元素的数量，其与语境向量的元素的数量相等，h_i为向量h_act的元素。

计算向量h_act的各个元素的方差，

其中参数γ和β可以提前随着预训练语言模型的网络一起训练得到。

然后，探针模组120利用softmax函数对向量h_hidden进行处理，从而得到与词库中各个字词相对应的概率：

[p₁,p₂,p₃,......,p_v]＝softmax(W₂h_hidden+b₂) (8)，

其中p₁至p_v代表掩码标识[MASK]所隐藏的字词为词库中的各个字词的概率。其中W₂为转换矩阵，使得转换后的向量的元素的数量与词表中字词的数量相等，b₂为偏置向量。

从而通过以上方式，探针模组120利用解题函数(即公式(2)～(8))，根据掩码标识[MASK]所对应的语境向量h_target计算出该掩码标识[MASK]所掩藏的字词为词库中的各个字词的概率p₁至p_v。

然后，参考表1所示，由于该问题对应有候选项daughter/-s，因此探针模组120从这两个候选项中选取概率值最高的候选项作为预训练语言模型所预测的由掩码标识[MASK]掩藏的字词(即预测字词)。

尽管以上是以问题“By 1980,they had two[MASK],and Leavell’s career wassoaring.”作为示例进行说明，但是在本发明中，其他选择题以及其他以选择题形式构建的探针任务也适用于上述方式。

从而通过这种方式，不必对探针分类器进行额外训练，本实施例只需要通过对与掩码标识对应的语境向量进行线性变换以及进行统计函数的处理，即可对预训练语言模型的语言知识能力进行评测。从而在消除由探针分类器的额外训练带来的干扰的同时，以更能够客观反映预训练语言模型的语言知识能力的方式对与训练语言模型的语言知识能力进行评测。

可选地，指定语言知识能力为句法知识能力，并且其中掩码标识所掩藏的字词用于评测预训练语言模型的句法知识能力；或者指定语言知识能力为推理能力，并且其中掩码标识所掩藏的字词用于评测预训练语言模型的推理能力。正如上面表1所示的，句法知识探针任务和推理探针任务的问题都是选择题形式，因此适用于上面所述的方法来对预训练语言模型的语言知识能力进行评测。

可选地，利用解题函数，根据与掩码标识对应的语境向量确定与掩码标识对应的预测字词的操作，包括：利用解题函数，确定与掩码标识对应的语境向量相对于预设词库中的各个字词的概率；以及根据所确定的概率，直接从预设词库中确定预测字词。

参考表1所示，事实知识探针任务所对应的问题是填空题，因此本实施例提出了按照上面公式(2)至公式(8)直接计算掩码标识[MASK]所掩藏的字词为词库中的各个字词的概率p₁至p_v。并且将词库中概率值最高的字词预测为掩码标识[MASK]所掩藏的字词。

从而通过这种方式，不必对探针分类器进行额外训练，本实施例只需要通过对与掩码标识对应的语境向量进行线性变换以及进行统计函数的处理，即可对预训练语言模型的语言知识能力进行评测。从而在消除由探针分类器的额外训练带来的干扰的同时，以更能够客观反映预训练语言模型的语言知识能力的方式对与训练语言模型的语言知识能力进行评测。

并且可选地，指定语言知识能力为事实知识能力，并且其中掩码标识所掩藏的字词用于评测预训练语言模型的事实知识能力。

正如上面表1所示的，事实知识探针任务的问题是填空题形式，因此适用于上面所述的方法来对预训练语言模型的语言知识能力进行评测。

此外，尽管本实施例中，句法知识探针任务和推理探针任务的问题是选择题形式，而事实知识探针任务的问题是填空题。但是具体的问题形式并不是固定不变的。例如句法知识探针任务的问题也可以采用填空题的形式，而事实知识探针任务的问题也可以是选择题的形式，此处不再赘述。

可选地，其中指定语言知识能力为语义知识能力，探针问题包括多个语句，并且测试文本为分别设置于多个语句中多义词。并且其中，利用预训练语言模型生成与语句相关联的向量集合的操作，包括：利用预训练语言模型生成分别与多个语句相关联的多个向量集合。并且其中将与测试文本对应的语境向量输入解题函数进行计算，以及根据解题函数的计算结果，对指定语言知识能力进行评测的操作，包括：提取多个向量集合所包含的与多义词对应的多义词向量；利用解题函数计算所提取的多义词向量之间的相似度；根据所提取的各个多义词向量之间的相似度，确定多义词的词义接近的语句；判定所确定的多义词的词义接近的语句是否正确，并根据判定的判定结果对预训练语言模型的语义知识能力进行评测。

具体地，参考表1所示，本实施例中的语义知识探针任务的题目形式是提供多个分别包含有多义词(例如“appeal”)的语句(例如表1中示出的语句a～c)，由预训练语言模型来预测哪些语句中的多义词的语义更加接近。

针对这样的问题，探针模组120首先利用预训练语言模型生成与每个语句对应的向量集合。以上面表1中示出的语句a～c为例，探针模组120首先根据公式(1)，利用预训练语言模型分别生成与语句a～c相对应的向量集合。然后探针模组120从与语句a对应的向量集合中提取与语句a中的多义词“appeal”对应的语境向量h_a，从与语句b对应的向量集合中提取与语句b中的多义词“appeal”对应的语境向量h_b，以及从与语句c对应的向量集合中提取与语句c中的多义词“appeal”对应的语境向量h_c。

然后，探针模组120利用以下所示的公式(9)分别计算各个向量彼此之间的余弦向量相似度cos(a,b)、cos(b,c)以及cos(a,c)：

然后，探针模组120根据所计算的相似度确定语句a～c中多义词“appeal”的语义最接近的两个句子。例如，如果cos(a,b)最高，则说明预训练语言模型预测语句a和语句b中多义词“appeal”的语义最接近；如果cos(b,c)最高，则说明预训练语言模型预测语句b和语句c中多义词“appeal”的语义最接近；如果cos(a,c)最高，则说明预训练语言模型预测语句a和语句c中多义词“appeal”的语义最接近。

然后探针模组120根据参考答案判定预训练语言模型的预测是否准确，并且根据判定结果来对预训练语言模型的语义知识能力进行评测。具体地，例如探针模组120可以利用预训练语言模型对语义知识探针任务中的多个问题进行预测，并且根据预训练语言模型预测的正确率对预训练语言模型的语义知识能力进行评测。

从而通过以上方式，本实施例只需要通过比较简单的运算即可实现探针任务，从而在消除由探针分类器的额外训练带来的干扰的同时，以更能够客观反映预训练语言模型的语言知识能力的方式对与训练语言模型的语言知识能力进行评测。此外，尽管上文中是以余弦向量相似度进行说明的，但是也可以使用其他的用于反映相似度的方式，例如可以使用语境向量a～c之间的距离来替代上面所述的余弦向量相似度。

此外，参考图2所示，根据本实施例的第二个方面，提供了一种存储介质。所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行以上任意一项所述的方法。

从而，本实施例的技术方案在用于构建用于评测预训练语言模型的语言知识能力的探针任务时，首先构建与该探针任务相关的探针问题，并且与该探针问题相关的语句中包含有用于对该语言知识能力进行评测的测试文本(例如掩码标识或者是多义词)。然后，本实施例的技术方案将与探针问题相关的语句输入至预训练语言模型从而得到与该语句对应的向量集合。然后，本实施例的技术方案根据与测试文本对应的语境向量，利用探针模型进行该语言能力的评测。由于，本实施例是根据与测试文本对应的语境向量来对预训练语言模型的语言知识能力进行评测，因此在评测过程中不需要对预训练语言模型进行训练(即微调)，也不需要对探针模型进行额外的训练，从而不会干扰对预训练语言模型的评测，从而解决了现有技术中存在的对预训练语言模型进行评测的方法需要对预训练语言模型进行微调或者是对探针分类器进行额外训练，从而干扰预训练语言模型的知识评测结果的技术问题。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

图6示出了根据本实施例的第一个方面所述的预训练语言模型的评测装置600，该装置600与根据实施例1的第一个方面所述的方法相对应。参考图6所示，该装置600包括：探针任务确定模块610，用于确定用于评测预训练语言模型的指定语言知识能力的探针任务；探针问题获取模块620，用于获取与探针任务相关的探针问题，其中探针问题包括至少一个用于对指定语言知识能力进行评测的语句，并且语句包括用于对指定语言知识能力进行评测的测试文本；向量集合生成模块630，用于利用预训练语言模型生成与语句相关联的向量集合，向量集合包括与语句的文本对应的语境向量；以及能力评测模块640，用于利用预先设置的探针模型，根据与测试文本对应的语境向量对指定语言知识能力进行评测，并且针对指定语言知识能力的评测不需要对预训练语言模型和探针模型进行训练。

可选地，探针模型包括与探针问题对应的解题函数，其中解题函数将与测试文本对应的语境向量作为输入参数并且解题函数的参数固定。并且其中，能力评测模块640包括：函数计算子模块，用于将与测试文本对应的语境向量输入解题函数进行计算；以及能力评测子模块，用于根据解题函数的计算结果，对指定语言知识能力进行评测。

可选地，能力测评子模块包括：答案判定单元，用于根据预先设置的与探针问题对应的参考答案，判定解题函数的计算结果是否正确，得到与探针问题对应的判定结果；正确率确定单元，用于根据与探针任务相关的多个探针问题所对应的判定结果，确定预训练语言模型相对于探针任务的正确率；以及第一能力评测单元，用于根据正确率对预训练语言模型的指定语言知识能力进行评测。

可选地，探针问题包括一个语句，并且语句所包括的测试文本为掩码标识，掩码标识用于指示与该掩码标识的位置所对应的字词被掩藏。并且其中，函数计算子模块包括：字词预测单元，用于利用解题函数，根据与掩码标识对应的语境向量确定与掩码标识对应的预测字词。能力评测子模块包括：字词判定单元，用于判定预测字词是否为掩码标识所掩藏的字词；以及第一能力评测单元，用于根据判定的判定结果对预训练语言模型的指定语言知识能力进行评测。

可选地，字词预测单元包括：第一概率确定子单元，用于利用解题函数，确定与掩码标识对应的语境向量相对于预设词库中的各个字词的概率；以及第一字词预测子单元，用于根据所确定的概率，从与掩码标识对应的多个候选字词中确定预测字词，其中多个候选字词为预设词库中的字词。

可选地，指定语言知识能力为句法知识能力，并且其中掩码标识所掩藏的字词用于评测预训练语言模型的句法知识能力；或者指定语言知识能力为推理能力，并且其中掩码标识所掩藏的字词用于评测预训练语言模型的推理能力。

可选地，字词预测单元包括：第二概率确定子单元，用于利用解题函数，确定与掩码标识对应的语境向量相对于预设词库中的各个字词的概率；以及第二字词预测子单元，根据所确定的概率，直接从预设词库中确定预测字词。

可选地，指定语言知识能力为事实知识能力，并且其中掩码标识所掩藏的字词用于评测预训练语言模型的事实知识能力。

可选地，其中指定语言知识能力为语义知识能力，探针问题包括多个语句，并且测试文本为分别设置于多个语句中多义词，并且其中，向量集合生成模块630包括向量集合生成子模块，用于利用预训练语言模型生成分别与多个语句相关联的多个向量集合。并且其中，函数计算子模块包括：多义词向量提取单元，用于提取多个向量集合所包含的与多义词对应的多义词向量；以及相似度计算单元，用于利用解题函数计算所提取的多义词向量之间的相似度。能力评测子模块包括：语句确定单元，用于根据所提取的各个多义词向量之间的相似度，确定多义词的词义接近的语句；以及第二能力评测单元，用于判定所确定的多义词的词义接近的语句是否正确，并根据判定的判定结果对预训练语言模型的语义知识能力进行评测。

从而，本实施例的技术方案在用于构建用于评测预训练语言模型的语言知识能力的探针任务时，首先构建与该探针任务相关的探针问题，并且与该探针问题相关的语句中包含有用于对该语言知识能力进行评测的测试文本(例如掩码标识或者是多义词)。然后，本实施例的技术方案将与探针问题相关的语句输入至预训练语言模型从而得到与该语句对应的向量集合。然后，本实施例的技术方案根据与测试文本对应的语境向量，利用探针模型进行该语言能力的评测。由于，本实施例是根据与测试文本对应的语境向量来对预训练语言模型的语言知识能力进行评测，因此在评测过程中不需要对预训练语言模型进行训练(即微调)，也不需要对探针模型进行额外的训练，从而不会干扰对预训练语言模型的评测，从而解决了现有技术中存在的对预训练语言模型进行评测的方法需要对预训练语言模型进行微调或者是对探针分类器进行额外训练，从而干扰预训练语言模型的知识评测结果的技术问题。

实施例3

图7示出了根据本实施例的第一个方面所述的预训练语言模型的评测装置700，该装置700与根据实施例1的第一个方面所述的方法相对应。参考图7所示，该装置700包括：处理器710；以及存储器720，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：确定用于评测预训练语言模型的指定语言知识能力的探针任务；获取与探针任务相关的探针问题，其中探针问题包括至少一个用于对指定语言知识能力进行评测的语句，并且语句包括用于对指定语言知识能力进行评测的测试文本；利用预训练语言模型生成与语句相关联的向量集合，向量集合包括与语句的文本对应的语境向量；以及利用预先设置的探针模型，根据与测试文本对应的语境向量对指定语言知识能力进行评测，并且针对指定语言知识能力的评测不需要对预训练语言模型和探针模型进行训练。

可选地，探针模型包括与探针问题对应的解题函数，其中解题函数将与测试文本对应的语境向量作为输入参数并且解题函数的参数固定。并且其中，利用预先设置的探针模型，根据与测试文本对应的语境向量对指定语言知识能力进行评测的操作，包括：将与测试文本对应的语境向量输入解题函数进行计算；以及根据解题函数的计算结果，对指定语言知识能力进行评测。

可选地，根据解题函数的计算结果，对指定语言知识能力进行评测的操作，包括：根据预先设置的与探针问题对应的参考答案，判定解题函数的计算结果是否正确，得到与探针问题对应的判定结果；根据与探针任务相关的多个探针问题所对应的判定结果，确定预训练语言模型相对于探针任务的正确率；以及根据正确率对预训练语言模型的指定语言知识能力进行评测。

可选地，探针问题包括一个语句，并且语句所包括的测试文本为掩码标识，掩码标识用于指示与该掩码标识的位置所对应的字词被掩藏。并且其中，将与测试文本对应的语境向量输入解题函数进行计算，以及根据解题函数的计算结果，对指定语言知识能力进行评测的操作，包括：利用解题函数，根据与掩码标识对应的语境向量确定与掩码标识对应的预测字词；判定预测字词是否为掩码标识所掩藏的字词；以及根据判定的判定结果对预训练语言模型的指定语言知识能力进行评测。

可选地，利用解题函数，根据与掩码标识对应的语境向量确定与掩码标识对应的预测字词的操作，包括：利用解题函数，确定与掩码标识对应的语境向量相对于预设词库中的各个字词的概率；以及根据所确定的概率，从与掩码标识对应的多个候选字词中确定预测字词，其中多个候选字词为预设词库中的字词。

可选地，指定语言知识能力为句法知识能力，并且其中掩码标识所掩藏的字词用于评测预训练语言模型的句法知识能力；或者指定语言知识能力为推理能力，并且其中掩码标识所掩藏的字词用于评测预训练语言模型的推理能力。

可选地，利用解题函数，根据与掩码标识对应的语境向量确定与掩码标识对应的预测字词的操作，包括：利用解题函数，确定与掩码标识对应的语境向量相对于预设词库中的各个字词的概率；以及根据所确定的概率，直接从预设词库中确定预测字词。

可选地，指定语言知识能力为事实知识能力，并且其中掩码标识所掩藏的字词用于评测预训练语言模型的事实知识能力。

可选地，指定语言知识能力为语义知识能力，探针问题包括多个语句，并且测试文本为分别设置于多个语句中多义词。并且其中，利用预训练语言模型生成与语句相关联的向量集合的操作，包括：利用预训练语言模型生成分别与多个语句相关联的多个向量集合，并且其中将与测试文本对应的语境向量输入解题函数进行计算，以及根据解题函数的计算结果，对指定语言知识能力进行评测的操作，包括：提取多个向量集合所包含的与多义词对应的多义词向量；利用解题函数计算所提取的多义词向量之间的相似度；根据所提取的各个多义词向量之间的相似度，确定多义词的词义接近的语句；判定所确定的多义词的词义接近的语句是否正确，并根据判定的判定结果对预训练语言模型的语义知识能力进行评测。

从而，本实施例的技术方案在用于构建用于评测预训练语言模型的语言知识能力的探针任务时，首先构建与该探针任务相关的探针问题，并且与该探针问题相关的语句中包含有用于对该语言知识能力进行评测的测试文本(例如掩码标识或者是多义词)。然后，本实施例的技术方案将与探针问题相关的语句输入至预训练语言模型从而得到与该语句对应的向量集合。然后，本实施例的技术方案根据与测试文本对应的语境向量，利用探针模型进行该语言能力的评测。由于，本实施例是根据与测试文本对应的语境向量来对预训练语言模型的语言知识能力进行评测，因此在评测过程中不需要对预训练语言模型进行训练(即微调)，也不需要对探针模型进行额外的训练，从而不会干扰对预训练语言模型的评测，从而解决了现有技术中存在的对预训练语言模型进行评测的方法需要对预训练语言模型进行微调或者是对探针分类器进行额外训练，从而干扰预训练语言模型的知识评测结果的技术问题。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。