具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于深度语义表征的试题难度预测方法及系统，用以解决试题文本认知层级标注困难和语料不足、试题难度评估标准单一缺乏认知指导的问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供的基于深度语义表征的试题难度预测方法，包括以下步骤：

步骤101：基于预训练语言模型对多类型试题进行文本表征；所述多类型试题包括三种题型，为填空题、选择题和简答题；三种题型共包括四种结构文本，为题干文本、答案文本、选项文本和解析文本。

步骤102：对试题文本表征进行特征提取和融合。

步骤103：基于多层感知机对融合后的特征进行分类，确定多类型试题的所属知识点集合。

步骤104：计算所述知识点集合中各知识点的拓扑距离。

步骤105：基于深度注意力网络模型，根据融合后的特征确定所述多类型试题的认知层级。

步骤106：基于所述试题文本表征、知识点拓扑距离以及所述认知层级预测所述多类型试题的难度。

作为一个可选的实施例，步骤102：对试题文本表征进行特征提取和融合，具体包括：

步骤1021：采用双向长短记忆网络模型对题干文本表征和解析文本表征进行特征提取。

步骤1022：采用卷积经网络模型对答案文本表征和选项文本表征进行特征提取。

步骤1023：采用特征融合模型进行特征融合。

作为一个可选的实施例，步骤1023：采用特征融合模型进行特征融合，具体包括：

对于填空题，对提取到的填空题题干文本特征和填空题答案文本特征进行拼接，并输入到一层BiLSTM和注意力机制层进行融合。

对于选择题，将各选项文本特征示输入到一个注意力机制层后和选择题题干文本特征进行拼接，并输入到一层BiLSTM和注意力机制层进行融合。

对于简答题，将简答题题干文本特征和简答题答案文本特征进行拼接，并输入到一层BiLSTM和注意力机制层进行融合；将简答题解析文本特征和简答题答案文本特征进行拼接，并输入到一层BiLSTM和注意力机制层进行融合；将融合后的特征输入至全连接层进行最终融合。

作为一个可选的实施例，步骤106：基于所述试题文本表征、知识点拓扑距离以及所述认知层级预测所述多类型试题的难度，具体包括：

在训练阶段，将试题文本表征、知识点拓扑距离和认知层级作为线性回归模型的输入，并从答题记录中获取样本试题的得分率作为试题难度的标签；

在测试阶段，通过输入试题文本表征、知识点拓扑距离和认知层级，预测当前试题的得分率，确定试题的难度。

作为一个可选的实施例，步骤104中知识点拓扑距离的计算公式如下：

其中，d_q表示试题q的知识点拓扑距离，k_i，k_j表示试题q所属知识点集合K中的第i、j个知识点，K＝{k₁，k₂…k_N}，N表示知识点个数。

下面，将对上述方法进行详细的介绍：

1、基于混合神经网络的多类型试题上下文特征提取与融合

本发明拟在总结试题类型、解析试题结构的基础上，确定三种普遍、通用的试题类型(填空题、选择题、简答题)作为对象，利用预训练语言模型对文本进行向量表示后，根据不同类型的试题结构采用有针对性的混合神经网络模型来提取和融合上下文特征。

(1)语料准备

本发明以中小学各学段学科的教学设计、试题试卷、多媒体素材等教学资源，并分析其中各学科各种题型类型、题目结构、题目语言特点(子语言特点)，梳理出各学科普遍、通用的试题类型作为本项目通用试题知识点抽取模型构建的对象，结合试题所属章节目录、试题解析和课程大纲等知识点来源，以宾州中文树库(Penn Chinese treebank,PCTB)标注规范作为基础，构建适用于下游试题属性标注的语料库，整理和规范化未确定试题和孤立试题。

(2)试题文本表征和特征提取

本发明分别对填空题、选择题和简答题进行文本表征，并根据不同题型的不同结构设计不同特征提取方法，实现试题文本的充分表征和特征提取。首先对三种题型和所属知识点给出形式化的定义：

Definition1：填空题

定义T_FQ＝[T_stem；T_answer]为一道填空题FQ(Fill in the blanks Question)文本内容，T_stem表示题干文本，T_answer表示填空答案文本(默认研究单项填空题类型)。

Definition 2：选择题

定义T_FQ＝[T_stem；T_opt]为一道选择题CQ(ChoiceQuestion)文本内容，T_stem表示题干文本，T_opt表示所有选项文本，且T_opt＝{t₁，t₂…t_o}，O表示选项个数，且正确选项t_i∈T_opt(默认研究单项选择题类型)。

Definition3：简答题

定义T_PQ＝[T_stem；T_answer；T_analysis]为一道填空题PQ(Practical Question)文本内容，T_stem表示题干文本，T_answer表示答案文本，T_analysis表示答案解析，作为对答案文本的解释和补充。简答题的答案文本多为长文本，而答案解析是针对答案文本的解析，内容和细节上相对于答案更丰富。

本发明这里只考虑简答题的答案解析，主要是简答题与答案的对应关系更加明显和具体；不管理科还是文科的简答题，答案文本多分条、分行和分点，简答题的解析也是对应的。而填空题和选择题的答案多为短文本，解析一般不能与之形成紧密联系，所以本发明暂不考虑。

Definition 4：知识点

面向具体的学科和具体的学段(如初中数学等)，依据教学大纲，将全部知识点定义为K＝{k₁，k₂…k_M}，M表示知识点的个数，K_Q表示一道试题Q考察的全部，

通过形式化定义，本发明整合三种题型的共四种结构文本，包括T_stem、T_analysis、T_answer和T_opt。为了理解语义信息，本发明首先采用预训练语言模型BERT(BidirectionalEncoder Representation from Transformers)分别对四种结构文本向量化表示，能够充分描述试题文本字符级、词级和句子级的特征信息。以T_stem为例，BERT将T_stem＝{w₁，w₂...w_n}中的每个词w_n(Token)通过嵌入层传递，以便将每个Token转换为向量表示。如图1所示，嵌入层包括三种嵌入表示，分别是token嵌入，segment嵌入和position嵌入，通过这三个嵌入表示共同表示输入的文本。与其他表示方法如Word2Vec不同，BERT还设计了Segment嵌入和Position两种形式。以模拟试题题干“Accordingto the condition,deducemonotonicity”为例具体如附图2所示。

Token embedding(字符嵌入表示)的作用是将字转换为固定维数的向量表示形式，其中有两个特殊的tokens，位于句首的[CLS]和位于句末的[SEP]，分别用于表示输入的整个句子和划分句子对。Segment embedding(句子片嵌入)的作用是区分句子对中的两个句子向量，SEP分割符，前面是句子1，后面是句子2，则句子1中所有token的标记为0，句子2为1，以此类推。Position embedding(位置嵌入)的作用是记录每个token在句子中的位置属性。BERT将每个token表示成768维的向量，如在第b个批次处理n个输入token可以被转换为(b,n,768)的张量，因此嵌入表示E_stem＝{E₁，E₂...E_n},其中E_n＝E_token(wn)+E_segment(wn)+E_position(w_n)。

接着，将题干文本的嵌入表示E_stem输入BERT模型中预训练的双向Transformer中提取词法、句法等文本句式中隐含的信息，得到输入文本的字向量表示X_stem＝{x1_，x₂...x_n}，其中x_n＝Transformer_encoder(E_n)，如附图3所示。

经过相同的BERT文本嵌入流程，本发明可以得到每种结构文本的字向量表示，分别是X_stem、X_analysis、X_answer和X_opt。接着，本发明通过分析这四种结构文本的语言特点，采用了两种不同的特征提取方法。针对题干文本X_stem和解析文本X_analysis，这两种结构文本更加注重文本的整体理解，具有较强的序列语义性，因此本发明采用双向长短记忆网络BiLSTM(Bi-directionalLongShort-Term Memory)来侧重于提取序列特征信息，见附图4。以题干文本X_stem为例，输入BiLSTM网络结构中后隐藏状态可以表示为：

h_t＝f(W_xx_t+W_hh_t-1+b)

其中x_t∈X_stem表示第t个字向量输入，W_x、W_h为当前字输入和连接上一个字隐层的权重矩阵，b为偏置。具体的，LSTM相较于RNN(Recurrent Neural Network)设计了一种记忆单元结构，通过三种门结构(输入门、遗忘门和输出门)来控制信息在记忆单元c_t中的存储、更新和遗忘：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i)

c_t＝(1-i_t)⊙c_t-1+i_t⊙tanh(W_xcx_t+W_hch_t-1+b_c)

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t+b_o)

h_t＝o_t⊙tanh(c_t)

其中σ为sigmoid函数，⊙为Hadamard乘积。普通的LSTM从左到右处理第t个字得到前向隐藏状态BiLSTM在此基础上，增加了从右到左的后向隐藏状态前向与后向拼接最终得到题干文本字向量X_stem的特征表示采用相同的方法，本发明也可以得到解析文本X_analysis的序列特征表示F_analysis。

针对X_answer和X_opt，这两种结构文本一般以短文本的形式存在，且聚合着多种试题的综合特征，具有较强局部语义性，因此本发明采用一种处理文本的卷积神经网络TextCNN(Text Convolutional Neural Networks)来侧重提取局部语义特征，见附图3。以答案文本X_answer为例，设置不同大小的卷积核分别抽取字片段特征(n-gram特征)，卷积计算出的特征图经过最大池化(MaxPooling)保留最大的特征值，然后将拼接成一个向量作为文本的表示。具体的，将X_answer输入到TextCNN中，采用一维卷积核，其宽度与输入的词向量维度d一致，只有高度不同，设有p种不同高度的卷积核，分别为h₁，h₂......h_p，以其中高度为h的卷积核为例，该卷积核可表示为矩阵W_{conv_h}∈R^h×d，使用该卷积核在词向量x_i上滑动进行卷积运算，当滑动窗口位于第i到第i+h-1个词之间时，卷积核的输出可表示为:

其中f为该卷积核的激活函数，b为偏置。高度为h的卷积核对矩阵共进行了i-h+1次卷积运算，输出n-h+1个值，拼接后得到长度为n-h+1的字片段集合(feature_map)，如果每种高度的卷积核都有k个，则每种卷积核产生k个n-h+1长度的向量：

conv＝[conv_0：h-1，conv_1：h…conv_n-h：n-1]

接着对卷积核输出的每个feature_map使用长度为n-h+1的池化核，进行最大池化操作：

由于每种高度的卷积核都有k个，一共有p个卷积核，因此经过池化操作将输出值拼接，得到一个长度为k×p的向量

其中是使用第i种高度的第j个卷积核对E_i进行卷积并经过最大池化后输出的值，即为答案文本X_answer的特征表示，记作F_answer。采用同样的方法，本发明也可以得到选项文本X_opt的特征表示F_opt，其中每个选项文本x_opt，i∈X_opt的特征表示F_opt，i∈F_opt。

(3)多题型多特征融合

在对四种结构文本特征提取的基础上，本发明针对不同题型，设计适应其文本特点和做题特点的特征融合网络结构，见附图5。

1)填空题

在分别对填空题题干文本T_stem表示并提取特征后得到F_stem，对填空答案文本T_answer表示并提取特征后得到的F_answer，采用拼接的方式组成，并输入一层BiLSTM输出融合F_FQ：

F_FQ＝BiLSTM(concat(F_stemn,F_answer))

但填空题与选择题在整体文本上存在差异，即填空题的答案文本与题干文本的结合更紧密，因为答案本身是从题干中挖空产生的，因此填空答案与题干之间也存在着句法上的语义关系。在特征融合之后N_F表示特征向量长度。本发明将其输入到一个注意力机制层(Attention层)中来处理这种整体的文本语义信息，注意力概率分布a_i：

其中j∈[1，N_F]，为随机初始化向量，在训练过程中逐步更新，则第i个字向量特征的特征表示F_FQ，i占的比重值为：

其中W、U为权值矩阵，b为偏置值，ReLU为激活函数，得到每个字向量的概率分布值后，对所有字向量特征表示进行求和在平均，得到填空题整体文本T_FQ的特征向量

2)选择题

为了充分利用各个选项之间的权重匹配，方便网络学习更多试题与各个选项之间联系，本发明将各个选项的特征表示输入到一个Attention层，则计算每个选项的特征表示与所有选项的特征表示的匹配得分占总体的百分率(注意力概率分布)a_i：

其中j∈[1，O]，O表示选项个数，为随机初始化向量，在训练过程中逐步更新，则第i个选项的特征表示F_opt，i占F_opt的比重值为：

其中W、U为权值矩阵，b为偏置值，ReLU为激活函数，得到每个选项的概率分布值后，对所有选项特征表示进行求和在平均，得到选项文本T_opt的特征向量

接着采用拼接的方式组成，并输入一层BiLSTM输出融合特征F_CQ：

最后再采用一层注意力机制得到最终的特征

3)简答题

简答题的解答过程体现了一个思维逻辑过程，即运用T_stem中条件到T_answer中步骤的过程，同时，答案解析与答案也存在一个印证补充的过充，即T_analysis对T_answer中的每一个步骤给出具体的解析内容。这种T_stem→T_answer→T_analysis语义层面的依赖也会反应在其文本特征间的依赖上，因此，本发明对这两段依赖过程分别采用Attention进行表征和融合。

针对T_stem→T_answer，首先将两部分的特征拼接后输入一层BiLSTM,隐藏层节点个数得到融合特征F_sa：

F_sa＝BiLSTM(concat(F_{s tem},F_answer))

接着采用一层注意力机制权重分配得到特征向量

其中

针对T_answer→T_analysis，同样将两部分的特征拼接后输入一层BiLSTM，隐藏层节点个数得到融合特征F_aa：

F_aa＝BiLSTM(concat(F_answer，F_anafysis))

接着采用一层注意力机制权重分配得到特征向量

其中

最终经过一个全连接层FC形成两部分特征依赖的整体特征：

半监督数据计算正则化、多分类输出

根据不同题型特点设计的特征融合模型，能够分别得到填空题、选择题和简答题的试题文本整体特征表示：和

2.试题知识点抽取

以为例，输入到多层感知机MLP(multilayer perceptron)进行分类，该层由两层全连接层F₁、F₂组成的，其中F₁使用ReLU作为激活函数，F₂的节点个数与总知识点数量M一致，假设有NM个知识点标签K＝{k₁，k₂…k_M}，MLP将融合特征转换为长度等于M的向量最终利用Softmax函数作为分类器，将F₂的输出归一化，得到该选择题属于各个知识点的概率：

3.认知目标下的试题难度评估

基于认知层级的试题难度评估要重点解决两个个问题：一是要解决试题文本认知层级标注困难和语料不足，二是要能够实现自动抽取试题文本的认知动词和确定认知层级，三是要实现融合试题认知层级等试题特征的难度自动评估模型。

(1)试题文本认知层级自动抽取模型

试题的认知层级隐含在试题文本中，属于一种深层特征，在前面准备工作的基础上，本发明采用了一种深度注意力网络结构(Deep Attentional Neural Network)，设计了一种能够深层挖掘试题文本隐含特征的网络块，并结合残差网络实现高层网络的特征强化，见附图6。

1)试题文本表示

首先对试题文本进行嵌入表示，这里与前文类似，依旧采用BERT来得到字向量序列X_T，并采用前述方法得到融合特征

接着采用多头注意力机制中的结构(Multi-head attention)，将文本特征多次通过多头h的线性投影映射为n组(queries)、K(keys)和V(values)矩阵：

其中

最终深度注意力网络块输出隐藏变量为Y:

Y＝M·W

其中M＝concat(M₁，…，M_h)。

3)结合残差网络的深度注意力网络

深层注意力网络由多个网络块组成，如图6所示。为了简化模型训练并获得更高的精度，在每个网络块之后使用一个残差连接块来稳定网络特征传播：

Y＝X+Block(X)

最后通过Softmax层映射，输出试题T对应六种认知层级的概率如表,取概率最高的为该试题文本的认知层级：

但往往一道试题可能包括多种认知层级，比如既考察了记忆、理解，又考察了综合等。因此本发明需要一个对试题认知层级综合衡量的指标f_cognition:

(2)基于认知层级的试题难度评估技术

本发明在试题认知层级自动抽取的基础上，设计了一种基于认知层级的试题难度评估技术，见附图7。整体流程包括训练和测试阶段。在训练阶段，将试题文本表征、试题知识点拓扑距离表征和认知层级作为模型输入，并从答题记录中获取试题的得分率作为试题难度的标签；在测试阶段，通过输入上述三类试题特征，预测该试题的得分率，即试题的难度。形式化定义如下：

Definition 5：得分率

定义试题集Q一道试题q_i∈Q的得分率为r_Q可以表示为：

其中w_i表示试题q_i的分值，Record为q_i的作答记录数，score()表示某次记录得分。

Definition6：试题知识点拓扑距离

由Def 4得K＝{k₁，k₂…k_M}为全部知识点集合，M表示知识点的个数，K_q表示一道试题q考察的全部，定义知识点关系无向图G＝(K，E)，其中K表示知识点集合，E表示知识点间的关联关系边；两个知识点k_i，k_j在G中的最短拓扑距离为DFS(k_i，k_j)，则试题q的知识点拓扑距离为：

首先本发明将试题q的各部分文本字向量X_stem、X_{anal ysis}、X_answer和X_opt拼接成一个全局字向量来表示试题文本信息X：

X_q＝concat(X_stem，X_analysis，X_answer，X_opt)

接着将其连续送入BiLSTM层、CNN层和节点数为d的全连接层FC，得到维数为的特征表示F_q(具体数据流程与前文相似，不再赘述)：

F_q＝FC(CNN(LSTM(X)))

另一方面，将试题的认知层级特征f_cognition与知识点拓扑距离d_q相加融合成新特征值，并累加到F_q的每个元素上：

f_q＝add(f_cognition，d_q)

F_q＝F_q+f_q

最后采用线性回归模型，输出即为预测试题难度d(F_q)：

d(F_q)＝W^T·F_q+b

其中W^T为权重矩阵，b为偏置向量。

本发明还提供了一种基于深度语义表征的试题难度预测系统，包括：

文本表征模块，用于基于预训练语言模型对多类型试题进行文本表征；所述多类型试题包括三种题型，为填空题、选择题和简答题；三种题型共包括四种结构文本，为题干文本、答案文本、选项文本和解析文本；

特征提取和融合模块，用于对试题文本表征进行特征提取和融合；

知识点集合确定模块，用于基于多层感知机对融合后的特征进行分类，确定多类型试题的所属知识点集合；

知识点距离计算模块，用于计算所述知识点集合中各知识点的拓扑距离；

认知层级确定模块，用于基于深度注意力网络模型，根据融合后的特征确定所述多类型试题的认知层级；

难度预测模块，用于基于所述试题文本表征、知识点拓扑距离以及所述认知层级预测所述多类型试题的难度。

其中，所述特征提取和融合模块具体包括：

第一特征提取单元，用于采用双向长短记忆网络模型对题干文本表征和解析文本表征进行特征提取；

第二特征提取单元，用于采用卷积经网络模型对答案文本表征和选项文本表征进行特征提取；

特征融合单元，用于采用特征融合模型进行特征融合。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。