一种基于领域术语和关键句的中文问题自动生成方法及装置
阅读说明：本技术 一种基于领域术语和关键句的中文问题自动生成方法及装置 (Chinese question automatic generation method and device based on domain terms and key sentences ) 是由 赵军 董勤伟 查显光 吴俊� 赵新冬 戴威 于聪聪 于 2021-09-01 设计创作，主要内容包括：本发明公开了一种基于领域术语和关键句的中文问题生成方法及装置,该方法包括对输入的文档中的句子建立依存句法结构,并依据依存句法规则生成候选领域术语,对生成的候选领域术语进行评估并排序,基于排序结果抽取出指定数量的领域术语；以及对输入的文档中的句子的词进行TF-IDF计算来表示句子,并采用T-TextRank算法计算句子的重要性,基于重要性排序结果抽取出指定数量的关键句；最后基于抽取的领域术语和关键句生成中文选择题题干,中文填空题题干和生成中文问答题题干。使用本发明方法提取的领域术语和关键句可以极大地提高生成问题的重要性,具有广泛的应用前景。(The invention discloses a Chinese problem generating method and a device based on domain terms and key sentences, wherein the method comprises the steps of establishing a dependency syntax structure for sentences in an input document, generating candidate domain terms according to a dependency syntax rule, evaluating and sequencing the generated candidate domain terms, and extracting a specified number of domain terms based on a sequencing result; performing TF-IDF calculation on words of sentences in the input document to represent the sentences, calculating the importance of the sentences by adopting a T-TextRank algorithm, and extracting a specified number of key sentences based on an importance sorting result; and finally, generating a Chinese selection question stem, a Chinese filling-in blank question stem and a Chinese question and answer question stem based on the extracted domain terms and key sentences. The field terms and key sentences extracted by the method can greatly improve the importance of problem generation, and have wide application prospect.)
技术领域
本发明属于信息提取技术领域，更具体地，涉及一种基于领域术语和关键句的中文问题自动生成方法。
背景技术
近年来，知识评估或绩效评估对于教育机构和企业进行至关重要，问题问卷形式的考核是一种有效的评价策略。但是传统的基于人工进行问题生成需要花费大量的人力和时间，因此自动问题生成的研究改变了这一现状。问题自动生成技术，就是通过运用信息技术将文档中的信息进行筛选和提取重要知识，并自动生成问题，从而代替从试题库中抽取人工编写题目的传统方式。
现有的解决方案，例如，在2016年由Liu等提出的采用语法规则模板针对中文事实题的自动生成(LIU M,RUS V,LIU L.Automatic chinese factual question generation[J].IEEE Transactions on Learning Technologies,2016,10(2):1-1.)与2018年由Khullar等提出的利用副词和介词信息进行问题生成的方法(KHULLAR P,RACHNA K,HASEM,et al.Automatic question generation using relative pronouns and adverbs[C]//Proceedings of ACL 2018,Student Research Workshop.2018:153-158.)，都只关注句型模板和语法依赖树来生成问题，而不是句子中包含的领域术语。
但是，上述问题自动生成方法都是通过利用一些问题模板，选取句子中的名词进行出题。由于中文相较于英文而言，词与词之间没有天然的分隔符，在一些特定领域文档往往会出现分词错误，从而影响问题生成的效果。传统的问题生成技术分割了人力资源战略这一领域词汇，既导致问题生成的质量不高，又没有充分考核到领域知识点。而针对这些领域知识的问题生成对于员工考核或者学生学习来说更有价值。
发明内容
本发明的目的在于提供一种基于领域术语和关键句的中文问题自动生成方法及装置，通过提取的领域术语和关键句可以极大地提高生成问题的重要性。
为了达到上述目的，本发明所采用的技术方案如下：
本发明提供一种基于领域术语和关键句的中文问题生成方法，包括：
基于依存句法分析抽取文档中的领域术语和关键句；
基于抽取的领域术语和关键句生成多类型题目；
其中，基于依存句法分析抽取文档中的领域术语包括：
对输入的文档中的句子建立依存句法结构，并依据依存句法规则生成候选领域术语；
对所述生成的候选领域术语进行评估并排序；
基于排序结果抽取出指定数量的领域术语；
基于依存句法分析抽取文档中的关键句包括：
计算输入的文档中的词的TF-IDF值；
基于TF-IDF值计算文档中句子之间的相似度；
基于句子之间的相似度计算句子的重要性并排序；
基于句子的重要性排序结果抽取出指定数量的关键句。
进一步的，采用以下任意一种方式建立依存句法结构：
斯坦福依存句法分析器，Hanlp工具包中的基于神经网络的依存句法分析器和基于ArcEager转移系统的柱搜索依存句法分析器。
进一步的，所述依存句法规则为：
(dep)？+(amod|nn)*+(nsubj|dobj)；
其中，？表示没有或多个，*表示一个或多个，dep表示依赖关系，amod表示形容词修饰语，nn表示名词复合修饰语，nsubj表示名词性主语，dobj表示直接宾语。
进一步的，对所述生成的候选领域术语进行评估及排序，包括：
基于词性过滤规则过滤候选领域术语中的非术语，当候选领域术语中的词性满足以下任意一条规则时，则删除：
a、词的结尾是数词、介词、连词、位置词；
b、非名词；
c、包含分隔符或符号；
基于语法过滤规则过滤候选领域术语，当候选领域术语满足以下任意一条规则时，则保留：
d、名词+名词；
e、形容词或名词+名词；
计算过滤后的候选领域术语的得分：
其中，s表示得分，fword为当前候选领域术语的频率，f(i)是频率为i的候选领域术语的数量与词频i的乘积，C1是频率为1的候选领域术语的总数，C为抽取的所有候选领域术语的总数，n为最大频率，a为超参数；
对候选领域术语的得分按从大到小进行排序。
进一步的，所述计算输入的文档中的词的TF-IDF值，包括：
其中，wordp表示词p的TF-IDF值，cn是词p在文档中出现的次数，N为文档总词数，m表示文档中的句子个数，ep表示包含词p的句子数。
进一步的，所述基于TF-IDF值计算文档中句子之间的相似度，包括：
其中，wij表示句子Si和句子Sj的相似度，wordip则表示句子Si中词p的TF-IDF值，wordjp表示句子Sj中词p的TF-IDF值。
进一步的，所述基于句子之间的相似度计算句子的重要性并排序，包括：
将句子表示为节点，句子之间双向全连通构成图；
使用T-TextRank算法按下式迭代计算句子的重要性直至收敛：
其中，WS(Si)表示句子Si的重要性，d是设置的阻尼系数，In(Si)表示指向节点Si的所有节点，Out(Sj)表示节点Sj指向的所有节点；
将句子重要性的收敛值按从大到小进行排序。
进一步的，所述基于抽取的领域术语和关键句生成多类型题目，包括生成中文选择题题干，生成中文填空题题干和生成中文问答题题干；
所述生成中文选择题题干包括：
获得提取的关键句列表，利用领域术语库中的领域术语作为关键信息在关键句列表中进行匹配，选择包含术语并且充当主语或者宾语成份的句子作为题干，并将对应的领域术语内容作为选择题正确选项；
基于以下策略中的至少一项生成选择题干扰项：
对领域术语分词，选择和正确选项的词性相同的领域术语作为干扰项；
选择与正确选项词缀相同的领域术语作为干扰项；
通过训练word2vec模型获得领域术语的词向量，基于领域术语词向量的余弦相似度选择领域术语作为干扰项；
选择领域术语库中，在文档中出现频率相近的领域术语作为干扰项；
所述生成中文填空题题干包括：
利用领域术语库中的领域术语作为关键信息在关键句库中进行匹配，选择包含术语并且充当主语或宾语成份的句子作为题干，再将对应的领域术语内容用横线替代生成中文填空题题干；
所述生成中文问答题题干包括：
当关键句中既包含下列特征词中的至少一个：“指的是”、“是指”、“是”、“是*一种|个|类”、“又称”、“定义为”、“简称”、“亦称”、“就是”、“是用来”、“也称”和“称为”，同时又包含领域术语，则生成名词解释题题干；
当关键句中包含下列因果关联词中的至少一个：“是因为”、“其所以”、“所以如此”和“故而”，将句子中表示原因的内容用疑问词代替，生成事实题题干。
本发明还提供一种基于领域术语和关键句的中文问题生成装置，包括：
抽取模块，用于基于依存句法分析抽取文档中的领域术语和关键句；
以及，
生成模块，用于基于抽取的领域术语和关键句生成多类型题目；
所述抽取模块包括第一抽取模块和第二抽取模块；
所述第一抽取模块用于，
对输入的文档中的句子建立依存句法结构，并依据依存句法规则生成候选领域术语；
对所述生成的候选领域术语进行评估并排序；
基于排序结果抽取出指定数量的领域术语；
所述第二抽取模块用于，
计算输入的文档中的词的TF-IDF值；
基于TF-IDF值计算文档中句子之间的相似度；
基于句子之间的相似度计算句子的重要性并排序；
基于句子的重要性排序结果抽取出指定数量的关键句。
进一步的，所述第一抽取模块具体用于，
基于词性过滤规则过滤候选领域术语中的非术语，当候选领域术语中的词性满足以下任意一条规则时，则删除：
a、词的结尾是数词、介词、连词、位置词；
b、非名词；
c、包含分隔符或符号；
基于语法过滤规则过滤候选领域术语，当候选领域术语满足以下任意一条规则时，则保留：
d、名词+名词；
e、形容词或名词+名词；
计算过滤后的候选领域术语的得分：
其中，s表示得分，fword为当前候选领域术语的频率，f(i)是频率为i的候选领域术语的数量与词频i的乘积，C1是频率为1的候选领域术语的总数，C为抽取的所有候选领域术语的总数，n为最大频率，a为超参数；
对候选领域术语的得分按从大到小进行排序。
进一步的，所述第二抽取模块具体用于，
按下式计算输入的文档中的词的TF-IDF值：
其中，wordp表示词p的TF-IDF值，cn是词p在文档中出现的次数，N为文档总词数，m表示文档中的句子个数，ep表示包含词p的句子数。
进一步的，所述第二抽取模块具体用于，
将句子表示为节点，句子之间双向全连通构成图；
使用T-TextRank算法按下式迭代计算句子的重要性直至收敛：
其中，WS(Si)表示句子Si的重要性，d是设置的阻尼系数，In(Si)表示指向节点Si的所有节点，Out(Sj)表示节点Sj指向的所有节点，wij表示句子Si和句子Sj的相似度，wjk表示句子Sj和句子Sk的相似度；
进一步的，所述生成模块包括第一生成模块，第二生成模块和第三生成模块；
所述第一生成模块用于，
获得提取的关键句列表，利用领域术语库中的领域术语作为关键信息在关键句列表中进行匹配，选择包含术语并且充当主语或者宾语成份的句子作为题干，并将对应的领域术语内容作为选择题正确选项；
基于以下策略中的至少一项生成选择题干扰项：
对领域术语分词，选择和正确选项的词性相同的领域术语作为干扰项；
选择与正确选项词缀相同的领域术语作为干扰项；
通过训练word2vec模型获得领域术语的词向量，基于领域术语词向量的余弦相似度选择领域术语作为干扰项；
选择领域术语库中，在文档中出现频率相近的领域术语作为干扰项；
所述第二生成模块用于，
利用领域术语库中的领域术语作为关键信息在关键句库中进行匹配，选择包含术语并且充当主语或宾语成份的句子作为题干，再将对应的领域术语内容用横线替代生成中文填空题题干；
所述第三生成模块用于，
当关键句中既包含下列特征词中的至少一个：“指的是”、“是指”、“是”、“是*一种|个|类”、“又称”、“定义为”、“简称”、“亦称”、“就是”、“是用来”、“也称”和“称为”，同时又包含领域术语，则生成名词解释题题干；
当关键句中包含下列因果关联词中的至少一个：“是因为”、“其所以”、“所以如此”和“故而”，将句子中表示原因的内容用疑问词代替，生成事实题题干。
本发明所达到的有益效果为：
本发明基于依存句法信息进行关键句和领域术语的提取，并实现了基于领域术语的多种题型自动生成。本发明核心算法可扩展性好，可以完全应用于特定领域的问题自动生成；使用本提取方法提取的领域术语和关键句可以极大地提高生成问题的重要性，具有广泛的应用前景。
附图说明
图1是本发明的基于领域术语和关键句的中文问题自动生成方法流程示意图；
图2是本发明的一个实施例中基于依存句法分析提取领域术语的流程示意图；
图3是本发明的一个实施例中对候选领域术语进行评估的流程示意图；
图4是本发明的一个实施例的基于T-TextRank算法提取关键句的流程示意图；
图5是本发明的一个实施例中基于提取的领域术语和关键句自动生成多类型中文问题的流程示意图。
具体实施方式
下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明提供一种基于领域术语和关键句的中文问题生成方法，基于依存句法信息进行关键句和领域术语的提取，实现了基于领域术语的多种题型自动生成。
依存句法分析(Dependency Parsing，DP)作为自然语言处理的关键技术之一，主要目的是通过分析语言单元成分之间的依赖关系来揭示句子的句法结构及确定句子中词汇之间的依存关系。其中，依存句法分析工具可以是能够获取词与词之间的依存关系的任何依存句法分析器，例如，可以是斯坦福依存句法分析器(Stanford Parser)，Hanlp工具包中的基于神经网络的依存句法分析器或基于ArcEager转移系统的柱搜索依存句法分析器。
本发明的基于领域术语和关键句的中文问题生成方法，包括：
基于依存句法分析抽取领域术语和关键句；
基于抽取的领域术语和关键句生成多类型题目。
本发明的一个实施例以Hanlp工具包中的基于神经网络的依存句法分析器为例进行基于领域术语和关键句的中文问题生成，具体实施过程参见图1，包括：
步骤S1，基于依存句法分析抽取领域术语。
具体地，如图2所示，
步骤S101，基于Hanlp工具包中的基于神经网络的依存句法分析器在输入的句子上建立依存句法结构。
步骤S102，按照下述依存句法规则生成候选领域术语，表1为依存关系解释。
(dep)？+(amod|nn)*+(nsubj|dobj)
表1依存关系解释
依存关系英文缩写
含义解释
？
没有或多个
*
一个或多个
dep
依赖关系
amod
形容词修饰语
nn
名词复合修饰语
nsubj
名词性主语
dobj
直接宾语
步骤S103，由规则、词频和词缀对候选领域术语进行评估及排序。
具体地，参照图3所示，
步骤S103-1，基于词性过滤规则过滤候选领域术语中的非术语。
由依存句法结构得到分词及各词的词性标注，通过检查词性，过滤不能成为术语的候选词，例如，删除包含人称代词的词语。非术语的词性过滤规则如表2所示，当候选领域术语词性满足任意一条规则，则删除。
表2非术语的词性过滤规则
规则序号
规则描述
1
词的结尾是数词、介词、连词、位置词
2
非名词
3
包含分隔符或符号
步骤S103-2，基于语法过滤规则过滤候选领域术语。语法过滤规则如表3所示，当候选领域术语满足任意一条规则，则保留。
表3语法过滤规则
规则序号
规则描述
1
名词+名词
2
(形容词或名词)+名词
步骤S103-3，通过多因素评估器计算候选领域术语的得分。
多因素评估器计算方式如公式(1)所示，同时考虑统计词频和词组的前后缀，分为三种情况：包含热词术语前缀、包含非术语前缀和两者都不包含。
式中，fword为当前词(候选领域术语)的频率，f(i)是频率为i的词的数量与词频i的乘积，C1是频率为1的词的总数，C为抽取的所有候选领域术语的总数，n为最大频率，a为超参数(经实验选为2)。
步骤S104，根据候选领域术语的得分，从大到小进行排序，并抽取出指定数量的领域术语。
步骤S2，基于T-TextRank算法提取关键句。
具体地，参照图4所示，
步骤S201，对输入进行文档预处理，包括分句、分词、去停用词。
步骤S202，进行词的TF-IDF(Term Frequency-Inverse Document Frequency，词频-逆文档频率)计算，并用特征向量表示句子。
假设中文文档为D，包含m个句子，D可以表示为D＝{S1，S2…Sm}，同时，每个句子可以用特征词向量进行表示：
Si＝{wordi1，wordi2…wordiN}，
N表示整个文档中词的个数，wordin则表示句子Si中词n的TF-IDF值。
TF-IDF计算如公式(2)所示，cn是词n在本文档中出现的次数，N为文档总词数，en为包含词n的句子数。
wordin则表示句子Si中词n的TF-IDF值。
步骤S203，基于余弦相似度计算句子相似度，计算如公式(3)所示。
步骤S204，使用T-TextRank算法对句子重要性排序，计算如公式(4)所示。将每个句子表示为一个节点，用S表示，文档中的句子之间双向全连通构成图。每个节点的权重WS初始值为1/m，边的初始权重为句子相似度wij。其中d是阻尼系数，通常情况下取值0.85。In(Si)表示指向节点Si的所有节点，Out(Sj)表示节点Sj指向的所有节点。公式(4)经过若干次迭代计算可以收敛。
步骤S205，根据T-TextRank算法的收敛结果WS，按数值从大到小排序，筛选出指定数量的关键句子。
可以看出，本发明中步骤S1中的输入以句子为单位，S2中的输入以文本为单位。
步骤S3，基于提取的领域术语和关键句自动生成多类型中文问题。
具体地，如图5所示，基于提取的领域术语和关键句生成三种类型的中文问题。
S301，基于领域术语和关键句生成中文选择题，具体地，
步骤S301-1，生成中文选择题题干。首先获得提取的关键句子列表，利用领域术语库中的领域术语作为关键信息在关键句列表中进行匹配，选择包含术语并且充当主语或者宾语成份的句子作为题干，并且将对应的领域术语部分用于出题。
步骤S301-2，结合不同的语言特征生成选择题干扰项。生成策略如表4所示。
表4选择题干扰项生成策略
S302，基于领域术语和关键句生成中文填空题题干。
具体地，利用领域术语库中的领域术语作为关键信息在关键句库中进行匹配，选择包含术语并且充当主语或宾语成份的句子作为题干，再将对应的领域术语部分用横线替代。
S303，基于领域术语和关键句生成中文问答题题干。
当关键句中既包含下列特征词，具体的有：“指的是”、“是指”、“是”、“是*一种|个|类”、“又称”、“定义为”、“简称”、“亦称”、“就是”、“是用来”、“也称”和“称为”，又包含领域术语，则生成名词解释题题干。
当关键句中包含因果关联词时，具体的有：“是因为”、“其所以”、“所以如此”和“故而”，将句子中表示原因的部分用疑问词代替，生成事实题题干。
本发明的另一个实施例提供一种基于领域术语和关键句的中文问题生成装置，包括：
抽取模块，用于基于依存句法分析抽取文档中的领域术语和关键句；
以及，
生成模块，用于基于抽取的领域术语和关键句生成多类型题目；
其中，抽取模块包括第一抽取模块和第二抽取模块；
具体的，第一抽取模块用于，
对输入的文档中的句子建立依存句法结构，并依据依存句法规则生成候选领域术语；
对所述生成的候选领域术语进行评估并排序；
基于排序结果抽取出指定数量的领域术语；
第二抽取模块用于，
计算输入的文档中的词的TF-IDF值；
基于TF-IDF值计算文档中句子之间的相似度；
基于句子之间的相似度计算句子的重要性并排序；
基于句子的重要性排序结果抽取出指定数量的关键句。
本发明实施例中，第一抽取模块具体用于，
基于词性过滤规则过滤候选领域术语中的非术语，当候选领域术语中的词性满足以下任意一条规则时，则删除：
a、词的结尾是数词、介词、连词、位置词；
b、非名词；
c、包含分隔符或符号；
基于语法过滤规则过滤候选领域术语，当候选领域术语满足以下任意一条规则时，则保留：
d、名词+名词；
e、形容词或名词+名词；
计算过滤后的候选领域术语的得分：
其中，s表示得分，fword为当前候选领域术语的频率，f(i)是频率为i的候选领域术语的数量与词频i的乘积，C1是频率为1的候选领域术语的总数，C为抽取的所有候选领域术语的总数，n为最大频率，a为超参数；
对候选领域术语的得分按从大到小进行排序。
本发明实施例中，第二抽取模块具体用于，
按下式计算输入的文档中的词的TF-IDF值：
其中，wordp表示词p的TF-IDF值，cn是词p在文档中出现的次数，N为文档总词数，m表示文档中的句子个数，ep表示包含词p的句子数。
本发明实施例中，第二抽取模块具体用于，
将句子表示为节点，句子之间双向全连通构成图；
使用T-TextRank算法按下式迭代计算句子的重要性直至收敛：
其中，WS(Si)表示句子Si的重要性，d是设置的阻尼系数，In(Si)表示指向节点Si的所有节点，Out(Sj)表示节点Sj指向的所有节点，wij表示句子Si和句子Sj的相似度，wjk表示句子Sj和句子Sk的相似度；
本发明实施例中，生成模块包括第一生成模块，第二生成模块和第三生成模块；
其中，第一生成模块用于，
获得提取的关键句列表，利用领域术语库中的领域术语作为关键信息在关键句列表中进行匹配，选择包含术语并且充当主语或者宾语成份的句子作为题干，并将对应的领域术语内容作为选择题正确选项；
基于以下策略中的至少一项生成选择题干扰项：
对领域术语分词，选择和正确选项的词性相同的领域术语作为干扰项；
选择与正确选项词缀相同的领域术语作为干扰项；
通过训练word2vec模型获得领域术语的词向量，基于领域术语词向量的余弦相似度选择领域术语作为干扰项；
选择领域术语库中，在文档中出现频率相近的领域术语作为干扰项；
第二生成模块用于，
利用领域术语库中的领域术语作为关键信息在关键句库中进行匹配，选择包含术语并且充当主语或宾语成份的句子作为题干，再将对应的领域术语内容用横线替代生成中文填空题题干；
第三生成模块用于，
当关键句中既包含下列特征词中的至少一个：“指的是”、“是指”、“是”、“是*一种|个|类”、“又称”、“定义为”、“简称”、“亦称”、“就是”、“是用来”、“也称”和“称为”，同时又包含领域术语，则生成名词解释题题干；
当关键句中包含下列因果关联词中的至少一个：“是因为”、“其所以”、“所以如此”和“故而”，将句子中表示原因的内容用疑问词代替，生成事实题题干。
值得指出的是，该装置实施例是与上述方法实施例对应的，上述方法实施例的实现方式均适用于该装置实施例中，并能达到相同或相似的技术效果，故不在此赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种副标题的生成方法、装置、电子设备和存储介质