发明内容

(一)解决的技术问题：

解决识别的作文文本评分不够准确问题，提供一种基于多模块全方位分析识别的作文文本进行评分的方法。

(二)技术方案：

为实现上述目的，一种图像识别的英语作文评分方法，采用的方案为先利用多个模块分别提取不同维度的特征，对不同维度特征进行扩展计算后，利用xgboost模型集成训练所有特征，最后利用已训练的模型预测作文分数。方法包括基础特征、主题特征、书写特征、语义特征四个特征模块与集成预测模块。

优选的，所述基础特征模块具体描述为：利用传统自然语言处理方法统计字符级别文本特征，包括字符数、标点数、句子数、段落数、单词数、单词集合数、单词平均长度、句子平均长度、停用词数、非停用词数、名词数、动词数、形容词数、介词数、副词数、连词数以及统计各单词的词频分布。对各词性单词数的统计需利用开源工具spacy对作文文本做词性标注，然后统计标注的各词性单词数量。计算词频分布需先统计已有作文数据中各单词的词频，对所有单词按照词频进行排序，对有序单词分别按正序与倒序划分13个与9个阶段范围，即正序为[0:100](词频最高前100单词)、[100:300](词频最高的第100至第300计200个单词)、[300:600]、[600:1000]、[1000:1500]、[1500:2000]、[2000:3000]、[3000:5000]、[5000:8000]、[8000:12000]、[12000:17000]、[17000:25000]、[25000:-1]，倒序为[-1:-100](词频最低的100个单词)、[-100:-200]、[-200:-400]、[-400:-700]、[-700:-1000]、[-1500:-2000]、[-2000:-3000]、[-3000:-5000]、[-5000:-10000]，然后统计作文文本中所有单词所属各自范围的数量作为词频分布特征，将所有基础特征整合后训练xgboost模型。

优选的，所述主题特征模块具体描述为：先把识别出来的作文文本分成跑题与非跑题两类，然后将每一篇作文文本与该场考试中其他学生作文文本组合构成文本对，对一篇跑题一篇不跑题的两篇作文构成的文本对人工标注label为1，其他组合构成的文本对为0，组建文本对训练数据集，通过三个方案计算文本对的相似度，一个方案是利用50维glove词向量对文本做词向量嵌入，将文本转换为向量矩阵，然后用Bilstm神经元从文本矩阵提取语义特征矩阵，作为siamese网络前段输入层，用矩阵叠加和矩阵相减处理两篇文本的语义特征矩阵，两种处理结果拼接后传入全连接层与softmax层输出相似数值；一个方案是以考试为单位，对预处理后文本集利用tfidf选出该考试关键词集，用这些关键词集组建onehot向量，利用余弦相似计算文本对相似度；最后一个方案是先用spacy对文本进行词性标注，统计文本中词性为名词的单词，挑选其中的高频名词作为关键词集，组建onehot向量，利用余弦相似计算文本对相似度；将每篇文章与该考试内其他文章利用这三种方案分别计算出各自相似度的平均值、方差、中位数、最大值、最小值作为跑题模块扩展计算后的特征数据。

优选的，所述书写特征模块具体描述为：作文区域图像先缩放到224*224的小图，将224*224小图进行人工标注，根据手写字体是否美观分为1、2、3、4(对应“较差”、“一般”、“良好”、“优秀”)，一共四个类别，采用密集连接卷积网络denseNet训练分类模型，对224*224的小图预测书写类别。密集连接卷积网络denseNet设置如下：

(1)、学习率：0.01，衰减率为0.9；

(2)、优化器：Adagrad；

(3)、batch:32；

(4)、epoch:50；

优选的，所述语义模块具体描述为：先对文本利用glove词向量做词向量嵌入，然后Bilstm神经元从文本矩阵提取语义特征矩阵，传入全连接层与softmax层输出相应分数。

优选的，所述集成预测模块具体描述为：将基础模块、主题模块、书写模块、语义模块四个模块输出的多维特征整合作为xgboost模型的输入，进行最终预测。

一种针对图像识别的英语作文评分方法，包括以下具体步骤：

步骤一、准备数据：以考试为单位，准备识别好的作文文本(50场以上的考试数据，每场考试人数50+)，确保每场考试都有跑题作文；准备作文区块的扫描图像4000张，尽可能包含应用场景的各种答题试卷类型；

步骤二、浅层特征提取：对每篇文本预处理并提取如下特征，字符数、标点数、句子数、段落数、单词数、单词集合数、单词平均长度、句子平均长度、停用词数、非停用词数，利用spacy对作文文本做词性标注，统计名词数、动词数、形容词数、介词数、副词数、连词数，统计所有作文文本词频，并排序，对有序单词分别按正序与倒序划分13个与9个阶段范围，即正序为[0:100](词频最高前100单词)、[100:300](词频最高的第100至第300计200个单词)、[300:600]、[600:1000]、[1000:1500]、[1500:2000]、[2000:3000]、[3000:5000]、[5000:8000]、[8000:12000]、[12000:17000]、[17000:25000]、[25000:-1]，倒序为[-1:-100](词频最低的100个单词)、[-100:-200]、[-200:-400]、[-400:-700]、[-700:-1000]、[-1500:-2000]、[-2000:-3000]、[-3000:-5000]、[-5000:-10000]，然后统计作文文本中所有单词所属各自范围的数量。

步骤三、基础模型训练：对步骤二中提取的浅层特征进行整合，利用xgboost模型训练得到基础评分模型；

步骤四、文本对构建：以考试为单位，每场考试中的作文文本两两组成文本对，标记跑题作文与非跑题作文组成的文本对label为1，其他标记labe l为0，从每场考试中的文本对中分别抽取相同数量的label为1和0的文本对放一起作为训练数据；

步骤五、词向量级别相似训练：利用glove词向量做词嵌入处理，输入到Bilstm+siamese网络结构中，训练文本相似模型，网络结构设置如下：

(1)、学习率：0.001；

(2)、优化器：Adagrad；

(3)、Bilstm组合方式:对应元素相加；

(4)、siamese两矩阵组合方式:堆叠(对应元素相减，堆叠)；

(5)、batchsize:256；

(6)、epoch:3；

步骤六、tfidf相似计算：以考试为单位，对文本集做tfidf计算提取关键词，对关键词利用余弦相似计算两两文本之间的相似度；

步骤七、高频名词相似计算：以考试为单位，利用spacy标注文本词性，统计名词词频，将每场考试作文中的高频名词作为该场考试作文关键词，对关键词利用余弦相似计算两两文本之间的相似度；

步骤八、跑题模型训练：用步骤五、步骤六、步骤七三种相似度计算方法分别计算出单个文本对其他文本相似度的平均值、方差、中位数、最大值、最小值作为特征数据，训练xgboost模型；

步骤九、深层特征模块：对文本做glove词嵌入处理，利用Bilstm层提取文本序列特征输入到全连接网络，由softmax层输出分数，网络结构设置如下：

(1)、学习率：0.001；

(2)、优化器：Adagrad；

(3)、Bilstm组合方式:对应元素相加；

(4)、batchsize:256；

(5)、epoch:100；

步骤十、书写数据准备：将4000张作文图片分别缩放到224*224尺寸，根据手写字体是否美观分为1、2、3、4(对应“较差”、“一般”、“良好”、“优秀”)，每类数据1000张

步骤十一、书写模型训练：将标注的小图利用密集连接卷积网络denseNet进行四分类训练，保存模型；

步骤十二、整合方法流程：将基础评分模块、跑题评分模块、书写评分模块、语义评分模块四个模块的分数与特征整合到一起，利用xgboost集成训练模型预测分数。

有益效果

本发明提出一种针对图像识别的英语作文评分方法，具备以下有益效果：本方法主要针对图像识别的英语作文评分准确率不高问题，提出多种方式提取特征再集成训练模型预测分数的方案，方法通过基础特征模块提取文本浅层简单而有效的字符级特征是分数的主要构成来源，语义特征模块通过深层发掘不同语义的词汇语句与作文分数的联系，主题特征模块则在语义层次找出“与众不同的文章”与书写特征模块一起对分数评定进行调整，四个模块涵盖了教师对作文手动评分时考虑的各个因素，通过xgboost集成学习大量数据后，模拟教师评分标准与思维对作文进行准确客观的评分。