具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行完整、清楚的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为便于理解本申请的技术方案，以下首先在对本申请所涉及到的一些概念进行说明。

RoBERTa模型，是BERT的改进版中文预训练模型，与传统BERT相比，RoBERTa模型增大了Batch size、引入了动态Masking机制、扩大了训练样本、移除了损失函数中NSP(nextsentence predict)项的约束。特别的，模型的Batch size由256增大到8000，并采用10种不同的Masking方式，使得不同epoch中样本不会被固定的Masking掩盖，训练数据由13G变为160G。

具体的，RoBerta模型输入由词向量、句向量和位置量三部分构成。词向量中包括类别符的编码向量和分隔符的编码向量；句向量为用来区分不同句子的编码向量；位置量为句子中不同词语对应位置的编码向量。模型输出为该句子所有词语经自注意力编码器编码后的词嵌入矩阵。

循环神经网络(RNN)是序列关系学习任务中应用最为广泛的神经网络，双向长短时记忆网络(Bi-LSTM)为RNN的一种变种，其自带双向时序性特征与特有的门控结构，可以有效解决梯度消失和爆炸问题。

条件随机场(CRF)是一种常用的序列标注算法。

专家和项目申请书的匹配工作可以看作是一种异构数据匹配，异构数据匹配就是将不同源的数据通过预处理的方式进行优化，进而相互匹配，最终得到合理的输出。对项目申请书数据的预处理涉及到了命名实体识别这一项技术，即识别出文本中的人名、地名、机构名之类的专有名称并对其进行分类，对专家数据的预处理可以通过爬虫技术从网页提取后整理。在得到二者处理后的数据后，通过异构匹配的手段便可以得到比人工推荐更精确、高效的结果

具体的，在对电力项目申请书的命名实体识别中，首先定义以下概念：

(1)使用方法实体：申请书中使用到的方法，比如：零序谐波分量原理、热阶跃电流法、电磁耦合原理。

(2)涉及领域实体：申请书所涉及的领域，比如：无功补偿、变电工程、经济输电。

参见图1，为本申请实施例提供的一种基于象形-语义双特征空间映射的评审专家推荐方法流程示意图。本申请实施例提供一种基于象形-语义双特征空间映射的评审专家推荐方法，具体包括：

步骤S1：获取电力科技项目申请书的摘要信息。

步骤S2：对所述电力项目申请书的摘要信息进行命名实体识别，获得电力项目实体，所述电力项目实体包括使用方法实体和涉及领域实体。

步骤S3：爬取电力专家的个人主页信息和已发表论文的摘要信息。

步骤S4：对所述电力专家的个人主页信息和所述已发表论文的摘要信息进行命名实体识别，获得电力专家实体，所述电力专家实体包括擅长技术实体和研究方向实体。

进一步的，利用RoBERTa预训练模型和BiLSTM+CRF模型进行命名实体识别。具体的，RoBerta模型的特征提取器为双向Transformer，而Transformer的每个单元由自注意力层(self-Attention)、前馈神经网络(Feed Forward Network)以及归一化层(Add&Normalization)构成，这种结构可以充分利用上下文信息，捕捉到更长距离的依赖关系。

本申请实施例中，BiLSTM模型将每个词语与标签的得分矩阵作为输出，称为“发射矩阵”A，具体为：将词语隐藏层向量经线性层(即用BiLSTM做分类的最后一步，将隐藏状态映射为得分)映射后的值作为该词语对应标签的得分矩阵。

同时，本申请实施例选择线性CRF模型来学习序列中标签之间的内在关系，即预测输入序列对应的标签。

更进一步的，利用RoBERTa预训练模型和BiLSTM+CRF模型进行命名实体识别的具体方法为：

步骤S411：获取文本信息。

步骤S412：对文本信息进行分词，获得词语的集合。

步骤S413：运用RoBerta预训练模型对所述词语的集合进行向量映射，获得词向量集合。

步骤S414：运用Bi-LSTM+CRF模型对所述词向量集合进行训练，获得文本信息的命名实体。

具体的，本申请实施例中，原始输入通过RoBerta模型进行初始化，输出词向量，并将该词向量作为BiLSTM+CRF模型的输入，然后通过BiLSTM+CRF模型运算，最终获得命名实体。

更进一步的，获得研究方向实体和擅长技术实体的具体方法为：

步骤S421：获取评审专家信息的关键词。

步骤S422：根据所述关键词，爬取专家个人主页信息和已发表论文的摘要信息。

步骤S423：根据RoBERTa预训练模型和BiLSTM+CRF模型，对所述专家个人主页信息进行命名实体识别，获得所述研究方向实体。

步骤S424：根据RoBERTa预训练模型和BiLSTM+CRF模型，对所述已发表论文的摘要信息进行命名实体识别，获得所述擅长技术实体。

具体的，如果电力专家文本的数量比较少，也可以对爬取的电力专家文本的研究方向实体进行人工筛选；更具体的，由于电力专家文本的研究方法实体与电力项目的使用方法实体具有可比较性，因此本申请实施例对电力专家文本的研究方法实体采取与识别电力项目文本的使用方法实体相同的模型。

步骤S5：对所述使用方法实体进行象形映射，获得象形使用方法实体，以及对所述涉及领域实体进行象形映射，获得象形涉及领域实体。

步骤S6：对所述擅长技术实体进行象形映射，获得象形擅长技术实体，以及对所述研究方向实体进行象形映射，获得象形研究方向实体。

步骤S7：对所述象形使用方法实体进行语义映射，获得使用方法特征向量，以及对所述象形涉及领域实体进行语义映射，获得涉及领域特征向量。

步骤S8：对所述象形擅长技术实体进行语义映射，获得擅长技术特征向量，以及对所述象形研究方向实体进行语义映射，获得研究方向特征向量。

步骤S9：根据所述使用方法特征向量、所述涉及领域特征向量、所述擅长技术特征向量和所述研究方向特征向量，计算获得综合匹配得分。

进一步的，参见图2，为本申请实施例提供的综合匹配得分的计算方法流程示意图。本申请实施例中，获得综合匹配得分的具体方法为：

步骤S91：对所述涉及领域特征向量与所述研究方向特征向量在象形特征空间进行欧氏距离计算，获得第一象形匹配得分。

进一步的，采用以下方法进行欧氏距离计算：

式中，D为领域(方向)层面的实体相似度得分，F为涉及领域实体对应的集合，R为涉及研究方向实体对应的集合，为F集合中实体对应的象形空间嵌入，为R集合中实体对应的象形空间嵌入，为F集合中实体对应的语义空间嵌入，为R集合中实体对应的语义空间嵌入。

步骤S92：对所述涉及领域特征向量与所述研究方向特征向量在语义特征空间进行余弦相似度计算，获得第一语义匹配得分。

进一步的，采用以下方法进行余弦相似度计算：

式中，T为方法(技术)层面的实体相似度得分，O为使用方法实体对应的集合，L为擅长技术实体对应的集合，为O集合中实体对应的象形空间嵌入，为L集合中实体对应的象形空间嵌入，为O集合中实体对应的语义空间嵌入，为L集合中实体对应的语义空间嵌入。

步骤S93：对所述使用方法特征向量与所述研究方法特征向量在象形特征空间进行欧氏距离计算，获得第二象形匹配得分。

步骤S94：对所述使用方法特征向量与所述研究方法特征向量在语义特征空间进行余弦相似度计算，获得第二语义匹配得分。

步骤S95：对所述第一象形匹配得分和第一语义匹配得分进行求和，获得研究方向匹配得分。

步骤S96：对所述第二象形匹配得分和第二语义匹配得分进行求和，获得研究方法匹配得分。

步骤S97：对所述研究方向匹配得分和所述研究方法匹配得分进行加权求和，获得综合匹配得分。

进一步的，采用以下方法进行综合匹配得分计算：

score＝k×D+(1-k)×T

式中，score为综合匹配得分，k为超参数，即权重，表示领域(方向)层面的匹配重要性。

进一步的，本申请实施例采用贪心算法计算k值，且经过反复校验，本申请实施例中的k值设置为0.3最为适宜。

步骤S10：根据所有的综合匹配得分的高低，确定评审专家。具体的，将最终计算输出的综合匹配得分降序排列，选定综合匹配得分最高的专家作为该电力科技项目申请书的评审专家。

下面将通过具体实施例，对本申请实施例所提供的一种基于象形-语义双特征空间映射的评审专家推荐方法进行详细阐述。

本申请具体实施例中，对于电力项目文本数据，本申请具体实施例电力科技项目申报数据库中选取2000篇文档作为语料库，研究主题主要包括：高电压与绝缘技术、电机与电气以及电力系统及自动化等。本申请具体实施例对项目申请书摘要进行分词和去除停用词操作，并进行命名实体的标注。由于本申请具体实施例所提方法对长序列不敏感，因此，本申请具体实施例采取将项目申请书摘要按句号断开，同时保证预处理后的数据集中含有所需命名实体标注的句子与不含所需命名实体标注的句子数比例为8:1，总共的语句数约为10000句。

数据集划分方面，本申请具体实施例将10000句电力项目文本按8：1：1的比例划分为训练集、验证集与测试集。

数据标注方面，本申请具体实施例采取经典的BIO三段标注法，即对于每个实体，将第一个字标注为“B-实体名称”，后续为“I-实体名称”，非本文需要的实体则标注为O。

在基于层次化表示的词嵌入模块，本申请具体实施例，预训练的RoBerta模型将词语映射为1024维向量，并引入命名实体识别模型BiLSTM+CRF的训练中。

具体的，参见图3(a)和图3(b)，为本申请实施例提供的申请书涉及领域实体和使用方法实体识别结果示意图。从图3(a)中可以看出，识别出了脉冲电流法、等值电路数学模型、集成学习等较为合理的使用方法实体；从图3(b)可以看出，识别出了变压器检修、变电工程、清洁电力共享等涉及领域实体。综上所述，本申请实施例将RoBERTa预训练模型加入到BiLSTM+CRF模型后，能够有效提取电力项目文本的相关实体。

对于电力专家文本数据，在对专家相关实体的检索中，本申请具体实施例选择了某高校电气学院3个大实验室下的8个实验室，从每个实验室选取教授(博导)、副教授(博导)、副教授(硕导)各一名，共24名专家进行信息提取。整体流程分为擅长技术实体爬取与研究方向实体爬取，做法如下：

(1)在知网检索专家姓名及所在学校关键词，爬取其发表过文章的摘要，并进行命名实体识别，提取出其已发表论文中所使用过的方法，作为专家的擅长技术实体。

(2)使用爬虫技术对专家主页的研究方向进行爬取，经过分词操作后将研究方向实体检索出来(此部分工作量很小，采取人工筛选的方式)，将检索结果作为专家的研究方向实体。筛选结果(部分)如表1所示。

表1专家数据的实体筛选结果(部分)

从表1中可以看出，专家主页的研究方向实体与其发表论文中的使用方法实体，电力科技项目申请书的两种实体具有一定程度上的可比性，这就为后续的实体匹配过程提供了依据。

经过上述处理，得到了电力科技项目申请书与专家这两种异构数据预处理后的结果，即四类具有一定关系的实体。然后，本申请实施例采取象形-语义双特征空间匹配对这四类实体进行匹配，具体匹配流程如图4所示。

从图4可以看出，对这四类实体的匹配，本申请实施例采取了基于笔画的象形空间映射与基于序列信息的语义空间映射来将实体映射为特征向量。在匹配过程中，本申请实施例认为电力科技项目申请书的涉及领域实体与专家的研究方向实体可以进行同一层面的相似度比较、电力科技项目申请书的使用方法实体与专家的擅长技术实体可以进行同一层面的相似度比较。具体流程如下：

(1)将四种实体分别通过象形层面的cw2vec模型与语义层面的RoBERTa模型映射为512维的特征向量。

(2)将涉及领域实体、研究方向实体与使用方法实体、擅长技术实体分别在象形特征空间和语义特征空间内进行全排列的欧氏距离和余弦相似度计算，取二者最高值的和作为实体匹配得分。

(3)将电力科技项目申请书和专家在领域(方向)层面与方法(技术)层面的匹配得分进行加权综合，最终得到综合匹配得分。其中，领域(方向)层面的匹配得分权重设置为0.3，方法(技术)层面的匹配得分权重设置为0.7。

(4)将综合匹配得分最高的专家作为该电力科技项目申请书的评审专家。

为验证本申请提出的基于象形-语义双特征空间映射匹配算法的有效性，本申请具体实施例做了三组对比实验，分别为语义空间映射+余弦相似度匹配、象形空间映射+余弦相似度匹配与象形-语义双特征空间映射+余弦相似度匹配。对于电力项目实体和电力专家实体匹配的效果如图5所示。

由图5可以看出，本申请实施例实现了一个对电力科技项目申请书-相关电力专家进行基于多尺度表示学习的异构数据预处理，在2000篇电力项目文档与24位电力专家文本进行匹配的准确率达到了最高的0.85。结果表明象形空间和语义空间可以捕捉到词语语义与象形层面的信息，将两种特征空间具有较强的互补性，对实体进行匹配比使用单一特征空间映射用到的实体信息更加充分。

综上所述，与现有技术相比，本申请实施例具有以下特点：

(1)使用了命名实体识别和异构数据的实体匹配的思想，实现了端到端的匹配方法，整个流程不需要人工参与。

(2)将预训练的RoBerta模型引入命名实体识别模型BiLSTM+CRF的训练中，大大提升训练的效率与准确率。

(3)在实体匹配时，引入了象形-语义双特征空间匹配的思路，达到了更为精准的匹配效果。

(4)本申请所述方法具有优良的泛化性，只要提供相应的文档，即可对其他行业的申请书进行专家推荐。

本申请提供一种基于象形-语义双特征空间映射的评审专家推荐方法，具体包括：

获取电力科技项目申请书的摘要信息。

对所述电力项目申请书的摘要信息进行命名实体识别，获得电力项目实体，所述电力项目实体包括使用方法实体和涉及领域实体。

爬取电力专家的个人主页信息和已发表论文的摘要信息。

对所述电力专家的个人主页信息和所述已发表论文的摘要信息进行命名实体识别，获得电力专家实体，所述电力专家实体包括擅长技术实体和研究方向实体。

对所述使用方法实体进行象形映射，获得象形使用方法实体，以及对所述涉及领域实体进行象形映射，获得象形涉及领域实体。

对所述擅长技术实体进行象形映射，获得象形擅长技术实体，以及对所述研究方向实体进行象形映射，获得象形研究方向实体。

对所述象形使用方法实体进行语义映射，获得使用方法特征向量，以及对所述象形涉及领域实体进行语义映射，获得涉及领域特征向量。

对所述象形擅长技术实体进行语义映射，获得擅长技术特征向量，以及对所述象形研究方向实体进行语义映射，获得研究方向特征向量。

根据所述使用方法特征向量、所述涉及领域特征向量、所述擅长技术特征向量和所述研究方向特征向量，计算获得综合匹配得分。

根据所有的综合匹配得分的高低，确定评审专家。

由上述技术方案可知，本申请提供一种基于象形-语义双特征空间映射的评审专家推荐方法，首先利用RoBerta预训练模型对文本进行层次化表示，进而使用Bi-LSTM+CRF模型对电力项目文本和电力专家文本进行命名实体识别，然后将命名实体通过象形-语义双特征空间映射为特征向量，并对得到的特征向量进行欧氏距离和余弦相似度计算，获得相关匹配得分，再对相关匹配得分进行加权求和，获得综合匹配得分，最后将综合匹配得分最高的专家作为该电力项目文本的评审专家。本申请提出基于语义-象形双特征空间映射的项目文本与领域专家的实体匹配策略，智能化地实现项目与专家的有效精准匹配，进而降低了评审工作人力成本、增强了评审结果可靠性以及提高了评审整体效率，是一种准确高效的方法。

以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。