一种搜索意图识别方法及装置

文档序号:1363091 发布日期:2020-08-11 浏览:13次 >En<

阅读说明:本技术 一种搜索意图识别方法及装置 (Search intention identification method and device ) 是由 张新展 王文博 费浩峻 于 2020-04-21 设计创作,主要内容包括:本申请提供了一种搜索意图识别方法及装置,该方案首先利用规则模型对待识别搜索文本进行意图识别得到相应的第一识别结果;对于准确率低于第一预设值的待识别搜索文本,利用深度学习模型重新进行意图识别得到对应的意图类别。利用规则模型识别得到的准确率高于第一预设值的待识别搜索文本,直接确定对应的第一识别结果为该待识别搜索文本对应的意图类别。由上述内容可知,该方案利用多个模型对待识别搜索文本进行多层次识别,使用规则模型保证识别准确率,对于规则模型识别不准确或无法识别的数据,再使用深度学习模型进行识别,从而保证识别结果的召回率,因此,最终得到的搜索意图识别结果准确率和召回率都很高。(The scheme includes that firstly, a rule model is used for identifying intentions of a search text to be identified to obtain a corresponding first identification result; and for the text to be recognized with the accuracy rate lower than the first preset value, carrying out intention recognition again by using the deep learning model to obtain the corresponding intention category. And identifying the searched text to be identified with the accuracy higher than the first preset value by using the rule model, and directly determining the corresponding first identification result as the intention category corresponding to the searched text to be identified. According to the above content, the scheme utilizes a plurality of models to recognize the text to be recognized in a multi-level mode, the rule models are used for ensuring the recognition accuracy, and the deep learning models are used for recognizing data which are inaccurate or can not be recognized by the rule models, so that the recall rate of the recognition result is ensured, and therefore, the accuracy and the recall rate of the finally obtained recognition result of the search intention are high.)

一种搜索意图识别方法及装置

技术领域

本发明属于计算机技术领域,尤其涉及一种搜索意图识别方法及装置。

背景技术

搜索意图识别是指对用户的搜索词条进行拆解与分析,获得用户意图与需求,从而向用户推荐用户最需要的产品或内容。可见,提高搜索识别意图能够提高产品或内容推荐的准确率。

目前的一种搜索意图识别方案是采用词向量对搜索词条进行语义表示,词向量基于上下文的含义得到,而搜索词条具有不规范且长度短有些几乎没有上下文,获得的词向量表示能力较差,导致最终的意图识别准确率低。

发明内容

有鉴于此,本发明的目的在于提供一种搜索意图识别方法及装置,以解决传统技术方案识别准确率低的技术问题,其公开的技术方案如下:

一方面,本发明提供了一种搜索意图识别方法,包括:

利用规则模型对获得的待识别搜索文本进行意图识别,得到第一识别结果,其中,所述第一识别结果包括所述待识别搜索文本对应的意图类别及对应准确率,所述规则模型包括多条识别规则,每一条识别规则包括具有预设顺序的多个特征词典,且对应一个意图类别;

对于准确率高于第一预设值的第一识别结果,确定该第一识别结果中的意图类别为对应的待识别搜索文本的意图类别;

对于准确率低于所述第一预设值的第一识别结果,利用预先训练得到深度学习模型对与该第一识别结果对应的待识别搜索文本重新进行意图识别,得到对应的意图类别。

另一方面,本发明还提供了一种搜索意图识别装置,包括:

第一意图识别模块,用于利用规则模型对获得的待识别搜索文本进行意图识别,得到第一识别结果,其中,所述第一识别结果包括所述待识别搜索文本对应的意图类别及对应准确率,所述规则模型包括多条识别规则,每一条识别规则包括具有预设顺序的多个特征词典,且对应一个意图类别;

第一确定模块,用于对准确率高于第一预设值的第一识别结果,确定该第一识别结果中的意图类别为对应的待识别搜索文本的意图类别;

第二意图识别模块,用于对准确率低于所述第一预设值的第一识别结果,利用预先训练得到深度学习模型对与该第一识别结果对应的待识别搜索文本重新进行意图识别,得到对应的意图类别。

本申请提供的搜索意图识别方法,首先利用规则模型对待识别搜索文本进行意图识别得到相应的第一识别结果;对于准确率低于第一预设值的待识别搜索文本,利用深度学习模型重新进行意图识别得到对应的意图类别。利用规则模型识别得到的准确率高于第一预设值的待识别搜索文本,直接确定对应的第一识别结果为该待识别搜索文本对应的意图类别。由上述内容可知,该方案利用多个模型对待识别搜索文本进行多层次识别,使用规则模型保证识别准确率,对于规则模型识别不准确或无法识别的数据,再使用深度学习模型进行识别,从而保证识别结果的召回率,因此,最终得到的搜索意图识别结果准确率和召回率都很高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种搜索意图识别方法的流程图;

图2是本申请实施例提供的一种搜索意图识别系统的框架示意图;

图3是本申请实施例提供的一种规则模型构建过程的流程图;

图4是本申请实施例提供的一种深度学习模型训练过程的流程图;

图5是本申请实施例提供的一种搜索意图识别装置的结构示意图;

图6是本申请实施例提供的一种第二意图识别模块的结构示意图。

具体实施方式

随着互联网技术飞速发展,用户可以在各类网站中搜索自己想要的各类产品或信息,用户在搜索时留下一系列搜索行为轨迹信息,通过分析用户的搜索行为,从而确定用户搜索行为的最终诉求,即用户想要的商品或信息,也即确定用户搜索行为的意图。以便,进一步向用户展示或推送用户想要的信息。下面将结合附图详细介绍本申请提供的用户意图识别方法。

请参见图1,示出了本申请实施例提供的一种搜索意图识别方法的流程图,该方法应用于具有计算能力的设备中,如图1所示,该方法主要包括以下步骤:

S110,利用规则模型对获得的待识别搜索文本进行意图识别,得到第一识别结果。

规则模型通过对大量用户搜索数据进行分析得到,规则模型中的每一条识别规则对应一个意图类别,而且,每一条识别规则包括具有预设顺序的多个特征词典。

待识别搜索文本是需要进行意图识别的搜索文本,可以是用户搜索词条中任意一条或多条。

在本申请的一个实施例中,规则模型包括模板Pattern和特征词典FeatureDict构成。

例如,模板1:[W:0-30][D:Bank][W:0-30][D:Loan_Indicate][W:0-30];

模板2下:

[W:0-30][D:WeiLiDai_Indicate][W:0-30][D:Loan_Indicate][W:0-30][D:Loan_Interest][W:0-30]。

模板中,[W:0-30]为通配符,表示匹配0-30个非词典字;[D:XXX]为特征词典包含一类词,例如,特征词典[D:HuaBai_Indicate]包括花呗,蚂蚁花呗,借呗。

上述模板1包括两个词汇词典且从前至后依次为[D:Bank]、[D:Loan_Indicate]。其中,[D:Bank]表示银行词汇词典、[D:Loan_Indicate]表示贷款词汇词典。

上述模板2包括三个词汇词典且从前至后依次为:[D:WeiLiDai_Indicate]、[D:Loan_Indicate]、[D:Loan_Interest],其中[D:WeiLiDai_Indicate]微粒贷品牌词典、[D:Loan_Indicate]贷款词汇词典、[D:Loan_Interest]贷款利息词汇词典。

例如,一个搜索文本所包含的词语按照从前至后的顺序与模板2中的词汇词典相匹配,确定该搜索文本的意图类别为模板2的类别标签,即微粒贷-利息。

其中,第一识别结果包括待识别搜索文本对应的意图类别及对应准确率。

需要说明的是,规则模型得到的第一识别结果的准确率是相应识别规则对应的准确率,例如,待识别搜索文本与规则模型中的识别规则1完全匹配,识别规则1对应的意图类别为a类,且识别规则1的准确率是90%,则该待识别搜索文本的意图类别是a类,且准确率是90%。

其中,每一条识别规则对应的准确率是该识别规则识别正确的搜索词条数与利用该识别规则识别的总词条数的比例,即:准确率=识别正确的词条数/识别的词条总数。

S120,对于准确率高于第一预设值的第一识别结果,确定该第一识别结果中的意图类别为对应的待识别搜索文本的意图类别。

如果利用规则模型识别某个搜索文本得到的识别结果的准确率较高,例如,高于某一预设值(该预设值可以根据规则模型的实际准确率确定)时,则将规则模型识别得到的意图类别作为该搜索文本的意图类别。

S130,对于准确率低于第一预设值的第一识别结果,利用预先训练得到深度学习模型对与该第一识别结果对应的待识别搜索文本重新进行意图识别,得到对应的意图类别。

如果利用规则模型识别某个搜索文本得到的识别结果的准确率较低,例如低于某一预设值,认为该识别结果可能存在错误,然后,继续使用预先训练得到的深度学习模型对准确率较低的待识别搜索文本重新进行意图识别,从而得到该搜索文本对应的意图类别。

规则模型的识别准确率高且处理速度快,但是规则模型适用于识别长度较短的搜索文本,对于长度较长的搜索文本的识别准确率较低,甚至无法识别。

在本申请的一个实施例中,为了提高识别效率和召回率,对于规则模型能识别但准确率较低的搜索文本,采用二分类的深度学习模型(即第一深度学习模型)验证规则模型得到的第一识别结果是否准确。而对于规则模型无法识别的搜索文本,采用多分类的深度学习模型(即,第二深度学习模型)识别得到该搜索文本的意图类别。

在一种可能的实现方式中,利用第一深度学习模型对第一识别结果验证的过程如下:

利用第一深度学习模型重新对准确率低于第一预设值的待识别搜索文本进行意图识别,得到第二识别结果;第二识别结果包括正确和不正确两个类别;若第二识别结果为正确类别,表明规则模型得到的第一识别结果正确;若第二识别结果为不正确类别,表明规则模型得到的第一识别结果不正确。

在另一种可能的实现方式中,第二深度学习模型对搜索文本重新识别的过程如下:

利用第二深度学习模型中的一级分类模型,对规则模型无法识别的待识别搜索文本进行意图识别,得到待识别搜索文本的一级意图类别;例如,

然后,利用一级意图类别所对应的二级分类模型,对待识别搜索文本进行意图识别,得到待识别搜索文本的二级意图类别。

在本申请的一个实施例中,第一深度学习模型可以采用长短期记忆网络(LongShort-TermMemory,LSTM)模型实现;第二深度学习模型可以采用基于注意力机制的LSTM模型和文本CNN网络。本实施例提供搜索意图识别系统的框架如图2所示,第一层为规则模型,第二层为LSTM模型,第三层为基于注意力机制的LSTM模型和文本CNN网络。

本实施例提供的搜索意图识别方法,首先利用规则模型对待识别搜索文本进行意图识别得到相应的第一识别结果;对于准确率低于第一预设值的待识别搜索文本,利用深度学习模型重新进行意图识别得到对应的意图类别。利用规则模型识别得到的准确率高于第一预设值的待识别搜索文本,直接确定对应的第一识别结果为该待识别搜索文本对应的意图类别。由上述内容可知,该方案利用多个模型对待识别搜索文本进行多层次识别,使用规则模型保证识别准确率,对于规则模型识别不准确或无法识别的数据,再使用深度学习模型进行识别,从而保证识别结果的召回率,因此,最终得到的搜索意图识别结果准确率和召回率都很高。其中,召回率即查全率,即正确预测为正的数据占全部实际为正的数据的比例。

下面将结合图3~图4详细介绍构建规则模型、深度学习模型的过程。

如图3所示,构建规则模型的过程包括:

S210,从用户搜索数据中筛选得到候选搜索数据集。

在本申请的一个实施例中,首先对全网用户搜索数据进行预处理,如对用户搜索数据进行去噪,即去除完全不相关的数据,或需要屏蔽的数据等噪声数据。

然后,利用种子词在预处理后的用户搜索数据上进行随机游走(Random Walk),得到候选搜索数据集。候选搜索数据集即用于获得规则模型的用户搜索数据。例如,种子词可以是XX贷款、个人消费贷款、XX银行个人贷款。

随机游走算法,在数据挖掘领域有广泛的应用,随机游走算法构建了若干个随机游走器,随机游走器从某个节点初始化,之后在每一步随机游走中,随机地访问当前节点的某个邻接节点。

S220,对候选搜索数据集进行专有词挖掘得到专有词。

对于每一条候选搜索数据,按照如下公式计算字与字之间的点互信息pmi(x,y)和自由度free(wi):

free(wi)=min(le(wi),re(wi)) (2)

其中,公式1中,p(x,y)表示x和y共同出现的概率,p(x,y)=x,y出现次数/总文本数量,p(x)表示x出现的概率,p(x)=x出现次数/总文本数量,p(y)表示y出现的概率,p(y)=y出现次数/总文本数量;

公式2中,le(wi)表示当前词wi左边出现的词的信息熵,其中,此式中的pi是wi左边出现过的词的概率,假设某词在wi左边出现的次数是n,wi左边出现的词共出现过m个词,则pi=n/m;re(wi)表示当前词右边出现的词的信息熵,计算过程与le(wi)相同,此处不再赘述。

点互信息用来衡量词搭配是否合理,自由度用以衡量一个词的左邻字与右邻字的丰富程度。自由度、点互信息越大成词的可能性越大,具体实施时,设定一个阈值,自由度和点互信息大于阈值的字组合认为是专有词。

S230,将专有词进行分词,并对候选搜索数据集中每一条数据进行划分得到候选子序列。

在候选搜索数据集上分别进行N-gram(如,2-gram和3-gram)得到相应的子序列,并筛选TF-IDF高的子序列为候选子序列。

N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作,形成长度是N的字节片段序列。

例如,搜索数据为“北京银行的个人贷款利息是多少”,进行分词后得到北京银行/的/个人/贷款/利息/是/多少,进行2-gram得到的子序列是:北京银行-贷款、个人-贷款、贷款-利息,进行3-gram得到子序列为:北京银行-贷款-利息。

TF-IDF,即词频-逆文档频率,表示如果某个词或短语在一篇文章中出现的频率高(即,TF高),并且在其他文章中很少出现(即,IDF高),则认为此词或短语具有很好的类别区分能力,即适合用来分类。

S240,基于特征词典对专有词的分词,以及候选子序列中的词进行分类,并将未包含在特征词典中的词更新至词典中,得到更新后的特征词典。

在候选搜索数据集上训练词向量,获得S230得到的候选子序列中的词语,以及,专有词的分词对应的词向量,并计算未包含在现有的特征词典中的词语(即待分类词Xi)与特征词典中的词语(即已知类别词Yi)之间的距离,确定与待分类词Xi之间距离最小的已知类别词Yi的类别为该待分类词的类别。

S250,利用更新后的特征词典,对每个候选子序列中的词所属的特征词典进行标注,生成识别规则。

使用更新后的特征词典,对S230得到的候选子序列中每个词的类别进行标注,例如,候选子序列为微粒贷-利息,微粒贷属于词典[D:WeiLiDai_Indicate],而利息属于词典[D:Loan_Interest],则生成的识别规则为:[W:0-30][D:WeiLiDai_Indicate][W:0-30][D:Loan_Interest][W:0-30]。

S260,为每一条识别规则标注对应的意图类别,得到规则模型。

在本申请的一个实施例中,对每一条识别规则(即,每个模板)中的特征词典进行优先级标注,生成每个模板对应的意图类别tag。

例如,模板中的品牌词典的优先级高于普通词汇词典的优先级,例如,[W:0-30][D:WeiLiDai_Indicate][W:0-30][D:Loan_Indicate][W:0-30][D:Loan_Inte rest][W:0-30],中的[D:WeiLiDai_Indicate]为微粒贷品牌词典,[D:Loan_Indicate]和[D:Loan_Interest]为普通词汇词典。因此,该模板的意图类别tag为:微粒贷-利息。例如,子序列为“微粒贷-贷款-利息”与该模板相匹配,因此,确定该子序列的意图类别为微粒贷-利息。

创建好规则模型后,将待识别搜索文本输入至包含该规则模型的识别器中,输出识别结果,例如,(query,pattern,tag)三元组,该三元组中的query为搜索词条,pattern为匹配的模板,tag为意图类别。

本实施例提供的创建规则模型的过程,在构建模板时考虑了模板所包含的各个特征词典之间的排列顺序,因此,在利用该规则模型对搜索文本进行意图识别时,搜索文本中词的顺序与模板中相匹配的词典的顺序相同,才认为该搜索文本与该模板相匹配,换言之,该规则模型考虑了搜索文本中词语之间的顺序,因此提高了识别结果的准确率。

请参见图4,示出了本申请实施例提供的一种深度学习模型训练过程的流程图,本实施例中的深度学习模型包括第一深度学习模型和第二深度学习模型。

第一深度学习模型的训练过程如下:

S310,从用户搜索数据中筛选得到候选搜索数据集。

该步骤与S210的实施过程相同,此处不再赘述。

S320,利用预先获得的规则模型对候选搜索数据集中每一条候选搜索数据进行意图识别,得到相应的识别结果。

对于筛选出的候选搜索数据集中的每一条候选搜索数据,利用规则模型进行意图识别得到相应的识别结果。

对于准确率低的数据,执行S330;对于规则模型无法识别的数据执行S360。

S330,对规则模型识别得到的准确率低于第一预设值的第一类候选搜索数据进行类别标注。

对准确率低的部分数据,即第一类候选搜索数据,进行类别标注,其中,类别标注基于人工经验进行标注。

对规则模型识别准确率低的部分数据,进行类别标注、筛选出作为样本的数据。

S340,将标注后的第一类候选搜索数据与规则模型识别得到的准确率高于第一预设值的第二类候选搜索数据合并,得到第一训练样本数据集。

然后,将标注后的数据与准确率高的数据合并得到第一训练样本数据集。

S350,利用第一训练样本数据集中的数据训练LSTM模型,得到目标LSTM模型。

在本申请的一个实施例中,将第一训练样本数据集划分为训练数据集、测试数据集、评估数据集。其中,训练数据集用于训练模型,测试数据集用于在模型训练过程中评估当前模型的效果,评估数据集用于评估训练好的模型的效果

利用训练数据集训练LSTM模型,得到LSTM二分类模型,其中LSTM二分类模型用于验证规则模型输出的准确率较低的搜索数据的意图类别是否正确,因此,输出的两个类别分别是正确和不正确。

训练模型的过程就是学习同一类别的训练样本数据具有何种特征的过程。

然后,利用评估数据集评估训练得到的LSTM二分类模型的识别效果,如果识别效果符合预期效果,则确定当前模型为最终的目标LSTM模型。如果当前模型的识别效果不符合预期效果,则重新执行S330~S350,筛选更多的数据进行LSTM二分类模型的训练和评估。

第二深度学习模型的训练过程如下:

S360,对规则模型无法识别的第三类候选搜索数据进行类别标注。

对于规则模型无法识别的候选搜索数据,即第三类候选搜索数据,基于人工经验进行类别标注。

第二深度学习模型能够识别得到一级类别和二级类别,因此,在对样本数据进行标注时也需要标注两级类别,例如,信贷、理财为一级类别,车贷、房贷等是信贷的二级类别,如果某一条搜索数据涉及房贷,则为该搜索数据的标注的标签为信贷-房贷。

S370,将标注后的第三类候选搜索数据与规则模型识别得到的准确率高于第一预设值的第二类候选搜索数据合并,得到第二训练样本数据集。

将标注后的第三类候选搜索数据与准确率较高的候选搜索数据进行合并,得到第二训练样本数据集。

S380,利用第二训练样本数据集中的数据训练基于注意力机制的LSTM模型,得到一级分类模型。

第二深度学习模型包括一级模型(即,LSTM-Attention模型)和二级模型(TextCNN模型),因此,需要分别训练两级模型。

将第二训练样本数据集划分为训练数据集、测试数据集和评估数据集,利用训练数据集训练LSTM-Attention模型;然后利用评估数据集评估当前的LSTM-Attention模型,如果识别效果符合预期效果则确定当前的LSTM-Attention模型为最终的一级分类模型。如果当前LSTM-Attention模型的识别效果不符合预期效果则重复进行S360~S380,筛选更多的数据进行模型训练评估。

S390,针对每个一级类别所对应的各个二级类别对应的第二训练样本数据,分别训练对应的文本CNN模型,得到每个二级类别对应的二级分类模型。

对于每个一级类别,利用该一级类别包含的具有同一二级分类标签的训练样本数据集,训练该二级类别对应的TextCNN模型。例如,一级类别“信贷”包括三个二级类别分别是:房贷、车贷和消费贷,针对每个二级分类训练得到对应的二级分类模型,分别利用相应的训练样本数据训练得到对应的二级分类模型。

然后,利用相应的评估数据集评估当前二级类别对应的TextCNN模型的识别效果,如果效果符合预期效果则使用当前模型作为该二级类别对应的二级分类模型。如果效果不符合预期效果则重复进行S360、S370和S390,筛选更多的具有该二级分类标签的训练数据进行该二级分类模型的训练、评估。

本实施例提供的训练深度学习模型的过程,训练得到的LSTM二分类模型能够识别规则模型得到的准确率较低的识别结果是否正确,得到二分类结果,该模型的识别速度快、效率高。LSTM-Attention模型和TextCNN模型能够识别规则模型无法识别的搜索数据,从而提高了整个识别系统的准确率和召回率。

相应于上述的搜索意图识别方法实施例,本申请还提供了搜索意图识别装置实施例。

请参见图5,示出了本申请实施例提供的一种搜索意图识别装置的结构示意图,该装置应用于具有计算能力的设备中,如图5所示,该装置包括:

第一意图识别模块110,用于利用规则模型对获得的待识别搜索文本进行意图识别,得到第一识别结果。

其中,第一识别结果包括待识别搜索文本对应的意图类别及对应准确率,规则模型包括多条识别规则,每一条识别规则包括具有预设顺序的多个特征词典,且对应一个意图类别。

第一确定模块120,用于对准确率高于第一预设值的第一识别结果,确定该第一识别结果中的意图类别为对应的待识别搜索文本的意图类别。

第二意图识别模块130,用于对准确率低于第一预设值的第一识别结果,利用预先训练得到深度学习模型对与该第一识别结果对应的待识别搜索文本重新进行意图识别,得到对应的意图类别。

在本申请的一个实施例中,为了提高识别效率和召回率,对于规则模型能识别但准确率较低的搜索文本,采用二分类的深度学习模型(即第一深度学习模型)验证规则模型得到的第一识别结果是否准确。而对于规则模型无法识别的搜索文本,采用多分类的深度学习模型(即,第二深度学习模型)识别得到该搜索文本的意图类别。

如图6所示,第二意图识别模块130包括:

第一意图识别子模块131,用于针对规则模型能识别且准确率低于第一预设值的待识别搜索文本,利用预先训练得到的第一深度学习模型重新进行意图识别,得到待识别搜索文本的第一识别结果是否正确的分类结果。

在本申请的一个实施例中,第一意图识别子模块131具体用于:

利用第一深度学习模型,对规则模型能识别但准确率低于第一预设值的待识别搜索文本重新进行意图识别得到第二识别结果;

若第二识别结果为正确类别,确定待识别搜索文本对应的第一识别结果正确;若第二识别结果为不正确类别,确定待识别搜索文本对应的第一识别结果不正确。

第二意图识别子模块132,用于针对规则模型无法识别的待识别搜索文本,利用预先训练好的第二深度学习模型重新进行意图识别,得到对应的意图类别。

在本申请的一个实施例中,第二意图识别子模块132具体用于:

利用第二深度学习模型中的一级分类模型,对规则模型无法识别的待识别搜索文本进行意图识别,得到待识别搜索文本的一级意图类别;

利用一级意图类别所对应的二级分类模型,对待识别搜索文本进行意图识别,得到待识别搜索文本的二级意图类别。

本实施例提供的搜索意图识别装置,首先利用规则模型对待识别搜索文本进行意图识别得到相应的第一识别结果;对于准确率低于第一预设值的待识别搜索文本,利用深度学习模型重新进行意图识别得到对应的意图类别。利用规则模型识别得到的准确率高于第一预设值的待识别搜索文本,直接确定对应的第一识别结果为该待识别搜索文本对应的意图类别。由上述内容可知,该方案利用多个模型对待识别搜索文本进行多层次识别,使用规则模型保证识别准确率,对于规则模型识别不准确或无法识别的数据,再使用深度学习模型进行识别,从而保证识别结果的召回率,因此,最终得到的搜索意图识别结果准确率和召回率都很高。

在本申请的一个实施例中,该装置还包括规则模型获取模块,该模块具体用于获得能够识别搜索文本对应的搜索意图的规则模型;

该规则模型获取模块具体用于:

从用户搜索数据中筛选得到候选搜索数据集;

对候选搜索数据集进行专有词挖掘得到专有词;

对候选搜索数据集中每一条数据进行划分得到候选子序列;

将未包含在现有特征词典中的专有词及候选子序列中的词,划分到对应的特征词典中,得到更新后的特征词典;

利用更新后的特征词典,对每个候选子序列中的词所属的特征词典进行标注,生成识别规则;

为每一条识别规则标注对应的意图类别,得到规则模型。

利用上述的规则模块获取模块能够获得规则模型,在构建模板(即识别规则)时,考虑了模板所包含的各个特征词典之间的排列顺序,因此,在利用该规则模型对搜索文本进行意图识别时,搜索文本中词的顺序与模板中相匹配的词典的顺序相同,才认为该搜索文本与该模板相匹配,换言之,该规则模型考虑了搜索文本中词语之间的顺序,因此提高了识别结果的准确率。

在本申请的另一个实施例中,该装置还包括第一深度学习模型获取模块,用于训练得到第一深度学习模型,该第一深度学习模型具体用于:

从用户搜索数据中筛选得到候选搜索数据集;

利用预先获得的规则模型对候选搜索数据集中每一条候选搜索数据进行意图识别,得到相应的识别结果;

对规则模型识别得到的准确率低于第一预设值的第一类候选搜索数据进行类别标注;

将标注后的第一类候选搜索数据与规则模型识别得到的准确率高于第一预设值的第二类候选搜索数据合并,得到第一训练样本数据集;

利用第一训练样本数据集中的数据训练LSTM模型,得到目标LSTM模型。

在本申请的有一个实施例中,该装置还包括第二深度学习模型获取模块,用于训练得到第二深度学习模型,该第二深度学习模型具体用于:

从用户搜索数据中筛选得到候选搜索数据集;

利用预先获得的规则模型对候选搜索数据集中每一条候选搜索数据进行意图识别,得到相应的识别结果;

对规则模型无法识别的第三类候选搜索数据进行类别标注;

将标注后的第三类候选搜索数据与规则模型识别得到的准确率高于第一预设值的第二类候选搜索数据合并,得到第二训练样本数据集;

利用第二训练样本数据集中的数据训练基于注意力机制的LSTM模型,得到一级分类模型;

针对一级类别包含的各个二级类别对应的训练样本数据集,分别训练对应的文本CNN模型,得到每个二级类别对应的二级分类模型,其中第二深度学习模型包括训练得到的所有一级分类模型及每个一级分类模型对应的全部二级分类模型。

利用上述的第一深度学习模型训练得到的LSTM二分类模型,该模型能够识别规则模型得到的准确率较低的识别结果是否正确,得到二分类结果,该模型的识别速度快、效率高。利用上述的第二深度学习模型训练得到LSTM-Attention模型(一级分类模型)和TextCNN模型(二级分类模型)能够识别规则模型无法识别的搜索数据,从而提高了整个识别系统的准确率和召回率。

本申请提供了一种计算设备,该计算设备包括处理器和存储器,该存储器内存储有可在处理器上运行的程序。该处理器运行存储器内存储的该程序时实现上述的搜索意图识别方法实。

其中,本文中的计算设备可以是服务器、PC机等。

本申请还提供了一种计算设备可执行的存储介质,该存储介质中存储有程序,该程序由计算设备执行时实现上述的搜索意图识别方法。

对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。

需要说明的是,本说明书中的各个实施例中的技术特征可以任意组合、替代。而且,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请各实施例中的装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中,应该理解到,所揭露的终端,装置和方法,可以通过其它的方式实现。例如,以上所描述的终端实施例仅仅是示意性的,例如,模块或子模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个子模块或模块可以结合或者可以集成到另一个模块,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的,作为模块或子模块的部件可以是或者也可以不是物理模块或子模块,即可以位于一个地方,或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中,也可以是各个模块或子模块单独物理存在,也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现,也可以采用软件功能模块或子模块的形式实现。

最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

20页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种基于释义消歧的查词显示方法、装置和计算设备

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!