评论信息展示方法和装置

文档序号:1937514 发布日期:2021-12-07 浏览:14次 >En<

阅读说明:本技术 评论信息展示方法和装置 (Comment information display method and device ) 是由 张晓辉 谢奇奇 刘朋樟 于 2021-02-02 设计创作,主要内容包括:本公开提出一种评论信息展示方法和装置,涉及信息处理领域。其中方法包括:获取待处理的一条评论信息,并且将所述评论信息切分为多个评论语句;根据预设的业务评估项,确定每个评论语句的业务评估值;确定所述多个评论语句中的每两个评论语句之间的相似度,对于相似度大于相似度阈值的两个评论语句,过滤掉其中一个业务评估值较低的评论语句;从保留下来的所有评论语句中,抽取至少一个评论语句,使得抽取出来的所有评论语句在总信息长度不超过信息展示长度的情况下业务评估值的总值最大;对抽取出来的所有评论语句进行展示。满足信息展示空间受限场景下的信息展示需求,使得用户能够快速有效地获取信息,并且所展示信息的多样性良好。(The disclosure provides a comment information display method and device, and relates to the field of information processing. The method comprises the following steps: obtaining a piece of comment information to be processed, and segmenting the comment information into a plurality of comment sentences; determining a service evaluation value of each comment statement according to a preset service evaluation item; determining the similarity between every two comment sentences in the comment sentences, and filtering one comment sentence with a lower service evaluation value for the two comment sentences with the similarity greater than a similarity threshold value; extracting at least one comment statement from all the reserved comment statements, so that the total value of the business evaluation value of all the extracted comment statements is the largest under the condition that the total information length does not exceed the information display length; and displaying all extracted comment sentences. The information display requirement under the scene that the information display space is limited is met, so that the user can quickly and effectively acquire the information, and the displayed information has good diversity.)

评论信息展示方法和装置

技术领域

本公开涉及信息处理领域,特别涉及一种评论信息展示方法和装置。

背景技术

随着技术的发展,很多用户使用移动设备进行电子商务交易。移动设备的屏幕比较小,信息展示空间有限。一些优质评论篇幅较长,在移动设备进行展示会占用较大信息展示空间,因此电商平台在商品展示页下,要么只展示评论的前一小部分,要么挑选较短的评论进行展示,这样会导致展示的评论往往没有实质的内容,无法体现商品特性,用户不能快速有效地获取信息。因此,如何在移动设备的有限信息展示空间内投放更多优质内容,使得用户能够快速有效地获取信息,变得越来越重要。

发明内容

为了解决上述问题,本公开实施例提出一种评论信息展示方法和装置。

本公开一些实施例提出一种评论信息展示方法,包括:

获取待处理的一条评论信息,并且将所述评论信息切分为多个评论语句;

根据预设的业务评估项,确定每个评论语句的业务评估值;

确定所述多个评论语句中的每两个评论语句之间的相似度,对于相似度大于相似度阈值的两个评论语句,过滤掉其中一个业务评估值较低的评论语句;

从保留下来的所有评论语句中,抽取至少一个评论语句,使得抽取出来的所有评论语句在总信息长度不超过信息展示长度的情况下业务评估值的总值最大;

对抽取出来的所有评论语句进行展示。

在一些实施例中,确定所述多个评论语句中的每两个评论语句之间的相似度包括:

将所述多个评论语句中的任意两个评论语句输入相似度模型,获取所述相似度模型输出的所述任意两个评论语句的相似度,其中,所述相似度模型是对孪生神经网络训练得到的。

在一些实施例中,对孪生神经网络训练包括:

针对多组训练样本,将每组训练样本中的第一训练语句和第二训练语句分别输入孪生神经网络的第一神经网络和第二神经网络,获取第一神经网络输出的第一训练语句的向量和第二神经网络输出的第二训练语句的向量;

根据损失函数计算损失值,根据损失值更新孪生神经网络的参数,将训练完成的孪生神经网络作为相似度模型,其中所述损失函数是根据多组训练样本各自的第一训练语句与第二训练语句之间的相似性标记信息以及第一训练语句的向量与第二训练语句的向量之间的距离信息构建的。

在一些实施例中,确定每个评论语句的业务评估值包括以下一项或多项:

确定每个评论语句的正负面评估值;

确定每个评论语句的服务类别评估值;

确定每个评论语句的预设语句特征的匹配度评估值。

在一些实施例中,确定每个评论语句的正负面评估值包括:将每个评论语句输入正负面评估模型,获取所述正负面评估模型输出的所述每个评论语句的正负面评估值;确定每个评论语句的服务类别评估值包括:将每个评论语句输入服务类别评估模型,获取所述服务类别评估模型输出的所述每个评论语句的服务类别评估值;其中,所述正负面评估模型和所述服务类别评估模型是对第一卷积神经网络和第二卷积神经网络进行多任务训练得到的。

在一些实施例中,多任务训练时,第一卷积神经网络和第二卷积神经网络的词嵌入层、卷积层和池化层的参数共享,多任务训练的损失函数根据第一卷积神经网络的第一损失函数和第二卷积神经网络的第二损失函数的加权和确定,第一损失函数根据第一卷积神经网络的类别总数和各个类别的值确定,第二损失函数根据第二卷积神经网络的类别总数和各个类别的值确定。

在一些实施例中,确定每个评论语句的预设语句特征的匹配度评估值包括:

利用改进的Kneser Ney平滑的n-gram语言模型,对预设语句特征相关的语料中的n个词的共现概率进行预计算;

通过匹配预计算的结果,确定每个评论语句中的n个词的共现概率;

根据每个评论语句的所有的n个词的共现概率,确定所述每个评论语句的困惑度,并作为匹配度评估值。

在一些实施例中,确定每个评论语句的业务评估值包括:当业务评估项有多个时,对每个评论语句的多种评估值进行加权求和计算,并将加权求和的结果作为每个评论语句的业务评估值。

在一些实施例中,从保留下来的所有评论语句中,抽取至少一个评论语句包括:利用背包问题求解方法,将信息展示长度作为背包的大小,将抽取出来的所有评论语句的业务评估值的总值作为背包的价值,从保留下来的所有评论语句中,抽取至少一个评论语句,使得抽取出来的所有评论语句在总信息长度不超过信息展示长度的情况下业务评估值的总值最大。

在一些实施例中,该方法还包括:利用过滤词库中的用于过滤的预设词,对出现在评论语句中的预设词进行过滤,或,对包含预设词的评论语句进行过滤。

在一些实施例中,过滤词库中的用于过滤的预设词包括:上下文转折词、负面词、营销词中的至少一项。

本公开一些实施例提出一种评论信息展示装置,包括:存储器;以及耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行评论信息展示方法。

本公开一些实施例提出一种评论信息展示装置,包括:

信息获取和切分模块,被配置为获取待处理的一条评论信息,并且将所述评论信息切分为多个评论语句;

评估值确定模块,被配置为根据预设的业务评估项,确定每个评论语句的业务评估值;

过滤模块,被配置为确定所述多个评论语句中的每两个评论语句之间的相似度,对于相似度大于相似度阈值的两个评论语句,过滤掉其中一个业务评估值较低的评论语句;

语句抽取模块,被配置为从保留下来的所有评论语句中,抽取至少一个评论语句,使得抽取出来的所有评论语句在总信息长度不超过信息展示长度的情况下业务评估值的总值最大;

展示模块,被配置为对抽取出来的所有评论语句进行展示。

在一些实施例中,所述过滤模块,还被配置为利用过滤词库中的用于过滤的预设词,对出现在评论语句中的预设词进行过滤,或,对包含预设词的评论语句进行过滤。

本公开一些实施例提出一种非瞬时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现评论信息展示方法的步骤。

本公开实施例针对原始的多个评论语句,过滤掉相似语句,并抽取出满足业务评估要求的部分评论语句进行展示,满足信息展示空间受限场景下的信息展示需求,使得用户能够快速有效地获取信息,并且所展示信息的多样性良好。

附图说明

下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍。根据下面参照附图的详细描述,可以更加清楚地理解本公开。

显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1示出本公开一些实施例的评论信息展示方法的流程示意图。

图2示出本公开另一些实施例的评论信息展示方法的示意图。

图3示出了本公开一些实施例的孪生神经网络的示意图。

图4a、4b、4c、4d、4e分别示出了本公开一些实施例的LSTM模型及其遗忘门f、输入门i、内部记忆单元c、输出门o。

图5示出本公开一些实施例的针对负面评估模型和服务类别评估模型的多任务训练的示意图。

图6为本公开一些实施例的评论信息展示装置的结构示意图。

图7为本公开另一些实施例的评论信息展示装置的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述。

除非特别说明,否则,本公开中的“第一”“第二”等描述用来区分不同的对象,并不用来表示大小或时序等含义。

图1示出本公开一些实施例的评论信息展示方法的流程示意图。

如图1所示,该实施例的评论信息展示方法包括:步骤110-150。

在步骤110,获取待处理的一条评论信息,并且将该评论信息(也称评论长句)切分为多个评论语句(也称评论短句)。

在步骤120,根据预设的业务评估项,确定每个评论语句的业务评估值。

业务评估项可以有一项或多项,每种业务评估项对应一种业务评估值。当业务评估项有一个时,评论语句的该业务评估项相应的业务评估值即为该评论语句的业务评估值;当业务评估项有多个时,对每个评论语句的多种评估值进行加权求和计算,并将加权求和的结果作为每个评论语句的业务评估值。其中,各种评估值的权值可以设置,可以根据各个业务评估项的重要程度设置。

确定每个评论语句的业务评估值包括以下一项或多项:确定每个评论语句的正负面评估值,以表征评论语句是正面、负面或中性;确定每个评论语句的服务类别评估值,以表征评论语句所属的服务类别,如服务类别或非服务类别,服务类别还可细分为价格、安装、包装、配送服务、售后服务等子服务类别;确定每个评论语句的预设语句特征的匹配度评估值,以表征评论语句的语句表达特征与预设语句特征的匹配程度。如果是商品的评论语句,预设语句特征例如可以是达人文章特征或卖点特征。如果是其他物品或其他业务的评论语句,预设语句特征可以根据物品或业务适应性选择,并不局限于前述示例。

确定每个评论语句的正负面评估值包括:将每个评论语句输入正负面评估模型,获取正负面评估模型输出的每个评论语句的正负面评估值;确定每个评论语句的服务类别评估值包括:将每个评论语句输入服务类别评估模型,获取服务类别评估模型输出的每个评论语句的服务类别评估值;其中,正负面评估模型和服务类别评估模型是对第一卷积神经网络和第二卷积神经网络进行多任务训练得到的。

多任务训练时,第一卷积神经网络和第二卷积神经网络的词嵌入层、卷积层和池化层的参数共享,多任务训练的损失函数根据第一卷积神经网络的第一损失函数和第二卷积神经网络的第二损失函数的加权和确定,第一损失函数根据第一卷积神经网络的类别总数和各个类别的值确定,第二损失函数根据第二卷积神经网络的类别总数和各个类别的值确定。后面会具体描述。

确定每个评论语句的预设语句特征的匹配度评估值包括:利用改进的Kneser Ney平滑的n-gram语言模型,对预设语句特征相关的语料中的n个词的共现概率进行预计算;通过匹配预计算的结果,确定每个评论语句中的n个词的共现概率;根据每个评论语句的所有的n个词的共现概率,确定每个评论语句的困惑度,并作为匹配度评估值。

在步骤130,对评论语句进行过滤,例如包括步骤130a和130b中的至少一种过滤处理。步骤130a和130b的执行不限定先后顺序。

在步骤130a,利用过滤词库中的用于过滤的预设词,对出现在评论语句中的预设词进行过滤,或,对包含预设词的评论语句进行过滤。

其中,过滤词库中的用于过滤的预设词包括:上下文转折词、负面词、营销词以及其他预设词中的至少一项。

在步骤130b,确定多个评论语句中的每两个评论语句之间的相似度,对于相似度大于相似度阈值的两个评论语句,过滤掉其中一个评论语句,例如,过滤掉其中一个业务评估值较低的评论语句。

确定多个评论语句中的每两个评论语句之间的相似度包括:将多个评论语句中的任意两个评论语句输入相似度模型,获取相似度模型输出的任意两个评论语句的相似度,其中,相似度模型是对孪生神经网络训练得到的。

对孪生神经网络训练包括:针对多组训练样本,将每组训练样本中的第一训练语句和第二训练语句分别输入孪生神经网络的第一神经网络和第二神经网络,获取第一神经网络输出的第一训练语句的向量和第二神经网络输出的第二训练语句的向量;根据损失函数计算损失值,根据损失值更新孪生神经网络的参数,将训练完成的孪生神经网络作为相似度模型,其中损失函数是根据多组训练样本各自的第一训练语句与第二训练语句之间的相似性标记信息以及第一训练语句的向量与第二训练语句的向量之间的距离信息构建的。

在步骤140,从保留下来的所有评论语句中,抽取至少一个评论语句,使得抽取出来的所有评论语句在总信息长度不超过信息展示长度的情况下业务评估值的总值最大。

从保留下来的所有评论语句中,抽取至少一个评论语句包括:利用背包问题求解方法,将信息展示长度作为背包的大小,将抽取出来的所有评论语句的业务评估值的总值作为背包的价值,从保留下来的所有评论语句中,抽取至少一个评论语句,使得抽取出来的所有评论语句在总信息长度不超过信息展示长度(背包的大小)的情况下业务评估值的总值(背包的价值)最大。

在步骤150,对抽取出来的所有评论语句进行展示。

针对原始的多个评论语句,过滤掉相似语句,并抽取出满足业务评估要求的部分评论语句进行展示,满足信息展示空间受限场景下的信息展示需求,使得用户能够快速有效地获取信息,并且相对于按照关键词抽取评论语句的方式来说,没有关键词的限制,所展示信息的多样性良好。

图2示出本公开另一些实施例的评论信息展示方法的示意图。

如图2所示,该实施例的评论信息展示方法包括:步骤210-240。

在步骤210,数据收集和处理。

收集五份数据,分别是针对相似度模型的评论语句对及其相似度标注数据、针对服务类别评估模型的评论语句及其服务类别标注数据、针对正负面评估模型的评论语句及其正负面标注数据、第一预设语句特征数据(如达人文章数据)、第二设语句特征数据(如卖点数据)。下面具体描述各种数据的收集和处理方式。

1)针对相似度模型的评论语句对及其相似度标注数据

提取电子商务平台的评论信息,对评论信息进行切句处理得到若干评论语句,每两个评论语句是一组评论语句对,如果一组评论语句对中的两个评论语句相似,相似度标注为1,如果一组评论语句对中的两个评论语句不相似,相似度标注为0。

评论信息的示例:商家非常的守诚信。水果特别甜。超级有诚信的商家。各组评论语句对及其相似度标注数据如下:

('商家非常的守诚信','水果特别甜',0),

('水果特别甜','超级有诚信的商家',0),

('商家非常的守诚信','超级有诚信的商家',1)。

2)针对服务类别评估模型的评论语句及其服务类别标注数据

提取电子商务平台的评论信息,对评论信息进行切句处理得到若干评论语句,对评论语句进行服务类别标注,如服务类别或非服务类别,服务类别还可细分为价格、安装、包装、配送服务、售后服务等子服务类别。服务类别的划分可以根据不同应用场景和信息展示长度确定。

3)针对正负面评估模型的评论语句及其正负面标注数据(也即,情感标注数据)

提取电子商务平台的评论信息,对评论信息进行切句处理得到若干评论语句,对评论语句进行正负面标注(情感标注),例如,正面、负面、中性等。

4)第一预设语句特征数据(如达人文章数据)

从电子商务平台获取达人针对商品撰写的文章,根据需要可以进行数据清洗,数据清洗可以由人工或其他自动方式进行。达人文章对商品特性、优点的描述非常专业,对用户具有较强的影响力。

例子:袜套式鞋面,亲肤透气,兼顾缓震效果,鞋面以彩色元素点缀,增加了视觉亮点。

5)第二设语句特征数据(如卖点数据)

从电子商务平台获取商品的卖点数据。卖点数据用少量字数描述商品重要特性,使用户能够快速高效的获取信息。

例子:运动防水,双向拉链,减负肩带,内部隔层设计。

在步骤220,模型训练。

针对三种网络模型训练,得到五个业务评估模型。一是对孪生神经网络进行训练,得到判断语句是否相似的相似度模型。二是对卷积神经网络(如TextCNN)进行训练,得到正负面评估模型或服务类别评估模型,为了提高训练效果,对第一卷积神经网络和第二卷积神经网络进行多任务训练,同时得到正负面评估模型和服务类别评估模型。三是基于modified kneser Ney Smoothing n-gram(改进的Kneser Ney平滑的n-gram语言模型)得到第一预设语句特征匹配度模型或第二预设语句特征匹配度模型。

对孪生神经网络进行训练,得到判断语句是否相似的相似度模型。孪生神经网络(Siamese neural network):是一类包含两个或更多个相同子网络的神经网络架构,相同子网络参数共享。孪生神经网络当两个语句相似的时候,使得两个语句的距离接近0,当连个语句不相似的时候,使得两个语句的距离大于某个阈值。

图3示出了本公开一些实施例的孪生神经网络的示意图。如图3所示,孪生神经网络包括左侧的第一神经网络和右侧的第二神经网络。第一神经网络和第二神经网络均包括BiLSTM(Bi-directional Long Short-Term Memory,双向长短期记忆)网络、池化层(average)、全连接层(dense),这些层的权值等参数共享。BiLSTM网络是由前向LSTM(LongShort-Term Memory,长短期记忆网络)与后向LSTM组合而成,用来建模语句上下文信息。

针对一组评论语句对,例如(′商家非常的守诚信′,′超级有诚信的商家′),两个评论语句经过各自网络的word embedding(词嵌入)层后,分别输入到左右两个双层BiLSTM网络,然后分别进入到各自网络的池化层(average),然后分别进入到各自网络的全连接层(dense)。

LSTM模型可以对有价值的信息进行记忆,放弃冗余记忆,从而减小学习难度,解决了传统RNN(Recurrent Neural Network,循环神经网络)模型梯度爆炸或者梯度消失的问题。LSTM的神经元加入了输入门i、遗忘门f、输出门o和内部记忆单元c。

图4a、4b、4c、4d、4e分别示出了LSTM模型及其遗忘门f、输入门i、内部记忆单元c、输出门o。图4b、4c、4d、4e中的黑色部分分别是遗忘门f、输入门i、内部记忆单元c、输出门o,浅灰色部分是其他部分。

遗忘门f:控制输入X和上一层隐藏层输出h被遗忘的程度大小,

ft=σ(wf[xt,ht-1]+bf)

σ是Sigmoid激活函数当x趋近负无穷时,y趋近于0,当x趋近于正无穷时,y趋近于1;wf为遗忘门f的权值矩阵,xt为当前状态下数据的输入,ht-1是上一个时间步的输出,bf为偏移向量。

输入门i:控制输入X和当前计算的状态更新到记忆单元的程度大小,

it=σ(wi[xt,ht-1]+bi)

σ是Sigmoid激活函数wi为输入门i的权值矩阵,xt为当前状态下数据的输入,ht-1是上一个时间步的输出,bi为偏移向量。

内部记忆单元c:

c’=Tanh(wc[xt,ht-1]+bc),ct=ftct-1+itc’,

Tanh是Tanh激活函数wc为记忆单元的权值矩阵,xt为当前状态下数据的输入,ht-1是上一个时间步的输出,bc为偏移向量,ct-1是上一个时间步状态向量,ct是当前时间步状态向量,ft是遗忘门,it是输入门。

输出门o:控制输入X和当前输出取决于当前记忆单元的程度大小,

ot=σ(woxt+Uoht-1+bo),ht=otTanh(ct),

Tanh是Tanh激活函数wc为记忆单元的权值矩阵,xt为当前状态下数据的输入,ht-1是上一个时间步的输出,bc为偏移向量,ct是当前时间步状态向量。

如前所述,两层BiLSTM将语句信息编码后,会输入到池化层(average)将所有时间步的编码后数据进行平均,然后输入到一个全连接层(dense),最后使用Contrastive Loss(对比损失):

其中,Y是评论语句对的相似性标记,当两个评论语句相似的时候Y=1,不相似的时候Y=0,Dw表示两个评论语句经过dense层编码后得到的向量S1,S2之间的欧式距离,N为样本个数,m为设定阈值,例如为0.75。

正负面评估模型和服务类别评估模型都是针对评论短句的多分类模型。其中,正负面评估模型分类的类别包括正面、负面或中性,服务类别评估模型分类的类别包括服务类别或非服务类别,服务类别还可细分为价格、安装、包装、配送服务、售后服务等子服务类别。正负面评估模型和服务类别评估模型的底层都是卷积神经网络(如TextCNN)。由于负面评估模型和服务类别评估模型都是针对评论语句进行分类,为了提高训练效率,本实施例采用多任务训练(Multi-Task Learning)对两个模型进行联合训练。当然,本领域技术人员可以理解,负面评估模型和服务类别评估模型也可以分别训练。

图5示出本公开一些实施例的针对负面评估模型和服务类别评估模型的多任务训练的示意图。

如图5所示,多任务训练的底层模型:左侧的第一卷积神经网络和右侧的第二卷积神经网络均包括词嵌入层(words embedding)、卷积层、池化层(max-over-time pooling)和全连接层(dense)。多任务训练时,第一卷积神经网络和第二卷积神经网络的词嵌入层、卷积层和池化层的参数共享。共享参数例如包括:words embedding词向量,卷积层卷积核权值矩阵,和max-over-time pooling池化层参数矩阵等。训练完成后的第一卷积神经网络和第二卷积神经网络可以分别作为正负面评估模型和服务类别评估模型。

评论语句先经过参数共享的words embedding层,该层使用Word2Vec训练的词向量,words embedding层输出经过参数共享的卷积层,该层都是一维卷积,使用了4个卷积,卷积核宽度分别为1、2、3、5。下面举例说明词嵌入层和卷积层的处理。例如,针对评论短句“家里宝宝老人都喜欢吃”,首先使用jieba工具对短句进行分词,得到:家里宝宝老人都喜欢吃,经过words embedding层后,每个词都会有一个k维向量,当卷积核为1的时候,依次卷积:家里、宝宝、老人、都、喜欢、吃,当卷积核为2的时候,依次卷积:家里宝宝、宝宝老人、老人都、都喜欢、喜欢吃,当卷积核为3的时候,依次卷积:家里宝宝老人、宝宝老人都、老人都喜欢、都喜欢吃,当卷积核为5的时候,依次卷积:家里宝宝老人都喜欢、宝宝老人都喜欢吃。经过卷积层后,会输入到时序最大池化层,该层主要是找出评论短句序列经过卷积后,所有时间步中最大的数据,最后经过一层全连接层,计算softmax多分类损失。

多任务训练的损失函数根据第一卷积神经网络的第一损失函数和第二卷积神经网络的第二损失函数的加权和确定,第一损失函数根据第一卷积神经网络的类别总数和各个类别的值确定,第二损失函数根据第二卷积神经网络的类别总数和各个类别的值确定。

第一卷积神经网络的第一损失函数为:

其中,fi为第i个分类的值,N1为第一卷积神经网络分类的类别总数。

第二卷积神经网络的第二损失函数为:

其中,fj为第j个分类的值,N2为第二卷积神经网络分类的类别总数。

多任务训练的损失函数为:

α、β分别为上述两个损失函数的权重,例如,α、β分别为0.6,0.4。

基于modified kneser Ney Smoothing n-gram(改进的Kneser Ney平滑的n-gram语言模型)得到预设语句特征匹配度模型。利用改进的Kneser Ney平滑的n-gram语言模型,对预设语句特征相关的语料中的n个词的共现概率进行预计算,这些预计算结果可以视为预设语句特征匹配度模型。后续,在预设语句特征匹配度模型在使用时,通过匹配预计算的结果,确定评论语句中的n个词的共现概率;根据评论语句的所有的n个词的共现概率,确定该评论语句的困惑度,作为该评论语句的匹配度评估值。

根据预设语句特征相关的语料的不同,可以得到不同的预设语句特征匹配度模型。例如,基于达人文章语料得到的第一预设语句特征匹配度模型,能够判断评论语句与第一预设语句特征(如达人文章特征)之间的匹配程度,例如,词语专业性、句法、流畅度等方面的匹配程度。基于卖点数据语料得到的第二预设语句特征匹配度模型,能够判断评论语句与第二预设语句特征(如卖点数据特征)之间的匹配程度,例如,词语专业性等方面的匹配程度。

n-gram模型是统计模型,用来评估预测是否合理。假设我们有一个由m个词组成的序列,wi为第i个单词,根据链式规则,概率p(w1,w2,w3,...,wm)=p(w1)*p(w2|w1)*p(w3|w1,w2)...p(wm|w1,w2,...,wm-1),但是这个概率值很难计算。利用马尔科夫链的假设,假设每个词只和他前面n个词相关,便可以极大减少计算开销。当n=1时,为1-gram,当n=2时为2-gram,依次类推,本实施例例如使用3-gram,公式为由于p(wi|wi-1,wi-2,wi-3)值一般都是小于1的,相乘的话会导致分数越来越小,因此对两边取log,变成 方便进行计算。

但是n-gram存在一个问题,当某个词语出现较少,甚至未出现过的时候,logp(wi|wi-1,wi-2,wi-3)的值为负无穷大,使得整个语句得分变为负无穷大,而我们希望的是在某些词出现较少或未出现过时,评估值也能有个合理的值,因此需要对n-gram模型进行平滑。本实施例使用的平滑方式为Modified Kneser Ney Smoothing,Modified Kneser NeySmoothing是KneserNey Smoothing的改进,具体可以参考相关技术,下面仅简要描述。

改进前的KneserNey Smoothing公式为:

其中是(wi-n+1,...,wi)短语的统计量(出现的频次),是些是负数的时候,取0,防止负值出现。γ为正则化常量,

其中 表示统计的样本数。

时,可以使用回退法或者插值法。其中,使用插值法公式为:如果 其中,

Modified Kneser Ney Smoothing主要在于d的改进,最终改进后的公式为:

其中,

其中n1表示n-gram出现的次数为1的总数,n2表示n-gram出现的次数为2的总数,n3表示n-gram出现的次数为3的总数,n4表示n-gram出现的次数为4的总数,其他依次类推,c表示短语出现的次数。

基于评论语句中的n个词的共现概率PKN,最后求取困惑度,作为该评论语句的匹配度评估值。

其中n为评论语句sentence的n-gram数量(如3-gram数量)。

根据训练语料的不同,评论语句的匹配度评估值例如为:评论语句与第一预设语句特征(如达人文章特征)之间的匹配程度评估值,或者,评论语句与第二预设语句特征(如卖点数据特征)之间的匹配程度评估值。

在步骤230,模型部署。

部署前面通过训练得到各种业务评估模型,例如包括:相似度模型、正负面评估模型、服务类别评估模型、第一预设语句特征(如达人文章特征)匹配度模型、第二预设语句特征(如卖点数据特征)匹配度模型等中的一个或多个。

在步骤240,评论语句抽取并展示,例如包括步骤241-249。

在步骤241,获取待处理的一条评论信息,并将该条评论信息(也称评论长句)切分为多个评论语句(也称评论短句)。

多个评论语句的集合C=(s1,s2,s3,…,sn),si表示切分得到的各个评论语句。

在步骤242,调用正负面评估模型,确定每个评论语句的正负面评估值(设为emotion_score),以表征评论语句是正面、负面或中性。

将每个评论语句输入正负面评估模型,获取正负面评估模型输出的每个评论语句的正负面评估值。

其中,正面评论语句的评估值例如为0.2分,负面评论语句的评估值例如为-0.2分,中性评论语句的评估值例如为0分。

在步骤243,调用服务类别评估模型,确定每个评论语句的服务类别评估值(设为service_score),以表征评论语句所属的服务类别,如服务类别或非服务类别,服务类别还可细分为价格、安装、包装、配送服务、售后服务等子服务类别。

将每个评论语句输入服务类别评估模型,获取服务类别评估模型输出的每个评论语句的服务类别评估值。

其中,非服务类别的评论语句的评估值例如为0.2分,服务类别的评论语句的评估值例如为-0.2分。

在步骤244,调用第一预设语句特征匹配度模型,确定每个评论语句的第一预设语句特征(如达人文章特征)的匹配度评估值(设为mar_score)。

前述训练时已经利用改进的Kneser Ney平滑的n-gram语言模型,对第一预设语句特征相关的语料(如达人文章)中的n个词的共现概率进行预计算,这些预计算结果可以视为第一预设语句特征匹配度模型。后续,调用第一预设语句特征匹配度模型,将评论语句中的n个词与预计算结果中的n个词进行匹配,基于预计算结果确定评论语句中的n个词的共现概率;根据评论语句的所有的n个词的共现概率,确定该评论语句的困惑度,作为该评论语句的第一预设语句特征(如达人文章特征)的匹配度评估值。

在步骤245,调用第二预设语句特征匹配度模型,确定每个评论语句的第二预设语句特征(如卖点数据特征)的匹配度评估值(设为sellpoint_score)。

前述训练时已经利用改进的Kneser Ney平滑的n-gram语言模型,对第二预设语句特征相关的语料(如卖点数据)中的n个词的共现概率进行预计算,这些预计算结果可以视为第二预设语句特征匹配度模型。后续,调用第二预设语句特征匹配度模型,将评论语句中的n个词与预计算结果中的n个词进行匹配,基于预计算结果确定评论语句中的n个词的共现概率;根据评论语句的所有的n个词的共现概率,确定该评论语句的困惑度,作为该评论语句的第二预设语句特征(如卖点数据特征)的匹配度评估值。

在步骤246,针对每个评论语句,将评论语句的上述各种评估值进行加权求和计算,加权求和计算结果作为该评论语句的最终评估值(设为final_score)。

final_score=a*emotion_score+b*service_score+c*mar_score+d*sellpoint_score,其中,a,b,c,d分别是四种评估值的权重,例如,a=0.1,b=0.1,c=0.3,d=0.5,但不限于所举示例。

在步骤247,利用过滤词库中的用于过滤的预设词,对出现在评论语句中的预设词进行过滤,或,对包含预设词的评论语句进行过滤。以提升后续抽取的评论语句的通顺度。

其中,过滤词库中的用于过滤的预设词包括:上下文转折词、负面词、营销词以及其他特殊的预设词中的至少一项。

上下文转折词例如包括但不限于:"无论","因为","如果","希望","本来","也","但是","却","然而","可是","只是","不过","不料","竟然","偏偏","结果","可惜","而且","所以","其实","都","同时","关键","虽然"等。

负面词例如包括但不限于:"恶心","未使用","没有用","糟心"等。

营销词以及其他特殊的预设词例如包括但不限于:″自营″,″自选″,″专营″,″专享″,″众筹″,″终身″,″质检″,″质保″,″直营″,″直销″,″直降″,″直供″,″正品″,″正规″,″折扣″,″预售″,″特惠″,″特供″,″速抢″等。

在步骤248,调用相似度模型,确定每两个评论语句之间的相似度,对于相似度大于相似度阈值的两个评论语句,过滤掉其中一个评估值较低的评论语句。

在步骤249,利用背包问题求解方法,将在展示设备(如移动设备)的信息展示长度作为背包的大小,将抽取出来的所有评论语句的业务评估值的总值作为背包的价值,从保留下来的所有评论语句中,抽取至少一个评论语句,使得抽取出来的所有评论语句在总信息长度不超过信息展示长度的情况下业务评估值的总值最大。

将抽取出来的所有评论语句li按照其在原来的评论信息中的位置排列,得到评论语句集合L=(l1,l2,...,li,...,ln),以及各个li的最终评估值fi的集合F=(f1,f2,...,fi,...,fn)。

定义子问题S(i,W)为:在前i个评论语句中挑选总长度不超过W的语句集合,每个评论语句只能挑选一次,使得语句集合总分最大,这时最优值记为s(i,W),其中1≤i≤n,n代表抽取出来的评论语句的数量,1≤W≤C,C为信息展示长度(即,抽取出来的评论语句的最大总长度),W为当前可周长度。

考虑第i个评论语句,只有两种可能,选和不选。

若不选第i个评论语句,问题转化为:前i-1个短句中挑选长度不超过W的语句集合,此时的状态为S(i-1,W)。

若选第i个评论语句:问题转化为:前i-1个短句中挑选长度不超过W-li的语句集合,此时状态为S(i-1,W-li)。

对于上述两种可能,在不超过背包大小的前提下,以使背包价值最大为目标,来决定是否选择第i个评论语句,公式表示为:

S(i,W)=max{S(i-1,W),fi+S(i-1,W-li)}。

上述实施例,针对原始的多个评论语句,过滤掉相似语句,并抽取出满足业务评估要求的部分评论语句进行展示,满足信息展示空间受限场景下的信息展示需求,使得用户能够快速有效地获取信息,并且相对于按照关键词抽取评论语句的方式来说,没有关键词的限制,所展示信息的多样性良好。

图6为本公开一些实施例的评论信息展示装置的结构示意图。

如图6所示,该实施例的评论信息展示装置600包括:存储器610以及耦接至该存储器610的处理器620,处理器620被配置为基于存储在存储器610中的指令,执行前述任意一些实施例中的评论信息展示方法。

例如,获取待处理的一条评论信息,并且将所述评论信息切分为多个评论语句;根据预设的业务评估项,确定每个评论语句的业务评估值;确定所述多个评论语句中的每两个评论语句之间的相似度,对于相似度大于相似度阈值的两个评论语句,过滤掉其中一个业务评估值较低的评论语句;从保留下来的所有评论语句中,抽取至少一个评论语句,使得抽取出来的所有评论语句在总信息长度不超过信息展示长度的情况下业务评估值的总值最大;对抽取出来的所有评论语句进行展示。

其中,存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。

装置600还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630,640,650以及存储器610和处理器620之间例如可以通过总线660连接。其中,输入输出接口630为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为SD卡、U盘等外置存储设备提供连接接口。

图7为本公开另一些实施例的评论信息展示装置的结构示意图。

如图7所示,该实施例的评论信息展示装置700包括:

信息获取和切分模块710,被配置为获取待处理的一条评论信息,并且将所述评论信息切分为多个评论语句;

评估值确定模块720,被配置为根据预设的业务评估项,确定每个评论语句的业务评估值;

过滤模块730,被配置为确定多个评论语句中的每两个评论语句之间的相似度,对于相似度大于相似度阈值的两个评论语句,过滤掉其中一个业务评估值较低的评论语句;

语句抽取模块740,被配置为从保留下来的所有评论语句中,抽取至少一个评论语句,使得抽取出来的所有评论语句在总信息长度不超过信息展示长度的情况下业务评估值的总值最大;

展示模块750,被配置为对抽取出来的所有评论语句进行展示。

在一些实施例中,过滤模块730,还被配置为利用过滤词库中的用于过滤的预设词,对出现在评论语句中的预设词进行过滤,或,对包含预设词的评论语句进行过滤。

过滤模块730在确定所述多个评论语句中的每两个评论语句之间的相似度包括:将所述多个评论语句中的任意两个评论语句输入相似度模型,获取所述相似度模型输出的所述任意两个评论语句的相似度,其中,所述相似度模型是对孪生神经网络训练得到的。

评论信息展示装置700还包括:训练模块760。

训练模块760,对孪生神经网络训练包括:针对多组训练样本,将每组训练样本中的第一训练语句和第二训练语句分别输入孪生神经网络的第一神经网络和第二神经网络,获取第一神经网络输出的第一训练语句的向量和第二神经网络输出的第二训练语句的向量;根据损失函数计算损失值,根据损失值更新孪生神经网络的参数,将训练完成的孪生神经网络作为相似度模型,其中所述损失函数是根据多组训练样本各自的第一训练语句与第二训练语句之间的相似性标记信息以及第一训练语句的向量与第二训练语句的向量之间的距离信息构建的。

评估值确定模块720,被配置为确定每个评论语句的业务评估值包括以下一项或多项:确定每个评论语句的正负面评估值;确定每个评论语句的服务类别评估值;确定每个评论语句的预设语句特征的匹配度评估值。

评估值确定模块720确定每个评论语句的正负面评估值包括:将每个评论语句输入正负面评估模型,获取所述正负面评估模型输出的所述每个评论语句的正负面评估值。

评估值确定模块720确定每个评论语句的服务类别评估值包括:将每个评论语句输入服务类别评估模型,获取所述服务类别评估模型输出的所述每个评论语句的服务类别评估值。

其中,所述正负面评估模型和所述服务类别评估模型是对第一卷积神经网络和第二卷积神经网络进行多任务训练得到的。

训练模块760进行多任务训练时,包括:第一卷积神经网络和第二卷积神经网络的词嵌入层、卷积层和池化层的参数共享,多任务训练的损失函数根据第一卷积神经网络的第一损失函数和第二卷积神经网络的第二损失函数的加权和确定,第一损失函数根据第一卷积神经网络的类别总数和各个类别的值确定,第二损失函数根据第二卷积神经网络的类别总数和各个类别的值确定。

评估值确定模块720确定每个评论语句的预设语句特征的匹配度评估值包括:利用改进的Kneser Ney平滑的n-gram语言模型,对预设语句特征相关的语料中的n个词的共现概率进行预计算;通过匹配预计算的结果,确定每个评论语句中的n个词的共现概率;根据每个评论语句的所有的n个词的共现概率,确定所述每个评论语句的困惑度,并作为匹配度评估值。

评估值确定模块720确定每个评论语句的业务评估值包括:当业务评估项有多个时,对每个评论语句的多种评估值进行加权求和计算,并将加权求和的结果作为每个评论语句的业务评估值。

语句抽取模块740从保留下来的所有评论语句中,抽取至少一个评论语句包括:利用背包问题求解方法,将信息展示长度作为背包的大小,将抽取出来的所有评论语句的业务评估值的总值作为背包的价值,从保留下来的所有评论语句中,抽取至少一个评论语句,使得抽取出来的所有评论语句在总信息长度不超过信息展示长度的情况下业务评估值的总值最大。

过滤模块730,还被配置为利用过滤词库中的用于过滤的预设词,对出现在评论语句中的预设词进行过滤,或,对包含预设词的评论语句进行过滤。

本公开一些实施例还提出一种非瞬时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现评论信息展示方法的步骤。

本领域内的技术人员应当明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机程序代码的非瞬时性计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的较佳实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。

28页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种文本摘要生成方法和装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!