CN112699672A - 选择物品的方法和装置 - Google Patents
选择物品的方法和装置 Download PDFInfo
- Publication number
- CN112699672A CN112699672A CN201911013314.4A CN201911013314A CN112699672A CN 112699672 A CN112699672 A CN 112699672A CN 201911013314 A CN201911013314 A CN 201911013314A CN 112699672 A CN112699672 A CN 112699672A
- Authority
- CN
- China
- Prior art keywords
- attribute
- attribute name
- name set
- text
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 claims description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000875 corresponding Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 9
- 230000001537 neural Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 235000013305 food Nutrition 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000003287 optical Effects 0.000 description 4
- 239000000835 fiber Substances 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006011 modification reaction Methods 0.000 description 3
- 230000000644 propagated Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 235000014653 Carica parviflora Nutrition 0.000 description 1
- 241000243321 Cnidaria Species 0.000 description 1
- 210000003666 Nerve Fibers, Myelinated Anatomy 0.000 description 1
- 229920004933 Terylene® Polymers 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000796 flavoring agent Substances 0.000 description 1
- 235000019634 flavors Nutrition 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 229920000728 polyester Polymers 0.000 description 1
- 239000005020 polyethylene terephthalate Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
Abstract
本发明公开了选择物品的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:根据第一文本得到第一属性名集合和第一属性名集合的属性值,根据第二文本得到第二属性名集合和第二属性名集合的属性值;根据第一属性名集合、第一属性名集合的属性值、第二属性名集合和第二属性名集合的属性值,确定第一文本描述的物品和第二文本描述的物品的相似度;若相似度大于第一预设值,则根据用户关注属性,从所述第一文本描述的物品和所述第二文本描述的物品中,选择目标物品。该实施方式提高了用户体验度。
Description
技术领域 本发明涉及计算机技术领域,尤其涉及一种选择物品的方法和装置。 背景技术 目前,选择物品的过程包括:基于神经网络方法,确定不同文本描述的物品是否相似,确定相似后,从物品中选择出目标物品。 在实现本发明过程中,发明人发现现有技术中至少存在如下问题: 基于神经网络方法是将高维信息嵌入低维空间,采用维度较低的向量表示高维信息,目前没有明确的理论保证嵌入低维空间后,能够保持原有的高维信息,以及如何区分高维信息的细节,例如物品的属性值。因而,基于神经网络方法,确定物品是否相似的准确性不高,选择目标物品没有意义,即使选择出目标物品,也与用户需求不相符,用户体验度不高。 发明内容 有鉴于此,本发明实施例提供一种选择物品的方法和装置,能够提高了用户体验度。 为实现上述目的,根据本发明实施例的一个方面,提供了一种选择物品的方法。 本发明实施例的选择物品的方法,包括: 根据第一文本得到第一属性名集合和所述第一属性名集合的属性值,根据第二文本得到第二属性名集合和所述第二属性名集合的属性值; 根据所述第一属性名集合、所述第一属性名集合的属性值、所述第二属性名集合和所述第二属性名集合的属性值,确定所述第一文本描述的物品和所述第二文本描述的物品的相似度; 若所述相似度大于第一预设值,则根据用户关注属性,从所述第一文本描述的物品和所述第二文本描述的物品中,选择目标物品。 在一个实施例中,所述第一文本所属类目与所述第二文本所属类目相同; 在根据第一文本得到第一属性名集合和所述第一属性名集合的属性值之前,包括: 创建所述类目的物品属性库; 根据第一文本得到第一属性名集合和所述第一属性名集合的属性值,根据第二文本得到第二属性名集合和所述第二属性名集合的属性值,包括: 采用所述类目的物品属性库,根据第一文本得到第一属性名集合和所述第一属性名集合的属性值,根据第二文本得到第二属性名集合和所述第二属性名集合的属性值。 在一个实施例中,创建所述类目的物品属性库,包括: 获取所述类目的目标属性名集合,并对所述目标属性名集合进行归一化处理,得到关键属性名集合; 根据所述关键属性名集合获取所述关键属性名集合的属性值; 根据所述关键属性名集合和所述关键属性名集合的属性值,得到所述类目的物品属性库。 在一个实施例中,采用所述类目的物品属性库,根据第一文本得到第一属性名集合和所述第一属性名集合的属性值,包括: 根据第一文本从所述关键属性名集合中选择出第一属性名集合; 按照所述第一属性名集合和所述关键属性名集合的属性值从所述第一文本中获取所述第一属性名集合的待定属性值; 对所述第一属性名集合的待定属性值进行停用词去除、表示方式统一和属性值拆分处理,得到所述第一属性名集合的属性值。 在一个实施例中,获取所述类目的目标属性名集合,包括: 获取所述类目的多个属性名; 对于每个属性名,确定与所述属性名对应的属性在所述类目下所有文本的标题中出现的次数; 根据与出现的次数大于第二预设值的属性对应的属性名,得到所述类目的目标属性名集合。 在一个实施例中,根据所述第一属性名集合、所述第一属性名集合的属性值、所述第二属性名集合和所述第二属性名集合的属性值,确定所述第一文本描述的物品和所述第二文本描述的物品的相似度,包括: 确定所述第一属性名集合和所述第二属性名集合的交集,所述交集包括至少一个相同属性名; 对于每个相同属性名,分别从所述第一属性名集合的属性值中和所述第二属性名集合的属性值中获取所述相同属性名的属性值,对获取的属性值进行相似度计算,得到所述相同属性名的相似度; 对得到的相似度进行融合,融合结果作为所述第一文本描述的物品和所述第二文本描述的物品的相似度。 在一个实施例中,对获取的属性值进行相似度计算,得到所述相同属性名的相似度,包括: 获取所述类目的多个正例;其中,正例包括多个物品,每个物品的属性值相同; 对正例包括的物品进行重组,得到多个负例,从多个负例中,删除物品属性值存在互斥关系的负例,得到所述类目的多个负例; 采用所述类目的多个正例和所述类目的多个负例,对编辑距离算法进行训练,得到所述类目的编辑距离算法; 采用所述类目的编辑距离算法,对获取的属性值进行相似度计算,得到所述相同属性名的相似度。 为实现上述目的,根据本发明实施例的另一个方面,提供了一种选择物品的装置。 本发明实施例的选择物品的装置,包括: 获取单元,用于根据第一文本得到第一属性名集合和所述第一属性名集合的属性值,根据第二文本得到第二属性名集合和所述第二属性名集合的属性值; 处理单元,用于根据所述第一属性名集合、所述第一属性名集合的属性值、所述第二属性名集合和所述第二属性名集合的属性值,确定所述第一文本描述的物品和所述第二文本描述的物品的相似度; 选择单元,用于若所述相似度大于第一预设值,则根据用户关注属性,从所述第一文本描述的物品和所述第二文本描述的物品中,选择目标物品。 在一个实施例中,所述第一文本所属类目与所述第二文本所属类目相同; 获取单元用于: 在根据第一文本得到第一属性名集合和所述第一属性名集合的属性值之前,创建所述类目的物品属性库; 采用所述类目的物品属性库,根据第一文本得到第一属性名集合和所述第一属性名集合的属性值,根据第二文本得到第二属性名集合和所述第二属性名集合的属性值。 在一个实施例中,获取单元用于: 获取所述类目的目标属性名集合,并对所述目标属性名集合进行归一化处理,得到关键属性名集合; 根据所述关键属性名集合获取所述关键属性名集合的属性值; 根据所述关键属性名集合和所述关键属性名集合的属性值,得到所述类目的物品属性库。 在一个实施例中,获取单元用于: 根据第一文本从所述关键属性名集合中选择出第一属性名集合; 按照所述第一属性名集合和所述关键属性名集合的属性值从所述第一文本中获取所述第一属性名集合的待定属性值; 对所述第一属性名集合的待定属性值进行停用词去除、表示方式统一和属性值拆分处理,得到所述第一属性名集合的属性值。 在一个实施例中,获取单元用于: 获取所述类目的多个属性名; 对于每个属性名,确定与所述属性名对应的属性在所述类目下所有文本的标题中出现的次数; 根据与出现的次数大于第二预设值的属性对应的属性名,得到所述类目的目标属性名集合。 在一个实施例中,处理单元用于: 确定所述第一属性名集合和所述第二属性名集合的交集,所述交集包括至少一个相同属性名; 对于每个相同属性名,分别从所述第一属性名集合的属性值中和所述第二属性名集合的属性值中获取所述相同属性名的属性值,对获取的属性值进行相似度计算,得到所述相同属性名的相似度; 对得到的相似度进行融合,融合结果作为所述第一文本描述的物品和所述第二文本描述的物品的相似度。 在一个实施例中,处理单元用于: 获取所述类目的多个正例;其中,正例包括多个物品,每个物品的属性值相同; 对正例包括的物品进行重组,得到多个负例,从多个负例中,删除物品属性值存在互斥关系的负例,得到所述类目的多个负例; 采用所述类目的多个正例和所述类目的多个负例,对编辑距离算法进行训练,得到所述类目的编辑距离算法; 采用所述类目的编辑距离算法,对获取的属性值进行相似度计算,得到所述相同属性名的相似度。 为实现上述目的,根据本发明实施例的再一个方面,提供了一种电子设备。 本发明实施例的一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例提供的选择物品的方法。 为实现上述目的,根据本发明实施例的又一个方面,提供了一种计算机可读介质。 本发明实施例的一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例提供的选择物品的方法。 上述发明中的一个实施例具有如下优点或有益效果:根据第一文本得到第一属性名集合和第一属性名集合的属性值,根据第二文本得到第二属性名集合和第二属性名集合的属性值;根据第一属性名集合、第一属性名集合的属性值、第二属性名集合和第二属性名集合的属性值,确定第一文本描述的物品和第二文本描述的物品的相似度;若相似度大于第一预设值,则根据用户关注属性,从所述第一文本描述的物品和所述第二文本描述的物品中,选择目标物品。通过确定物品的属性值是否相似,从而确定不同文本描述的物品是否相似,确定物品是否相似的准确性得以提高,选择的目标物品与用户需求更相符,提高了用户体验度。 上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。 附图说明 附图用于更好地理解本发明,不构成对本发明的不当限定。其中: 图1是根据本发明实施例的选择物品的方法的主要流程的示意图; 图2是根据本发明实施例的选择物品的方法的一个应用场景; 图3是根据本发明实施例的选择物品的方法中属性的示例; 图4是根据本发明实施例的选择物品的方法中处理第一文本的示例; 图5是根据本发明实施例的选择物品的方法的一种验证的示例; 图6是根据本发明实施例的选择物品的方法的另一种验证的示例; 图7是根据本发明实施例的选择物品的装置的主要单元的示意图; 图8是本发明实施例可以应用于其中的示例性系统架构图; 图9是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。 具体实施方式 以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。 需要指出的是,在不冲突的情况下,本发明中的实施例以及实施例中的特征可以互相组合。 在信息爆炸时代,人们迫切希望从海量信息中获取与自身需要吻合度高的内容。为了满足此需求,出现了多种应用,如搜索引擎、自动问答系统、文档分类与聚类、文献查重、文献精准推送等,而这些应用场景的关键技术之一就是文本相似度计算。目前,文本相似度计算方法分为4大类: 1基于字符串(String-based)的方法 该方法从字符串匹配度出发,以字符串共现和重复程度为相似度的衡量标准。根据计算粒度不同,可将方法分为基于字符(Character-Based)的方法和基于词语(Term-Based)的方法。一类方法单纯从字符或词语的组成考虑相似度算法,如编辑距离、汉明距离、余弦相似度、Dice系数、欧式距离;另一类方法还加入了字符顺序,即字符组成和字符顺序相同是字符串相似的必要条件,如最长公共子串(Longest Common Substring,LCS)、Jaro-Winkler;再一类方法采用集合思想,将字符串看作由词语构成的集合,词语共现可用集合的交集计算,如N-gram、Jaccard、Overlap Coefficient。 2基于语料库(Corpus-based)的方法 基于语料库的方法利用从语料库中获取的信息计算文本相似度。基于语料库的方法可以分为:基于词袋模型的方法、基于神经网络的方法和基于搜索引擎的方法。前两种以待比较相似度的文档集合为语料库,后一种以Web为语料库。 a基于词袋方法 词袋模型(Bag of Words Model,BOW)建立在分布假说的基础上,即词语所处的上下文语境相似,其语义则相似。基本思想是不考虑词语在文档中出现的顺序,将文档表示成一系列词语的组合。根据考虑的语义程度不同,基于词袋模型的方法主要包括向量空间模型(Vector Space Model,VSM)、潜在语义分析(Latent Semantic Analysis,LSA)、概率潜在语义分析(Probabilistic Latent Semantic Analysis,PLSA)和潜在狄利克雷分布(Latent Dirichlet Allocation,LDA)。 b基于神经网络方法 通过神经网络模型生成词向量(Word Vector)计算文本相似度是近年来自然语言处理领域研究较多的方法。不少产生词向量的模型和工具也被提出,如Word2Vec和GloVe等。词向量的本质是从未标记的非结构文本中训练出的一种低维实数向量,这种表达方式使得类似的词语在距离上更为接近,同时较好地解决词袋模型由于词语独立带来的维数灾难和语义不足问题。 c基于搜索引擎方法 自从Cilibrasi等提出归一化谷歌距离(Normalized Google Distance,NGD)之后,基于搜索引擎计算语义相似度的方法开始流行起来。其基本原理是给定搜索关键词x、y,搜索引擎返回包含x、y的网页数量f(x)、f(y)以及同时包含x和y的网页数量f(x,y),计算谷歌相似度距离。 3基于世界知识(Knowledge-based)的方法 基于世界知识的方法是指利用具有规范组织体系的知识库计算文本相似度,一般分为两种:基于本体知识和基于网络知识。前者一般是利用本体结构体系中概念之间的上下位和同位关系,如果概念之间是语义相似的,那么两个概念之间有且仅有一条路径。而网络知识中词条呈结构化并词条之间通过超链接形式展现上下位关系,这种信息组织方式更接近计算机的理解。概念之间的路径或词条之间的链接就成为文本相似度计算的基础。 4其他方法 其他方法又包括句法分析和混合方法,句法分析是对句子的语法结构分析,也属于语义分析的一种,但其不依赖于某种语料库或世界知识,所以被划分为其他方法。混合方法则是对几种方法的综合。 确定不同文本描述的物品是否相似,包括SKU级别的相似和SPU级别的相似,本发明主要涉及SKU级别的场景。上述文本相似度计算方法应用于上述场景,存在如下问题: 1、字符串方法目前主要存在的问题: 基于字符串的方法是在字面层次上的文本比较,文本表示即为原始文本。该方法原理简单、易于实现,现已成为其他方法的计算基础。但不足的是将字符或词语作为独立的知识单元,并未考虑词语本身的含义和词语之间的关系。以同义词为例,尽管表达不同,但具有相同的含义,而这类词语的相似度依靠基于字符串的方法并不能准确计算。因而,用户体验度差。 2、基于语料库方法目前存在的难点: 1)基于VSM的方法基本原理简单,但该方法有两个明显缺点:一是该方法基于文本中的特征项进行相似度计算,当特征项较多时,产生的高维稀疏矩阵导致计算效率不高;二是向量空间模型算法的假设是文本中抽取的特征项没有关联,这不符合文本语义表达。因而,确定物品是否相似的准确性不高,用户体验度差。 2)基于神经网络方法已在背景技术做了介绍,在此不再赘述。 3)基于搜索引擎的相似度计算方法最大的不足是计算结果完全取决于搜索引擎的查询效果,相似度因搜索引擎而异。目前,通用搜索引擎并不支持同一物品搜索返回所有商家对同一物品的描述信息。因而,该方法不适合应用于上述场景。 3、基于世界知识方法的缺点: 基于网络知识的文本相似度计算方法大多利用页面链接或层次结构,能较好地反映出词条的语义关系。但其不足在于:词条与词条的信息完备程度差异较大,不能保证计算准确度;网络知识的产生方式是大众参与,导致文本缺少一定的专业性。因而,该方法不适合应用于上述场景。 4、现有其它方法的主要缺点 基于句法分析的关键是找到句子中各部分的依存关系或语义关系,在计算相似度的同时考虑词语相似度和关系相似度,故此方法具有更丰富的语义,但是句子本身的复杂性为框架分析带来的难度和工作量不容小觑,目前研究基本从两个方面进行改进,有效提取关键词和选择合适的语义框架。而物品描述文本与常规文本存在的一个显著出别是,物品描述都是相对结构化的信息,其文本不存在严格的语法结构,例如,标题为属性值几乎随机排列,调换顺序并不影响语义,但对匹配效果存在较大差别。因而,该方法不适合应用于上述场景。 为了解决现有技术存在的问题,本发明实施例提供了一种选择物品的方法,如图1所示,该方法包括: 步骤S101、根据第一文本得到第一属性名集合和所述第一属性名集合的属性值,根据第二文本得到第二属性名集合和所述第二属性名集合的属性值。 该步骤的具体实施方式在下文中作了详细介绍,在此不再赘述。 步骤S102、根据所述第一属性名集合、所述第一属性名集合的属性值、所述第二属性名集合和所述第二属性名集合的属性值,确定所述第一文本描述的物品和所述第二文本描述的物品的相似度。 该步骤的具体实施方式在下文中作了详细介绍,在此不再赘述。 步骤S103、若所述相似度大于第一预设值,则根据用户关注属性,从所述第一文本描述的物品和所述第二文本描述的物品中,选择目标物品。 在该实施例中,第一预设值可以根据需求设置,例如,0.8。需说明的是,用户关注属性可以是价值、外观、口味、性能或品质等。下面以一具体例子说明选择目标物品:从第一文本描述的物品和第二文本描述的物品中,选择出价值低的物品,作为目标物品。 应理解的是,第一文本和第二文本不同,但均是文本,文本可以是物品详情页。物品可以是电脑、手机、衣服或者食品等。若物品是食品,则属性名可以是食品类型、送达时间、服务态度等级和食品口味等。 在本发明实施例中,所述第一文本所属类目与所述第二文本所属类目相同; 在步骤S101之前,包括: 创建所述类目的物品属性库; 步骤S101,可以包括: 采用所述类目的物品属性库,根据第一文本得到第一属性名集合和所述第一属性名集合的属性值,根据第二文本得到第二属性名集合和所述第二属性名集合的属性值。 在该实施例中,通过创建物品属性库,采用物品属性库,得到第一属性名集合、第一属性名集合的属性值、第二属性名集合和第二属性名集合的属性值。从而确定物品的属性值是否相似,进而确定不同文本描述的物品是否相似,确定物品是否相似的准确性得以提高,选择的目标物品与用户需求更相符,进一步提高了用户体验度。 在本发明实施例中,如图2所示,创建所述类目的物品属性库,包括: 获取所述类目的目标属性名集合,并对所述目标属性名集合进行归一化处理,得到关键属性名集合; 根据所述关键属性名集合获取所述关键属性名集合的属性值; 根据所述关键属性名集合和所述关键属性名集合的属性值,得到所述类目的物品属性库。 在该实施例中,对目标属性名集合进行归一化处理包括:若目标属性名集合中任何两个目标属性名的属性值的重合比例大于预设比例,则认定这两个目标属性名为同一属性名,删除这两个目标属性名中的一个目标属性名。预设比例可以根据需求设置,例如,0.6。 目标属性名集合中目标属性名的数量一般是5个,当然,可以根据需求随时调整。 如图3所示,关键属性名集合包括颜色、版本和类型。关键属性名集合的属性值包括颜色的属性值、版本的属性值和类型的属性值。颜色的属性值包括蓝色、黑色、白色、黄色、珊瑚色和红色;版本的属性值包括内存64GB、内存128GB和内存256GB;类型的属性值包括公开版、移动4G优享版和年付换修无忧。 应理解的是,关键属性名集合的属性值可以从所述类目下所有文本中获取,也可以是在搜索引擎上进行搜索得到。 另外,对于各个类目的物品属性库,均可以按照本发明实施例提供的方式创建。 在本发明实施例中,如图4所示,采用所述类目的物品属性库,根据第一文本得到第一属性名集合和所述第一属性名集合的属性值,包括: 根据第一文本从所述关键属性名集合中选择出第一属性名集合; 按照所述第一属性名集合和所述关键属性名集合的属性值从所述第一文本中获取所述第一属性名集合的待定属性值; 对所述第一属性名集合的待定属性值进行停用词去除、表示方式统一和属性值拆分处理,得到所述第一属性名集合的属性值。 在该实施例中,具体实施时,若关键属性名存在于第一文本中,则该关键属性名作为第一属性名。 如图2和4所示,所述类目的物品属性库可以包括停用词库、替换规则库、上下位关系库、同义词库和互斥库等。 停用词库用于停用词去除,停用词包括其它和高档等。 上下位关系库和同义词库用于表示方式统一。下面以一具体例子说明同义词库的处理:将属性值—涤纶,统一为聚酯纤维。为了保证本发明实施例的效果,同义词库应具有较好的属性值完备性。上下位关系库是将属性值统一为最下位的表示方式。例如,将空调类型的属性值—家电,统一为空调。 替换规则库用于属性值拆分。例如,将手机网络类型的属性值—全网通4G,拆分成移动4G、联通4G和电信4G。 互斥库用于删除物品属性值存在互斥关系的负例。例如,互斥库包含第一物品和第二物品,其中第一物品属性值和第二物品属性值存在互斥关系,若负例包括第一物品和第二物品,则直接删除该负例。 需说明的是,通过所述类目的物品属性库,确定不同文本描述的物品是否相似的复杂度得以降低。 在该实施例中,通过第一文本从关键属性名集合中选择出第一属性名集合,从第一文本中获取第一属性名集合的待定属性值,对待定属性值进行停用词去除、表示方式统一和属性值拆分处理,得到第一属性名集合的属性值。从而确定物品的属性值是否相似,进而确定不同文本描述的物品是否相似,确定物品是否相似的准确性得以提高,选择的目标物品与用户需求更相符,进一步提高了用户体验度。另外,通过表示方式统一,减少了基于字符串方法选择物品存在的用户体验度差的问题。 在本发明实施例中,采用所述类目的物品属性库,根据第二文本得到第二属性名集合和所述第二属性名集合的属性值,包括: 根据第二文本从所述关键属性名集合中选择出第二属性名集合; 按照所述第二属性名集合和所述关键属性名集合的属性值从所述第二文本中获取所述第二属性名集合的待定属性值; 对所述第二属性名集合的待定属性值进行停用词去除、表示方式统一和属性值拆分处理,得到所述第二属性名集合的属性值。 应理解的是,得到第二属性名集合和第二属性名集合的属性值,与得到第一属性名集合和第一属性名集合的属性值的方式类似,该实施例的具体实施方式可以参考上一实施例,在此不再赘述。 在本发明实施例中,获取所述类目的目标属性名集合,包括: 获取所述类目的多个属性名; 对于每个属性名,确定与所述属性名对应的属性在所述类目下所有文本的标题中出现的次数; 根据与出现的次数大于第二预设值的属性对应的属性名,得到所述类目的目标属性名集合。 在该实施例中,第二预设值根据需求设置,例如,50。如果有需求,还可以人工对得到的所述类目的目标属性名集合进行复核,根据复核后的所述类目的目标属性名集合得到关键属性名集合。 在该实施例中,通过上述过程得到类目的目标属性名集合,目标属性名集合中目标属性名的数量较少,且具有关联性,从而减少了基于向量空间模型选择物品存在的用户体验度差的问题。 在本发明实施例中,步骤S102,可以包括: 确定所述第一属性名集合和所述第二属性名集合的交集,所述交集包括至少一个相同属性名; 对于每个相同属性名,分别从所述第一属性名集合的属性值中和所述第二属性名集合的属性值中获取所述相同属性名的属性值,对获取的属性值进行相似度计算,得到所述相同属性名的相似度; 对得到的相似度进行融合,融合结果作为所述第一文本描述的物品和所述第二文本描述的物品的相似度。 在该实施例中,下面以一具体例子说明该实施例: 第一属性名集合包括属性名一、属性名二和属性名三。 第二属性名集合包括属性名一、属性名二和属性名四。 因而,交集包括:属性名一和属性名二。 对于属性名一,从第一属性名集合的属性值中获取属性名一的属性值,即属性值一;从第二属性名集合的属性值中获取属性名一的属性值,即属性值二。 对于属性名二,从第一属性名集合的属性值中获取属性名二的属性值,即属性值三;从第二属性名集合的属性值中获取属性名二的属性值,即属性值四。 对属性值一和属性值二进行相似度计算,得到属性名一的相似度; 对属性值三和属性值四进行相似度计算,得到属性名二的相似度; 对属性名一的相似度和属性名二的相似度进行融合,融合结果作为第一文本描述的物品和第二文本描述的物品的相似度。 具体实施时,可以采用逻辑回归分类模型(即logistic regression分类模型)或者向量空间模型,对得到的相似度进行融合。 采用逻辑回归分类模型进行融合,相似度的准确率和召回率如图5所示,采用向量空间模型进行融合,相似度的准确率和召回率如图6所示。其中,图5和图6中的横坐标表示相似度,纵坐标表示准确率和召回率。通过图5和图6可知,本发明实施例的准确率和召回率较好;另外,采用向量空间模型进行融合,效果更优。 在该实施例中,通过对属性值进行相似度计算,得到相同属性名的相似度,对得到的相似度进行融合,融合结果作为第一文本描述的物品和第二文本描述的物品的相似度。从而确定物品的属性值是否相似,进而确定不同文本描述的物品是否相似,确定物品是否相似的准确性得以提高,选择的目标物品与用户需求更相符,进一步提高了用户体验度。 在本发明实施例中,对获取的属性值进行相似度计算,得到所述相同属性名的相似度,包括: 获取所述类目的多个正例;其中,正例包括多个物品,每个物品的属性值相同; 对正例包括的物品进行重组,得到多个负例,从多个负例中,删除物品属性值存在互斥关系的负例,得到所述类目的多个负例; 采用所述类目的多个正例和所述类目的多个负例,对编辑距离算法进行训练,得到所述类目的编辑距离算法; 采用所述类目的编辑距离算法,对获取的属性值进行相似度计算,得到所述相同属性名的相似度。 在该实施例中,人工标注所述类目的多个正例,本发明实施例所应用的服务器通过人工输入的方式获得所述类目的多个正例。 下面以一具体例子说明所述类目的多个正例: (A11,A12,…,B11,B12,…); (A21,A22,…,B21,B22,…); …; (Am1,Am2,…,Bm1,Bm2,…)。 一个括号表示一个正例,每个正例中每个物品相同,A表示京东平台,B表示其他平台,第一下角标表示物品编号,第二下角标表示物品所属商家。需说明的是,不同正例中物品的数量可能相同,可能不同。 对正例包括的物品进行重组,可以采用交叉方式,例如,将(A11,A12,…,B11,B12,…)中的A11与(A21,A22,…,B21,B22,…)中的A21互换,得到两个负例。另外,交叉可以是随机交叉。 下面以具体例子说明删除物品属性值存在互斥关系的负例: 例子1:负例包括的物品是不同品牌的物品。采用所述类目的互斥库删除该负例。 例子2:负例包括3个物品,其中,1个物品的使用人群是女人,另外2个物品的使用人群是男人。采用所述类目的互斥库删除该负例。 另外,该实施例,可以提高正例和负例的分类准确率。例如,将正例准确率33.07%,负例准确率94.35%,提升为正例准确率93.85%,负例准确率87.69%。 需说明的是,编辑距离算法可以替换为词频-逆文本频率指数(term frequency–inverse document frequency,简称TF-IDF)。dedupe(是实体匹配的一个开源框架)两种文本相似性方法,其一是编辑距离算法,其二是TF-IDF。 应理解的是,确定第一文本描述的物品与第二文本描述的物品的相似度,实质是两个文本字符串相似度计算的问题。 由于物品的属性名和属性值的同义、缺失或歧义,甚至是多个属性值,造成正例的标注成本较高。 正例的真实数量、正例的预测数量、负例的真实数量和负例的预测数量如表1所示:
表1数量关系表 其中,正例的准确率为0.98%(0.98%=9 900/(9 900+1 000 000)),正例的召回率为99%(99%=9 900/10 000),负例的准确率为99%。 综上所知,在本发明实施例的应用场景中,负例的数量明显高于正例的数量,正例的实际应用几乎失效。因而,为了保证用户体验度,正例的数量和负例的数量应该均衡。通过删除物品属性值存在互斥关系的负例,减少负例的数量,保证负例的质量。 在该实施例中,从多个负例中,删除物品属性值存在互斥关系的负例,得到类目的多个负例。从而使负例的数量减少,质量提升。采用类目的多个正例和类目的多个负例,对编辑距离算法进行训练,得到类目的编辑距离算法。采用类目的编辑距离算法进行相似度计算,相似度计算的准确性更高,选择的目标物品与用户需求更相符,进一步提高了用户体验度。 上文结合图1-图6对一种选择物品的方法进行了说明,下文结合图7对一种选择物品的装置进行说明。 为了解决现有技术存在的问题,本发明实施例提供了一种选择物品的装置,如图7所示,该装置包括: 获取单元701,用于根据第一文本得到第一属性名集合和所述第一属性名集合的属性值,根据第二文本得到第二属性名集合和所述第二属性名集合的属性值。 处理单元702,用于根据所述第一属性名集合、所述第一属性名集合的属性值、所述第二属性名集合和所述第二属性名集合的属性值,确定所述第一文本描述的物品和所述第二文本描述的物品的相似度。 选择单元703,用于若所述相似度大于第一预设值,则根据用户关注属性,从所述第一文本描述的物品和所述第二文本描述的物品中,选择目标物品。 在本发明实施例中,所述第一文本所属类目与所述第二文本所属类目相同; 获取单元701用于: 在根据第一文本得到第一属性名集合和所述第一属性名集合的属性值之前,创建所述类目的物品属性库; 采用所述类目的物品属性库,根据第一文本得到第一属性名集合和所述第一属性名集合的属性值,根据第二文本得到第二属性名集合和所述第二属性名集合的属性值。 在本发明实施例中,获取单元701用于: 获取所述类目的目标属性名集合,并对所述目标属性名集合进行归一化处理,得到关键属性名集合; 根据所述关键属性名集合获取所述关键属性名集合的属性值; 根据所述关键属性名集合和所述关键属性名集合的属性值,得到所述类目的物品属性库。 在本发明实施例中,获取单元701用于: 根据第一文本从所述关键属性名集合中选择出第一属性名集合; 按照所述第一属性名集合和所述关键属性名集合的属性值从所述第一文本中获取所述第一属性名集合的待定属性值; 对所述第一属性名集合的待定属性值进行停用词去除、表示方式统一和属性值拆分处理,得到所述第一属性名集合的属性值。 在本发明实施例中,获取单元701用于: 获取所述类目的多个属性名; 对于每个属性名,确定与所述属性名对应的属性在所述类目下所有文本的标题中出现的次数; 根据与出现的次数大于第二预设值的属性对应的属性名,得到所述类目的目标属性名集合。 在本发明实施例中,处理单元702用于: 确定所述第一属性名集合和所述第二属性名集合的交集,所述交集包括至少一个相同属性名; 对于每个相同属性名,分别从所述第一属性名集合的属性值中和所述第二属性名集合的属性值中获取所述相同属性名的属性值,对获取的属性值进行相似度计算,得到所述相同属性名的相似度; 对得到的相似度进行融合,融合结果作为所述第一文本描述的物品和所述第二文本描述的物品的相似度。 在本发明实施例中,处理单元702用于: 获取所述类目的多个正例;其中,正例包括多个物品,每个物品的属性值相同; 对正例包括的物品进行重组,得到多个负例,从多个负例中,删除物品属性值存在互斥关系的负例,得到所述类目的多个负例; 采用所述类目的多个正例和所述类目的多个负例,对编辑距离算法进行训练,得到所述类目的编辑距离算法; 采用所述类目的编辑距离算法,对获取的属性值进行相似度计算,得到所述相同属性名的相似度。 应理解的是,本发明实施例提供的选择物品的装置的各部件所执行的功能已经在上述实施例一种选择物品的方法中做了详细的介绍,这里不再赘述。 图8示出了可以应用本发明实施例的选择物品的方法或选择物品的装置的示例性系统架构800。 如图8所示,系统架构800可以包括终端设备801、802、803,网络804和服务器805。网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。 用户可以使用终端设备801、802、803通过网络804与服务器805交互,以接收或发送消息等。终端设备801、802、803上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。 终端设备801、802、803可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。 服务器805可以是提供各种服务的服务器,例如对用户利用终端设备801、802、803所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。 需要说明的是,本发明实施例所提供的选择物品的方法一般由服务器805执行,相应地,选择物品的装置一般设置于服务器805中。 应该理解,图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。 下面参考图9,其示出了适于用来实现本发明实施例的终端设备的计算机系统900的结构示意图。图9示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。 如图9所示,计算机系统900包括中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中,还存储有系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。 以下部件连接至I/O接口905:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。 特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时,执行本发明的系统中限定的上述功能。 需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。 附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个单元、程序段、或代码的一部分,上述单元、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。 描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、处理单元和选择单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,选择单元还可以被描述为“若所述相似度大于第一预设值,则根据用户关注属性,从所述第一文本描述的物品和所述第二文本描述的物品中,选择目标物品的单元”。 作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:根据第一文本得到第一属性名集合和所述第一属性名集合的属性值,根据第二文本得到第二属性名集合和所述第二属性名集合的属性值;根据所述第一属性名集合、所述第一属性名集合的属性值、所述第二属性名集合和所述第二属性名集合的属性值,确定所述第一文本描述的物品和所述第二文本描述的物品的相似度;若所述相似度大于第一预设值,则根据用户关注属性,从所述第一文本描述的物品和所述第二文本描述的物品中,选择目标物品。 根据本发明实施例的技术方案,根据第一文本得到第一属性名集合和第一属性名集合的属性值,根据第二文本得到第二属性名集合和第二属性名集合的属性值;根据第一属性名集合、第一属性名集合的属性值、第二属性名集合和第二属性名集合的属性值,确定第一文本描述的物品和第二文本描述的物品的相似度;若相似度大于第一预设值,则根据用户关注属性,从所述第一文本描述的物品和所述第二文本描述的物品中,选择目标物品。通过确定物品的属性值是否相似,从而确定不同文本描述的物品是否相似,确定物品是否相似的准确性得以提高,选择的目标物品与用户需求更相符,提高了用户体验度。 上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。