CN113761882A - 一种词典构建方法和装置 - Google Patents

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的词典构建方法的主要流程的示意图，如图1所示，该词典构建方法具体可以包括的步骤如下：

步骤S101，根据标点符号将目标文本中的句子划分为一个或多个子句。

具体地，以句子“这款手机采用全面屏，屏占比高达90％，屏幕亮度高。”为例进行说明，则可以根据句子中的标点符号“，”、“。”将该句子划分为如下三个子句：

子句1：这款手机采用全面屏

子句2：屏占比高达90％

子句3：屏幕亮度高

步骤S102，使用基于半监督学习算法训练的文本分类模型，预测目标文本中的子句归属于预先构建的商品要素词典所包含的商品要素的第一概率。

其中，可采用的半监督学习算法包括但不限于生成模型算法(Generate semi-supervised models)、自训练算法(Self-training)、联合训练(Co-training)、半监督支持向量机(S3VMs)、BERT(Bidirectional Encoder Representations from Transformers)算法等。

商品要素词典包括一个或多个商品种类、商品种类对应的一个或多个商品要素及每一个商品要素对应的要素词。预先构建的商品要素词典是基于人工标注完成的，在人工标注的过程中，可以基于实际经验预先为商品种类构建一个或多个商品要素及商品要素对应的一个或多个要素词，然后在对商品描述文本中的子句进行标注的过程中，增加商品要素对应的要素词；同时，也可以不受限于预定义的商品要素，根据实际情况增加新的商品要素或删除已存在的不合理的商品要素。如以，为手机预先定义的商品要素包括电池、屏幕、内存和材质为例，在标注商品描述文本中同一句子中的两个子句“这款手机采用陶瓷机身”及“手感温润”时可知，“陶瓷”可以作为商品要素“材质的”的要素词，而“温润”则描述了手机的“触感”，但“触感”并未在预定义的商品要素中，因而可以向商品要素词典中增加“触感”这一新的商品要素，且对应的要素词包括“温润”、“手感”。具体地，预先构建的商品要素词典如下表1所示，

表1商品要素词典示例

在一种可选的实施方式中，基于所述半监督学习算法，训练所述文本分类模型，包括：基于所述商品要素词典获取训练数据，所述训练数据指示了一个或多个子句及所述子句归属于所述商品要素的第一概率；向所述文本分类模型中输入所述训练数据，以根据所述子句归属于所述商品要素的第一概率计算所述文本分类模型的当前损失函数，并根据所述当前损失函数对所述文本分类模型进行优化；使用优化后的所述文本分类模型，预测不包含商品要素的子句归属于所述商品要素的第三概率；在所述第三概率大于所述第一阈值概率的情况下，将所述子句、所述子句对应的第三概率添加至所述训练数据，以对所述文本分类模型继续进行优化。

也即是说，在训练分类模型的过程中，可以预先使用少量人工标注获取的训练数据进行训练，并使用子句归属于商品要素的概率对样本的损失函数进行调整，以得到更加准确、真实的损失函数，进而实现对文本分类模型的优化。在此基础上，使用文本分类模型预测不包含商品要素的子句归属于商品要素的概率，进而在预测的子句归属于商品要素的第三概率大于第一阈值概率的基础上，将子句及对应的第三概率加入训练数据中实现了训练数据的不断扩充，用以进一步优化文本分类模型，如此循环往复既提高了文本分类模型的准确性，又无需大量人工标注。

更进一步地，所述基于所述商品要素词典获取训练数据，所述训练数据指示了一个或多个子句及所述子句归属于所述商品要素的第一概率，包括：判断所述子句中是否包含所述商品要素词典所包含的商品要素的要素词；若所述子句包含所述商品要素的要素词，则所述第一概率为第一值；若所述子句不包含所述商品要素的要素词且同一句子中与所述子句相邻的其他子句包含所述商品要素的要素词，则所述第一概率为第二值。其中，第一值、第二值是根据实际需求预先设定的，一般而言，第二值小于第一值，如第一值为1、第二值为0.8.

具体地，参见表1，仍以句子“这款手机采用全面屏，屏占比高达90％，屏幕亮度高。”为例进行说明，其包含如下三个子句：

子句1：这款手机采用全面屏

子句2：屏占比高达90％

子句3：屏幕亮度高

由于子句1包含商品要素“屏幕”的要素词“全面屏”，因而确定子句1归属于商品要素“屏幕”的第一概率为第一值(如1)；子句3包含商品要素“屏幕”的要素词“屏幕”，因而确定子句3归属于商品要素“屏幕”的第一概率为第一值(以1为例)；子句2不包含任何商品要素词典所包含的商品要素的要素词，但由于同一句子中与子句2相邻的子句1、子句3均包含商品要素“屏幕”的要素词，因而确定子句2也极有可能与商品要素“屏幕”相关，且子句2归属于商品要素“屏幕”的概率为第二值(以0.8为例)。如此，可以基于商品要素词典对少量的商品描述文本中的子句进行标注，进而确定子句对应的第一概率的取值，以获取训练数据。值得注意的是，在获取训练数据的过程中，仅考虑了包含有商品要素的要素词的子句，或同一句子中至少一个相邻的子句包含有商品要素的情况，而对于其他子句由于无法判断是否与商品要素相关，因而在此步骤不做考虑。

步骤S103，在所述子句归属于所述商品要素的第一概率大于第一阈值概率的情况下，计算所述子句中除所述商品要素当前包含的要素词以外的词归属于所述商品要素的第二概率。

其中，第一阈值是根据实际经验设定的0-1中的任一值，如0.8、0.7等。具体地，文本分类模型可预测子句归属于商品要素词典所包含的每一个商品要素的第一概率，且同一子句归属于不同商品要素的第一概率之和为1。在此基础上，可以根据第一概率中的最大值，确定子句归属的商品要素；然后再判断该子句的第一概率是否大于第一阈值概率，若大于则表明子句归属于该商品要素是可信的，若不大于则表明子句归属于该商品要素是不可信的，当且仅当在子句归属于该商品要素的概率是可信的情况下，才会继续计算该子句中词归属于该商品要素的第二概率。

在一种可选的实施方式中，所述在所述子句归属于所述商品要素的第一概率大于第一阈值概率的情况下，计算所述子句中除所述商品要素当前包含的要素词以外的词归属于所述商品要素的第二概率，包括：根据所述子句归属于所述商品要素的概率，确定所述词在不同的所述子句中归属于所述商品要素的概率；计算所述词在不同的所述子句中归属于所述商品要素的概率平均值以获取所述第二概率。

具体地，以子句A归属于商品要素a的第一概率为0.8为例，则确定子句A中的任意一个除商品要素当前包含的要素词以外的词X归属于商品要素的概率同样为0.8。可以理解的是，在实际执行过程中也可以根据预设的权重(如以0.8为例)在第一概率的基础上进行调整，则词X归属于商品要素a的概率为0.64。基于此，在计算完同一个词X在不同的子句中归属于商品要素a的概率以后，计算词X归属于商品要素a的平均概率，即为词X归属于商品要素的第二概率。

在一种可选的实施方式中，在所述子句归属于所述商品要素的第一概率大于第一阈值概率的情况下，还包括：计算归属于同一所述商品要素的所有所述子句中所述词的出现频率；根据所述词的出现频率由高到低的顺序，确定一个或多个所述词，以将所述词用作所述商品要素的要素词添加至所述商品要素词典，以实现对商品要素词典的扩充。

具体地，以子句A归属于商品要素a的第一概率为0.8、子句B归属于商品要素a的第一概率为0.7、子句C归属于商品要素a的第一概率为0.75、子句D归属于商品要素a的第一概率为0.9为例进行说明。统计子句A、子句B、子句C、子句D中除商品要素当前包含的要素词以外的所有词(以词1、词2、词3为例进行说明)的出现频率，若词1、词2、词3的出现频率分为5、4、3，则可将其中出现频率较高的两个词，即词1及词2，用作商品要素a的要素词添加至商品要素词典中，以进一步实现对商品要素词典的扩充。

在一种可选的实施方式中，在计算所述子句中除所述商品要素当前包含的要素词以外的词归属于所述商品要素的第二概率之前，判断所述词是否属于禁用要素词列表；在所述词不属于所述禁用要素词列表的情况下，计算所述词归于属于所述商品要素的第二概率。

也即是说，在根据实际需求构建有禁用要素词的情况下，可以对子句中的词进行初步的筛选，以减少需要计算第二概率的词量，进而可提高计算效率。

在一种可选的实施方式中，在计算所述子句中除所述商品要素当前包含的要素词以外的词归属于所述商品要素的第二概率之前，判断所述词是否属于停用词；在所述词不属于停用词的情况下，计算所述词归于属于所述商品要素的第二概率。

停用词是指在信息检索中，为节省存储空间和提高搜索效率，在处理自然语言数据(或文本)之前或之后会自动过滤掉某些字或词，这些字或词即被称为Stop Words(停用词)，如“这”、“那”等。如此，通过停用词的过滤，进一步减少了需要计算第二概率的词量，提高了计算效率。

步骤S104，在所述词归属于所述商品要素的第二概率大于第二阈值概率的情况下，将所述词用作所述商品要素的要素词添加至所述商品要素词典。其中，第二阈值概率也是基于实际经验或者需求设定的0-1区间内的任一值，如0.75、0.8等。

基于上述实施例，根据标点符号将目标文本中的句子划分为一个或多个子句；使用基于半监督学习算法训练的文本分类模型，预测目标文本中的子句归属于预先构建的商品要素词典所包含的商品要素的第一概率；在所述子句归属于所述商品要素的第一概率大于第一阈值概率的情况下，计算所述子句中除所述商品要素当前包含的要素词以外的词归属于所述商品要素的第二概率；在所述词归属于所述商品要素的第二概率大于第二阈值概率的情况下，将所述词用作所述商品要素的要素词添加至所述商品要素词典。基于此，实现了对商品要素词典的自动扩充，无需大量的人工标注，提高了商品要素词典构建的效率，且避免了因人工标注导致的一致性差的问题，提高了商品要素词典的质量。

参见图2，在上述实施例的基础上，提供了一种文本分类模型的训练方法，该方法具体可以包括的步骤如下：

步骤S201，基于所述商品要素词典获取训练数据，所述训练数据指示了一个或多个子句及所述子句归属于所述商品要素的第一概率。

其中，所述基于所述商品要素词典获取训练数据，所述训练数据指示了一个或多个子句及所述子句归属于所述商品要素的第一概率，包括：判断所述子句中是否包含所述商品要素词典所包含的商品要素的要素词；若所述子句包含所述商品要素的要素词，则所述第一概率为第一值；若所述子句不包含所述商品要素的要素词且同一句子中与所述子句相邻的其他子句包含所述商品要素的要素词，则所述第一概率为第二值。其中，第一值、第二值是根据实际需求设定，一般而言第二值小于第一值，如第一值为1、第二值为0.8.

具体地，参见表1，仍以句子“这款手机采用全面屏，屏占比高达90％，屏幕亮度高。”为例进行说明，其包含如下三个子句：

子句1：这款手机采用全面屏

子句2：屏占比高达90％

子句3：屏幕亮度高

由于子句1包含商品要素“屏幕”的要素词“全面屏”，因而确定子句1归属于商品要素“屏幕”的第一概率为第一值(如1)；子句3包含商品要素“屏幕”的要素词“屏幕”，因而确定子句3归属于商品要素“屏幕”的第一概率为第一值(以1为例)；子句2不包含任何商品要素词典所包含的商品要素的要素词，但由于同一句子中与子句2相邻的子句1、子句3均包含商品要素“屏幕”的要素词，因而确定子句2也极有可能与商品要素“屏幕”相关，且子句2归属于上皮要素“屏幕”的概率为第二值(以0.8为例)。如此，可以基于商品要素词典对少量的商品描述文本中的子句进行标注，进而确定子句对应的第一概率的取值，以获取训练数据。值得注意的是，在获取训练数据的过程中，仅考虑了包含有商品要素的要素词的子句，或同一句子中至少一个相邻的子句包含有商品要素的情况，而对于其他子句由于无法判断是否与商品要素相关，因而在此步骤不做考虑。

步骤S202，向所述文本分类模型中输入所述训练数据，以根据所述子句归属于所述商品要素的第一概率计算所述文本分类模型的当前损失函数，并根据所述当前损失函数对所述文本分类模型进行优化。

具体地，将训练数据输入文本分类模型之后，文本分类模型将会预测训练数据中每一个训练样本分别归属于商品要素词中的每一个商品要素的第一概率，然后基于文本分类模型预测子句的第一概率及训练数据中子句的第一概率计算每一个子句对应的损失函数。如以训练数据中子句i对应的损失函数为li为例进行说明，则可以根据下述公式计算当前时刻文本分类模型的损失函数：

L＝∑Pi*li

其中，L为文本分类模型的损失函数，li为训练数据中子句i对应的损失函数，Pi则为训练数据中子句i归属于商品要素的第一概率。

步骤S203，使用优化后的所述文本分类模型，预测不包含商品要素的子句归属于所述商品要素的第三概率。

步骤S204，在所述第三概率大于所述第一阈值概率的情况下，将所述子句、所述子句对应的第三概率添加至所述训练数据，以对所述文本分类模型继续进行优化。

也即是说，通过使用文本分类模型预测不包含商品要素的子句归属于商品要素的概率，进而在预测的子句归属于商品要素的第三概率大于第一阈值概率的基础上，将子句及对应的第三概率加入训练数据中，实现了对训练数据的不断扩充，从而可以基于新扩充的训练数据进一步优化文本分类模型，如此循环往复既提高了文本分类模型的准确性，且无需大量人工标注。

参见图3，在上述实施例的基础上，本发明实施例提供了一种词典构建装置300，包括：子句获取模块301、第一概率预测模块303、第二概率计算模块304、词典扩充模块305；其中，

所述子句获取模块301，用于根据标点符号将目标文本中的句子划分为一个或多个子句；

所述第一概率预测模块303，用于使用基于半监督学习算法训练的文本分类模型，预测目标文本中的子句归属于预先构建的商品要素词典所包含的商品要素的第一概率；

所述第二概率计算模块304，用于在所述子句归属于所述商品要素的第一概率大于第一阈值概率的情况下，计算所述子句中除所述商品要素当前包含的要素词以外的词归属于所述商品要素的第二概率；

所述词典扩充模块305，用于在所述词归属于所述商品要素的第二概率大于第二阈值概率的情况下，将所述词用作所述商品要素的要素词添加至所述商品要素词典。

在一种可选的实施方式中，还包括：分类模型训练模块302；其中，所述分类模型训练模块302，用于，

基于所述商品要素词典获取训练数据，所述训练数据指示了一个或多个子句及所述子句归属于所述商品要素的第一概率；

向所述文本分类模型中输入所述训练数据，以根据所述子句归属于所述商品要素的第一概率计算所述文本分类模型的当前损失函数，并根据所述当前损失函数对所述文本分类模型进行优化；

使用优化后的所述文本分类模型，预测不包含商品要素的子句归属于所述商品要素的第三概率；

在所述第三概率大于所述第一阈值概率的情况下，将所述子句、所述子句对应的第三概率添加至所述训练数据，以对所述文本分类模型继续进行优化。

在一种可选的实施方式中，所述基于所述商品要素词典获取训练数据，所述训练数据指示了一个或多个子句及所述子句归属于所述商品要素的第一概率，包括：

判断所述子句中是否包含所述商品要素词典所包含的商品要素的要素词；

若所述子句包含所述商品要素的要素词，则所述第一概率为第一值；

若所述子句不包含所述商品要素的要素词且同一句子中与所述子句相邻的其他子句包含所述商品要素的要素词，则所述第一概率为第二值。

在一种可选的实施方式中，所述在所述子句归属于所述商品要素的第一概率大于第一阈值概率的情况下，计算所述子句中除所述商品要素当前包含的要素词以外的词归属于所述商品要素的第二概率，包括：

根据所述子句归属于所述商品要素的概率，确定所述词在不同的所述子句中归属于所述商品要素的概率；

计算所述词在不同的所述子句中归属于所述商品要素的概率平均值以获取所述第二概率。

在一种可选的实施方式中，在所述子句归属于所述商品要素的第一概率大于第一阈值概率的情况下，还包括：

计算归属于同一所述商品要素的所有所述子句中所述词的出现频率；

根据所述词的出现频率由高到低的顺序，确定一个或多个所述词，以将所述词用作所述商品要素的要素词添加至所述商品要素词典。

在一种可选的实施方式中，所述第二概率计算模块304，还用于，

在计算所述子句中除所述商品要素当前包含的要素词以外的词归属于所述商品要素的第二概率之前，判断所述词是否属于禁用要素词列表；

在所述词不属于所述禁用要素词列表的情况下，计算所述词归于属于所述商品要素的第二概率。

在一种可选的实施方式，所述第二概率计算模块304，还用于，

在计算所述子句中除所述商品要素当前包含的要素词以外的词归属于所述商品要素的第二概率之前，判断所述词是否属于停用词；

在所述词不属于停用词的情况下，计算所述词归于属于所述商品要素的第二概率。

图4示出了可以应用本发明实施例的词典构建方法或词典构建装置的示例性系统架构400。

如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用等。

终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，以获取商品描述文本中的一个或多个子句等。

需要说明的是，本发明实施例所提供的词典构建方法一般由服务器405执行，相应地，词典构建装置一般设置于服务器405中。

应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，发送单元还可以被描述为“向所连接的服务端发送图片获取请求的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：根据标点符号将目标文本中的句子划分为一个或多个子句；使用基于半监督学习算法训练的文本分类模型，预测目标文本中的子句归属于预先构建的商品要素词典所包含的商品要素的第一概率；在所述子句归属于所述商品要素的第一概率大于第一阈值概率的情况下，计算所述子句中除所述商品要素当前包含的要素词以外的词归属于所述商品要素的第二概率；在所述词归属于所述商品要素的第二概率大于第二阈值概率的情况下，将所述词用作所述商品要素的要素词添加至所述商品要素词典。

根据本发明实施例的技术方案，根据标点符号将目标文本中的句子划分为一个或多个子句；使用基于半监督学习算法训练的文本分类模型，预测目标文本中的子句归属于预先构建的商品要素词典所包含的商品要素的第一概率；在所述子句归属于所述商品要素的第一概率大于第一阈值概率的情况下，计算所述子句中除所述商品要素当前包含的要素词以外的词归属于所述商品要素的第二概率；在所述词归属于所述商品要素的第二概率大于第二阈值概率的情况下，将所述词用作所述商品要素的要素词添加至所述商品要素词典。基于此，实现了对商品要素词典的自动扩充，无需大量的人工标注，提高了商品要素词典构建的效率，且避免了因人工标注导致的一致性差的问题，提高了商品要素词典的质量。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。