CN113761169A - 一种价格识别方法和装置 - Google Patents

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，本发明实施例中的目标图片可以为电商场景下物品主图，通过识别其图中价格，以供比价系统对不同电商的物品进行比价，本方案以物品主图为例进行说明。

物品主图涉及的类目较为广泛，且主图中价格的板式多样，其中既存在包含价格的物品主图，也存在一些仅包含物品名称和型号的物品主图。此外，包含价格的物品主图样式也不一，如不同的字体、字符间距、字体颜色、问号价格(如8？90)、被横线划掉的原始价格、大小不一的小数点价格、描边的艺术体价格等。

参见图1，示出的是本发明实施例提供的一种价格识别方法的主要流程图，包括如下步骤：

S101：对目标图片进行文本检测和识别，得到识别结果；其中，所述识别结果包括文本和位置信息，所述位置信息表示文本的角点在所述目标图片中的坐标值；

S102：按照位置信息排序识别到的文本，以基于正则匹配方式处理排序后的文本，过滤出疑似价格文本；

S103：确定与第一疑似价格文本位置相交或相邻、且一同符合预定合并规则的第二疑似价格文本，合并所述第一疑似价格文本和所述第二疑似价格文本，得到所述目标图片的价格文本。

上述实施方式中，对于步骤S101，为解决现有单纯依赖深度学习方法检测识别图中数字而后直接输出的方式，本方案提出新的物品主图字段识别策略，从而更好的进行价格按规则抽取工作。

利用深度学习模型对物品主图进行文本检测和识别过程包括：

1)基于深度学习方法EAST(An Efficient and Accurate Scene Text Detector，场景文字检测模型)的价格文本检测

EAST检测器凭借其高效、准确的特性可以很好的适用于复杂版式的主图价格字段检测，其角度信息及角点偏移量可作为关键信息，将最初预测出的倾斜矩形框四个角点进行更精准定位，因此对于众多复杂、带角度且背景干扰较强的主图价格检测任务也能有很好的表现。

2)基于深度学习方法CRNN(Convolutional Recurrent Neural Ne twork，卷积循环神经网络)的价格文本识别

文字识别主要技术可划分为单字识别以及串文字识别，CRNN作为后者对于一些字符间距不固定、字体样式多样且带有艺术特效的文字识别任务有着明显的优势。主图价格多以粗体数字为主，此外还包含大量艺术描边、艺术渲染以及加粗等额外的特效，因此对识别器的泛化能力及鲁棒性的要求都很高，而CRNN凭借LSTM/GRU等具有记忆能力的神经元可训练出泛化能力相对较优的模型以解决主图价格识别的诸多挑战。

通过上述识别过程，输出物品主图中的所有文本、各文本的置信度和位置信息；其中，置信度为可识别的置信度，表示识别文本字段的可信度，取值范围为0～1；位置信息为文本所处区域的角点在物品主图中的坐标值，角点至少包括左上角点、左下角点、右上角点和右下角点。

对于步骤S102，基于识别出的文本位置信息，对文本按照其位置高低自上至下排序，并基于正则匹配方式，如re.findall(r'\.？\d+\.？\d*',text)，过滤出疑似价格文本。

有些疑似价格文本并非价格文本，因此在进行后续操作之前，可以先进行筛选操作，以过滤掉明确的非价格文本，如“优惠50元”“原价998”“5V”“36mA”等。

1)可以预先构建非价格字段库，包括“优惠”“原价”“满”“减”等非价格字段。对于上述疑似价格文本，逐一验证非价格字段库中的非价格字段是否被命中，以过滤掉被命中的疑似价格文本(即非价格文本)。

此外，也会对疑似价格文本中，匹配出价格的尾部字段进行验证，查验尾部是否包含“mA”“ml”等计量单位字段，以此过滤掉明确的非价格文本，如“5V”“36mA”等字段。

2)逐一对疑似价格文本进行上下文信息辨别，例如一些数字上方会设置提示信息以明确表明该数字非价格，如“容量”“最高温度”“使用最大次数”等。需要说明的是，上下文信息指的是可利用的文本信息，无论是上文信息还是下文信息，只要有一个包含非价格字段，即可确定其并非价格文本并过滤。

需要说明的是，方式2)使用的非价格字段可以与方式1)采用的非价格字段相同，也可以不同。

对于步骤S103，将经过上述两轮过滤后的疑似价格文本输出至下一阶段，以合并特殊版式的价格文本，具体参见后续图2所示注意力值计算和合并规则判断描述，在此不再赘述。

通过对物品主图中全部文本字段进行检测和识别，以利于设计后期抽取和合并价格的规则，此外，该种方式也可以为主图中无价格文本的物品提供有效的关键信息，如物品品牌、品类、名称及型号等，而后进行全网搜价。

上述实施例所提供的方法，解决众多电商场景下复杂版式的小数价格识别，其创新点在于非单一使用正则匹配等单纯依赖识别结果的简单规则，而是合理地设计并提出注意力值这一理念，将小数价格特殊的位置信息以及整数部分突出的面积占比合二为一进行考虑，以选取有效并真实的价格。

参见图2，示出了根据本发明实施例的一种可选的价格识别方法流程示意图，包括如下步骤：

S201：对目标图片进行文本检测和识别，得到识别结果；其中，所述识别结果包括文本和位置信息，所述位置信息表示文本的角点在所述目标图片中的坐标值；

S202：按照位置信息排序识别到的文本，以基于正则匹配方式处理排序后的文本，过滤出疑似价格文本；

S203：按照注意力值计算方式，处理各疑似价格文本在目标图片中的属性信息，得到各疑似价格文本的注意力值；

S204：确定注意力值最大的第三疑似价格文本，从剩余疑似价格文本中过滤出位置位于其右侧的相交或相邻疑似价格文本，以从中确定符合所述预定合并规则的第四疑似价格文本；

S205：合并所述第三疑似价格文本和所述第四疑似价格文本，得到所述目标图片的价格文本，并去除所述第三疑似价格文本和所述第四疑似价格文本；

S206：从剩余疑似价格文本中确定注意力值最大的第五疑似价格文本，并重复上述位置过滤和合并规则判断操作，直至剩余疑似价格文本的数量为一个时停止。

上述实施方式中，对于步骤S201和S202可参见图1所示步骤S101和S102的描述，在此不再赘述。

上述实施方式中，对于步骤S203，考虑到物品主图中常常存在一些特殊版式且大小不一的小数金额，单纯利用常见的基本抽取规则无法完成这类价格的抽取工作，本方案提供一种新的方式，具体地：

在过滤疑似价格文本后，首先计算各疑似价格文本的注意力值attention score，其计算规则如下：

其中，text指任意一阶段输出的疑似价格文本，text_height指文本区域在原物品主图中的像素高度，text_width指文本区域在原物品主图中的像素宽度，text_length指文本区域识别结果的文本长度。

属性信息中，对于像素高度和像素宽度，位置信息指文本区域在物品主图中的位置，即四个点的具体坐标，根据位置信息可以构建出文本区域的最小外接矩形，从而得到宽高。而对于文本长度，通常由代码计算得到，例如len(text)。

对于步骤S204和S205，根据注意力值attention_score对疑似价格文本按照从高至低的顺序进行降序排列，得到“潜在小数队列(potential_dot_num_parts)”，位于队首的疑似价格文本有极大概率为特殊版式的小数价格。

1、弹出位于队首的第三疑似价格文本；

2、从当前“潜在小数队列”的剩余疑似价格文本中过滤出位置在其右侧的相交或相邻元素，得到临时右侧队列。具体判断标准如下：根据识别结果中的位置信息，若元素B的左上角点或左下角点均在元素A右上角点或右下角点的临近区域内(例如20个像素)，则视元素B为元素A的右侧相交或相邻元素。

3、队首第三疑似价格文本与“临时右侧队列”中的每一个疑似价格文本Bi(1<＝i<＝“临时右侧队列”总数)进行合并规则判断，具体规则如下：

1)A疑似价格文本识别结果的尾部为数字或小数点；可根据unicode编码判断；

2)Bi疑似价格文本识别结果的头部仅能为数字或小数点；

3)A疑似价格文本以及Bi疑似价格文本的置信度≥0.5。

4、对于符合上述合并规则的两个疑似价格文本(即第三疑似价格文本和第四疑似价格文本)，方可进行合并，得到A+Bi。例如，A是36.，B是9，A+B得到36.9；A是36.，B是.9，A+B仍然是36.9，因合并前都只取AB数字部分(代码实现非人工)，满足上述三条规则后合并时再加上小数点。

进一步的，在合并第三疑似价格文本和第四疑似价格文本后，将第三疑似价格文本的识别结果进行更新，并结合第四疑似价格文本的置信度取平均值，得到合并后价格文本的置信度。

需要说明的是，此处的置信度取平均只是输出给业务侧使用，对于后处理合并的价格文本进行人为调整，因为有了合并操作，其置信度需要下调。

对于步骤S206，在合并第三疑似价格文本和第四疑似价格文本后，从潜在小数队列中剔除这两个文本。并重复上述过程，逐一弹出队首疑似价格文本，并重复上述位置过滤、合并规则判断和文本合并操作，直至队列中的文本数量为一个时结束循环，并输出最后一个疑似价格文本。

上述实施例所提供的方法，提出了特殊版式小数价格的注意力值这一概念，并定义了一套全新的合并规则，从而更精准地捕获疑似小数点价格，完成价格文本的合并。

本发明实施例所提供的方法，相比现有技术，至少存在如下有益效果：

1、在处理并合并疑似价格文本之前，基于正则匹配、非价格字段、计量单位名称和关联上下文信息的方式进行过滤，以去除干扰项，降低后续规则抽取的难度；

2、考虑不同疑似价格文本的位置信息，确定小数概率较大的疑似价格文本，结合合并规则判断，以精准合并价格文本；

3、当图片中无价格文本或疑似价格文本时，基于文本中的物品名称、型号、容量等信息从数据库中访问同类物品的价格，扩大了本案的使用范围。

参见图3，示出了本发明实施例提供的一种价格识别装置300的主要模块示意图，包括：

识别模块301，用于对目标图片进行文本检测和识别，得到识别结果；其中，所述识别结果包括文本和位置信息，所述位置信息表示文本的角点在所述目标图片中的坐标值；

过滤模块302，用于按照位置信息排序识别到的文本，以基于正则匹配方式处理排序后的文本，过滤出疑似价格文本；

合并模块303，用于确定与第一疑似价格文本位置相交或相邻、且一同符合预定合并规则的第二疑似价格文本，合并所述第一疑似价格文本和所述第二疑似价格文本，得到所述目标图片的价格文本。

本发明实施装置中，所述过滤模块302，还用于：

对于单个疑似价格文本中的字段，若在非价格字段库中查询存在，则确定所述单个疑似价格文本不是价格文本并过滤；和/或

若所述单个疑似价格文本的尾部字段包括计量单位字段，则确定所述单个疑似价格文本不是价格文本并过滤。

本发明实施装置中，所述过滤模块302，还用于：确定与单个疑似价格文本相邻的上下文信息，若上文信息和/或下文信息包含非价格字段，则确定所述单个疑似价格文本不是价格文本并过滤。

本发明实施装置中，所述合并模块303，用于：

按照注意力值计算方式，处理各疑似价格文本在目标图片中的属性信息，得到各疑似价格文本的注意力值；

确定注意力值最大的第三疑似价格文本，从剩余疑似价格文本中过滤出位置位于其右侧的相交或相邻疑似价格文本，以从中确定符合所述预定合并规则的第四疑似价格文本；

去除所述第三疑似价格文本和所述第四疑似价格文本，从剩余疑似价格文本中确定注意力值最大的第五疑似价格文本，并重复上述位置过滤和合并规则判断操作，直至剩余疑似价格文本的数量为一个时停止。

本发明实施装置中，所述属性信息包括像素高度、像素宽度和文本长度；

所述合并模块303，用于：对于单个疑似价格文本的位置信息，将横轴方向上最大坐标值与最小坐标值的差值作为像素宽度，将纵轴方向上最大坐标值与最小坐标值的差值作为像素高度；以及

利用文本长度计算方式，计算单个疑似价格文本的文本长度。

本发明实施装置中，所述合并模块303，用于：计算所述第三疑似价格文本右上角点或右下角点的坐标值、与各剩余价格文本左上角点或左下角点的坐标值的间距，确定间距处于预定范围内的疑似价格文本。

本发明实施装置中，所述识别结果还包括置信度，所述置信度表示识别文本的可信度；

所述合并模块303，用于：

判断所述第一疑似价格文本的尾部是否为数字或小数点；

判断所述第二疑似价格文本的头部是否为数字或小数点；

判断所述第一疑似价格文本和所述第二疑似价格文本的置信度是否均大于等于预设值。

本发明实施装置中，所述合并模块303，用于：取所述第一疑似价格文本和所述第二疑似价格文本置信度之和的平均值，得到所述价格文本的置信度。

本发明实施装置中，所述合并模块303，用于：合并所述第一疑似价格文本和所述第二疑似价格文本的数字部分，并在所述第一疑似价格文本和所述第二疑似价格文本之间增加小数点。

本发明实施装置还包括价格搜索模块304(图中未标出)，用于：当所述目标图片中不包含疑似价格文本或价格文本时，基于识别到的文本进行物品价格搜索，得到价格搜索结果；其中，文本包括物品品牌、品类、名称和型号中的至少一个。

另外，在本发明实施例中所述装置的具体实施内容，在上面所述方法中已经详细说明了，故在此重复内容不再说明。

图4示出了可以应用本发明实施例的示例性系统架构400。

如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405(仅仅是示例)。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用。

终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，服务器405可以是提供各种服务的服务器。

需要说明的是，本发明实施例所提供的方法一般由服务器405执行，相应地，装置一般设置于服务器405中。

应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括识别模块、过滤模块、合并模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，合并模块还可以被描述为“文本合并模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

对目标图片进行文本检测和识别，得到识别结果；其中，所述识别结果包括文本和位置信息，所述位置信息表示文本的角点在所述目标图片中的坐标值；

按照位置信息排序识别到的文本，以基于正则匹配方式处理排序后的文本，过滤出疑似价格文本；

确定与第一疑似价格文本位置相交或相邻、且一同符合预定合并规则的第二疑似价格文本，合并所述第一疑似价格文本和所述第二疑似价格文本，得到所述目标图片的价格文本。

根据本发明实施例的技术方案，相比现有技术，至少存在如下有益效果：

1、在处理并合并疑似价格文本之前，基于正则匹配、非价格字段、计量单位名称和关联上下文信息的方式进行过滤，以去除干扰项，降低后续规则抽取的难度；

2、考虑不同疑似价格文本的位置信息，确定小数概率较大的疑似价格文本，结合合并规则判断，以精准合并价格文本；

3、当图片中无价格文本或疑似价格文本时，基于文本中的物品名称、型号、容量等信息从数据库中访问同类物品的价格，扩大了本案的使用范围。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。