具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一/第二/第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1)信息流：消息来源，是一种资料格式，网站透过它将最新资讯传播给用户，通常以时间轴方式排列，时间轴是信息流最原始、最直觉、也最基本的展示形式，用户能够订阅网站的先决条件是，网站提供了消息来源，将信息源汇流于一处称为聚合。

2)非极大值抑制(NMS，Non-Max Suppression)算法：它通过搜素局部最大值，抑制极大值。它在计算机视觉任务中得到了广泛的应用，例如边缘检测、人脸检测、目标检测等。以目标检测为例，在目标检测的过程中，在同一图像目标的位置上会产生大量的候选属性框，这些候选属性框相互之间可能会有重叠，可以通过NMS算法确定图像目标最佳的目标属性框，消除冗余的候选属性框。

3)机器学习(ML，Machine Learning)：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

随着信息流和短视频等内容产业的发展，用户上传到互联网的图像和视频类内容越来越多。由于用户上传的内容鱼龙混杂，质量不一，因此需要对其中的一些低质内容(如图像低俗、画面裁剪不完整等内容)进行识别。通常采用目标检测模型识别低质内容。由于目标检测模型通常会预测出很多个候选属性框，其中有许多是冗余的，甚至是错误的，为了得到更准确的检测结果，需要对这些候选属性框进行筛选。在对内容进行审核时，同类别的检测目标可能包括许多不同的属性，例如人体低俗识别中胸部类别包括胸部正常、胸部突出、胸部裸露等多个属性，画面不完整识别中横字幕类别包括横字幕正常、横字幕竖裁、横字幕横裁等多个属性。

相关技术中的候选属性框筛选方法主要包括NMS算法以及特定类别非极大值抑制(class specific NMS)算法。其中，NMS算法是对目标检测模型输出的所有候选属性框(包括候选整体属性框和候选局部属性框)两两计算交并比，并根据交并比及相应候选属性框的属性概率过滤候选属性框。class specific NMS算法与NMS算法的不同之处在于，前者只对预测为同一类别的候选属性框进行交并比计算和候选属性框过滤。

在图像低质内容识别任务中，对于某一类目标通常既有对应的优质类型(如人脸的完整裁剪、胸部的正常)又有低质类型(如人脸的不完整裁剪、胸部的裸露)。而在人体低俗、人体不完整等低质类型的识别中，还需要同时检测人体的候选整体属性框和候选局部属性框。这些特点导致相关技术中的候选属性框筛选方法存在误过滤正确的候选属性框和漏过滤错误的候选属性框的问题，进而导致图像识别的精确度较低。以人体低俗识别中的人体属性及敏感部位检测任务为例进行说明。

参见图1A-图1B，图1A-图1B是本申请实施例提供的目标检测模型输出的候选属性框的示意图。其中，对于人体的某一个部位(如腿部、腰部)或整体，可能存在多个候选属性框，候选属性框之间彼此独立，每个候选属性框有对应的标签(表明候选属性框的类别和属性)和属性概率。

人体属性及敏感部位检测任务需要同时检测人体的候选整体属性框和候选局部属性框，不同类别的候选属性框之间经常出现交叉现象(候选整体属性框和候选局部属性框之间可能交叉，候选局部属性框之间也可能交叉)。参见图1C-图1D，图1C-图1D是相关技术提供的NMS算法筛选候选属性框的示意图。因为很多低俗场景会故意特写突出人体某些部位，所以候选整体属性框和候选局部属性框之间的交并比较大，导致NMS算法可能误过滤一些重要的候选整体属性框和候选局部属性框。在通过NMS算法筛选候选属性框后，图1C中腿部的候选属性框和图1D中胸部的候选属性框都被误过滤掉了。

class specific NMS算法虽然可以避免由于不同类别的候选属性框交叉导致的误过滤问题，但由于同一部位的不同属性(如脚正常/足控、胸裸露/胸微露/胸突出等)相近，在过滤后常常会输出同一部位的多个候选属性框，无法从中选出最优的候选属性框。参见图1E-图1F，图1E-图1F是相关技术提供的class specific NMS算法筛选候选属性框的示意图。由于class specific NMS算法无法区分同一部位的不同属性(即无法区分类别相同、属性不同的候选属性框)，所以图1E中的“脚正常”、图1F中的“胸裸露”、“胸微露”等噪声候选属性框都无法被过滤掉而得以保留。

本申请实施例提供一种图像识别方法，能够提高图像识别的精确性。

本申请实施例提供的图像识别方法可以由各种电子设备实施，例如，可以由终端或服务器单独实施，也可以由服务器和终端协同实施。例如终端独自承担下文所述的图像识别方法，或者，终端向服务器发送内容上传请求，服务器根据接收的内容上传请求执行图像识别方法。

本申请实施例提供的电子设备可以是各种类型的终端设备或服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器；终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请对此不做限制。

以服务器为例，例如可以是部署在云端的服务器集群，向用户开放人工智能云服务(AIaaS，AI as a Service)，AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务，这种服务模式类似于一个AI主题商城，所有的用户都可以通过应用程序编程接口的方式来接入使用AIaaS平台提供的一种或者多种人工智能服务。

例如，其中的一种人工智能云服务可以为图像识别服务，即云端的服务器封装有本申请实施例提供的图像识别程序。终端响应于用户的内容上传操作，向云端的服务器发送携带图像的内容上传请求，云端的服务器调用封装的图像识别程序，对图像进行图像识别，得到图像的类别，基于图像的类别控制图像的上传，将图像的类别和上传结果(成功、失败)返回给终端。

在一些实施例中，以服务器和终端协同实施本申请实施例提供的图像识别方法为例进行说明一个示例性的图像识别系统。参见图2A，图2A是本申请实施例提供的图像识别系统10的架构示意图。终端400通过网络300连接服务器200-1，网络300可以是广域网或者局域网，又或者是二者的组合。其中，终端400响应于用户的内容上传操作，向服务器200-1发送携带图像的内容上传请求。服务器200-1响应于内容上传请求，对图像进行属性预测处理，得到多个候选属性框；对同类别不同属性的候选属性框进行筛选处理，得到每个类别对应的目标属性框；基于每个类别对应的目标属性框确定图像的类别，并基于图像的类别控制图像的上传。最后，服务器200-1将图像的类别(如低质图像或非低质图像)和上传结果(成功、失败)返回给终端400。

本申请实施例还可以通过区块链技术来实现，参见图2B，服务器以及终端都可以加入区块链网络500而成为其中的一个节点。区块链网络500的类型是灵活多样的，例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例，任何业务主体的电子设备例如服务器，都可以在不需要授权的情况下接入区块链网络500，以作为区块链网络500的共识节点，例如服务器200-1映射为区块链网络500中的共识节点500-1，服务器200-2映射为区块链网络500中的共识节点500-2，服务器200-3映射为区块链网络500中的共识节点500-0。

以区块链网络500为联盟链为例，服务器在获得授权后可以接入区块链网络500而成为节点。服务器200-1响应于携带图像的内容上传请求，确定图像的类别后，将图像的类别发送给其他服务器(如服务器200-2和服务器200-3)，其他服务器可以通过执行智能合约的方式对图像的类别进行验证(可以验证图像的类别是否正确)。当超过数目阈值的节点确认验证通过时，将对其签署数字签名(即背书)，当所确定的图像的类别有足够的背书时，服务器200-1基于图像的类别控制图像的上传，并将上传结果(成功、失败)返回给终端。

可见，本申请实施例中通过多个节点对图像的类别进行共识验证的方式，可以提高图像识别的准确性和可靠性。

下面将结合附图对本申请实施例提供的图像识别方法进行说明，下述方法的执行主体可以为服务器，具体可以是服务器通过运行上文的各种计算机程序来实现的；当然，根据对下文的理解，不难看出也可以由终端或者终端和服务器协同实施本申请实施例提供的图像识别方法。

参见图3A，图3A是本申请实施例提供的图像识别方法的流程示意图，将结合图3A示出的步骤进行说明。

在步骤101中，对图像进行属性预测处理，得到对应图像中的对象的多个候选属性框。

在一些实施例中，图像可以是用户上传的待发表的图像，也可以是已经上传发表的图像。图像可以是单独的图片、图文内容中的图片或者视频帧。以图像为视频帧为例，当服务器接收到用户上传的视频时，提取视频中的多个视频帧，并批量地或逐一地对视频帧进行属性预测处理，得到多个候选属性框。

图像中的对象可以是人物、动物、物品或场景等。每个图像中的对象的数量可以为一个或多个。当对象的数量为多个时，对图像进行属性预测处理，将会得到对应图像中每个对象的多个候选属性框。

在一些实施例中，可以通过EfficientDet、YOLO、SSD(Single Shot Mult iBoxDetector)等目标检测模型对图像进行属性预测处理，得到多个候选属性框。对图像进行属性预测处理，得到对应图像中的对象的多个候选属性框，可以采用以下方式实现。

对图像进行卷积处理，得到图像特征。其中，在对图像进行卷积处理之前，需要先将图像缩放至固定的尺寸。可以通过多个卷积块对图像进行卷积处理，每个卷积块中可以包括多个顺序连接的卷积层、激活层和池化层。然后，对图像特征进行分类处理，得到多个正向候选框。在一些可能的示例中，可以通过softmax函数或sigmoid函数对图像特征进行分类处理，得到多个正向候选框，同时得到多个负向候选框，去除负向候选框，保留正向候选框。其中，正向候选框表征可能的候选属性框，负向候选框表征错误的候选属性框。之后，确定每个正向候选框的偏移量，根据偏移量对对应的正向候选框的位置进行调整，得到多个候选属性框。在一些可能的示例中，偏移量包括中心偏移量和缩放倍数，缩放倍数包括垂直缩放倍数和水平缩放倍数。根据中心偏移量先将正向候选框的中心移动到新的位置，然后根据垂直缩放倍数对正向候选框的高进行缩放，根据水平缩放倍数对正向候选框的宽进行缩放，得到候选属性框。在调整正向候选框的过程中，去除超过图像边界的候选属性框和尺寸小于预设值的正向候选框，得到多个候选属性框。

为了方便后续筛选候选属性框，在确定候选属性框之后，还需要确定候选属性框的类别和属性。对多个候选属性框进行分类处理，可以得到每个候选属性框的标签和属性概率。其中，标签包括对应的候选属性框的类别和属性。属性表征对象的整体或局部的性质，每个类别(如胸部类别)下都可以包括多个属性(如胸正常、胸突出等)。属性概率为候选属性框具备标签中的属性的概率。例如，一个候选属性框的标签为“成年女真”，则该候选属性框的类别为“成年”和“女”，该候选属性框的属性为“真”(即为真人，而不是模型或图像等)。

在一些实施例中，在训练目标检测模型时，通过多标签的样本数据对其进行训练，其中，样本数据的标签包括类别标签和属性标签。对于同一对象，可以从不同方面对其进行划分，得到不同的多个类别，例如，对于人物，可以从年龄、性别、职业等方面对其进行划分，得到相互独立的多个类别。相应地，一个样本数据可以只有一个类别标签，如“成年人”或“未成人年”；一个样本数据也可以有多个类别标签，如“成年人”、“女生”、“教师”等。如此，可以通过具备多标签的样本数据训练得到多分类的目标检测模型，提高模型检测能力。当通过具有属性标签和多个类别标签的样本数据训练好的目标检测模型对图像进行属性预测处理时，可以得到图像中对象的多个类别和相应的属性。

在步骤102中，基于多个候选属性框的类别对多个候选属性框进行聚合处理，得到多组候选属性框。

在一些实施例中，在得到候选属性框并根据其标签确定对应的类别后，可以将属于同一类别的候选属性框聚合为一组，得到多组候选属性框。

例如，多个候选属性框的标签分别为成年女真、足控、脚正常、胸裸露、胸微露和胸突出。根据以上标签可以确定足控和脚正常都属于“脚部”这一类别，胸裸露、胸微露和胸突出都属于“胸部”这一类别。因此，可以将足控和脚正常对应的候选属性框聚合为一组，将胸裸露、胸微露和胸突出对应的候选属性框聚合为另一组，将成年女真对应的候选属性框(候选整体属性框)单独作为一组，得到三组候选属性框。

如此，不仅可以将候选整体属性框和候选局部属性框区分开，还可以将不同类别的候选局部属性框区分开，避免因为位置上的交叉而在筛选时将不同类别的候选属性框一起进行比较，导致误过滤候选属性框的情况发生。

在步骤103中，基于每组候选属性框的交并比对每组候选属性框进行筛选处理，得到每个类别对应的目标属性框。

在一些实施例中，多个候选属性框包括对应对象的整体的候选整体属性框和对应对象的局部的候选局部属性框。例如，图1A中标签为“成年女真”的候选属性框对应的是人物整体，所以它是候选整体属性框，图1A中标签为“足控”的候选属性框对应的是人物局部(脚部)，所以它是候选局部属性框。目标属性框包括目标整体属性框和目标局部属性框，其中，目标整体属性框对应对象的整体，目标局部属性框对应对象的局部。

在一些实施例中，基于每组候选属性框的交并比对每组候选属性框进行筛选处理，得到每个类别对应的目标属性框，可以通过图3B中的步骤1031和步骤1032实现。

在步骤1031中，基于至少一个候选整体属性框确定与对象的整体对应的目标整体属性框。

在一些实施例中，当至少一个候选整体属性框的数量为一个时，将候选整体属性框作为目标整体属性框，如图1A中只有一个标签为“成年女真”的候选整体属性框，则将该候选整体属性框作为图像中人物对应的目标整体属性框。

当至少一个候选整体属性框的数量为多个，且对象的数量为一个时，将对应的属性概率最大的候选整体属性框作为目标整体属性框。例如，图像中只有一个人物，经过属性预测处理，确定该人物的整体对应的候选整体属性框分别为标签“成年女真”的候选整体属性框和标签“未成年女真”的候选整体属性框。它们的属性概率分别为0.903和0.305，则将属性概率为0.903的候选整体属性框作为目标整体属性框。

当至少一个候选整体属性框的数量为多个，且对象的数量为多个时，确定至少一个候选整体属性框间的交并比，将交并比大于第一交并比阈值的候选整体属性框聚合为多组候选整体属性框，将每组候选整体属性框中对应的属性概率最大的候选整体属性框作为目标整体属性框。

例如，图像中包括人物a和人物b，图像中一共有5个候选整体属性框。依次确定5个候选整体属性框中两两候选整体属性框之间的交并比。其中，候选整体属性框1和候选整体属性框2的交并比大于第一交并比阈值，候选整体属性框3与候选整体属性框4的交并比、候选整体属性框3与候选整体属性框5的交并比、候选整体属性框4与候选整体属性框5的交并比也大于第一交并比阈值。则将候选整体属性框1和候选整体属性框2聚合为一组(例如对应人物a)，将候选整体属性框3、候选整体属性框4和候选整体属性框5聚合为另一组(例如对应人物b)。若候选整体属性框1对应的属性概率大于候选整体属性框2对应的属性概率，将候选整体属性框1作为人物a对应的目标整体属性框。若候选整体属性框3对应的属性概率大于候选整体属性框4和候选整体属性框5对应的属性概率，将候选整体属性框3作为人物b对应的目标整体属性框。如此，可以确定图像中每个对象对应的目标整体属性框，避免出现目标整体属性框和对象不对应的情况。

在步骤1032中，遍历每组候选局部属性框，对同一组中的候选局部属性框执行过滤操作，并将过滤得到的属于对象、且对应的属性概率最大的候选局部属性框作为目标局部属性框。

在一些实施例中，在遍历每组候选局部属性框时，可以随机遍历每组中的候选局部属性框，也可以基于候选局部属性框对应的属性概率，对每组中的候选局部属性框进行降序排序(也可以进行升序排序)，按照排序后的次序遍历候选局部属性框。

在一些实施例中，因为图像中可能存在多个对象，且候选局部属性框可能不属于任一对象的原因，所以需要确保过滤得到的候选局部属性框是属于图像中对应的对象的。又因为同一对象的同一类别下可能存在多个彼此独立的候选局部属性框(属性可能相同，可能不同)，因此，需要保留这一类别对应的属性概率最大的候选局部属性框，并过滤掉其他属性概率不是最大的候选局部属性框。

在一些实施例中，对同一组中的候选局部属性框执行过滤操作，可以通过图3C中的步骤10321至步骤10324实现。

在步骤10321中，基于同一组中两个候选局部属性框的位置确定两个候选局部属性框的交并比。

在一些实施例中，两个候选局部属性框可以是同一组中任意的两个候选局部属性框，也可以是相邻的两个候选局部属性框。两个候选局部属性框可以是第一候选局部属性框和第二候选局部属性框。基于第一候选局部属性框和第二候选局部属性框的位置，可以确定第一候选局部属性框和第二候选局部属性框的交叉面积和合并面积，然后将交叉面积与合并面积的比例作为第一候选局部属性框和第二候选局部属性框的交并比。其中，两个候选局部属性框的交并比反映了两个候选局部属性框的相似度。交并比数值越大，说明两个候选局部属性框的重合部分越多，需要对它们进行筛选。

在步骤10322中，比较交并比和第一交并比阈值，当交并比大于第一交并比阈值时，执行步骤10323；当交并比小于或者等于第一交并比阈值时，执行步骤10324。

在一些实施例中，第一交并比阈值越高，交并比大于第一交并比阈值的候选局部属性框越少，过滤效率越高，但可能出现交并比都低于第一交并比阈值的情况。第一交并比阈值越低，交并比大于第一交并比阈值的候选局部属性框越多，过滤的精确性越高，同时，过滤效率越低。因此，需要合理设置第一交并比阈值。不同类别的候选局部属性框对应的交并比阈值可以相同(如都为第一交并比阈值)，也可以不同。

在步骤10323中，过滤掉两个候选局部属性框中属性概率较小的候选局部属性框。

在一些实施例中，因为属性概率越高代表候选局部属性框的准确性越高，所以，当交并比大于第一交并比阈值时，在重合度较高的两个候选局部属性框中应该过滤掉属性概率较小的候选局部属性框，而保留属性概率较大的候选局部属性框。如此，可以提高过滤的准确性。

在步骤10324中，基于目标整体属性框过滤掉两个候选局部属性框中不属于对象的候选局部属性框。

在一些实施例中，当交并比小于或者等于第一交并比阈值时，说明两个候选局部属性框不属于同一对象。可能的情况是其中一个候选局部属性框属于当前正在进行筛选处理的对象，另一个候选局部属性框不属于图像中任一对象(为误识别)，或属于图像中区别于当前正在进行筛选处理的对象的另一对象。因此，需要将另一个候选局部属性框过滤掉。

在一些实施例中，基于目标整体属性框过滤掉两个候选局部属性框中不属于对象的候选局部属性框，可以采用以下方式实现。分别确定两个候选局部属性框与目标整体属性框的交并比；过滤掉与目标整体属性框的交并比小于或者等于第二交并比阈值的候选局部属性框。

其中，第二交并比阈值不同于第一交并比阈值，第二交并比阈值用于衡量候选局部属性框与目标整体属性框之间的重合程度。目标整体属性框即当前正在进行筛选处理的对象的整体所对应的目标属性框。例如，第二交并比阈值为0.6，图像包括人物3和人物4，当前正在进行筛选处理的对象为人物3。两个候选局部属性框与人物3对应的目标整体属性框的交并比分别为0.7和0.2，则过滤掉与目标整体属性框的交并比为0.2的候选局部属性框，保留与目标整体属性框的交并比为0.7的候选局部属性框。如此，可以避免对部分位置重合，但不属于同一对象的两个候选局部属性框执行过滤操作，从而导致误过滤需要保留的正确的候选局部属性框。

对于同一组中的多个候选局部属性框，当确定其中两个候选局部属性框中需要保留的候选局部属性框后，继续对保留下来的候选局部属性框与同一组中一个新的候选局部属性框执行过滤操作，直至对同一组中所有候选局部属性框都执行过上述过滤操作，可以得到属于对象、且对应的属性概率最大的候选局部属性框，将它作为目标局部属性框。如此，可以在确保目标局部属性框的准确性的条件下，得到每组候选局部属性框中唯一的目标局部属性框。

在一些实施例中，基于每组候选属性框的交并比对每组候选属性框进行筛选处理，得到每个类别对应的目标属性框，还可以采用如下方式实现。基于至少一个候选整体属性框确定与对象的整体对应的目标整体属性框。计算目标整体属性框与每个候选局部属性框的交并比，在每组候选局部属性框中筛选出与目标整体属性框的交并比大于第二交并比阈值的候选局部属性框。这些筛选出的候选局部属性框与目标整体属性框对应图像中同一对象。将每组筛选出的候选局部属性框中对应的属性概率最大的候选局部属性框作为该组所对应的类别的目标局部属性框。

当图像中对象的数量为多个时，图像中存在与多个对象一一对应的多个目标整体属性框。计算每个目标整体属性框与每个候选局部属性框的交并比。对于每个目标整体属性框，可以得到与它的交并比大于第二交并比阈值的候选局部属性框，这些候选局部属性框与该目标整体属性框对应图像中同一对象。之后，在确定每个对象对应的目标局部属性框时，可从每个类别(即每组)下该对象对应的多个候选局部属性框中选取出对应的属性概率最高的候选局部属性框作为对应类别的目标局部属性框。

例如，图像包括人物5和人物6，人物5对应目标整体属性框1，人物6对应目标整体属性框2。候选局部属性框一共有2组，分别为胸部组和腿部组。胸部组中候选局部属性框1和候选局部属性框2与目标整体属性框1的交并比大于第二交并比阈值，且候选局部属性框1对应的属性概率大于候选局部属性框2对应的属性概率。腿部组中候选局部属性框3和候选局部属性框4与目标整体属性框1的交并比大于第二交并比阈值，且候选局部属性框3对应的属性概率大于候选局部属性框4对应的属性概率。则将候选局部属性框1作为人物5对应的胸部组(胸部类别)的目标局部属性框，将候选局部属性框3作为人物5对应的腿部组(腿部类别)的目标局部属性框。同理，可从胸部组和腿部组中分别确定人物6对应的目标局部属性框。

如此，可以区分开属于不同对象不同类别的候选属性框，从同一类别的多个候选属性框中进行筛选，提高筛选的精确性，避免误筛选的发生。

在步骤104中，基于每个类别对应的目标属性框对对象进行类别识别处理，得到图像的类别。

在一些实施例中，基于每个类别对应的目标属性框对对象进行类别识别处理，得到图像的类别，可以采用如下方式实现：基于每个目标属性框的标签查询映射表，得到每个目标属性框对应的分数；将每个目标属性框对应的分数相加，得到总和；基于总和的分值区间确定图像的类别。

其中，映射表中存储着目标属性框的标签以及对应的分数。例如，每个目标属性框对应的分数在[0，1]之间，目标属性框的标签为“胸裸露”时，对应的分数为1分；目标属性框的标签为“胸正常”时，对应的分数为0分。此时，分数越高，表明胸部暴露越严重，图像是低俗图像的可能性越大。各个目标属性框对应的分数的总和表征图像整体上是低俗图像的可能性，总和越高，图像是低俗图像的可能性也越大。在得到总和后，确定总和所属的分值区间，不同的分值区间对应不同的类别。例如，预先设置了分值区间[0，0.5]对应的图像的类别为非低质图像，分值区间(0.5，∞)对应的图像的类别为低质图像。当总和为0.3时，可以确定图像的类别为非低质图像。

可见，因为每个目标属性框的标签都在一定程度上反映着图像的类别，所以当综合各个目标属性框的标签时，可以得到准确的图像的类别。

在一些可能的示例中，还可以在通过映射表得到每个目标属性框对应的分数之后，将各个分数乘以对应的目标属性框的权重并求和，得到总和；基于总和的分值区间确定图像的类别。其中，目标属性框的权重可以是目标属性框的属性概率，也可以是目标属性框的类别所对应的权重，不同类别的目标属性框的重要性不同，其权重也不同。例如，在人体属性及敏感部位检测任务中，可以设定胸部类别、腰部类别、腿部类别和足部类别对应的权重分别为0.6、0.2、0.1和0.1。

如此，将不同类别的目标属性框对应的权重考虑进来，可以更多地考虑对图像影响较大的类别的目标属性框，从而得到更为准确的图像类别。

在一些实施例中，还可以通过机器学习的方法(如通过AlexNet、GoogLeNet等模型)对图像中的对象进行类别识别处理，得到图像的类别。

在一些实施例中，不同类别的图像对应的推荐策略不同。图像的类别可以包括低质图像和非低质图像。低质图像包括低俗图像、不完整图像、敏感图像(包含敏感词汇)等。当图像的类别为低质图像时，减少或禁止对图像的推荐；当图像的类别为非低质图像时，将图像发送到推荐系统的推荐队列中等待推荐。

在一些可能的示例中，推荐系统可以根据上传图像的账号的等级对推荐队列中的图像进行降序排序，并根据排序对图像进行推荐。等级高的账号可以是原创账号，也可以是官方账号，或者粉丝数超过预设阈值(如100万)的账号。如此，优先分发推荐等级高的账号所上传的图像，可以保证官方所发布的重要内容或大众普遍关注的优质内容被优先分发。

在另一些可能的示例中，推荐系统也可以根据图像的表现形式对推荐队列中的图像进行排序，图像的表现形式包括一般图像、动图中的图像和视频中的视频帧。当图像为视频帧时，可知上传的内容为视频，它对网络要求较高，需要在网络良好的情况下才能流畅播放。当图像为动图中的图像时，可知上传的内容为动图，其对网络的要求也比一般图像高。因此，可以按照一般图像、动图中的图像、视频中的视频帧的优先级顺序对推荐队列中的图像进行排序，并根据排序对图像进行推荐，从而保证大部分账号可以顺利接收并观看到推荐系统分发的内容。

可以看出，本申请实施例可以根据图像的质量确定对应的分发推荐策略，提高推荐效率，并通过减少对低质图像的推荐减轻设备工作量。

在一些实施例中，图像的类别还可以包括热门图像和冷门图像，热门图像即近期热度高、用户关注多的图像，例如常用表情包；冷门图像即近期热度低、用户关注少的图像，如用于科研的图像。当图像的类别为热门图像时，将图像发送到推荐队列中等待推荐；当图像的类别为冷门图像时，减少对图像的推荐。如此，可以提高推荐的图像的曝光率，并提高推荐效率。

可以看出，本申请实施例通过对图像的多个候选属性框进行基于类别的聚合处理，使得到的多组候选属性框对应不同的类别，从每组候选属性框中筛选出与类别对应的目标属性框，提高了候选属性框的过滤效率和过滤的精确性；避免了不同类别的候选属性框间的比较带来的误过滤的问题。基于过滤得到的目标属性框对图像中的对象进行类别识别处理，可以提高图像识别的准确性。

下面，将说明本申请实施例提供的图像识别方法在低质内容识别及推荐场景中的示例性应用。

参见图4，图4是本申请实施例提供的内容检测和推荐的流程图。将结合图4示出的步骤进行说明。

在步骤201中，通过目标检测模型对图像进行预测，得到图像中的候选属性框以及对应的属性概率。

其中，在用户上传内容后，需要对用户上传的内容中的图像或视频进行检测，以确定其是否属于低质内容。可以通过EfficientDet、YOLO、SSD、RCNN(Regions with CNNfeatures)、RetinaNet等目标检测模型对图像(包括视频帧)进行预测，以确定图像中的候选属性框以及对应的属性概率。

在步骤202中，通过类别敏感的非极大值抑制算法对候选属性框进行过滤筛选，得到各个类别对应的目标属性框。

在步骤203中，通过低质内容识别模块对各个目标属性框中的内容进行识别，若确定内容为非低质内容，执行步骤204；若确定内容为低质内容，执行步骤205。

在步骤204中，将图像发送到推荐池(即推荐队列)等待推荐。

在步骤205中，对图像进行拦截或打压。

以图像中的人物为例，可以根据人体部位将图像中的人物划分为不同的类别，如足部、腿部、腰部等。每个类别都有对应的属性，例如，对于胸部这一类别，其属性可能是胸部正常、胸部裸露或胸部突出等。在通过目标检测模型对图像进行检测时，对于人体的每个部位都会得到对应的多个候选属性框，各候选属性框的属性可能相同，也可能不同。例如，图1A中足部对应的候选属性框有3个，其属性分别为：足控、足控和脚正常，它们对应的属性概率分别为0.680、0.289和0.206。需要对每个类别对应的多个属性进行筛选，即对每个类别下的多个候选属性框进行筛选。以下介绍通过类别敏感的非极大值抑制算法对候选属性框进行过滤筛选的过程。

(1)聚合同类候选属性框。将同类别不同属性的候选属性框聚合为一组，以胸部为例，将胸部正常、胸部裸露、胸部突出等胸部类别的候选属性框分为一组，并将同组中的候选属性框按照对应的属性概率由高到低排序。

(2)计算候选属性框交并比。按照属性概率的排序，依次对同一组内的候选属性框两两之间计算交并比，即计算两个候选属性框的交叉区域面积与两个候选属性框合并区域的面积之比。如图5所示，计算候选属性框A和候选属性框B的交兵比，即计算A∩B(A与B取交集)与A∪B(A与B取并集)之比。如此，只需要按排序从前到后计算两两候选属性框的交并比，当交并比大于第一交并比阈值时，只保留属性概率较大的候选属性框即可。

(3)筛选候选属性框。如果两个候选属性框的交并比大于第一交并比阈值，则过滤掉两个候选属性框中属性概率较小的一个，只保留属性概率较大的一个，以此类推，筛选出每个类别对应的候选属性框，作为相应类别的目标属性框。

其中，计算候选属性框交并比和筛选候选属性框是为了避免当一个图像中有多个人时，将不同人的同一类别的候选属性框聚为一组，并从中筛选出属性概率最大的一个候选属性框作为目标属性框时可能导致的错误。例如，对于人物1，其足部的候选属性框为候选属性框1和候选属性框2；对于人物2，其足部的候选属性框为候选属性框3和候选属性框4。当需要确定人物2的足部的目标属性框时，若将人物1和人物2的候选属性框聚合为一组，且其中属性概率最大的为候选属性框1的属性概率，则可能将人物1的足部的候选属性框1作为人物2的足部的目标属性框，导致目标属性框选取错误，进而影响后续的低质内容判别。

如图1G和图1H所示，通过本申请实施例提供的类别敏感的非极大值抑制算法计算，图1G中足部类别的候选属性框最后只保留了属性概率为0.680的“足控”候选属性框，同时腿部类别的“腿诱惑”候选属性框不会被误过滤。图1H中过滤了“胸裸露”和“胸微露”两个噪声候选属性框的同时，保留了属性概率最高的“胸突出”候选属性框。

需要说明的是，本申请实施例的应用场景不局限于低质内容识别及推荐，只要是存在同类多属性目标检测的场景，都可以应用本申请实施例提供的图像识别方法进行候选属性框的筛选。

可以看出，在通过目标检测模型进行低质内容识别时，经常面临同类多属性目标检测的问题。在这种情况下，相关技术中的候选属性框筛选方法往往会造成许多正确的候选属性框的误过滤和错误的候选属性框的漏过滤，无法满足应用需求。因此，本申请实施例针对同类多属性目标检测提出了类别敏感的非极大值抑制算法，以筛选同类多属性的候选属性框。在类别敏感的非极大值抑制算法中考虑类别之间的关系，筛选候选属性框时只对同类别不同属性的候选属性框敏感，而对不同类别(如足部和腿部)的候选属性框不敏感。这样可以在有效过滤同类别噪声候选属性框的同时，避免了因不同候选属性框之间交叉造成的误过滤，从而有效解决了上述误过滤和漏过滤问题，提高了低质内容识别的准确率和召回率。

下面说明本申请实施例提供的电子设备的示例性结构，以电子设备为服务器为例，参见图6，图6是本申请实施例提供的服务器200-1的结构示意图，图6所示的服务器200-1包括：至少一个处理器210、存储器240、至少一个网络接口220。服务器200-1中的各个组件通过总线系统230耦合在一起。可理解，总线系统230用于实现这些组件之间的连接通信。总线系统230除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统230。

处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

存储器240可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器240可选地包括在物理位置上远离处理器210的一个或多个存储设备。

存储器240包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器240旨在包括任意适合类型的存储器。

在一些实施例中，存储器240能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统241，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。

网络通信模块242，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等。

在一些实施例中，本申请实施例提供的图像识别装置243可以采用软件方式实现，图6示出了存储在存储器240中的图像识别装置243，其可以是程序和插件等形式的软件，包括以下软件模块：预测模块2431、聚合模块2432、筛选模块2433和识别模块2434，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。

预测模块2431，用于对图像进行属性预测处理，得到对应图像中的对象的多个候选属性框；聚合模块2432，用于基于多个候选属性框的类别对多个候选属性框进行聚合处理，得到多组候选属性框；筛选模块2433，用于基于每组候选属性框的交并比对每组候选属性框进行筛选处理，得到每个类别对应的目标属性框；识别模块2434，用于基于每个类别对应的目标属性框对对象进行类别识别处理，得到图像的类别。

在一些实施例中，多个候选属性框包括对应对象的整体的候选整体属性框和对应对象的局部的候选局部属性框，目标属性框包括目标整体属性框和目标局部属性框；筛选模块2432，还用于基于至少一个候选整体属性框确定与对象的整体对应的目标整体属性框；遍历每组候选局部属性框，对同一组中的候选局部属性框执行过滤操作，并将过滤得到的属于对象、且对应的属性概率最大的候选局部属性框作为目标局部属性框。

在一些实施例中，筛选模块2433，还用于当至少一个候选整体属性框的数量为一个时，将候选整体属性框作为目标整体属性框；当至少一个候选整体属性框的数量为多个，且对象的数量为一个时，将对应的属性概率最大的候选整体属性框作为目标整体属性框；当至少一个候选整体属性框的数量为多个，且对象的数量为多个时，确定至少一个候选整体属性框间的交并比，将交并比大于第一交并比阈值的候选整体属性框聚合为多组候选整体属性框，将每组候选整体属性框中对应的属性概率最大的候选整体属性框作为目标整体属性框。

在一些实施例中，筛选模块2433，还用于基于同一组中两个候选局部属性框的位置确定两个候选局部属性框的交并比；当交并比大于第一交并比阈值时，过滤掉两个候选局部属性框中属性概率较小的候选局部属性框；当交并比小于或者等于第一交并比阈值时，基于目标整体属性框过滤掉两个候选局部属性框中不属于对象的候选局部属性框。

在一些实施例中，两个候选局部属性框分别为第一候选局部属性框和第二候选局部属性框；筛选模块2433，还用于基于第一候选局部属性框和第二候选局部属性框的位置，确定第一候选局部属性框和第二候选局部属性框的交叉面积和合并面积；将交叉面积与合并面积的比例作为第一候选局部属性框和第二候选局部属性框的交并比。

在一些实施例中，筛选模块2433，还用于当交并比小于或者等于第一交并比阈值时，分别确定两个候选局部属性框与目标整体属性框的交并比；过滤掉与目标整体属性框的交并比小于或者等于第二交并比阈值的候选局部属性框。

在一些实施例中，预测模块2431，还用于对图像进行卷积处理，得到图像特征；对图像特征进行分类处理，得到多个正向候选框；对多个正向候选框进行调整，得到多个候选属性框。

在一些实施例中，识别模块2434，还用于查询映射表，得到每个目标属性框对应的分数；将每个目标属性框对应的分数相加，得到总和；基于总和的分值区间确定图像的类别。

在一些实施例中，图像的类别包括低质图像和非低质图像；识别模块2434，还用于当图像的类别为低质图像时，减少或禁止对图像的推荐；当图像的类别为非低质图像时，将图像发送到推荐队列中等待推荐。

本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行本申请实施例上述的图像识别方法。

本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的图像识别方法，例如，如图3A示出的图像识别方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

综上所述，本申请实施例对图像的候选属性框进行聚合处理，得到多组候选属性框，每组候选属性框对应不同的类别。从同类别的候选属性框中筛选出目标属性框，减少了可能的目标属性框的数量，提高了候选属性框的过滤效率和过滤的精确性，避免了不同类别的候选属性框间的比较带来的误过滤的问题。基于过滤得到的目标属性框对图像中的对象进行类别识别处理，可以提高图像识别的准确性。

以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。