具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示为本发明一实施例的基于多级注意力的图像目标检测方法的流程图。

请参考图1，本实施例的基于多级注意力机制的图像目标检测方法包括：

S1，基于深度卷积神经网络构造一个特征提取器，称为骨干网络，将图像输入骨干网络中，提取到图像的深度特征，记为M1；

S2，基于卷积神经网络构造一个分支网络，作为注意力分支，用以提取多级注意力权重图；

S3，将S1得到的图像的深度特征M1作为注意力分支的输入，输出一个多级注意力权重图，记为W；

S4，将S3的输出W与S1的输出M1相乘，得到加权的特征图，记为M2；

S5，将S4的加权后的特征图M2作为RPN模块的输入，得到一系列的目标候选框，记为B1；

S6，将S5输出的目标候选框对应的加权特征图送入分类与回归模块，最终得到目标检出框，记为B2。

较佳实例中，S1中，通过骨干网络进行特征提取，其中可以采用ResNet-50作为骨干网络，每一阶段经过卷积和池化操作将特征图的尺度缩减，并将特征图的通道数扩增，最后选第四阶段的输出特征图作为骨干网络的输出即图像的深度特征M1。当然，在其他实施例中，也可以采用其他的网络，并不限于ResNet-50。

在一具体实施例中，S1可以参照以下操作：

S11，将输入图像进行缩放等预处理后，依次送入卷积层、池化层，得到第一阶段的特征，即浅层特征，浅层特征的尺寸缩小为预处理后图片尺寸的一半，通道数为64；

S12，将浅层特征进行卷积和池化操作，得到第二阶段的特征，即中间层特征，中间层特征的尺寸缩小为浅层特征的一半，通道数为128；

S13，将中间层特征进行卷积和池化操作，得到第三阶段的特征，即较深层特征，较深层特征的尺寸缩小为中间层特征的一半，通道数为256；

S14，将较深层特征进行卷积和池化操作，得到第四阶段的特征，即深层特征，作为骨干网络的输出特征图，输出特征图的尺寸缩小为较深层特征的一半，通道数为512。

较佳实例中，S2中，为了构造提取多级注意力权重图的分支网络，可以包括：

S21，将所述S1的输出特征图M1经过一个3x3的卷积，将维度降为1，得到与M1具有相同尺度，通道数为1的输出特征图；

S22，将所述S21的输出特征图经过一个3x3的卷积操作，得到一个值在0到1之间的注意力权重图，作为注意力分支的输出，记为W。

本实施例中图像内的不同区域根据感兴趣的程度分为不同的注意力等级，不同的注意力等级对应不同的值，注意力等级越高，值越大。通过引入的分支结构避免了对特征图的重复计算，从而加快了处理效率。

较佳实例中，S3中，通过注意力分支得到多级注意力权重图，为了指导注意力分支能够为感兴趣的区域生成更大的权重，应该为注意力分支提供相应的监督信息。比如，在一实施例中，感兴趣的区域是簧片的接触区，因为异物总是依附于簧片接触区而存在。具体的：

S31，首先对训练数据集进行标注，除了标出待检测物体，即簧片接触区内的异物所对应的位置、大小和类别信息，也同时标出待检测物体所依附的区域，即感兴趣区域，在本实例中也就是簧片接触区的位置、大小和类别信息。

S32，生成一个与上述S1的输出特征图M1尺度相同的零矩阵，将训练图片中感兴趣区域，即簧片接触区的位置和大小做等比例的变换。例如，假设输入S1并做预处理后的图片的宽和高分别为W、H；S1的输出特征图M1的宽和高分别为W₁、H₁；该图片对应感兴趣区域，即簧片接触区的位置坐标为((x₁₁，y₁₁)，(x₁₂，y₁₂))，则变换后对应区域的位置坐标由以下公式导出：

x₂₁＝x₁₁·W₁/W

y₂₁＝y₁₁·H₁/H

x₂₂＝x₁₂·W₁/W

y₂₂＝y₁₂·H₁/H

其中x₂₁，y₂₁，x₂₂，y₂₂分别代表变换后感兴趣区域的左上角横坐标，左上角纵坐标，右下角横坐标和右下角纵坐标。该组坐标对应了簧片接触区在经过等比例变换后相对应的坐标。

S33，在上述零矩阵中，依据S32中得到的变换坐标，将变换后感兴趣区域，即簧片接触区对应的位置赋为1，此处的区域代表一级感兴趣区域，其现实意义是，簧片接触区内的异物是影响磁簧开关性能的，应当被准确检测出来。将与一级感兴趣区域处于同一水平线的其他位置赋为0.5，称为次级感兴趣区域，其现实意义是，簧片非接触区上的异物暂时不影响磁簧开关的性能，但有可能之后移动到簧片接触区，因此可以以一个较低的置信度被检测出来。剩余区域保持为0，称为不感兴趣区域，代表其他区域，诸如玻璃管壁上的脏污、纤维等容易被误检的目标应当被滤除。当然，在其他实施例中也可以采用其他的数值赋值规则，主要用于区分不同区域，这里仅仅是一个举例说明，并不用于限制本发明。

S34，训练时将上述S33中的赋值后的矩阵作为注意力权重图的监督信息，并且通过损失函数计算注意力分支的Loss，记为Loss_a。

本实施例获得的监督信息可以指导注意力分支，能够为感兴趣区域生成更大的权重，从而增加在该区域的目标检出概率，，相反，背景等目标出现概率不大的区域，因其权重相对较小、可降低该类区域的目标检出概率，从而降低背景等干扰带来的误检。

在较佳实例中，所述S2中输出的注意力权重图W代表了对不同区域的重视程度，一级感兴趣区域，即簧片接触区的权值最大，次级感兴趣区域，即簧片非接触区的权值次之，其他不关心的区域的权值为0。在上述S4中，将此注意力权重图W与S1输出的特征图M1相乘，得到加权的特征图，记为M2。

在较佳实例中，在所述S6中，分类和回归网络在训练时会分别得到一个Loss，将这两个Loss与S3得到的注意力分支的Loss相加，作为整个网络的总Loss，从而实现端到端的训练。如以下公式所示：

Loss＝Loss_a+Loss_cls+Loss_reg

其中Loss代表整个网络的总Loss，Loss_a代表注意力分支的Loss，Loss_cls代表分类网络的Loss，Loss_reg代表边框回归网络的Loss。

本实施例中，将分支的损失加到总体的损失上，从而实现了端到端的训练，使得网络的训练和推理更加简洁。

基于上述相同的技术构思，本发明另一实施例中还提供一种基于多级注意力机制的图像目标检测系统，包括：

特征提取模块，该模块基于深度卷积神经网络构造一个特征提取器，作为骨干网络，将图像输入骨干网络中提取图像的深度特征；

注意力分支模块，该模块基于卷积神经网络构造一个分支网络，作为注意力分支，用以提取多级注意力权重图；

多级注意力权重图获取模块，该模块将特征提取模块得到的图像的深度特征输入注意力分支模块构造的注意力分支，得到一个多级注意力权重图；

加权特征图获取模块，该模块将多级注意力权重图获取模块得到的多级注意力权重图与特征提取模块得到的图像的深度特征相乘，得到加权特征图；

目标候选框获取模块，该模块将加权特征图获取模块得到的加权特征图输入RPN模块，得到一系列的目标候选框；

分类与回归模块，该模块根据目标候选框获取模块得到的目标候选框对应的加权特征图进行分类与回归，得到目标检出框。

本发明上述基于多级注意力的图像目标检测系统实施例中各模块具体实现的技术，可以参照方法对应的步骤，在此不再赘述。本发明上述实施例能达到实时检测的要求，更加适合于工业场景中的应用。

基于上述的检测方法和系统，在本发明另一实施例中提供一种基于多级注意力的图像目标检测装置，该装置中采用上述的基于多级注意力的图像目标检测方法，用于实现图像中的特定目标检测任务。具体的，基于多级注意力的图像目标检测装置包括：图像采集模块，该模块用于对所要检测的目标进行抓拍，获取特定场景下包含待检测目标的图像或视频，用于后续检测；检测模块，该模块对图像采集模块采集的图像进行检测，得到具体的检测结果，并将检测结果显示或反馈给控制模块；检测采用上述任一项实施例中的基于多级注意力机制的图像目标检测方法。

进一步的，为了对上述的技术方案有更为清晰的理解，以下以应用于工业场景下的缺陷检测的情况作为实施例，来详细说明，但是应该理解的是，该实施例不用于限定本发明的应用。

具体的，请参考图4，将上述的基于多级注意力的图像目标检测方法应用于工业场景下的缺陷检测。本实例应用于工业场景下的缺陷检测，检测目标为磁簧开关里簧片接触区上的微小异物。由于磁簧开关玻璃管壁上常常存在脏污或一些细小的纤维，它们的特征与簧片接触区上的异物相似，用传统的目标检测算法很难将两者完全区分开来。而这些目标又不会对磁簧开关的功能造成影响，因此在检测过程中会存在大量的误检。针对于此，本实施例中采用一种基于多级注意力的产品缺陷检测装置，包括：机械传动模块、图像采集模块、检测模块和软硬件通信模块。其中，机械传动模块将待检测产品(磁簧开关)进行传送、旋转以及抓取；图像采集模块在机械传动模块工作的过程中，对传送、旋转的待检测产品(磁簧开关)进行图像采集；检测模块对图像采集模块采集的图像进行处理和分析，具体采用上述实施例中的基于多级注意力的图像目标检测方法，得到具体的检测结果，并将检测结果反馈给机械传动模块，机械传动模块根据反馈的检测结果对待检测产品(磁簧开关)进行分类抓取。进一步的，装置还可以包括通信模块，用于机械传动模块与检测模块之间的通信。

具体的，在一优选实施例中，机械传动模块进行待检测产品的传送、旋转以及抓取，可以包括：

物料传送模块：将磁簧开关以流水线的方式自动化地输送，以便进行检测、分类。

物料旋转模块：对磁簧开关进行抓取、旋转等操作，可以将磁簧开关按照轴心旋转任意角度，在旋转的过程中可以对其进行连续的抓拍进行图像采集，从而可以对磁簧开关进行全方位无死角的检测。

物料分取模块：根据检测结果对磁簧开关进行分类，当磁簧开关被传送模块送至传送带的末端时，物料分取模块将对其进行抓取并按照检测结果进行投放，磁簧开关将被分为良品和不良品，而其中不良品又会按照具体的缺陷类别进一步地进行分类。

可编程逻辑控制器：用于控制整个机械的运转，包括控制物料传送模块、物料旋转模块、物料分取模块的运作，形成一个可操作的界面，可以对机械装置进行控制和参数设置等操作。

具体的，在一优选实施例中，图像采集模块可以采用光学图像采集设备，可以包括：光学显微镜以及光源系统、工业相机，光学显微镜用于对磁簧开关的表面状况进行成像，能够以一定的倍率对工业产品进行放大观察，以供图像采集。光源系统包括光源和光源控制器，用于为光学显微镜提供良好的光照条件。工业相机用于将光学显微镜获取到的光学影像捕捉下来，形成一系列的图像或者视频，用以后续检测。

当然，在其他实施例中，光学图像采集设备，包括但不限于视觉显微镜、监控探头等，也可以选择其他设备，用于将待检物，如工业产品，进行光学成像并采集为数字图像。

具体的，在一优选实施例中，检测模块具体可以包含硬件和软件两个部分，其中硬件采用计算机，比如高性能GPU计算机，该计算机用于运行检测软件，对图像采集模块采集到的图像进行检测，并将得到的检测结果反馈给控制系统，将运算得到的检测结果反馈给控制系统，如工业物料分拣模块、安防报警联动模块等，最终实现对工业产品的不良品分拣、异常情况声光告警等。本实施例中可以将检测结果反馈给分拣模块，最终实现对磁簧开关的检测与分拣。检测软件主要是对采集到的图片进行检测，其中包含一个图形用户界面，用户可以实时查看图像采集模块采集到的实时画面，并且会呈现每次的检测结果，此外，还包括参数配置、数据统计、日志记录等功能。

具体的，在一优选实施例中，软硬件通信模块是一种信号转换与传输模块，包括但不限于开关量模块，可以用于控制系统与高性能GPU计算机之间的信号转换与通信。信号转换指数字量到模拟量或开关量的转换，用于实现对机械等装置的信号控制。在本实施例中，可以采用开关量模块，高模块用于物料旋转模块和物料分取模块等机械装置与高性能GPU计算机之间的通信。具体地，物料旋转模块可以在开始转动的同时通过开关量模块给计算机发送开始检测的信号，从而计算机可以启动对当前磁簧开关的检测；而计算机在对一个磁簧开关检测完毕之后，可以通过开关量模块给物料分取模块发送一个检测结果，从而可以对磁簧开关进行分拣。

在本发明另一实施例中，还提供一种基于记存机制的异常检测装置，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述任一项实施例的基于记存机制的异常检测方法。

在本发明另一实施例中，还提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行上述任一项所述的基于记存机制的异常检测方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。