阅读说明：本技术 一种图像标注方法及设备 (Image annotation method and device ) 是由 刘焕云 蔡富东 吕昌峰 韩晶 于 2020-06-19 设计创作，主要内容包括：本申请公开了一种图像标注方法及设备,用以解决现有的图像标注方法在对有关于输电场景中的图像进行标注时,无法保证标注质量的可靠性的技术问题。方法包括：取待标注图像数据；将待标注图像数据发送至标注设备,以完成对待标注图像数据中包含的输电隐患目标的标注过程,得到待分类图像数据；将待分类图像数据通过图像分类模型进行分类,并确定分类结果；将分类错误图像数据重新发送至对应的标注设备上,进行二次标注,以得到分类正确图像数据。本申请通过上述方法提高了标注的准确性,进而保证了标注质量的可靠性。(The application discloses an image annotation method and equipment, which are used for solving the technical problem that the reliability of annotation quality cannot be ensured when an image related to a power transmission scene is annotated by the conventional image annotation method. The method comprises the following steps: taking image data to be marked; sending the image data to be annotated to annotation equipment to complete the annotation process of the transmission hidden trouble targets contained in the image data to be annotated, and obtaining the image data to be classified; classifying image data to be classified through an image classification model, and determining a classification result; and retransmitting the image data with the classification errors to corresponding labeling equipment, and performing secondary labeling to obtain image data with correct classification. According to the method, the accuracy of the labeling is improved, and the reliability of the labeling quality is further ensured.)

一种图像标注方法及设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像标注方法及设备。

背景技术

随着人工智能技术的不断发展，其在电力领域的应用也越来越广泛。基于深度学习的隐患目标识别方案，需要依赖大量的图像数据进行标注，然后训练神经网络模型，从而取得优秀的隐患目标识别效果。

但现有的输电隐患目标标注方法大部分依靠人工完成，不仅浪费大量的人力物力，效率低下；而且极易产生标注错误，标注过程的准确性较低，并且后期审核成本也很高。也有一部分标注方法通过半自动标注，虽然减少了部分人力成本，但仍然无法保证隐患目标标注质量的可靠性。

发明内容

本申请实施例提供了一种图像标注方法及设备，用以解决采用现有的图像标注方法在对有关于输电场景中的图像数据进行标注时，无法保证标注质量的可靠性的技术问题。

一方面，本申请实施例提供了一种图像标注方法，包括：获取待标注图像数据；将待标注图像数据发送至标注设备，以完成对待标注图像数据中包含的输电隐患目标的标注过程，得到待分类图像数据；将待分类图像数据通过图像分类模型进行分类，并确定分类结果；其中，分类结果包括分类正确图像数据、分类错误图像数据；将分类错误图像数据重新发送至对应的标注设备上，进行二次标注，以得到分类正确图像数据。

本申请实施例提供的一种标注方法，通过分类网络将标注完成的图像数据进行分类，以确定标注结果的正确性，有效的保证标注质量的可靠性，对于分类错误的图像数据，进行返工二次标注，进一步保证了标注的可靠性。另外，该方法通过对分类错误的图像数据进行二次修订，还可以及时的发现难样本，对算法工程师给与参考，加快算法的迭代过程。

在本申请的一种实现方式中，在将待标注数据发送至标注设备之前，方法还包括：对待标注图像数据通过http加密协议进行加密处理。

对传输之前的图像数据进行加密处理，对图像数据进行加密传输，防止黑客窃取，被不法分子利用，保证了图像数据在传输过程中的安全性及保密性。

在本申请的一种实现方式中，在将待标注图像数据发送至标注设备之前，方法还包括：将待标注图像数据输入至输电隐患目标检测模型中，对待标注数据中包含的输电隐患目标进行初步标注。

本申请实施例提供的标注方法中，可以首先通过检测模型对待标注图像数据进行初步标注，减少标注设备的工作量，进而加快了标注过程，提高了标注效率。

在本申请的一种实现方式中，输电隐患目标检测模型输出的初步标注图像数据中含有水印；其中，水印在初步标注图像数据的标注框内。

初步标注完成时，在图像数据上增加水印，保证了图像数据的安全性，保护了图像数据的版权信息。

在本申请的一种实现方式中，将待标注图像数据发送至标注设备，具体包括：识别待标注图像数据分别对应的场景信息；其中，场景信息包括施工场景、雨天场景、雪天场景、车辆场景、线路杂物场景中的任一项或者多项；将同一场景信息对应的待标注图像数据分别发送至若干不同的标注设备。

本申请实施例提供的图像标注方法中，将图像数据按照不同的场景进行分开存储，有助于提高图像数据的分发效率。将同一场景对应的图像数据分发至不同的标注设备上，打乱图像顺序，可以防止标注设备对同一场景产生标注疲劳，进而导致标注错误的情况出现，进一步提高了标注质量的可靠性。

在本申请的一种实现方式中，标注过程包括以下任一项或者多项：对待标注图像数据中漏标注的输电隐患目标进行标注、对待标注图像数据中误标注的输电隐患目标进行删除、对标注框进行调整。

在本申请的一种实现方式中，将待分类图像数据通过图像分类模型进行分类，具体包括：根据待分类图像数据中标注出的输电隐患目标，通过图像分类模型进行分类。

在本申请的一种实现方式中，在将分类错误图像数据重新发送至对应的标注设备上，进行二次标注之后，方法还包括：通过分类正确图像数据，构建图像分类模型的第一训练数据集；通过第一训练数据集，对图像分类模型进行重新训练。

在本申请的一种实现方式中，方法还包括：将训练完成的图像分类模型嵌入输电隐患目标检测模型中；通过标注完成的待标注图像数据，构建输电隐患目标检测模型的第二训练数据集；通过第二训练数据集对输电隐患目标检测模型进行训练及验证。

本申请实施例中，将二次训练后的图像分类模型，作为输电隐患目标检测模型的网络骨干参数，嵌入输电隐患目标检测模型中，从而加速输电隐患目标检测模型的训练速度，进而保证了对待标注图像数据进行的初步标注的准确性。

另一方面，本申请实施例还提供了一种图像标注设备，包括：处理器；及存储器，其上存储有可执行代码，当可执行代码被执行时，使得处理器执行如上述的一种图像标注方法。

本申请实施例提供的一种图像标注设备，通过输电隐患目标检测模型对待标注图像数据进行初步标注，减少了标注设备的标注时间，提高了标注效率。然后通过若干标注设备完成对待标注图像数据的标注过程，通过图像分类模型进行分类，进一步确定标注结果的准确性。对分类错误的图像数据进行二次返工修订，保证了标注质量的可靠性。另外，通过标注完成的图像数据构建训练数据集对图像分类模型及输电隐患目标检测模型进行训练，进一步提高了标注过程中标注结果的准确性，进而保证标注质量的可靠性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种图像标注方法流程图；

图2为本申请实施例提供的一种图像标注设备内部结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

输电过程的正常运行关系着生活用电、工农业用电的平稳进行，因此，近年来对输电过程中存在的安全隐患进行的检测过程越来越重视。输电过程中存在的安全隐患不仅包括输电线路上存在的隐患内容，还包括杆塔、以及输电线路周围环境中存在的安全隐患内容。

目前，大多数检测过程都是通过目标检测网络模型来完成的。基于深度学习的输电隐患目标识别方案，需要依赖大量的图像数据进行标注，而后进行神经网络模型的训练，从而取得优秀的隐患目标识别效果。

但现有的标注方法标注过程大部分是靠人工手动标注目标窗口与类别标签，效率极低，周期很长。而且纯手工标注由于受到人为因素的影响，极易产生错误，后期的审核成本较高，因此，标注质量的准确性无法得到保障。

为了缩短标注周期，也有一部分标注过程采用半自动标注方法，这种方法可以大大缩短标注周期，进而减少标注时间。但是，这种方法仍无法快速高效的完成标注过程，并且保证标注质量的可靠性。

因此，现亟需一种图像标注方法，以解决上述标注效率低，标注质量的可靠性无法得到保障的技术问题。

本申请实施例提供了一种图像标注方法及设备，以解决上述技术问题，在对输电过程中采集的图像数据进行标注时，大大缩短标注时间，提高标注结果的准确性，进而保证图像标注质量的可靠性。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

图1为本申请实施例提供的一种图像标注方法流程图。如图1所示，本申请实施例提供的图像标注方法，主要包括以下步骤：

步骤101、获取待标注图像数据，并通过输电隐患目标监测模型，对待标注数据进行初步标注。

获取待标注图像数据，并将待标注图像数据输入至输电隐患目标检测模型中，得到初步标注的图像数据。

在本申请的一个实施例中，待标注图像数据中包括若干输电线路相关图像、若干输电线路杆塔相关图像，以及若干输电线路周围环境信息相关图像。

在本申请的一个实施例中，输电隐患目标检测模型用于将待标注图像数据中存在的隐患目标，以标注框及类别标签的形式初步标注出来。

进一步地，在初步标注图像数据的标注框添加有图片水印，以保护本申请实施例中标注图像的版权信息。

在本申请的一个实施例中，将初步标注完成的图像数据按照输电场景进行分类存储，以便于按照输电场景分发至标注设备上，提高分发效率，进而缩短标注周期。

进一步地，输电场景包括施工场景、雨天场景、雪天场景、车辆场景、线路杂物场景中的任一项或者多项。

更进一步地，同一图像数据中存在多个安全隐患目标时，输电隐患目标检测模型，将多个隐患目标标注出来，并按照各个隐患目标所对应的场景信息，分别进行分类存储。

例如，一张图像数据中包含吊塔、输电线路上悬挂有塑料袋等信息，输电隐患目标检测模型输出这张图像数据时，就会在该图像数据上以标注框的形式将塑料袋、吊塔等信息标注出来。并且，该图像数据还携带有两个类别标签分别对应的类别文件。在对这张图像数据进行存储时，按照隐患目标对应的场景信息分别进行存储，即将塑料袋隐患存储至线路杂物场景对应的文件夹内；将吊塔隐患存储至施工场景对应的文件夹内。

步骤102、将待标注图像数据发送至标注设备，完成标注过程。

将初步标注完成的图像数据，按照不同的场景信息，分发至若干个不同的标注设备，以完成对图像数据的标注过程。

在本申请的一个实施例中，标注过程包括以下任一项或者多项：对待标注图像数据中漏标注的输电隐患目标进行标注、对待标注图像数据中误标注的输电隐患目标进行删除、对标注框进行调整。

需要说明的是，标注设备对待标注图像数据进行的标注过程，既可以通过人工操作来完成，也可以利用现有的标注算法，例如Labellmg标注工具，通过标注设备来完成，本申请实施例在此不做赘述。

在本申请的另一实施例中，将带水印的初步标注完成的图像数据，通过http加密协议进行加密传输，防止被不法分子盗用图像数据，增加图像数据在分发过程中的安全性。

步骤103、通过图像分类模型将标注完成的图像数据进行分类。

将标注设备标注完成的图像数据，通过图像分类网络，按照标注框内的隐患目标类别或者按照类别标签进行分类，得到分类结果。其中，分类结果包括分类正确图像数据、分类错误图像数据。

例如，将输电线路上悬挂塑料袋的图像数据，分类至施工场景中，此时出现分类错误的情况。该图像数据就属于分类错误图像数据。

步骤104、对于分类错误的图像数据，重新发送至标注设备进行二次标注。

将分类错误图像数据重新分发至对应的标注设备上，进行二次修订标注，得到分类正确图像数据，进而完成对待标注图像数据的标注。

其中，对应的标注设备是指之前对分类错误图像数据完成标注过程的标注设备，即该分类错误图像数据的标注过程，是在对应的标注设备上完成的。

在本申请的一个实施例中，为了避免标注疲劳，造成标注设备不能正确标注出隐患目标的情况，将分类错误图像数据分发至其他标注设备上，即没有对该分类错误图像数据进行过标注的标注设备。

在标注设备完成二次修订标注时，得到分类正确图像数据。至此，完成对待标注图像数据的标注。通过二次修订标注，不仅可以保证标注质量的可靠性；而且有利于发现难样本，对算法优化工程师进行参考，进而加速隐患目标检测模型算法的迭代过程。

在本申请的一个实施例中，通过分类正确的图像数据构建图像分类模型的训练数据集，并通过训练数据集对图像分类模型重新进行训练。以提高图像分类模型的分类准确性。

进一步地，图像分类模型的训练过程可以采用ResNeXt等模型进行训练。

更进一步地，还可以将训练完成的分类网络嵌入至输电隐患目标检测模型中，作为输电隐患目标检测模型的骨干参数，进而加快输电隐患目标检测模型的训练过程，同时保证输电隐患目标检测模型的检测效果。

在本申请的另一实施例中，还可以通过分类正确图像数据构建输电隐患目标监测模型的训练数据集，并通过该训练数据集对输电隐患目标检测模型进行训练、验证，得到检测结果更精确的隐患目标检测模型。提高初步标注图像数据的标注结果准确性，进一步保证图像数据标注质量的可靠性。

需要说明的是，本申请实施例提出的图像标注方法，不仅适用于输电隐患目标的标注，也适用于其他保密数据的标注，或者通用数据的标注。而且标注完成的图像数据不仅可以用于分类网络的训练，也适用于目标检测网络、目标分割网络的训练及验证过程。

以上为本申请实施例提供的方法实施例，基于同样的发明构思，本申请实施例还提供了一种图像标注设备，其内部结构示意图如图2所示。

图2为本申请实施例提供的一种图像标注设备内部结构示意图，如图2所示，设备包括处理器201；及存储器202，其上存储有可执行代码，当可执行代码被执行时，使得处理器201执行如上述的一种图像标注方法。

在本申请的一个实施例中，处理器201用于获取待标注图像数据，并将待标注图像数据发送至标注设备，以完成对待标注图像数据中包含的输电隐患目标的标注过程，得到待分类图像数据；以及用于将待分类图像数据通过图像分类模型进行分类，并确定分类结果，其中，分类结果包括分类正确图像数据、分类错误图像数据；还用于将分类错误图像数据重新发送至对应的标注设备上，进行二次标注，以得到分类正确图像数据。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。