阅读说明：本技术 一种图像中目标物的交互式标记方法 (Interactive marking method for target object in image ) 是由 罗兵 徐志敏 李圣田 朱和平 雷苏琪 马能武 黄祥虎 陶蔚 曹胜中 何涛 王炜 于 2021-08-17 设计创作，主要内容包括：本发明公开了一种图像中目标物的交互式标记方法。它包括如下步骤,步骤一：客户端图像数据加载；将需要标记的图像存储在服务端,并将图像以服务对外进行发布；当服务端图片被客户端请求加载时,服务端返回原始图片的压缩和第一次缩放版本；步骤二：客户端图像渲染与标记；客户端向服务端请求需要标记的图片,并在标记区域渲染缩放后的图像；客户端在标记区域内对图像中的目标物进行标记操作,形成标记结果；步骤三：标记结果坐标转换与存储；将组成客户端标记结果的点坐标转换至服务器原始图片的像素坐标,并通过调用服务端接口,将转换后的结果存储至数据库。本发明具有实现网络环境下多人协同图像标记,同时降低客户端的硬件性能要求的优点。(The invention discloses an interactive marking method for a target object in an image. The method comprises the following steps: loading image data of a client; storing the image to be marked at a server, and issuing the image to the outside in a service mode; when the server side picture is requested to be loaded by the client side, the server side returns a compressed and first-time zooming version of the original picture; step two: rendering and marking the client side image; the client requests a picture needing to be marked from the server, and the zoomed image is rendered in the marked area; the client side carries out marking operation on the target object in the image in the marking area to form a marking result; step three: converting and storing the marked result coordinate; and converting the point coordinates forming the client marking result into the pixel coordinates of the original picture of the server, and storing the converted result into a database by calling a server interface. The invention has the advantages of realizing multi-person collaborative image marking in a network environment and simultaneously reducing the hardware performance requirement of the client.)

一种图像中目标物的交互式标记方法

技术领域

本发明涉及计算机视觉技术领域，更具体地说它是一种图像中目标物的交互式标记方法。

背景技术

图像标记是辅助检测图像目标物的一种预处理过程，该过程中，用户可以点击、框选或标绘图像中的特定对象，使该对象可被计算机进一步处理。图像标记工具可用来创建训练数据集，在人工智能和机器学习领域应用十分广泛。

目前，广泛使用的图像标记工具有LabelMe(http://labelme.csail.mit.edu/Release3.0)和LabelImg(https://github.com/tzutalin/labelImg)。LabelImg支持正矩形标记，标记结果默认保存为PASCAL VOC格式的xml文件。LabelMe默认支持多边形标记，同时还支持正矩形、点、线、圆的标记，标记结果默认保存为json文件。

这两类工具均需下载安装包进行本地安装，且只能打开本地图像数据，难以实现多人协同标记。同时，当图像数据量很多、单幅图像尺寸较大时，本地设备需要较大存储空间和内存，才能保证图像的流畅加载和顺利标记。

因此，开发一种实现网络环境下的多人协同图像标记、且降低大尺寸及大数量图像数据对本地设备硬件性能要求的图像标记方法很有必要。

发明内容

本发明的目的是为了提供一种图像中目标物的交互式标记方法，实现网络环境下的多人协同图像标记，同时将图像存储和压缩任务交由服务端完成，降低客户端的硬件性能要求；解决了现有图像标记工具存在的标记工具和图像数据需安装或存储在本地，难以实现多人协同标记的问题，以及当图像数据量较大时，在硬件配置低的设备上图像难以流畅加载，影响标记效率的问题。

为了实现上述目的，本发明的技术方案为：一种图像中目标物的交互式标记方法，其特征在于：包括如下步骤，

步骤一：客户端图像数据加载；

将需要标记的图像存储在服务端，并将图像以服务对外进行发布；采用网络化架构，将图像数据放在服务端供外界访问，标记结果存储在数据库，可实现多人协同标记；

当服务端图片被客户端请求加载时，服务端返回原始图片的压缩和第一次缩放版本；经过压缩后，数据量减小，在目标物清晰可辨的前提下，可较好的在网络上进行传输，实现多人协同标记；

步骤二：客户端图像渲染与标记；

客户端向服务端请求需要标记的图片(该图片为原始图片的压缩和第一次缩放版本)，并在标记区域渲染缩放后的图像；

渲染完成后，客户端在标记区域内对图像中的目标物进行交互式标记操作，形成标记结果；

步骤三：标记结果坐标转换与存储；

组成客户端标记结果的点坐标为标记区域内的局部相对坐标，需转换至服务器原始图片的像素坐标，

将组成客户端标记结果的点坐标转换至服务器原始图片的像素坐标，并通过调用服务端接口，将转换后的结果存储至数据库(如图1所示)；通过标记结果的坐标转换，将目标物的标记结果从压缩后图像上的坐标精确反算至原始图像上的坐标，保证了标记结果的可靠性。

在上述技术方案中，在步骤二中，交互式标记操作包括交互式点击、框选或标绘等。

在上述技术方案中，在步骤二中，标记过程中，图片相对标记区域可进行平移或缩放。

在上述技术方案中，如图2所示，将组成客户端标记结果的点坐标转换至服务器原始图片的像素坐标，具体方法如下：

设原始图片第一次缩放倍数为r，在客户端标记区域内二次缩放倍数为R，二次缩放的图像左上角相对标记区域左上角的偏移为(Δx，Δy)；

组成客户端标记结果的点在标记区域内的相对坐标为(X₀，Y₀)，对应点在服务器原始图片的像素坐标(x₀，y₀)，转换关系满足以下公式：

公式(1)中，当R＞1时，表示图像第二次在标记区域内缩小；当R＜1时，表示图像第二次在标记区域内放大；当R＝1时，表示图像第二次在标记区域内以原始比例显示。

上述服务端原始图片的压缩与缩放，在标记区域渲染缩放后的图像，通过调用服务端接口、将转换后的结果存储至数据库的方法均为现有技术。

本发明具有如下优点：

1)采用了网络化架构，将图像数据放在服务端供外界访问，标记结果存储在数据库，可实现多人协同标记；克服了现有技术在标记工具和图像数据需安装或存储在本地，难以实现多人协同标记的缺陷；

2)通过服务端的图像数据压缩和缩放，图像以更小的数据量和尺寸传输至客户端，有效降低了对客户端的网络带宽、存储容量和内存大小等硬件要求；克服了现有图像标记工具在图像数据量较大时，在硬件配置低的设备上图像难以流畅加载，影响标记效率的缺陷；

3)通过标记结果的坐标转换，将目标物的标记结果从压缩后图像上的坐标精确反算至原始图像上的坐标，保证了标记结果的可靠性。

附图说明

图1为本发明总体技术原理示意图。

图2为本发明中的标记结果坐标转换示意图。

图3为本发明实施例中实施例图像中目标物的交互式标记示意图。

图3中从左至右分别为图3(1)、图3(2)、图3(3)；图3(1)为本实施例原始图片；图3(2)为本实施例原始图片经压缩与一次缩放后图片；图3(3)为本实施例二次缩放后图片及标记区域。

图3(3)中图片外圈的浅灰色底纹区域为步骤二所述的标记区域。

具体实施方式

下面结合附图详细说明本发明的实施情况，但它们并不构成对本发明的限定，仅作举例而已。同时通过说明使本发明的优点更加清楚和容易理解。

本技术方案提出了一种图像中目标物的交互式标记方法，该方法通过服务端图像数据压缩发布、客户端图像渲染与标记、标记结果坐标转换与存储等步骤，实现网络环境下的多人协同图像标记，同时将图像存储和压缩任务交由服务端完成，降低了客户端的硬件性能要求。

实施例

现以本发明试用于某图像中球形灯状目标物的交互式标记为实施例对本发明进行详细说明，对本发明应用于其它图像中目标物的交互式标记同样具有指导作用。

基于某球形灯状目标物的图像数据，采用本技术方案进行试验的效果如图3所示。

图3(1)为图像采集设备获取的原始图片数据，BMP格式，数据量为19496KB，尺寸为5472×3648。可见单张原始图片数据较大，数量较多时，对于传统的本地标记，需要较大的硬盘和内存才能保障数据的存放和快速读取。

图3(2)为采用jpg格式进行压缩，缩小10倍之后的图片数据，数据量为31KB，尺寸为548×365。可见经过压缩后，数据量减小600多倍，在目标物清晰可辨的前提下，可较好的在网络上进行传输，实现多人协同标记。

图3(3)为图片数据经过传输显示在客户端标记区域的效果，在标记区域内用户可对图片进行鼠标滚轮缩放和拖拽平移。采用矩形框在标记区域内对球形灯状目标物进行框选标记，标记结果如图3(3)中实线框所示。对矩形框四个角点坐标进行坐标转换，还原至原始图片中的矩形范围，最终结果如图3(1)中虚线框所示。

本实施例通过标记结果的坐标转换，将球形灯状目标物的标记结果从压缩后图像上的坐标精确反算至原始图像上的坐标，保证了标记结果的可靠性。

其它未说明的部分均属于现有技术。