基于图像处理技术检测目标物体最大内接圆的方法和系统

文档序号:1773188 发布日期:2019-12-03 浏览:14次 >En<

阅读说明:本技术 基于图像处理技术检测目标物体最大内接圆的方法和系统 (Method and system based on image processing techniques detection target object maximum inscribed circle ) 是由 李娜 陆明 李伟 于 2019-08-21 设计创作,主要内容包括:本发明提供了一种基于图像处理技术检测目标物体最大内接圆的方法,包括步骤A:构建原点标记和参考标记;获取包括目标物体、原点标记、参考标记的工作台正投影图像得到第一图片;步骤B:在第一图片上确定原点标记和参考标记的位置;步骤C:以原点标记为原点构建像素坐标系,提取参考标记中模板图形的坐标、目标物体的轮廓线坐标以及四个边界值;步骤D:求解最大内接圆的圆心和半径。本发明提供的基于图像处理技术检测目标物体最大内接圆的方法和系统的优点在于:能够快速确定目标物体的最大内接圆,提高原料利用率,降低人力劳动成本和时间,而且对任意形状的物体均能有效的进行检测,具有广泛的应用前景和巨大的经济效益。(The present invention provides a kind of methods based on image processing techniques detection target object maximum inscribed circle, including step A: building origin label and reference marker;Obtaining includes target object, origin marks, the workbench orthographic view of reference marker obtains the first picture;Step B: the position of origin label and reference marker is determined on the first picture;Step C: pixel coordinate system is constructed labeled as origin with origin, extracts the coordinate of template graphics, the profile line coordinates of target object and four boundary values in reference marker;Step D: the center of circle and the radius of maximum inscribed circle are solved.The advantages of method and system provided by the invention that target object maximum inscribed circle is detected based on image processing techniques, is: can quickly determine the maximum inscribed circle of target object, improve raw material availability, reduce manual labor&#39;s cost and time, and the object of arbitrary shape can be detected effectively, it is with a wide range of applications and huge economic benefit.)

基于图像处理技术检测目标物体最大内接圆的方法和系统

技术领域

本发明涉及图像处理技术领域,尤其涉及基于图像处理技术检测目标物体最大内接圆的方法和系统。

背景技术

在进行圆形产品加工(如石材加工、玉石加工)时,很多工厂仍然采用手工测量确定原材料的内接圆的方式,这种作业方式非常依赖人员经验,很容易出现浪费材料的问题,而且工作效率低,劳动强度大,推行自动化加工生产的技术难点在于如何快速准确的确定目标物体的最大内接圆;目标物体的形状、纹理、摆放方式等因素都会影响检测物体最大内接圆面积的准确性;数字图像处理技术为此提供了技术支持。现有技术中也有相关算法实现物体最大内接圆的检测,但是存在准确率不高、适用性不广的缺点。

发明内容

本发明所要解决的技术问题在于提供一种基于数字图像处理技术快速准确的检测目标物体的最大内接圆的方法和系统,以克服现有技术存在的浪费原材料、生产效率低等问题。

本发明是通过以下技术方案解决上述技术问题的:

一种基于图像处理技术检测目标物体最大内接圆的方法,包括

步骤A:构建原点标记和参考标记;将原点标记和参考标记设置在在工作台上,将目标物体放置于工作台上,获取包括目标物体、原点标记、参考标记的工作台正投影图像得到第一图片;

步骤B:在第一图片上确定原点标记和参考标记的位置;

步骤C:以原点标记为原点构建二维像素坐标系,提取参考标记中模板图形的坐标、目标物体的轮廓线坐标以及轮廓线坐标的四个边界值;

步骤D:求解计算目标物体的最大内接圆的圆心和半径。

优选地,步骤A中的原点标记包括一个圆形色斑,参考标记包括两个圆形色斑,并记录参考标记中两个圆形色斑的距离LAB

优选地,步骤B中确定原点标记和参考标记位置的方法为在第一图片中显示所有与背景不一致的异常颜色区域作为备选点,在备选点中确认原点标记和参考标记的位置。

优选地,步骤A中的原点标记包括一个模板图形,参考标记包括三个不在同一直线上的模板图形,并记录其中任意两个模板图形之间的距离、以及这两个模板图形的连线与另一个模板图形连线的夹角。

优选地,步骤B所述的确定原点标记和参考标记位置的方法包括:

步骤I:对模板图形执行不同的变形操作得到不同的模板图片;

步骤II:将模板图片分成训练集和测试集,使用训练集训练图形处理模型并用测试集评价处理模型;

步骤III:使用处理模型提取第一图片中的四个模板图形,然后分别取三个模板图形中心点位置的组合并计算三个内角,当三个内角均与参考标记上的三个模板图形构成的三角形内角相等时,以这三个模板图形作为参考标记,以另一模板图形作为原点标记。

优选地,所述模板图形具有旋转不变性。

优选地,步骤A所述的模板图形包括至少具有两个直径不同颜色不同的实心圆的同心圆点。

优选地,对模板图形执行的变形操作包括旋转、平移、缩放、翻转和剪切。

优选地,步骤I中使用图片生成器keras.preprocessing.image.ImageDataGenerator对模板图形进行变形操作生成所述模板图片。

优选地,步骤B中将训练集和测试集分别生成满足微软COCO数据集格式的json文件,向目标检测软件包Detectron输入训练集和测试集进行深度学习得到所述处理模型。

优选地,步骤II中使用Detectron进行深度学习得到处理模型。

优选地,步骤C中提取目标物体在第一图片中的轮廓线的方法为:将第一图片转换为灰度图,调用cv::Canny()算子来检测目标物体在第一图片中的边缘,调用函数cv::findContours()来查找目标物体的轮廓,记作contour,遍历目标物体轮廓contour中的点,查找值最小的横坐标Xmin、值最小的纵坐标Ymin、值最大的横坐标Xmax和值最大的纵坐标Ymax

记录参考标记中距离为LAB的两点在像素坐标系中的坐标A(xA,yA),B(xB,yB)。

优选地,步骤D中计算目标物体的最大内接圆的圆心和半径的方法为:对于轮廓contour中的任意点(x,y)距离轮廓contour的最小距离记为min Dist(x,y,contour),则求取目标物体内部最大内接圆的问题就转换为求取min Dist(x,y,contour)最大值的问题,即

其中,RI表示最大内接圆的半径,CI为最大内接圆的圆心;

调用函数cv::pointPolygonTest(InputArray contour,Point2f pt,boolmeasureDist),得到

利用参考标记中两点的真实距离LAB对像素坐标系下的结果进行处理,得到

其中,RA表示半径的真实值,CA.x表示圆心与坐标原点沿x轴的真实距离,CA.y表示圆心与坐标原点沿y轴的真实距离,CI.x表示圆心在像素坐标系下的x轴坐标,CI.y表示圆心在像素坐标系下的y轴坐标,eu_dist(A,B)表示在像素坐标系下A、B两点的长度。

本发明还提供了一种基于图像处理技术检测目标物体最大内接圆的系统,包括

图像获取模块:构建包括原点标记和参考标记;将原点标记和参考标记设置在工作台上,将目标物体放置于工作台上,获取包括目标物体、原点标记、参考标记的工作台正投影图像得到第一图片;

识别模块:在第一图片上确定原点标记和参考标记的位置;

坐标系构建模块:在第一图片中以原点标记为原点构建二维像素坐标系,提取参考标记中模板图形的坐标、目标物体的轮廓线坐标以及轮廓线坐标的四个边界值;

处理模块:求解计算目标物体的最大内接圆的圆心和半径。

优选地,所述原点标记包括一个模板图形,所述参考标记包括三个不在同一直线上的模板图形,所述识别模块还包括:

图形变换单元:对模板图形执行不同的变形操作得到不同的模板图片;

模块训练单元:将模板图片分成训练集和测试集,使用训练集训练图形处理模型并用测试集评价处理模型;

识别处理单元:使用处理模型提取第一图片中的四个模板图形,然后分别取三个模板图形中心点位置的组合并计算三个内角,当三个内角均与参考标记上的三个模板图形构成的三角形内角相等时,以这三个模板图形作为参考标记,以另一模板图形作为原点标记。

本发明提供的基于图像处理技术检测目标物体最大内接圆的方法和系统的优点在于:对图片中的点进行识别定位,并基于此计算圆心位置和半径,能够快速确定目标物体的最大内接圆,提高原料利用率,降低人力劳动成本和时间,而且对任意形状的物体均能有效的进行检测,具有很好的鲁棒性和适应性,具有广泛的应用前景和巨大的经济效益。

附图说明

图1为本发明的实施例所提供的基于图像处理技术检测目标物体最大内接圆的方法的流程图;

图2为本发明的实施例一所提供的基于图像处理技术检测目标物体最大内接圆的方法的流程图;

图3为本发明的实施例所提供的基于图像处理技术检测目标物体最大内接圆的方法使用的模板图形的示意图;

图4为本发明的实施例所提供的基于图像处理技术检测目标物体最大内接圆的方法选用的参考标记的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明作进一步的详细说明。

Facebook公司推出了基于深度学***台计算机视觉库,他实现了图像处理和计算机视觉方面的很多通用算法;本发明基于Detectron和OpenCV开源库提出了基于图像处理技术检测目标物体最大内接圆的方法。

实施例一

结合图1和图2,本实施例提供了一种基于图像处理技术检测目标物体最大内接圆的方法,包括:

步骤A:构建原点标记和参考标记;将原点标记和参考标记设置在在工作台上,将目标物体放置于工作台上,获取包括目标物体、原点标记、参考标记的工作台正投影图像得到第一图片;

本实施例提供的原点标记包括一个模板图形,参考标记包括三个不在同一直线上的模板图形,即参考标记上的三个模板图形中心点的连线构成三角形,记录其中任意两个模板图形之间的距离,定义为LAB;并记录其两端点对应的三角形内角,将两端点定义为点A和B。

步骤B:在第一图片上确定原点标记和参考标记的位置;具体包括以下步骤:

步骤I:对模板图形执行不同的变形操作得到不同的模板图片;

所述模板图形应具有旋转不变性,基于此项要求,所述模板图形应设置为圆形,为了确保能够与目标物体上的形状区分开,可以设置多个同心不同色的圆形斑点;本实施例中提供的模板图形参考图3,选用了两个同心的实心圆点,其中小圆点为黑色,RGB值为(0,0,0),半径为0.5mm,大圆点为黄色,RGB值为(255,255,0),半径为2mm;使用图片生成器keras.preprocessing.image.ImageDataGenerator对模板图形进行旋转、平移、缩放、翻转和剪切操作哦大量模板图片;

本实施例使用ImageDataGenerator处理图片的具体参数如下:

步骤II:将模板图片分成训练集和测试集,使用训练集训练图形处理模型并用测试集评价处理模型;

将训练集和测试集分别生成满足微软COCO数据集格式的json文件,向目标检测软件包Detectron输入训练集和测试集进行深度学习得到所述处理模型;训练集和测试集对应的json文件内容为json格式,具体为:

键名 描述 值类型
info 数据集基本信息 info
images 图片数据列表 [image]
annotations 注解数据列表 [annotation]
licenses 许可证列表 [license]
categories 类别名称列表 [category]

表1:训练集和测试集的文件格式

其中的值类型均为json格式,具体如下:

键名 描述 值类型
year 数据集年份 int
version 数据集版本 str
description 数据集的描述信息 str
contributor 贡献者 str
url 数据集的URL str
date_created 创建时间 datetime

表2:值类型info的文件格式

键名 描述 值类型
id 图片编号 int
width 图片宽度 int
height 图片高度 int
file_name 文件名 str
license 许可证编号 int
flickr_url 图片的URL str
coco_url 图片在COCO数据集中的地址 str
date_captured 获取图片的时间 datetime

表3:值类型image的文件格式

键名 描述 值类型
id 许可证编号 int
name 许可证名字 str
url 许可证在互联网中的地址 str

表4:值类型license的文件格式

键名 描述 值类型
id 实例编号 int
image_id 图片编号 int
category_id 图片中目标的类别编号 int
segmentation 目标的轮廓信息 RLE或[polygon]
area 目标的面积 float
bbox 边界框的坐标、宽度和高度 [x,y,width,height]
iscrowd 是否为多个目标,取值为0或1 int

表5:值类型annotation的文件格式

键名 描述 值类型
id 类别编号 int
name 类别名称 str
supercategory 父类别名称 str

表6:值类型category的文件格式

其中的RLE(run-length encoding,游程编码)是控制论中一种对二值图像编码的方式。

步骤III:使用处理模型提取第一图片中的四个模板图形,然后分别取三个模板图形中心点位置的组合并计算三个内角,当三个内角均与参考标记上的三个模板图形构成的三角形内角相等时,以这三个模板图形作为参考标记,以另一模板图形作为原点标记;

基于上述识别原点标记和参考标记的方法,本领域普通技术人员应该知晓,本实施例使用了大量模板图形来训练模型以确保处理模型能够在第一图片中识别出模板图形,并对其中心点进行定位与参考标记中的三个模板图形中心点构成的三角形进行比对;由于整个过程依靠人工智能自动实现,因此在工作台上设置原点标记和参考标记时需要考虑防止原点标记上的模板图形与参考标记上的任意两个模板图形构成与参考标记上三角形的相似三角形。参考标记上的模板图形可以构成任意三角形,也可以根据用户设定增加模板图形的数量进行确认。

参考图4,本实施例选择的参考标记将三个模板图形构成的三角形内角分别设置为30°、60°和90°,从而方便用户确认并方便系统进行数据计算;并将其斜边长度定义为LAB

步骤C:以原点标记为原点构建二维像素坐标系,提取参考标记中模板图形的坐标、目标物体的轮廓线坐标以及轮廓线坐标的四个边界值;

本实施例使用现有技术中的NC模型构建像素坐标系,为了与NC模型的原点坐标对应,原点标记被设置在工作台的右上角;本领域普通技术人员可以根据实际情况自行确定原点标记和参考标记的具***置。

基于像素坐标系提取参考标记中的点A和B的坐标A(xA,yA),B(xB,yB)。

所述的提取目标物体的轮廓线坐标以及轮廓线坐标的四个边界值的方法为:

将第一图片转换为灰度图,调用cv::Canny()算子(即OpenCV数据库中的Canny()算子,下同)来检测目标物体在第一图片中的边缘,调用函数cv::findContours()来查找目标物体的轮廓,记作contour,遍历目标物体轮廓contour中的点,查找值最小的横坐标Xmin、值最小的纵坐标Ymin、值最大的横坐标Xmax和值最大的纵坐标Ymax

步骤D:求解计算目标物体的最大内接圆的圆心和半径。

对于轮廓contour中的任意点(x,y)距离轮廓contour的最小距离记为min Dist(x,y,contour),则求取目标物体内部最大内接圆的问题就转换为求取min Dist(x,y,contour)最大值的问题,即

其中,RI表示最大内接圆的半径,CI为最大内接圆的圆心;

调用函数cv::pointPolygonTest(InputArray contour,Point2f pt,boolmeasureDist),得到

利用斜边AB的真实距离对像素坐标系下的结果进行转换,得到

其中,RA表示半径的真实值,CA.x表示圆心与坐标原点沿x轴的真实距离,CA.y表示圆心与坐标原点沿y轴的真实距离,CI.x表示圆心在像素坐标系下的x轴坐标,CI.y表示圆心在像素坐标系下的y轴坐标,eu_dist(A,B)表示在像素坐标系下A、B两点的长度,可以通过A、B两点的像素坐标计算出来。

经过实验评测,使用本实施例提供方法检测出的最大内接圆半径的最小误差为0.0932mm,最大误差为0.4623mm,平均误差为0.2246mm,圆心在x方向上的最小误差为0.0123mm,最大误差为0.9132mm,平均误差为0.5317mm;圆心在y方向上的最小误差为0.0104mm,最大误差为0.8965mm,平均误差为0.5158mm;上述结果能够表明本实施例提供的基于图像处理技术检测目标物体最大内接圆的方法能够满足生产要求。

实施例二

本实施例与实施例一的区别仅在于在步骤B中由图形处理算法在第一图片中显示出所有与背景不一致的异常颜色区域作为备选点,然后由用户在备选点中确定原点标记和参考标记,后续计算处理步骤与实施例一相同。

需要注意的是由于实施例一选用人工智能对参考标记和原点标记进行识别,所以需要特定颜色组合的模板图形以对人工智能模型进行训练,而且需要至少具有三个模板图形的参考标记进行识别确定;而本实施例通过用户主动识别,所以原点标记和参考标记的设置更加自由,可以设置为任意色斑或图案或条纹区域,为了便于快速确定该区域的中心点,优选实施例中将其设置为圆形区域,并进行颜色填充;其中参考标记上仅设置两个圆形色斑,以这两个圆形色斑的中心点距离定位为LAB,从而进行余下的计算步骤。

基于上述实施例,本领域普通技术人员应当知晓,也可以通过其他现有的算法模型处理第一图片从而提取原点标记和参考标记的中心点位置并依照本申请提供的方法构建坐标系求解最大内接圆的圆心和半径。

基于本申请实施例一提供的检测目标物体最大内接圆的方法,本申请还提供了一种基于图像处理技术检测目标物体最大内接圆的系统,包括:

图像获取模块:构建包括原点标记和参考标记;将原点标记和参考标记设置在工作台上,将目标物体放置于工作台上,获取包括目标物体、原点标记、参考标记的工作台正投影图像得到第一图片;

所述原点标记包括一个模板图形,所述参考标记包括三个不在同一直线上的模板图形;

识别模块:在第一图片上确定原点标记和参考标记的位置;

所述识别模块还包括图形变换单元:对模板图形执行不同的变形操作得到不同的模板图片;

模块训练单元:将模板图片分成训练集和测试集,使用训练集训练图形处理模型并用测试集评价处理模型;

识别处理单元:使用处理模型提取第一图片中的四个模板图形,然后分别取三个模板图形中心点位置的组合并计算三个内角,当三个内角均与参考标记上的三个模板图形构成的三角形内角相等时,以这三个模板图形作为参考标记,以另一模板图形作为原点标记;

坐标系构建模块:在第一图片中以原点标记为原点构建二维像素坐标系,提取参考标记中模板图形的坐标、目标物体的轮廓线坐标以及轮廓线坐标的四个边界值;

处理模块:求解计算目标物体的最大内接圆的圆心和半径。

15页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:贴标方法、系统、电子终端、及计算机可读存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!