阅读说明：本技术 一种基于机器视觉的白砂糖袋自动计数装置及方法 (Machine vision-based white granulated sugar bag automatic counting device and method ) 是由 赵东哲 张雷 靳晔 张震 秦亚敏 邓菲 王勇 庞增拴 于 2020-05-14 设计创作，主要内容包括：本发明公开了一种基于机器视觉的白砂糖袋自动计数装置及方法。所述装置包括传送带架体、传送皮带、设备支架、工业计算机、线激光器固定头、工业相机固定头、线激光器、工业相机。线激光器、工业相机分别通过线激光器固定头、工业相机固定头安装于设备支架,用于激光轮廓生成和采集,工业计算机将数帧白砂糖袋切片化分割轮廓图像中的相对包罗面积,经综合化分析后计算出袋数,方法过程包括图像预处理、激光条纹中心线提取、中心线断点补偿、相对包罗面积计算和袋数综合计算。本发明实现了输送白砂糖袋过程的自动计数,有效解决了白砂糖连袋、叠袋等复杂姿态下糖袋计数困难且人力消耗较大的问题,有效提高了计袋的准确率,降低了企业人力成本。(The invention discloses a machine vision-based white granulated sugar bag automatic counting device and method. The device comprises a conveyor belt frame body, a conveyor belt, an equipment support, an industrial computer, a line laser fixing head, an industrial camera fixing head, a line laser and an industrial camera. The line laser and the industrial camera are respectively installed on the equipment support through a line laser fixing head and an industrial camera fixing head and used for generating and collecting laser outlines, the industrial computer slices a plurality of frames of white granulated sugar bags to segment relative envelope areas in outline images, and bag numbers are calculated after comprehensive analysis. The automatic counting device realizes automatic counting in the process of conveying the white granulated sugar bags, effectively solves the problems of difficult counting and large labor consumption of the white granulated sugar bags in complex postures such as bag connection and bag folding, effectively improves the bag counting accuracy and reduces the labor cost of enterprises.)

一种基于机器视觉的白砂糖袋自动计数装置及方法

技术领域

本发明属于机器视觉计数技术领域，具体涉及一种基于机器视觉的白砂糖袋自动计数装置及方法。

背景技术

白砂糖是食品加工行业的重要添加料，更是居家生活不可或缺的调味品。国内白砂糖在产地多数采用50Kg规格编织袋进行包装，分发全国。在粮库、物流中心、食品加工厂等仓储、转运和加工点，通过传送带进行白砂糖装车、卸车的过程涉及大量糖袋数量的统计任务。

在专利[CN201610813722.8]中，提出了一种皮带传输机的计数检测方法，在专利[CN201710814559.1]中，提出了一种定量袋式包装物料的包数统计方法，在专利[CN201410633496.6]中，提出了一种糖厂的包装袋计数系统。但以上三个专利中传感器均采用对射光电开关，且识别目标形状相对固定，传送姿态较为理想。在糖袋传输过程中，由于糖袋较软且堆叠姿态各异，上述专利中的计数方法以及其他常规计数传感器较难适用于糖袋连袋、叠袋等非理想堆叠姿态的传送情况。目前实际计袋中，主要采用人工计数和地磅称重相结合的方法，但地磅对整车称重误差较大，因此主要以人工计数为准，造成了大量人力消耗在重复且价值较低的计数工作中，人力和时间成本的消耗加重了白砂糖物流成本的提升。因此，发明一种针对糖袋复杂姿态下非接触无人化自动计数的装置及方法对于解决上述实际问题具有重大意义。

发明内容

本发明的目的在于提供一种基于机器视觉的白砂糖袋自动计数装置和方法，可实现白砂糖传送过程中的非接触无人参与的实时准确计数功能，解决现有计数过程中人力成本消耗过大的问题。

本发明的基于机器视觉的白砂糖袋自动计数装置，包括传送带架体、传送皮带、设备支架、工业计算机、线激光器固定头一、线激光器固定头二、工业相机固定头、线激光器一、线激光器二、工业相机。

在某些实施例中，设备支架固定在传送带架体侧方。

在某些实施例中，线激光器固定头一、线激光器固定头二与工业相机固定头固定在设备支架上呈三角形分布，且位于传送皮带上方。

进一步地，线激光器固定头一与线激光器固定头二按传送皮带传送方向中心线对称垂直分布于其上方两侧位置，工业相机固定头位于传送皮带传送方向中心线下游上方位置。

在某些实施例中，线激光器一与线激光器二分别固定于线激光器固定头一与线激光器固定头二。

进一步地，线激光器一与线激光器二偏向传送皮带传送中心线方向安装，激光线部分重叠呈一字覆盖传送皮带宽度范围，且与传送皮带传送方向中心线垂直。

在某些实施例中，工业相机通过所述工业相机固定头以斜向下角度安装固定，水平方向与传送皮带传送方向相反，视野范围涵盖激光线轮廓出现区域，所述工业相机与所述工业计算机通过六类千兆网线连接。

本发明的基于机器视觉的白砂糖袋自动计数方法，通过所述工业相机分别对无白砂糖袋和传输白砂糖袋情况下激光线轮廓图像的高速采集，使被测白沙糖袋实现程序上的切片化分割，完成相对包罗总面积的计算与相对包罗单位面积的对照分析后，实现白沙糖袋传输过程中数量实时统计。

在某些实施例中，一种基于机器视觉的白砂糖袋自动计数方法包括如下步骤：

a.实时采集白砂糖袋激光轮廓图像并进行图像预处理；

b.提取图像中白砂糖袋激光轮廓中心线；

c.白砂糖袋激光轮廓中心线断点补偿；

d.计算白砂糖袋激光轮廓中心线相对包罗面积；

e.计算并显示白砂糖袋数量。

在某些实施例中，步骤a中图像预处理包括图像校正、图像灰度化、图像滤波和图像二值化过程。

在某些实施例中，步骤b中采用Hessian矩阵算法实现激光条纹中心线提取。

在某些实施例中，步骤e中采用单帧和多帧相对包罗面积分析进行当前袋块数量统计

本发明的有益技术效果包括：

(1)采用线激光与工业相机结合的机器视觉检测方式，可实现白砂糖袋连袋、叠袋等非理想复杂传送姿态的袋数统计，准确率极高，且非接触式测量避免了对白砂糖袋产生损坏；

(2)装置和方法所需硬件成本较低，部署便捷且对相应现场应用环境要求较低，具有较强适应性和移植性。

附图说明

图1是本发明的基于机器视觉的白砂糖袋自动计数装置总体结构示意图；

图2是本发明的基于机器视觉的白砂糖袋自动计数方法的流程示意图；

图3是本发明的断点补偿逻辑算法示意图。

具体实施方式

下面以50Kg白沙糖袋为例来介绍本发明，结合附图1-3对本发明做具体描述。

如图1所示为本发明的总体结构示意图，包括传送带架体1，传送皮带2，设备支架3，工业计算机4，线激光器固定头一5，线激光器固定头二6，工业相机固定头7，线激光器一8，线激光器二9，工业相机10，被测白砂糖袋11。

在本实施例中，白砂糖传送带由传送带架体1和传送皮带2组成，被测白砂糖袋11置于传送皮带2上表面进行传送，设备支架3固定于传送带架体1侧方位置，线激光器固定头一5、线激光器固定头二6与工业相机固定头7分别固定于设备支架3的顶部且以传送皮带2传送方向中心线呈三角形对称分布，线激光器一8、线激光器二9与工业相机10分别固定于对应固定头中，线激光器安装角度满足激光线部分重叠呈一字覆盖传送皮带2宽度，且与传送皮带2传送方向中心线垂直，工业相机10斜向下安装角度满足激光线轮廓在图像采集范围内，工业相机10通过六类千兆网线与设备支架3侧方安装的工业计算机4相连。

在本实施例中，工业相机10的选择根据被测白砂糖袋尺寸、测量精度和成像速度等条件综合确定，本应用的被测糖袋重量为50Kg，满糖最大长度900mm，最大宽度500mm，传送皮带宽度1000mm，测量精度1mm，相机与白砂糖袋间距大于1000mm。首先进行像素估算，相机靶面通常为4:3矩形，以靶面短边为参考，短边像素应大于1000/1＝1000，根据估算的像素可选择海康威视CMOS相机MV-CA013-20GC，靶面尺寸1/2"(6.4×4.8mm)，分辨率为1280×1024，像元尺寸为5μm，最大帧频90fps。焦距f通过f＝Wh/w计算，其中靶面宽W＝4.8mm，间距h＝1000mm，采集宽度w＝1000mm，经计算f＝4.8mm，可选焦距为4mm的海康威视MVL-C0420-5MP镜头。

线激光器根据照射距离、区域长度和激光线质量等条件综合确定，根据对多种波长及透镜的比较，650nm波长的鲍威尔棱镜线激光器可消除高斯光束中心热点和褪色边缘分布现象，成光直线性、稳定性和密度均匀性等方面性能出色，可选取HW650AB100-16GD-WLD线激光器，线射角60°，最小均匀线宽1.5mm。

如图2所示为本发明的方法流程示意图，具体包括图像预处理、激光条纹中心线提取、条纹中心线断点补偿、轮廓相对包罗面积计算和白砂糖袋计数并显示。具体包括如下步骤：

(1)传送皮带2正常运转且糖袋未开始传送状态，激光线在传送皮带2上形成皮带表面轮廓线，图像经工业相机10采集载入工业计算机4，图像经图像校正、图像灰度化、图像滤波和图像二值化处理后，经Hessian算法实现激光条纹中心线提取，经中心线断点补偿算法和相对包罗面积S₀计算，完成初始采集进程。

(2)传送皮带2正常运转无糖袋且已完成初始采集状态，下帧重新进行初始采集流程，更新S₀，以消除传送带或设备支架变动造成的影响。

(3)传送皮带2正常运转且有糖袋传送状态，白砂糖袋由线激光器端向相机方向传送，激光线在糖袋外表面形成条纹轮廓初帧，条纹轮廓原图经图像校正、图像灰度化、图像滤波和图像二值化处理后，经Hessian算法进行中心线提取，经中心线断点补偿算法和相对包罗面积计算求得S₁。

(4)当S₁-S₀≥s设定阈值时，进程判断糖袋轮廓有效，将S₁-S₀赋值袋块总相对包罗面积S，并进行下帧图像采集。否则判断糖袋轮廓无效，并进行下帧图像采集。

(5)当进行连续有效糖袋轮廓图像采集时，将每帧S₁-S₀与袋块总相对包罗面积S叠加，并进行下帧图像采集。

(6)当袋块离开激光线初帧，即S₁-S₀＜s且S>0时，判断糖袋轮廓无效，计算S与单袋总相对包罗面积S’的最近整数商并赋值该袋块糖袋数量N₁。

(7)将总计袋数量N更新为N₁+N，进行工业计算机4屏幕更新显示。

(8)该袋块计数完成后，将S赋值为0，并判断计袋进程是否结束，未结束进行下帧图像采集，否则终止进程。

(9)传送皮带2无糖袋传送间隔状态，即S₁-S₀＜s且S＝0时，直接判断计袋进程是否结束，未结束进行下帧图像采集，否则终止进程。

1、图像校正

图像校正主要采用几何校正法解决因工业相机10拍摄角度问题所产生的激光线轮廓图像几何失真现象，根据基准图像进行几何失真图像校正，设基准图像f(x,y)为手动去畸变图像，g(x',y')表示实时采集几何畸变图像，转换形式为本实施根据n＝1的线性变换，以已知点坐标为基础，依照上述关系依次计算畸变图像每个像素点的校正坐标，并将像素值赋予对应坐标，即完成激光线轮廓图像的几何畸变校正。

2、图像灰度化

为降低自然环境光影响突出650nm红色激光线，并降低图像分析数据量，本实施中选用加权平均值算法进行图像灰度化处理，对R、G、B分量的权值系数P_r、P_g、P_b进行侧重配比，使每个像素值为256级，取值为

3、图像滤波

为减少图像噪声产生的干扰，提升激光线轮廓提取可靠性和精准性，本实施中采用高斯滤波器，可在去除噪声同时保留原图像轮廓特征，其是根据高斯函数的形式确定模板系数的线性平滑滤波器，即将图像中每个像素点的最终像素值由其邻域和其本身的像素值通过加权平均后获得，加权值大小随与中心点距离的增加而单调递减，二维高斯滤波模板中(x,y)处的滤波系数取值为其中σ为高斯分布参数，决定高斯函数平滑程度。

4、图像二值化

为进一步突出激光线轮廓特征，降低图像数据量并提升进程整体运行实时性，对滤波后灰度化图像进行二值化处理，采用阈值法通过每个像素点灰度值与设定阈值T_b比较，将256级灰度图像像素归类为0和255值，过程可表示为其中I_i,j为M×N灰度化图像第(i,j)个像素。I_i,j'为二值化图像第(i,j)个像素，i∈[0,M-1]，j∈[0,N-1]，常规阈值T_b选取方法有最小误差分率法、最大类间方差法和最大熵法，本实施选用最大类间方差法。

5、Hessian算法提取激光条纹中心线

激光线条纹中心线提取方法有边缘对比法、几何中心法、阈值法、极值法、灰度重心法和Hessian矩阵算法等，本实施选用Hessian矩阵算法，即首先确定条纹法线方向，然后在法线方向上利用泰勒展开求解中心线位置，Hessian矩阵表达式为其中g(x,y)为二维高斯卷积模板，I(x,y)为以图像中心点(x,y)为中心、大小与二维高斯卷积模板相等矩阵，图像(x₀,y₀)点法线方向为该点二阶方向导数绝对值最大时方向，由该点Hessian矩阵最大特征的绝对值对应的特征向量(n_x,n_y)给出，其切线方向与法线方向垂直，(x₀,y₀)点法线方向上的灰度分布函数经二阶泰勒展开后，可用I(x₀+tn_x,y₀+tn_y)表示，由于激光条纹特征值在法线方向呈高斯分布，且光强越大越接近光条中心，则使I(x₀+tn_x,y₀+tn_y)的一阶导数为零的点作为(x₀,y₀)点的法线方向上中心像素点(x₀+tn_x,y₀+tn_y)，可获得和则依次计算可得出激光条纹中心线各像素点坐标。

6、断点补偿

为解决糖袋褶皱、叠袋等复杂姿态情况下导致采集的激光轮廓线图像存在断点区域问题，采取中心线断点补偿逻辑算法，图3为M×N图像中局部断点区域，P1与P2是坐标为(X_P1,Y_P1)与(X_P2,Y_P2)的中心线端点，横向列差为i，纵向行差为j。设商步长A为i、j最大值与最小值商的向下取整，余步长B为i、j最大值与最小值余数+A，表达式为B＝max(i,j)-A·(min(i,j)-1)，断点补偿逻辑规则表如下所示：

7、相对包罗面积计算

本实施相对包罗面积计算包括S₀和S₁，均是中心线包罗面积统计，S₀前期为S₁，故以下用S₁计算，以M×N图像i＝0,j＝0像素点进行逐列逐行分析。在(i,j)＝255时，将S₁更新为S₁+M-i继续进程；在(i,j)＝0，i！＝M-1时，i更新为i+1继续进程；在(i,j)＝0，i＝M-1，j！＝N-1时，i更新为0，j更新为j+1继续进程；在(i,j)＝0，i＝M-1，j＝N-1时，结束本帧相对包罗面积计算进程并记录S₁。

上述实施内容，仅作为本发明已实际应用且效果良好的实例，并非对本发明进行上述具体形式上的限制，任何对本发明领域有经验的人员，在不脱离本发明主体方案范围基础下，均可能利用本专利所阐述方法或技术进行等效修改，故凡是未脱离上述技术方案实质内容的任何等效修改，仍属于本发明技术方案保护范围内。