阅读说明：本技术 一种基于深度学习算法的液体内异物与气泡智能视觉检测系统 (Intelligent visual detection system for foreign matters and bubbles in liquid based on deep learning algorithm ) 是由 王芳 潘慧敏 李新倩 于 2019-10-08 设计创作，主要内容包括：一种基于深度学习算法的液体内异物与气泡智能视觉检测系统,其特征在于：包括多个工站、多个光源和多个工业相机,以及图像采集模块、图像预处理及筛选模块、分组转发模块、两级分类模块和分类结果统计模块。本发明创造性地在流水线上直接检测自旋后运动中的液瓶,去掉了输液瓶旋转后急停的步骤,这样不仅能够简化灯检机硬件电路设计,而且由于不再需要旋转后急停再进行拍照,所以减少了时间损耗,使检测速度变快；首创瓶身水平放置后检测方法,大大提高异物检出概率,对漂浮异物也有较好的检出效果,使用多相机多工站,做到输液瓶的内外全方位检测,另外,针对快速沉底异物单独使用一个工站进行检测,检出效果可达100％。(The utility model provides a foreign matter and bubble intelligent vision detecting system in liquid based on degree of depth learning algorithm which characterized in that: the system comprises a plurality of work stations, a plurality of light sources, a plurality of industrial cameras, an image acquisition module, an image preprocessing and screening module, a grouping and forwarding module, a two-stage classification module and a classification result counting module. The invention creatively detects the liquid bottle in motion after spinning directly on the production line, and removes the step of sudden stop after the rotation of the liquid bottle, thus not only simplifying the design of a hardware circuit of a lamp inspection machine, but also reducing the time loss and speeding up the detection as the sudden stop after the rotation is not needed and the picture is taken; the detection method is initiated after the bottle body is horizontally placed, the foreign matter detection probability is greatly improved, the floating foreign matter is well detected, the multi-camera multi-station is used, all-around detection inside and outside the infusion bottle is achieved, in addition, one station is independently used for detecting the fast sinking foreign matter, and the detection effect can reach 100%.)

一种基于深度学习算法的液体内异物与气泡智能视觉检测 系统

技术领域

本发明涉及智能视觉检测技术领域，特别涉及一种基于深度学习算法的液体内异物与 气泡智能视觉检测系统。

背景技术

近年来，市场上中药口服液的种类和数量增长迅速。然而目前研究的可见异物检测方 法主要是传统的较大输液瓶、安瓿瓶的静态检测方法。中药药液瓶瓶身较小，自旋后在流 水线上继续运动的设备在制造上早已可以实现，然而相应检测流水线上直线运动中的药液 瓶中杂质技术却没有跟上研究步伐。

目前多数还停留在人工检测阶段，检测方法为由培训过的工人在日光灯下观察药液中 是否有可见异物，若有则将瓶子丢弃在专门盛装不合格品的大容器内，这种方法称为人工 灯检。由于长时间的工作会使得人眼疲劳，影响检测效果，并且需要每个员工时刻保持高 度责任心对自己的工作认真仔细，因此人工检测结果在很大程度上都和每个人的视力、责 任心、甚至心情等众多主观因素有关，不能保证检测结果的客观准确。有些企业为保证检 测质量，规定灯检工人每工作一小段时间便需休息一段时间，这样的做法虽然可以在一定 程度上减少了主观因素对检测结果的影响，但大大降低了生产效率，使得最后的药液质量 检测环节成为影响医药产品生产过程速度的瓶颈环节，也成为影响医药生产行业效益的一 个重要因素。在我国，由于生产工艺原因，盛装药液的容器质量参差不齐，瓶壁厚度不均， 密度分布也不均匀，因此，虽然德国、日本等发达国家已经有比较成熟的全自动灯检设备， 但设备不仅价格高昂，而且由于国内外的容器标准等的不同会造成过高的次品率，使企业 得不偿失。

因此开发适合我国国情的全自动灯检设备势在必行，即采用机器视觉的方法模拟人类 眼睛进行检测，但在视觉方面由于以下几点难点使得现在市面上仍没有一台能够客观准确 的检测出异物的全自动灯捡机：

(1)成像过程中的图像随机噪声以及其他众多干扰。在成像过程中的干扰主要包

括以下几点：

a)由于生产环境不洁，空气中含有的微小悬浮物或灰尘颗粒等；

b)容器本身缺陷如玻璃瓶上的裂痕会造成强烈反光，对异物跟踪与识别造成严

重干扰；

(2)瓶壁上的刻字、凹痕等会偶尔遮挡异物，造成识别错误；

(3)由于机械加工精度影响，在成像过程中装药液的瓶子会发生移动，增加检测

识别的难度；

(4)不同产品所含有的异物种类、数量不同，即使同一类产品的不同个体也会含有多 种异物并且数量不一、大小迥异，需要找寻一种通用有效的检测识别方法。检测速度和检 测精度的要求增加了检测难度。由于检测速度的要求，一方面限制了获取图像帧数，另一 方面也限制了先进检测算法的应用。

发明内容

本发明的主要目的在于提供一种基于深度学习算法的液体内异物与气泡智能视觉检 测系统，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：一种基于深度学***放置在各个工站上。

进一步的，所述吊环工站和所述瓶盖工站均包括可旋转的机械手，工业相机布设在机 械手的侧面，光源配置在机械手的下部或上部，所述外观微粒工站、所述微粒工站、所述 仿人工工站和所述沉底工站均包括一传送带，工业相机布设在传送带的两侧和上部，所述 弧面光源布设在传送带的两侧，大背光源和小背光源配置在传送带下部。

进一步的，所述图像采集模块连接各工业相机，采集各工业相机的图像数据；所述图 像预处理及筛选模块对所述图像采集模块采集到的图像使用中值滤波去噪，并通过二阶 Sobel滤波对感兴趣区域进行相应的边缘提取并通过对所述图像进行分割计算提取工程阈 值，通过工程阈值筛选出异常的图像帧；所述分组转发模块对所述图像预处理及筛选模块 处理过的图像数据进行统一编码并将其发送到两级分类模块；所述编码将包括所属组信 息、当前时间信息以及预处理结果信息设置唯一性的ID；所属组信息根据异常类型或者处 理方案进行分组；所述两级分类模块对所述分组转发模块发送的图像数据进行可疑异常检 测和第二级的异常目标检测；所述可疑异常检测对特定目标图像进行初筛选，得到特定目 标的图像帧；所述第二级的异常目标检测通过卷积神经网络对预先采集的实际样图训练， 对当前目标下的吊环或瓶盖或瓶体外观或沉底异物或液体内颗粒、毛发状漂浮物进行监测 得到异常报警信息，对可疑异常检测得到的特定目标的图像帧进行当前目标下的目标异常 程度进行辨别；所述分类结果统计模块统计所述两级分类模块得到的分类结果并通过对分 类结果的连续时间性判断做出分类结果判定，并将相应的结果数据保存到本地；所述分类 结果判定采用时间连续性判定，即通过判断是否在根据不同的要求和不同的目标所确定的 设定时间段出现相同结果得到最终判断结果，并且将得到的结果存储到本地用于线下模型 优化；所述图像采集模块采用添加输出功能的监控设备或者可执行图像数据提取的处理单 元；所述图像预处理及筛选模块使用具备图像数据处理功能的监控设备或者可执行图像数 据处理的处理单元。

进一步的，所述两级分类模块包括第一级神经网络和第二级神经网络；所述第一级神 经网络由一个神经网络模型组成，所述神经网络模型选用RCNN、Fast R-CNN、FasterR-CNN、 FPN、YOLOv1、YOLO v2、SSD或RetinaNet；所述第二级神经网络使用卷积神经网络模型， 根据检测目标的数目确定所述神经网络模型数量。

进一步的，还包括主控中心，所述主控中心包括消息管理模块以及预警和显示模块； 所述消息管理模块用于接收和传递各模块间事件消息；所述预警和显示模块用于接收分类 结果并对相应的结果发送至异常目标剔除设备并输出到显示设备。

进一步的，所述异常目标剔除设备采用药瓶剔除机，所述显示设备为电脑客户端或者 网页端。

与现有技术相比，本发明具有如下有益效果：

本发明创造性地在流水线上直接检测自旋后运动中的液瓶，去掉了输液瓶旋转后急停 的步骤，这样不仅能够简化灯检机硬件电路设计，而且由于不再需要旋转后急停再进行拍 照，所以减少了时间损耗，使检测速度变快；首创瓶身水平放置后检测方法，大大提高异 物检出概率，对漂浮异物也有较好的检出效果，使用多相机多工站，做到输液瓶的内外全 方位检测，另外，针对快速沉底异物单独使用一个工站进行检测，检出效果可达100％。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具 体实施方式，进一步阐述本发明。

实施例1。

本实施例中的一种基于深度学***放置在各个工站上。

本实施例中的所述吊环工站和所述瓶盖工站均包括可旋转的机械手，工业相机布设在 机械手的侧面，光源配置在机械手的下部或上部，所述外观微粒工站、所述微粒工站、所 述仿人工工站和所述沉底工站均包括一传送带，工业相机布设在传送带的两侧和上部，所 述弧面光源布设在传送带的两侧，大背光源和小背光源配置在传送带下部。

本实施例中的所述图像采集模块连接各工业相机，采集各工业相机的图像数据；所述 图像预处理及筛选模块对所述图像采集模块采集到的图像使用中值滤波去噪，并通过二阶 Sobel滤波对感兴趣区域进行相应的边缘提取并通过对所述图像进行分割计算提取工程阈 值，通过工程阈值筛选出异常的图像帧；所述分组转发模块对所述图像预处理及筛选模块 处理过的图像数据进行统一编码并将其发送到两级分类模块；所述编码将包括所属组信 息、当前时间信息以及预处理结果信息设置唯一性的ID；所属组信息根据异常类型或者处 理方案进行分组；所述两级分类模块对所述分组转发模块发送的图像数据进行可疑异常检 测和第二级的异常目标检测；所述可疑异常检测对特定目标图像进行初筛选，得到特定目 标的图像帧；所述第二级的异常目标检测通过卷积神经网络对预先采集的实际样图训练， 对当前目标下的吊环或瓶盖或瓶体外观或沉底异物或液体内颗粒、毛发状漂浮物进行监测 得到异常报警信息，对可疑异常检测得到的特定目标的图像帧进行当前目标下的目标异常 程度进行辨别；所述分类结果统计模块统计所述两级分类模块得到的分类结果并通过对分 类结果的连续时间性判断做出分类结果判定，并将相应的结果数据保存到本地；所述分类 结果判定采用时间连续性判定，即通过判断是否在根据不同的要求和不同的目标所确定的 设定时间段出现相同结果得到最终判断结果，并且将得到的结果存储到本地用于线下模型 优化；所述图像采集模块采用添加输出功能的监控设备或者可执行图像数据提取的处理单 元；所述图像预处理及筛选模块使用具备图像数据处理功能的监控设备或者可执行图像数 据处理的处理单元。

本实施例中的所述两级分类模块包括第一级神经网络和第二级神经网络；所述第一级 神经网络由一个神经网络模型组成，所述神经网络模型选用RetinaNet；所述第二级神经 网络使用卷积神经网络模型，根据检测目标的数目确定所述神经网络模型数量。

本实施例中的还包括主控中心，所述主控中心包括消息管理模块以及预警和显示模 块；所述消息管理模块用于接收和传递各模块间事件消息；所述预警和显示模块用于接收 分类结果并对相应的结果发送至异常目标剔除设备并输出到显示设备。

本实施例中的所述异常目标剔除设备采用药瓶剔除机，所述显示设备为电脑客户端或 者网页端。

在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、 “中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“前部”、“中央”、 “两端”等指示的方位或位置关系仅是为了便于描述本发明和简化描述，而不是指示或暗 示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对 本发明的限制。

此外，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解 为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”、 “第二”、“第三”、“第四”的特征可以明示或者隐含地包括至少一个该特征。

在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固 定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或 成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接 相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对 于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解 在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变 型，本发明的范围由所附权利要求及其等同物限定。