基于rfid和深度学习的兽药生产指针式仪表图像识别方法和装置
阅读说明：本技术 基于rfid和深度学习的兽药生产指针式仪表图像识别方法和装置 (Animal remedy production pointer instrument image identification method and device based on RFID and deep learning ) 是由 曹姗姗 孙伟 孔繁涛 吴建寨 金忠明 邱琴 于 2019-11-25 设计创作，主要内容包括：本发明提供了一种基于RFID和深度学习的兽药生产指针式仪表图像识别方法,包括以下步骤：S1、采集仪表图像；S2、提取表盘区域；S3、图像预处理；S4、指针定位拟合；S5、仪表示数判定；S6、仪表预警判断。本发明提供的识别方法可以存储大量的电子数据,解决了工作人员在兽药生产车间有毒有害、有辐射、易污染的环境下所带来的健康损伤难题,最大程度保障工作人员的人身安全,还具有读数快、准确度高、适应性强、管理智能化的优点,可对异常环境及时进行预警功能,极大提高了兽药生产的效率,保障了兽药存储环境和生产环境的安全性。(The invention provides a veterinary drug production pointer instrument image identification method based on RFID and deep learning, which comprises the following steps: s1, collecting an instrument image; s2, extracting a dial area; s3, preprocessing the image; s4, positioning and fitting the pointer; s5, judging the number of the instrument; and S6, early warning and judgment of the instrument. The identification method provided by the invention can store a large amount of electronic data, solves the problem of health damage of workers in toxic, harmful, radiant and easily-polluted environments in an animal medicine production workshop, ensures the personal safety of the workers to the maximum extent, has the advantages of quick reading, high accuracy, strong adaptability and intelligent management, can perform an early warning function on abnormal environments in time, greatly improves the efficiency of animal medicine production, and ensures the safety of animal medicine storage environments and production environments.)
技术领域
本发明属于仪表数据识别技术领域，具体涉及一种基于RFID和深度学习的兽药生产指针式仪表图像识别方法和装置。
背景技术
随着科学技术的进步，兽药生物制品和生产模式不断创新，但仍存在着许多问题，现在的兽药生产车间仪表数据的读取大多采用有线方式远程传送或人工方式读取，这些传统方式工作量大、效率低、容易出错；同时由于兽药药品对环境要求极为敏感，要对温度、湿度等环境实现精准管理，保证药品存储条件的适宜性；同时，由于生产时易产生有毒害气体或辐射，对工作人员身体健康有极大损伤，也要及时有效监测出生产车间存在的危险性。因此，亟需一种兽药生产车间智能读取仪表的方法及装置。
发明内容
本发明所要解决的技术问题在于针对上述现有技术的不足，提供一种基于RFID和深度学习的兽药生产指针式仪表图像识别方法和装置，该装置结构科学简单，实用性强，成本低廉，可以快速、自动读取兽药生产车间的仪表信息，具有免接触操作、读取距离远、穿透性好，寿命长、抗污染能力和耐久性强等特点。
为解决上述技术问题，本发明采用的技术方案是：一种基于RFID和深度学习的兽药生产指针式仪表图像识别方法，其特征在于，包括以下步骤：
S1、采集仪表数据，使用高清摄像机采集兽药生产车间包含待识别读数的指针式仪表表盘的图像，获取RFID电子标签中存储的仪表相关数据；
S2、提取表盘区域，利用基于深度学习训练好的Faster-RCNN算法对S1中获取的图像进行检测，迅速定位表盘区域的坐标，并提取该区域作为表盘图像；
S3、图像预处理，对S2中提取的表盘图像进行灰度化、图像滤波去噪和二值化预处理，得到只包含黑白两种像素仪表盘二值化图像；
S4、指针定位拟合，采用改进的概率霍夫变换算法对预处理后的表盘图像进行指针的最终定位和拟合，用以得到指针的坐标信息和长度信息；
S5、仪表示数判定，基于形态学操作方法并结合Le Net-5卷积神经网络进行数字识别，利用提取到的仪表盘指针信息及数值信息，采用距离法对指针式仪表进行示数的判定；
S6、仪表预警判断，将最终获取的表盘示数结果自动写入RFID电子标签6数据库中，并判断是否达到数据库中的预警阈值，保障兽药生产车间安全。
优选地，所述Faster-RCNN算法包含以下步骤：
S201、RPN提取候选区域：RPN网络是通过对共享卷积层后输出的特征图进行滑动窗口提取n维特征向量实现的，对特征图上的任意一点，生成K个可能的候选区域，并通过两层全连接对候选区域进行前景、背景概率的判断以及真实候选框的预测，通过定位精度评价方式IOU对RPN网路输出的候选框进行分类和舍弃。
采用全卷积网络来提取检测区域，通过对生成检测候选框的任务进行反向传播和随机梯度下降的端到端训练，预测出目标的边界和分数，与后续检测网络共享全图的卷积特征，加快区域候选的速度。
S202、深度学习网络CNN提取特征：采用区域下采样的方式，针对不同的候选区域采用相应的下采样核，从而保证Fast-RCNN网络的输入特征图尺寸相同；同时将相同尺度的特征图通过全连接层和Drop Out层进行进一步的特征提取。
S203、Softmax分类：Softmax作为逻辑回归的扩展，使算法可以应用于多类类别的分类问题中；将相同尺度的特征图进行进一步的特征提取后，最终送入到Softmax层进行分类与回归。
S204、多任务损失函数边框回归：多任务损失函数将边框回归直接加到CNN网络中训练，改进了原来的损失函数只针对识别类别的分类，将边框回归也采用损失函数度量，从而可以将边框回归也加入到网络的训练中去。
优选地，S3中所述的图像预处理包含以下步骤：
S301、灰度化，采用三分量的加权平均法，将彩色图像转变成灰度图像，计算公式如下：
Gray(i,j)＝0.299R(i,j)+0.578G(i,j)+0.114B(i,j)
其中：Gray(i,j)代表灰度化图片像素点的像素值，R代表红色空间像素数值信息，G代表绿色空间像素数值信息，B则代表蓝色空间的像素数值信息。
S302、图像滤波去噪，采用高斯滤波算法去除原始图像中的高斯噪声，实现图像平滑的目的。高斯滤波采用模板即高斯核的形式实现高斯滤波，高斯核由二维的高斯函数离散化后得到，二维的高斯函数公式如下：
其中：σ为标准差，不同标准差的高斯核不相同。高斯核的加权系数符合高斯分布，中心点权重较高，远离中心点，权重迅速衰减。
S303、二值化预处理，采用最大类间方差法(OTSU算法)将原来具有256个灰度级的图像转化为由黑和白两种色素组成的图像，用方差来表征分类之间的差异性，可加强图像的边缘，突出图像的特征。通过概率霍夫变换算法，可有效实现对二值化图像进行线段的检测；所使用的阈值是固定的，因此会在二值化的仪表盘图像中对多个特征进行拟合，即二值化的仪表盘图像经过概率霍夫变换算法检测后，存在多个线段；利用概率霍夫变换算法得到的多个线段的端点坐标进行线段长度的计算，根据线段的长度，选择数值最大的线段用来对仪表盘的指针进行拟合，由此完成对仪表盘指针的定位和拟合。
优选地，S4中所述的概率霍夫变换算法为：在原始的二值化图像中只对部分特征像素点进行操作，特征像素点的选取具有一定的随机性，能够检测出图像中指针的两个端点，从而对图像中的指针位置进行准确的定位。
优选地，所述形态学操作为：先利用腐蚀运算去除噪点，然后再利用膨胀运算增强数字图像。
优选地，所述Le Net-5卷积神经网络采用了两个卷积层、两个采样层和两个全连接层，激活函数采用Relu函数；在训练集下完成网络训练，包括60000个数据集，其中50000个样本图像用于训练，训练过程采用的优化方式是动量下降法，训练完成后，剩下10000个样本图像用于测试。
另外，本发明还提供了一种基于RFID和深度学习的兽药生产指针式仪表图像识别装置，其特征在于，包括图像采集模块、知识库模块、图像识别模块、预警模块；所述图像采集模块用于采集指针式仪表图像，并获取所述知识库模块中存储的仪表相关数据，同时数据输出端通过无线传输模块与图像识别模块无线连接；图像识别模块用于对仪表图像进行识别并读数，将读数结果传输给所述知识库模块和预警模块，所述预警模块对识别结果和预警阈值进行判断；若超出预警阈值，立即生成预警事件；若否，则说明仪表指针没有进入预警区域，无需生成预警事件。
所述图像采集模块包括指针式仪表、RFID电子标签、RFID读写器和相机单元，所述指针式仪表的正下方贴有用于存储针式仪表相关数据的RFID电子标签，所述相机单元安装在指针式仪表的正前方，RFID读写器为手持式读写装置且与RFID电子标签连接，用于对RFID电子标签进行指针式仪表信息的读写及记录。
所述预警模块包括显示报警文字的显示屏幕、声光报警器和用于向工作人员发送报警信息的通讯组件。
所述知识库模块是存储仪表相关数据的数据库。
所述图像识别模块是用于对仪表图像进行识别和读数并将读数结果传输给所述知识库模块和预警模块的计算机；所述图像采集模块与图像识别模块无线连接。
优选地，所述图像识别模块包括：处理器、输入设备、通信接口、输出设备和存储器。处理器处理收集信息发出指令；输入设备用于输入数据和信息，包含鼠标、键盘和高清摄像头；通信接口用于系统之间通信功能，包含无线通信接口和系统通讯接口；无线通信接口采用WIFI无线通讯接口电路与RFID读写器无线连接，用于接收RFID运行状态识别及无线传输设备所传送的RFID电子标签信息；系统通讯接口采用USB或WIFI的系统通讯接口用于与后台系统软件进行数据传输；输出设备为用于输出数据和信息的显示器；存储器用于存储程序。
优选地，所述相机单元包括仪表固定座、仪表支架、仪表盘、摄像机固定座、摄相机体、旋转电机、旋转座和白炽灯；所述仪表固定座放置于工作台上，通过仪表支架与仪表盘相连接；所述仪表盘正下方贴有RFID电子标签，所述仪表盘内部设置仪表指针和仪表刻度线，所述摄像机固定座与摄像机体连接，摄像机体上设置防护罩和灯架竖梁，所述灯架竖梁与旋转电机连接，所述旋转座安装在旋转电机内部，白炽灯通过灯泡连接体和灯架横梁与旋转座相连，防护罩用于避免摄像头受灰尘、杂物等影响，旋转电机和旋转座用于调节灯泡位置，白炽灯用于降低外界光照变化带来的影响，采集图像时保证光照度和质量。
本发明与现有技术相比具有以下优点：
1、本发明提供的识别装置结构科学简单，实用性强，成本低廉，提供的识别方法可以快速、自动读取兽药生产车间的仪表信息，具有免接触操作、读取距离远、穿透性好，寿命长、抗污染能力和耐久性强等特点，实现了在兽药生产车间复杂环境下对指针式仪表的自动识别和读数任务，提高了准确率与稳定性，可满足兽药生产车间的实际应用需求。
2、本发明基于深度学习高效识别算法，采用Faster-RCNN对表盘区域检测定位，并结合Le Net-5方法进行表盘数字识别，使该系统具有读数快、准确度高、适应性强，管理智能化优点，与传统指针式仪表识别算法相比，解决了表盘信息难以定位提取、仪表数字自动识别精度低的问题，是一种泛化性高、鲁棒性强、通用性好的算法设计，可对异常环境及时进行预警功能，极大提高了兽药生产的效率，保障了兽药存储环境和生产环境的安全性。
3、本发明基于RFID技术相比于条码技术，电子标签不仅可以存储大量的电子数据，能为读写设置密码保护；同时阅读器通过天线发送射频信号可动态实时、无接触、远距离、批量地读取并识别标签数据，在最大程度减轻工作量的同时，解决了工作人员在兽药生产车间有毒有害、有辐射、易污染的环境下所带来的健康损伤难题，最大程度保障工作人员的人身安全。
下面结合附图和实施例对本发明作进一步详细说明。
附图说明
图1是本发明提供的识别方法的整体流程图。
图2是本发明中识别装置的组成结构示意图。
图3是本发明中图像采集模块的结构示意图。
图4是本发明中RFID电子标签的组成结构示意图。
图5是本发明中概率霍夫变换算法的流程图。
附图标记说明：
1—图像采集模块； 2—知识库模块； 3—图像识别模块；
4—预警模块； 5—RFID电子标签； 6—RFID读写器；
7—相机单元； 8—声光报警器； 9—显示屏幕；
10—通讯组件； 11—摄相机体； 12—摄像机固定座；
13—灯架竖梁； 14—旋转电机； 15—旋转座；
16—灯架横梁； 17—灯泡连接体； 18—白炽灯；
19—仪表刻度线； 20—仪表指针； 21—仪表盘；
22—仪表支架； 23—仪表固定座； 24—摄像头；
25—防护罩。
具体实施方式
如图1所示，本发明提供了一种基于RFID和深度学习的兽药生产指针式仪表图像识别方法，该方法包括以下步骤：
S1、采集仪表图像：使用相机采集兽药生产车间包含待识别读数的指针式仪表表盘的图像，获取RFID电子标签6中存储的仪表相关数据；
S2、提取表盘区域：利用基于深度学习训练好的Faster-RCNN算法对S1中获取的图像进行检测，迅速定位表盘区域的坐标，并提取该区域作为表盘图像；
S3、图像预处理：对S2中提取的表盘图像进行灰度化、图像滤波去噪和二值化预处理，得到只包含黑白两种像素仪表盘二值化图像；
S4、指针定位拟合：采用改进的概率霍夫变换算法对预处理后的表盘图像进行指针的最终定位和拟合，用以得到指针的坐标信息和长度信息；
S5、仪表示数判定：基于形态学操作方法并结合Le Net-5卷积神经网络进行数字识别，利用提取到的仪表盘指针信息及数值信息，采用距离法对指针式仪表进行示数的判定；
S6、仪表预警判断：将最终获取的表盘示数结果自动写入RFID电子标签6数据库中，并判断是否达到数据库中的预警阈值，保障兽药生产车间安全。
本实施例中，所述Faster-RCNN算法包含以下步骤：
S201、RPN提取候选区域：RPN网络的思想是通过对共享卷积层后输出的特征图进行滑动窗口提取n维特征向量，对特征图上的任意一点，生成K个可能的候选区域，并通过两层全连接对候选区域进行前景、背景概率的判断以及真实候选框的预测，通过定位精度评价方式IOU对RPN网路输出的候选框进行分类和舍弃。
采用全卷积网络来提取检测区域，通过对生成检测候选框的任务进行反向传播和随机梯度下降的端到端训练，预测出目标的边界和分数，与后续检测网络共享全图的卷积特征，加快区域候选的速度；
S202、深度学习网络CNN提取特征：采用区域下采样的方式，针对不同的候选区域采用相应的下采样核，从而保证Fast-RCNN网络的输入特征图尺寸相同；同时将相同尺度的特征图通过全连接层和Drop Out层进行进一步的特征提取。
S203、Softmax分类：Softmax作为逻辑回归的扩展，使算法可以应用于多类类别的分类问题中；将相同尺度的特征图进行进一步的特征提取后，最终送入到Softmax层进行分类与回归。
S204、多任务损失函数边框回归：多任务损失函数将边框回归直接加到CNN网络中训练，改进了原来的损失函数只针对识别类别的分类，将边框回归也采用损失函数度量，从而可以将边框回归也加入到网络的训练中去。
本实施例中，S3中所述的图像预处理包含以下步骤：
S301、灰度化，采用三分量的加权平均法，将彩色图像转变成灰度图像，计算公式如下：
Gray(i,j)＝0.299R(i,j)+0.578G(i,j)+0.114B(i,j)
其中：Gray(i,j)代表灰度化图片像素点的像素值，R代表红色空间像素数值信息，G代表绿色空间像素数值信息，B则代表蓝色空间的像素数值信息。
S302、图像滤波去噪，采用高斯滤波算法去除原始图像中的高斯噪声，实现图像平滑的目的。高斯滤波采用模板即高斯核的形式实现高斯滤波，高斯核由二维的高斯函数离散化后得到，二维的高斯函数公式如下：
其中：σ为标准差，不同标准差的高斯核不相同。高斯核的加权系数符合高斯分布，中心点权重较高，远离中心点，权重迅速衰减。
S303、二值化预处理，采用最大类间方差法(OTSU算法)将原来具有256个灰度级的图像转化为由黑和白两种色素组成的图像，用方差来表征分类之间的差异性，可加强图像的边缘，突出图像的特征。通过概率霍夫变换算法，可有效实现对二值化图像进行线段的检测；所使用的阈值是固定的，因此会在二值化的仪表盘图像中对多个特征进行拟合，即二值化的仪表盘图像经过概率霍夫变换算法检测后，存在多个线段；利用概率霍夫变换得到的多个线段的端点坐标进行线段长度的计算，根据线段的长度，选择数值最大的线段用来对仪表盘的指针进行拟合，由此完成对仪表盘指针的定位和拟合。
如图5所示，本实施例中，所述的概率霍夫变换算法为：在原始的二值化图像中只对部分特征像素点进行操作，特征像素点的选取具有一定的随机性，能够检测出图像中指针的两个端点，从而对图像中的指针位置进行准确的定位。具体的，概率霍夫变换首先随机抽取图像中的一个不在直线上的边缘点，若不存在则结束算法；然后对该点进行霍夫变换，并进行累加和计算；最后选取在霍夫空间内值最大的点，如果该点大于阈值的，则对直线线段进行查找并根据与阈值关系进行输出，否则继续寻找边缘点。在概率霍夫变换的算法中，所使用的阈值是固定的，因此会在二值化的仪表盘图像中对多个特征进行拟合，即二值化的仪表盘图像经过概率霍夫变换算法检测后，存在多个线段；通过利用概率霍夫变换得到的多个线段的端点坐标进行线段长度的计算，然后根据线段的长度，选择数值最大的线段用来对仪表盘的指针进行拟合。
本实施例中，所述形态学操作方法为：先利用腐蚀运算去除噪点，然后再利用膨胀运算增强数字图像。
本实施例中，所述Le Net-5卷积神经网络采用了两个卷积层、两个采样层和两个全连接层，激活函数采用Relu函数；在训练集下完成网络训练，包括60000个数据集；其中50000个样本图像用于训练，训练过程采用的优化方式是动量下降法，训练完成后，10000个样本图像用于测试。
如图2所示，本实施例中还提供了一种基于RFID和深度学习的兽药生产指针式仪表图像识别装置，其特征在于，包括图像采集模块1、知识库模块2、图像识别模块3和预警模块4。图像采集模块1用于采集指针式仪表图像，并获取所述知识库模块2中存储的仪表相关数据，图像采集模块1同时数据输出端通过无线传输模块与图像识别模块3无线连接；图像识别模块3用于对仪表图像进行识别并读数，将读数结果传输给所述知识库模块2和预警模块4，预警模块4用于对识别结果和预警阈值进行判断；若超出预警阈值，立即生成预警事件；若否，则说明仪表指针没有进入预警区域，无需生成预警事件。
如图3所示，所述图像采集模块1包括指针式仪表、RFID电子标签5、RFID读写器6和相机单元，所述指针式仪表的正下方贴有用于存储针式仪表相关数据的RFID电子标签5，所述相机单元7安装在指针式仪表的正前方；所述指针式仪表包括仪表固定座23、仪表支架22和仪表盘21，所述相机单元7包括摄像机固定座12、摄相机体11、摄像头24、旋转电机14、旋转座15和白炽灯18；所述仪表固定座23放置于工作台上且通过仪表支架22与仪表盘21相连接，所述仪表盘21内部设置仪表指针20和仪表刻度线19，所述摄像机固定座12与摄像机体11连接，摄像机体11上设置有防护摄像头24的防护罩25，摄像机体11上固定连接灯架竖梁13，所述灯架竖梁13上安装旋转电机14，旋转电机14的输出轴通过旋转座15与灯架横梁16的一端固定连接，灯架横梁16的另一端连接白炽灯18上设置的灯泡连接体17，旋转电机14用于调节白炽灯18位置，白炽灯18用于降低外界光照变化带来的影响，保证采集图像时的光照度和采集质量，RFID读写器6为手持式读写装置且与RFID电子标签5连接，用于对RFID电子标签5进行指针式仪表信息的读写及记录。
所述预警模块4包括显示报警文字的显示屏幕9、声光报警器8和用于向工作人员发送报警信息的通讯组件10。
所述知识库模块2是存储仪表相关数据的数据库，知识库模块2同时与图像采集模块1、图像识别模块3和预警模块4连接。
所述图像识别模块3是用于对仪表图像进行识别并读数并将读数结果传输给所述知识库模块2和预警模块4的计算机；所述图像采集模块1与图像识别模块3无线连接。
本实施例中，所述图像识别模块3包括：处理器、输入设备、通信接口、输出设备和存储器。处理器处理收集信息发出指令；输入设备用于输入数据和信息，包含鼠标、键盘和高清摄像头；通信接口用于系统之间通信功能，包含无线通信接口和系统通讯接口；无线通信接口采用WIFI无线通讯接口电路与所述REID读写器6无线连接，用于接收RFID运行状态识别及无线传输设备所传送的RFID电子标签5信息；系统通讯接口采用USB或WIFI的系统通讯接口用于与后台系统软件进行数据传输；输出设备为用于输出数据和信息的显示器；存储器用于存储程序。
如图4所示，本实施例中，所述RFID电子标签5包括：电源、天线、调制器、编码发生器、时钟及存储器；RFID电子标签5主要是用来接收阅读器所发射的射频信号，并且及时将其传送给标签芯片并处理，同时利用射频信号将标签芯片的信息传送给RFID读写器6。对无源标签来说，天线还需要为标签工作负责提供能量。对于芯片的功能而言主要是为了调解和解码天线接收的信息，同时还需要进行编码和调制标签所需发送的信号，执行防碰撞算法与储存数据等。每个标签都具有和目标对象相连的唯一电子代码。在标签内部写入的程序可以根据特殊应用而进行随时读取和和重写。RFID读写器6将要发送的信号经过编码加载在某一频率的载波信号上，经天线向外发送，进入RFID读写器6工作区域的RFID电子标签5接受此脉冲信号，从而获得能量；RFID电子标签5中的芯片对信号进行调制解调，对读命令或写命令进行操作，发出自身的编码信息被RFID读写器6读取并解码后传送至图像识别模块3进行有关数据处理；RFID读写器6和RFID电子标签5之间存在能量的传递、时钟信号的获取以及数据的交互。RFID电子标签5通过射频场获得能量，RFID读写器6将时钟信号传输给RFID电子标签5，RFID电子标签5响应RFID读写器6的命令，将数据通过RFID电子标签5的射频模块输送给RFID读写器6，或将数据输送到RFID电子标签5内的存储器存储。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制。凡是根据发明技术实质对以上实施例所作的任何简单修改、变更以及等效变化，均仍属于本发明技术方案的保护范围内。