具体实施方式

下面结合说明书附图对本发明作进一步阐述。

本发明提供一种基于视频分析的袋装物料出入库计量方法，包括以下步骤：

1）通过视频传感设备采集视频图像数据；

2）选取视频图像数据中的感兴趣区域作为分析对象，并进行预处理；

3）对经过预处理的数据进行训练，构建袋装物料图像实时分割模型；

4）利用袋装物料图像实时分割模型构建物料实时分割体系，计算每一个分割结果的面积大小以确定跟踪物料区域；

5）计算跟踪物料区域的中心点，中心点的坐标即为需要的跟踪目标；

6）绘制跟踪物料区域中心坐标的曲线；

7）计算曲线的斜率和收敛范围并设置阈值，进行物料统计；

8）构建循环判定体系，对于不符合条件的情况进行合理的滤除，实现袋装物料的连续计量。

如图2A~2B所示，本发明方法运行于基于视频分析的袋装物料出入库计量系统中，该系统包括：

视频数据获取模块，用于获取仓库门的视频数据；本实施例采用海康威视的DS-2CD4024F-SDI网络摄像头作为获取设备；

数据传输模块，通过路由器等相关硬件，将获取到的视频数据传输到本地的服务器中；本实施例采用带有网口供电的路由器作为中转端，并且服务器设备通过摄像机的IP地址对数据进行获取。

数据预处理模块，用于对路由器传输的数据进行接收，并使用图像处理的方法对每一帧视频数据进行预处理；本实施例采用基于OpenCV的图形处理算法，通过设置阈值，对图像进行直方图均衡化，来对数据进行预处理。

物料计量模块，通过深度学习的分割方法，获取分割图形，计算图形的中心点，并通过对每帧得到的点绘制出曲线的分析，将曲线的种类分为3大类：出库、入库和不关心，通过这3类曲线判定物料是否通过仓库，和物料的流通方向，进而帮助工厂监管物料的流动；本实施例采用U-Net分割模型，对物料进行图像分割，从而过滤掉环境背景，实现物料的跟踪；

物料计量展示模块，实时显示当前物料的进出情况，在监控界面上显示进出数目，并且自动填写表格数据，记录物料的进出时间，方便企业监管者查看；本实施例采用OpenCV的界面设计，实时地在监控画面左上角展示当前进出的数目；

数据仓储模块，使用数据库计数，用于对入库出库的物料数据进行存储。本实施例采用MySql数据库，将物料的进出时间和进出数目存入提前建好的数据库中，并通过局域网实现共享，方便总监控台的调用。

步骤1）中，通过视频传感设备采集视频图像数据，首先将高清摄像头安装在仓库门口的上方，使摄像头正对仓库门，并且将视频数据经路由器实时上传到本地服务器进行存储；

步骤2）中，感兴趣区域的选取是在视频数据中选取一块区域作为分析的对象，选取的原则是将视频中漏光的区域剔除，并且尽可能的将无关的区域剔除；视频的预处理操作是将图像转化到HSV空间中，并使用直方图均衡化来平衡图像的总体亮度，对视频数据进行预处理，方便后续工作。

步骤3）中对预处理的数据训练过程为：用VGG16-U-NET深度学习模型对标注的数据进行训练，将袋装物料的轮廓分割出来；本实施例中，物料采用白色标注，其他无关区域均采用黑色标注，由此产生一段二值图像构成的视频数据，并且对于数据中出现的噪点，采用开闭运算进行处理；分割网络模型结构图如图3所示。

步骤4）中使用图像处理的方法，以像素为单位，计算每一个分割结果的面积大小，即包含的像素个数，通过计算出来的面积来判定跟踪的物料区域，对图像中所有分割结果的面积进行降序排序，从而选取面积最大的作为跟踪目标；

步骤5）中通过计算图形的矩来确定区域的中心，中心点的坐标即为设计中需要跟踪物料区域，对于视频中的每一帧数据，求取袋装物料中心点的坐标，并将这些坐标进行筛选；对于在一定时间内，坐标变化小于一定程度的点进行舍弃；对明显离群的点进行筛选，适当地舍弃，保证后续的步骤顺利进行；另外叉车可能需要多次调整入库角度，造成曲线的震荡，所以在算法中也需要通过判断斜率的方法将这些点进行舍弃；

步骤6）绘制跟踪物料区域中心坐标的曲线为：以图像原本的坐标轴建立坐标系，将所有符合条件的中心点坐标绘制出两条曲线；本实施例以x坐标的变化趋势作为判定袋装物料进出仓库的依据之一。

步骤7）计算曲线的斜率和收敛范围并设置阈值为：用最小二乘法对曲线进行拟合，求取曲线的平均斜率，对于斜率小于阈值的点，如果此时物料没有移动或者移动幅度很小，则舍弃这些坐标点；判定中心点坐标的初始范围和最终收敛范围，并设置合适的阈值，最终确定物料是否发生进出仓库的情况，进而统计物料。

步骤8）中对于一整段视频需要循环判定的情况，采用判定一次，同时清空存储数据，并且设定当存储数据大于N个（本实施例中，N=180）且连续值时，再进行判定，对于不符合条件的情况进行合理的滤除，实现袋装物料的计量。

本实施例以爆破库房中库存的袋装硝酸铵为例，某一批次的产品采用四个一层，摆4层，放在预先准备好的托盘上面，由叉车将托盘拖入库房，在进入库房门口的摄像机视野时，本发明进行物料的轨迹分析，当轨迹的斜率和收敛范围在规定的范围内时，并且物料进入到大门后，库房的入库数目加1或减1，显示到监控画面的左上角，并存入预先建好的数据库中。

本发明采用计算机视觉技术，通过对袋装物料的分割和跟踪，结合物料的运动轨迹，即物料运动曲线的斜率和收敛范围，判定是否发生入库出库，同时计算物料出库和入库的次数，从而对仓库存储货物有了准确的计量，帮助工厂企业更好地管理货物的数目，方便监管者的管理。应用本发明方法可使监管人员解放出来，可以很方便的从系统中看到当前仓库中物料的情况，形成一个袋装物料出入库计量系统，方便后续的工厂调度，从而使得工厂的生产进一步实现自动化。