阅读说明：本技术 一种基于计算机视觉的煤矿作业区标定方法 (Coal mine operation area calibration method based on computer vision ) 是由 陈咖宁 陈加忠 李综艺 舒琴 黄帅 于 2020-07-17 设计创作，主要内容包括：本发明公开了一种基于计算机视觉的煤矿作业区标定方法,涉及煤矿作业区标定技术领域,包括以下步骤：搭建并训练物体二维检测与识别的深度学习神经网络模型；搭建并训练物体三维检测的深度学习神经网络模型；采集RGB图像作为所述物体二维检测与识别的深度学习神经网络模型的输入,获取作业车辆的二维检测框和对应型号；裁剪获取的二维检测框中的RGB图片内容作为所述三维检测的深度学习神经网络模型的输入,获取作业车辆底座的三维检测框；确定作业车辆在图像中的像素规格特征；确定作业车辆在实际中的规格特征。本发明获取作业车辆在图像中的三维工作区,确定出作业车辆应该到达的区域,帮助作业车辆在规定的工作区域作业,减少安全隐患。(The invention discloses a coal mine operation area calibration method based on computer vision, which relates to the technical field of coal mine operation area calibration and comprises the following steps: building and training a deep learning neural network model for two-dimensional detection and identification of an object; building and training a deep learning neural network model for three-dimensional detection of an object; collecting RGB images as the input of the deep learning neural network model for the two-dimensional detection and identification of the object, and acquiring a two-dimensional detection frame and a corresponding model of the working vehicle; cutting the RGB picture content in the obtained two-dimensional detection frame as the input of the deep learning neural network model of the three-dimensional detection, and obtaining the three-dimensional detection frame of the base of the working vehicle; determining pixel specification characteristics of the work vehicle in the image; specification characteristics of the work vehicle in practice are determined. The method and the device for detecting the working area of the working vehicle obtain the three-dimensional working area of the working vehicle in the image, determine the area where the working vehicle should arrive, help the working vehicle to work in the specified working area and reduce potential safety hazards.)

一种基于计算机视觉的煤矿作业区标定方法

技术领域

本发明涉及煤矿作业区标定技术领域，具体来说，涉及一种基于计算机视觉的煤矿作业区标定方法。

背景技术

在煤矿作业中，不管是有人驾驶的车辆，还是无人驾驶的车辆，都需要在指定的工作区域工作，一旦发生越界，将可能导致严重的生产事故。摄像头监控在现实生活中有着广泛的应用，而且不用繁琐的配置，可以方便的安装到各种场景。目前自动驾驶，工厂自动作业等技术都利用了计算机视觉的方法进行辅助，并取得了良好的效果。采用卷积神经网络的深度学习技术的方法可以自动提取物体的特征，进行精准的定位和分类。但由于传统的物体二维检测无法准确地根据距离划定挖掘机周围的工作区。

因此，需要对作业区域做标定，并对作业中的车辆做实时的跟踪，使得车辆只能在标定的区域中工作。目前的做法是采用在作业区外设置固定位置的UWB(超带宽)定位设备，在车辆中设置移动UWB定位设备，通过测量脉冲信号从固定UWB定位设备出发，到从车辆中移动UWB定位设备返回固定UWB定位平台的时间，来推算出车辆的位置，以检测车辆是否越过工作区的边界。

实际应用中，需要在固定的UWB设备之间、固定UWB设备与车载的移动UWB设备之间做位置坐标的校准。然而，在浅层煤矿作业区，作业场所位置、地貌变化很频繁，土层、煤层、***层交错，各层的组合没有规律，土方反复剥离，因此目前的技术对作业区标定有难度，常用的UWB定位方案必须随着作业区的变化而大范围挪动位置，且一旦挪动，需要专业技术人员到场重新刷新坐标系统，因此使用极不便利。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种基于计算机视觉的煤矿作业区标定方法，以克服现有相关技术所存在的上述技术问题。

本发明的技术方案是这样实现的：

一种基于计算机视觉的煤矿作业区标定方法，包括以下步骤：

步骤S1，搭建并训练物体二维检测与识别的深度学习神经网络模型；

步骤S2，搭建并训练物体三维检测的深度学习神经网络模型；

步骤S3，采集RGB图像作为所述物体二维检测与识别的深度学习神经网络模型的输入，获取作业车辆的二维检测框和对应型号；

步骤S4，裁剪获取的二维检测框中RGB图像的内容作为所述三维检测的深度学习神经网络模型的输入，获取作业车辆底座的三维检测框；

步骤S5，确定作业车辆在图像中的像素规格特征；

步骤S6，确定作业车辆在实际中的规格特征；

步骤S7，确定作业车辆在图像中的三维工作区。

进一步的，所述搭建并训练物体二维检测与识别的深度学习神经网络模型，包括以下步骤：

采集采矿作业区同时包含作业车辆的RGB图像；

人工标注采集的RGB图像中作业车辆的二维标注框，同时标注作业车辆的型号，获取标注图像；

把采集的RGB图像作为输入，将二维标注框和标注型号作为标签，进行训练获取物体二维检测与识别的深度学习神经网络模型。

进一步的，所述搭建并训练物体三维检测的深度学习神经网络模型，包括以下步骤：

多获取的标注图像就行作业车辆区域裁剪，将裁剪后的作业车辆区域作用新的数据集，人工标作业车辆底盘的三维标注框；

把裁剪下来的作业车辆区域作为输入，将作业车辆区域的三维标注框作为标签，进行训练获取物体三维检测的深度学习神经网络。

进一步的，输入物体二维检测与识别的深度学习神经网络模型的图像分辨率为512×512；输入物体三维检测的深度学习神经网络的图像分辨率为64×64。

进一步的，所述采集RGB图像包括作业车辆元素特征信息。

进一步的，所述作业车辆元素包括运输车和挖掘机。

进一步的，所述采集RGB图像为高清摄像头，其摄像头距离工作区的距离小于200米。

进一步的，包括以下步骤：

步骤S8，指令作业车辆驶入工作区，

步骤S9，确定作业车辆的三维检测框是否与获取的三维工作区吻合，若吻合则进行作业指令。

本发明的有益效果：

本发明基于计算机视觉的煤矿作业区标定方法，通过采集RGB图像作为物体二维检测与识别的深度学习神经网络模型的输入，获取作业车辆的二维检测框和对应型号，裁剪获取的二维检测框中的RGB图像内容作为三维检测的深度学习神经网络模型的输入，获取作业车辆底座的三维检测框，并确定作业车辆在图像中的像素规格特征和确定作业车辆在实际中的规格特征，从而获取作业车辆在图像中的三维工作区，确定出作业车辆应该到达的区域，帮助作业车辆在规定的工作区域作业，减少安全隐患。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于计算机视觉的煤矿作业区标定方法的流程示意图；

图2是根据本发明实施例的一种基于计算机视觉的煤矿作业区标定方法的三维作业区标定的流程示意图；

图3是根据本发明实施例的一种基于计算机视觉的煤矿作业区标定方法的车辆二维检测与识别的深度卷积神经网络训练示意图；

图4是根据本发明实施例的一种基于计算机视觉的煤矿作业区标定方法的车辆三维检测的深度卷积神经网络训练示意图；

图5是根据本发明实施例的一种基于计算机视觉的煤矿作业区标定方法的车辆二维检测与识别模型的深度卷积神经网络框架示意图；

图6是根据本发明实施例的一种基于计算机视觉的煤矿作业区标定方法的车辆三维检测模型的深度卷积神经网络框架示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种基于计算机视觉的煤矿作业区标定方法。

如图1-图2所示，根据本发明实施例的基于计算机视觉的煤矿作业区标定方法，包括以下步骤：步骤S1，搭建并训练物体二维检测与识别的深度学习神经网络模型；

步骤S2，搭建并训练物体三维检测的深度学习神经网络模型；

步骤S3，采集RGB图像作为所述物体二维检测与识别的深度学习神经网络模型的输入，获取作业车辆的二维检测框和对应型号；

步骤S4，裁剪获取的二维检测框中RGB图像的内容作为所述三维检测的深度学习神经网络模型的输入，获取作业车辆底座的三维检测框；

步骤S5，确定作业车辆在图像中的像素规格特征；

步骤S6，确定作业车辆在实际中的规格特征；

步骤S7，确定作业车辆在图像中的三维工作区。

其中，所述搭建并训练物体二维检测与识别的深度学习神经网络模型，包括以下步骤：

采集采矿作业区同时包含作业车辆的RGB图像；

人工标注采集的RGB图像中作业车辆的二维标注框，同时标注作业车辆的型号，获取标注图像；

把采集的RGB图像作为输入，将二维标注框和标注型号作为标签，进行训练获取物体二维检测与识别的深度学习神经网络模型。

其中，所述搭建并训练物体三维检测的深度学习神经网络模型，包括以下步骤：

多获取的标注图像就行作业车辆区域裁剪，将裁剪后的作业车辆区域作用新的数据集，人工标作业车辆底盘的三维标注框；

把裁剪下来的作业车辆区域作为输入，将作业车辆区域的三维标注框作为标签，进行训练获取物体三维检测的深度学习神经网络。

其中，输入物体二维检测与识别的深度学习神经网络模型的图像分辨率为512×512；输入物体三维检测的深度学习神经网络的图像分辨率为64×64。

其中，所述采集RGB图像包括作业车辆元素特征信息。

其中，所述作业车辆元素包括运输车和挖掘机。

其中，所述采集RGB图像为高清摄像头，其摄像头距离工作区的距离小于200米。

其中，包括以下步骤：

步骤S8，指令作业车辆驶入工作区，

步骤S9，确定作业车辆的三维检测框是否与获取的三维工作区吻合，若吻合则进行作业指令。

借助于上述技术方案，基于计算机视觉的煤矿作业区标定方法，通过采集RGB图像作为物体二维检测与识别的深度学习神经网络模型的输入，获取作业车辆的二维检测框和对应型号，裁剪获取的二维检测框中RGB图像的内容作为三维检测的深度学习神经网络模型的输入，获取作业车辆底座的三维检测框，并确定作业车辆在图像中的像素规格特征和确定作业车辆在实际中的规格特征，从而获取作业车辆在图像中的三维工作区，确定出作业车辆应该到达的区域，帮助作业车辆在规定的工作区域作业，减少安全隐患。

另外，具体的，为了训练二维检测模型和三维检测模型，一共收集了1000个矿区作业的视频，并从中选取了两万张同时含有挖掘机和运输车的图片，分辨率512×512。将手工标注的挖掘机和运输车的二维检测框和型号类别作为二维物体检测模型的标签。在标注出二维检测框后，裁剪出车辆的区域并缩放成64×64的大小作为三维检测模型的输入数据，手工标注出挖掘机的底座和运输车的三维标注框，将其作为三维检测模型的标签。

方法工作流程如图2所示，先将监控摄像头监控到的视频转化成图片作为输入，在经过二维检测模型后，得到图片中运输车和挖掘机的二维检测框和对应的型号。接着，将得到的运输车和挖掘机的区域裁剪下来并将尺寸缩放为64×64，输入到三维检测模型中得到运输车和挖掘机底盘的三维检测框。通过挖掘机的型号查找出挖掘机底盘的实际长宽，根据得到的挖掘机底盘三维检测框计算出底盘长宽所占的像素长度，根据挖掘机底盘的实际长宽和像素长度得到它们的关系，并结合挖掘机臂长计算出运出车应该到达的工作区间。发送指令让运输车到达指定的区间，当运输车的三维检测框和工作区间基本吻合时，发送已到达指令。

具体而言，实际应用中，如图3-图6所示，包括以下几个环节：

一、图片数据的采集与处理：

在矿业区选取合适的角度放置摄像头，摄像头距离工作场景不大于200米，让摄像头可以完整的看到运输车和挖掘机之间的工作流程。分不同的场景选取1000个视频，为了防止数据集过大，每隔30帧选取一张图片，丢弃没有包含挖掘机和运输车的图片。得到图片数据集后，人工在RGB图像中标注出运输车和挖掘机的二维标注框和对应的型号，将二维标注框中心点的坐标、长、高和型号对应的类别一起作为二维检测与识别模型的标签。为了训练三维检测模型，将标注的二维框图片裁剪出来，并缩放成64×64的大小，作为三维框检测模型的输入，人工在车辆图片上标注三维检测框。由于车辆的视角，在图片中，车辆三维检测框下底面一般只有三个顶点可见，在人工标注的时候，将三维标注框下底面的可见顶点置信度设为1，不可见的设为0。在训练时，将下底面4个顶点的坐标和置信度以及三维检测框的高作为标签。预测时只需要选取置信度最高的三个顶点和高重建三维检测框即可。

二、物体二维检测与识别模型的构建与训练：

将包含运输车和挖掘机的图片作为输入，人工标注的车辆中心点坐标、长和宽作为二维标注框的标签，车辆的型号作为分类的标签。

表1锚点框的类型

锚点框类型	尺寸
		C1	66×54
C2	130×100
		C3	177×243
C4	166×130
		C5	260×200

车辆二维物体检测模型采用基于二维卷积的神经网络作为检测的主干网络，对于输入大小为512×512的图片，最终特征层的大小为16×16。对于最后一层的每一个特征点，预测五个车辆检测框，这五个车辆检测框对应设置的5个锚点框(锚点指视频对象可能存在的像素点。锚点框是以该像素点为中心的一个候选框，以便通过在候选框上进行遍历得到物体检测框，以增加准确度)。每一个车辆检测框预测的值包含车辆中心点的坐标，对于锚点框长和宽的偏移值，每类型号的概率和是否包含物体的概率。

该模型的训练同时采用两个损失函数。其中，对车辆型号的识别，采用预测类别和标定类别之间的二值交叉熵作为损失函数；对车辆位置的检测，采用检测到的中心点坐标、长和高的偏移值，与标定的中心点坐标、长和高的偏移值之间的均方差损失，作为损失函数。根据矿区实际车辆尺寸，设计5种锚点框，它们的尺寸如表1所示。

训练时，首先经过主干网络提取图片的特征，在最后一层输出每一个特征点预测的五个检测框，选取IOU(预测的检测框与人工标注框的交集与并集之比)大于一定比例的检测框来计算损失函数。模型的学习率设为0.01～0.001，坐标回归采用均方误差之和作为损失函数，车辆型号分类采用交叉熵作为损失函数，学习率每过10代衰减二分之一，一共训练60个批次。

三、物体三维检测模型的搭建与训练：

将图片中的车辆和挖掘机区域裁剪下以后缩放为64×64的大小输入到物体三维检测模型中进行训练。用于三维框检测的网络包含四个卷积层，一个全局池化层，两个全连接层。最后的全连接层输出维度为1×13，依次表示三维检测框下底面四个顶点的坐标和对应的置信度，以及三维检测框的高。在预测时，选取置信度最大的三个顶点和高重构三维标注框。三维检测模型的网络结构如表2所示。

对最后一层底边四边形的四个顶点的坐标和置信度以及三维标注框的高这13个值采用均方差损失作为损失函数(四个顶点的二维坐标占两个值，一共8个值；4个顶点的置信度为4个值，高度为一个值，共计13个值)。

在训练时，和二维检测模型一样，采用Adam或SGD优化器，初始学习率设置为0.01，每过10代衰减二分之一，最小衰减至0.001，一共训练60个Epoch(学习率、Adam、SGD和Epoch是深度学习领域的公用术语)。

表2车辆三维检测网络结构

四、工作区的标定：

在方法实际运行过程中，摄像头实时得到的矿区作业图片依次通过二维检测与识别模型和三维检测模型，可以得到挖掘机的型号和底盘三维检测框。

为了计算出运输车的工作区，需要得知图片中挖掘机周围像素点和实际距离的关系。根据型号查找出挖掘机底盘的实际长宽，同时根据底盘的三维检测框得到在图片中的像素长度，建立起像素和实际长度之间的对应关系。最后根据挖掘机的臂长和底盘所处的位置，即可计算出运输车需要处在的工作区间。

假设挖掘机底盘的宽度在图片中所占的像素点个数为x，底盘的实际宽度为y米，得到x与y的比值k。根据挖掘机型号得出挖掘机臂长为h米，假设运输车距离挖掘机的最佳距离为挖掘机的2/3臂长。由此可以计算出，图片中车辆与挖掘机的距离应该为2hk/3个像素点，因此运输车的三维工作区平行设置在距离挖掘机三维框左右两侧面的2hk/3个像素点处，即对应现实世界中距离挖掘机左侧面或右侧面的2/3h米的位置。

五、运输车的定位：

确定了运输车的在图像中的作业区间后，在实时采集的视频帧中做车辆的三维检测。当图像中运输车距离挖掘机2hk/3个像素点(即到达现实世界中距离挖掘机左侧面或右侧面的2/3h米的位置)，且运输车的三维检测框和工作区间的三维检测框大致吻合时，发送已到达指令；否则，继续发送指令使得运输车所进入标定的工位。

综上所述，借助于本发明的上述技术方案，通过

通过采集RGB图像作为物体二维检测与识别的深度学习神经网络模型的输入，获取作业车辆的二维检测框和对应型号，裁剪获取的二维检测框作为三维检测的深度学习神经网络模型的输入，获取作业车辆底座的三维检测框，并确定作业车辆在图像中的像素规格特征和确定作业车辆在实际中的规格特征，从而获取作业车辆在图像中的三维工作区，确定出作业车辆应该到达的区域，帮助作业车辆在规定的工作区域作业，减少安全隐患。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。