设备的工作功率的控制方法、装置及存储介质

文档序号:106344 发布日期:2021-10-15 浏览:32次 >En<

阅读说明:本技术 设备的工作功率的控制方法、装置及存储介质 (Method and device for controlling working power of equipment and storage medium ) 是由 李江昀 刘博伟 魏冬 皇甫玉彬 于 2021-09-10 设计创作,主要内容包括:本公开涉及一种设备的工作功率的控制方法、装置及存储介质,上述方法包括:获取实时监控图像;将所述实时监控图像输入图像语义分割模型,输出目标对象的占地面积矩阵,其中,所述图像语义分割模型已通过训练,学习并保存有输入的图像与输出的所述占地面积矩阵之间的对应关系;将所述实时监控图像输入深度估计模型,输出所述目标对象的高度矩阵,其中,所述深度估计模型已通过训练,学习并保存有输入的图像与输出的所述高度矩阵之间的对应关系;将所述占地面积矩阵与所述高度矩阵中对应位置的元素的值相乘,并将相乘得到的多个元素乘积相加,得到所述目标对象的体积;根据所述目标对象的体积控制设备的工作功率。(The present disclosure relates to a method, an apparatus and a storage medium for controlling operating power of a device, wherein the method comprises: acquiring a real-time monitoring image; inputting the real-time monitoring image into an image semantic segmentation model, and outputting a floor area matrix of a target object, wherein the image semantic segmentation model is trained, learns and stores a corresponding relation between the input image and the output floor area matrix; inputting the real-time monitoring image into a depth estimation model, and outputting a height matrix of the target object, wherein the depth estimation model is trained, learns and saves the corresponding relation between the input image and the output height matrix; multiplying the occupied area matrix with the values of the elements at the corresponding positions in the height matrix, and adding the products of the multiplied elements to obtain the volume of the target object; and controlling the working power of the equipment according to the volume of the target object.)

设备的工作功率的控制方法、装置及存储介质

技术领域

本公开涉及人工智能领域,尤其涉及一种设备的工作功率的控制方法、装置及存储介质。

背景技术

为了实现运输设备的自动化控制,根据运输物品的重量或者体积控制运输设备的工作功率是一个重要方向。因为质量和体积相关,所以测量运输物品的重量等价于测量运输物品的体积。在该方向下,首要的是测量运输物品的重量或者体积,现有技术测量运输物品的重量或者体积有两种方法。一种方法是采用接触式称重,在运输设备上面搭载传感器,其中,该传感器是平台式专用称重传感器,当煤炭运输时,运输带上煤炭的重量会施加在计量托辊上从而传导到称重传感器产生一个和重量线性相关的信号;另一种方法是采用激光测距技术,具体的利用激光盘煤仪获取的运输设备上的运输物品的三维数据,利用数字内插技术拟合运输物品表面数据,进而估计运输物品的体积。其中,激光盘煤仪是一种非接触式称重装置。

在实现本公开构思的过程中,发明人发现相关技术中至少存在如下技术问题:在根据运输设备上的运输物品的体积控制设备时,需要部署相应的传感器或者仪器计算运输物品的体积的问题。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题,本公开的实施例提供了一种设备的工作功率的控制方法、装置及存储介质,以至少解决现有技术中,在根据运输设备上的运输物品的体积控制设备时,需要部署相应的传感器或者仪器计算运输物品的体积的问题。

本公开的目的是通过以下技术方案实现的:

第一方面,本公开的实施例提供了一种设备的工作功率的控制方法,包括:获取实时监控图像;将所述实时监控图像输入图像语义分割模型,输出目标对象的占地面积矩阵,其中,所述图像语义分割模型已通过训练,学习并保存有输入的图像与输出的所述占地面积矩阵之间的对应关系;将所述实时监控图像输入深度估计模型,输出所述目标对象的高度矩阵,其中,所述深度估计模型已通过训练,学习并保存有输入的图像与输出的所述高度矩阵之间的对应关系;将所述占地面积矩阵与所述高度矩阵中对应位置的元素的值相乘,并将相乘得到的多个元素乘积相加,得到所述目标对象的体积;根据所述目标对象的体积控制设备的工作功率。

在一个示例性实施例中,所述将所述实时监控图像输入图像语义分割模型之前,所述方法还包括:通过第一图像获取设备获取历史监控图像,通过第二图像获取设备获取所述历史监控图像对应的深度图像;对所述历史监控图像进行标注处理,得到所述历史监控图像对应的语义标签。

在一个示例性实施例中,所述对所述历史监控图像进行标注处理,得到所述历史监控图像对应的语义标签之后,所述方法还包括:使用所述历史监控图像和所述语义标签对所述图像语义分割模型进行训练;将所述深度图像作为所述历史监控图像的标签,使用所述历史监控图像和所述深度图像对所述深度估计模型进行训练。

在一个示例性实施例中,所述将所述实时监控图像输入图像语义分割模型,输出目标对象的占地面积矩阵,包括:将所述实时监控图像输入图像语义分割网络,得到第一像素矩阵,其中,所述图像语义分割模型包括:所述图像语义分割网络和语义转换网络;将所述第一像素矩阵输入所述语义转换网络,输出所述占地面积矩阵。

在一个示例性实施例中,所述将所述实时监控图像输入深度估计模型,输出所述目标对象的高度矩阵,包括:将所述实时监控图像输入深度估计网络,得到第二像素矩阵,其中,所述深度估计模型包括:所述深度估计网络和深度转换网络;将所述第二像素矩阵输入所述深度转换网络,输出所述高度矩阵。

在一个示例性实施例中,所述根据所述目标对象的体积控制设备的工作功率,包括:获取所述目标对象的密度和所述设备的运行速度区间;并根据所述密度和所述体积计算所述目标对象的质量;根据所述质量和所述运行速度区间控制所述工作功率。

在一个示例性实施例中,包括:使用所述历史监控图像对所述深度估计模型进行训练之前或获取所述实时监控图像之后对图像进行预处理,其中,所述图像包括:所述历史监控图像和所述实时监控图像;其中,对所述图像进行预处理,包括:对所述图像进行联合双边滤波处理;和/或对所述图像进行图像锐化处理。

在一个示例性实施例中,对所述图像语义分割模型进行训练之前,所述方法还包括:根据图像边缘信息的提取指令,通过消融实验分别在所述图像语义分割模型和所述深度估计模型中增加一层或多层注意力网络,并在模型中调整所述注意力网络的层序号;和/或根据模型运行的实时性要求指令,通过消融实验分别在所述图像语义分割模型和所述深度估计模型中减少一层或多层神经网络。

第二方面,本公开的实施例提供了一种设备的工作功率的控制装置,包括:获取模块,用于获取实时监控图像;第一模型模块,用于将所述实时监控图像输入图像语义分割模型,输出目标对象的占地面积矩阵,其中,所述图像语义分割模型已通过训练,学习并保存有输入的图像与输出的所述占地面积矩阵之间的对应关系;第二模型模块,用于将所述实时监控图像输入深度估计模型,输出所述目标对象的高度矩阵,其中,所述深度估计模型已通过训练,学习并保存有输入的图像与输出的所述高度矩阵之间的对应关系;相乘模块,用于将所述占地面积矩阵与所述高度矩阵中对应位置的元素的值相乘,并将相乘得到的多个元素乘积相加,得到所述目标对象的体积;控制模块,用于根据所述目标对象的体积控制设备的工作功率。

第三方面,本公开的实施例提供了一种电子设备。上述电子设备包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现如上所述的设备的工作功率的控制方法或图像处理的方法。

第四方面,本公开的实施例提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序,上述计算机程序被处理器执行时实现如上所述的设备的工作功率的控制方法或图像处理的方法。

本公开实施例提供的上述技术方案与现有技术相比至少具有如下优点的部分或全部:获取实时监控图像;将所述实时监控图像输入图像语义分割模型,输出目标对象的占地面积矩阵,其中,所述图像语义分割模型已通过训练,学习并保存有输入的图像与输出的所述占地面积矩阵之间的对应关系;将所述实时监控图像输入深度估计模型,输出所述目标对象的高度矩阵,其中,所述深度估计模型已通过训练,学习并保存有输入的图像与输出的所述高度矩阵之间的对应关系;将所述占地面积矩阵与所述高度矩阵中对应位置的元素的值相乘,并将相乘得到的多个元素乘积相加,得到所述目标对象的体积;根据所述目标对象的体积控制设备的工作功率。因为,本公开实施例可以通过图像语义分割模型,计算目标对象的占地面积矩阵,通过深度估计模型计算所述目标对象的高度矩阵,根据所述占地面积矩阵与所述高度矩阵计算所述目标对象的体积,因此,采用上述技术手段,可以解决现有技术中,在根据运输设备上的运输物品的体积控制设备时,需要部署相应的传感器或者仪器计算运输物品的体积的问题,进而降低设备控制中的成本,提高设备控制的效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1示意性示出了本公开实施例一种设备的工作功率的控制方法的计算机终端的硬件结构框图;

图2示意性示出了本公开实施例的一种设备的工作功率的控制方法的流程图;

图3示意性示出了本公开实施例的一种模型训练的流程图;

图4示意性示出了本公开实施例的一种设备的工作功率的控制装置的结构框图;

图5示意性示出了本公开实施例提供的一种电子设备的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本公开。需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。

需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。

本公开实施例所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例,图1示意性示出了本公开实施例的一种设备的工作功率的控制方法的计算机终端的硬件结构框图。如图1所示,计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器(Microprocessor Unit,简称是MPU)或可编程逻辑器件(Programmable logic device,简称是PLD)等处理装置和用于存储数据的存储器104,可选地,上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述计算机终端的结构造成限定。例如,计算机终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。

存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本公开实施例中的设备的工作功率的控制方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。

在本公开实施例中提供了一种设备的工作功率的控制方法,图2示意性示出了本公开实施例的一种设备的工作功率的控制方法的流程图,如图2所示,该流程包括如下步骤:

步骤S202,获取实时监控图像;

步骤S204,将所述实时监控图像输入图像语义分割模型,输出目标对象的占地面积矩阵,其中,所述图像语义分割模型已通过训练,学习并保存有输入的图像与输出的所述占地面积矩阵之间的对应关系;

步骤S206,将所述实时监控图像输入深度估计模型,输出所述目标对象的高度矩阵,其中,所述深度估计模型已通过训练,学习并保存有输入的图像与输出的所述高度矩阵之间的对应关系;

步骤S208,将所述占地面积矩阵与所述高度矩阵中对应位置的元素的值相乘,并将相乘得到的多个元素乘积相加,得到所述目标对象的体积;

步骤S210,根据所述目标对象的体积控制设备的工作功率。

通过本公开,获取实时监控图像;将所述实时监控图像输入图像语义分割模型,输出目标对象的占地面积矩阵,其中,所述图像语义分割模型已通过训练,学习并保存有输入的图像与输出的所述占地面积矩阵之间的对应关系;将所述实时监控图像输入深度估计模型,输出所述目标对象的高度矩阵,其中,所述深度估计模型已通过训练,学习并保存有输入的图像与输出的所述高度矩阵之间的对应关系;将所述占地面积矩阵与所述高度矩阵中对应位置的元素的值相乘,并将相乘得到的多个元素乘积相加,得到所述目标对象的体积;根据所述目标对象的体积控制设备的工作功率。因为,本公开实施例可以通过图像语义分割模型,计算目标对象的占地面积矩阵,通过深度估计模型计算所述目标对象的高度矩阵,根据所述占地面积矩阵与所述高度矩阵计算所述目标对象的体积,因此,采用上述技术手段,可以解决现有技术中,在根据运输设备上的运输物品的体积控制设备时,需要部署相应的传感器或者仪器计算运输物品的体积的问题,进而降低设备控制中的成本,提高设备控制的效率。

本公开提出的对设备的工作功率的控制方法适用于一切运输领域,尤其是工业运输领域,比如在煤矿工业中的传送带传送煤,目标对象就是煤,通过图像语义分割模型,计算传送带上煤的占地面积矩阵,通过深度估计模型计算传送带上煤的高度矩阵,根据所述占地面积矩阵与所述高度矩阵计算传送带上煤的体积,根据传送带上煤的体积控制传送带的工作功率,设备就是传送带或者传送带设备。

在步骤S204之前,也就是将所述实时监控图像输入图像语义分割模型之前,所述方法还包括:通过第一图像获取设备获取历史监控图像,通过第二图像获取设备获取所述历史监控图像对应的深度图像;对所述历史监控图像进行标注处理,得到所述历史监控图像对应的语义标签。

第一图像获取设备可以是单目摄像和双目摄像头等设备,第二图像获取设备可以是深度相机。深度相机是近几年兴起的新技术,相比较传统的相机,深度相机在功能上添加了一个深度测量,从而更方便准确的感知周围的环境及变化。对所述历史监控图像进行标注处理,可以是在所述历史监控图像对应的预设区域内,存在所述目标对象的区域标记为1,不存在所述目标对象的区域标记为0。所述历史监控图像对应的语义标签便是1或0。

对所述历史监控图像进行标注处理,得到所述历史监控图像对应的语义标签之后,所述方法还包括:使用所述历史监控图像和所述语义标签对所述图像语义分割模型进行训练;将所述深度图像作为所述历史监控图像的标签,使用所述历史监控图像和所述深度图像对所述深度估计模型进行训练。

需要说明的是,对所述图像语义分割模型和对所述深度估计模型进行训练的历史监控图像可以是不同时间段的不同图像。将所述历史监控图像和所述语义标签按照预设比例划分为第一训练集和第一验证集,根据第一训练集和第一验证集对所述图像语义分割模型进行训练。以煤矿工业中的传送带传送煤为例,所述图像语义分割模型经过训练之后,就可以识别出传送带上有煤的区域,也就是识别出传送带上煤的占地面积矩阵,其中,所述占地面积矩阵是关于煤占有的传送带的面积的矩阵。具体的,传送带上有煤的区域对应的矩阵的位置的元素为1,传送带上没有煤的区域对应的矩阵的位置的元素为0。将所述历史监控图像和所述深度图像按照预设比例划分为第二训练集和第二验证集,根据第二训练集和第二验证集对所述深度估计模型进行训练。以煤矿工业中的传送带传送煤为例,所述深度估计模型经过训练之后,就可以识别出传送带上煤的高度,也就是识别出传送带上煤的高度矩阵,其中,高度矩阵是关于煤的高度的矩阵。具体的,矩阵的元素的值代表传送带对应位置上的煤的高度。需要说明的是,所述深度估计模型直接识别出来的是图像获取设备到煤表面的距离,因为图像获取设备到传送带的距离是可知的,使用设备到传送带的距离减去图像获取设备到煤表面的距离,就得到了传送带上煤的高度(图像获取设备被布置在传送带正上方,图像获取设备包括第一图像获取设备和第二图像获取设备),可以理解的是所述深度估计模型识别出传送带上煤的高度矩阵。

在步骤S206中,将所述实时监控图像输入图像语义分割模型,输出目标对象的占地面积矩阵,包括:将所述实时监控图像输入图像语义分割网络,得到第一像素矩阵,其中,所述图像语义分割模型包括:所述图像语义分割网络和语义转换网络;将所述第一像素矩阵输入所述语义转换网络,输出所述占地面积矩阵。

以煤矿工业上的传送带传送煤为例,第一像素矩阵可以理解为所述实时监控图像上,传送带上有煤的区域对应的矩阵的位置的元素为1,传送带上没有煤的区域对应的矩阵的位置的元素为0。语义转换网络是一个映射层,可以将第一像素矩阵中一个元素代表的实际面积转换出来,语义转换网络的作用可以理解为对第一像素矩阵乘一个系数,得到所述占地面积矩阵,也就是,目标对象的占所在设备的实际面积。本公开实施例中的图像语义分割模型相当于在一个常见的图像语义分割网络上增加一个语义转换网络。

在步骤S206中,将所述实时监控图像输入深度估计模型,输出所述目标对象的高度矩阵,包括:将所述实时监控图像输入深度估计网络,得到第二像素矩阵,其中,所述深度估计模型包括:所述深度估计网络和深度转换网络;将所述第二像素矩阵输入所述深度转换网络,输出所述高度矩阵。

深度估计网络用于计算所述实时监控图像上的目标对象的高度,也就是第二像素矩阵。以煤矿工业上的传送带传送煤为例,第二像素矩阵就是传送带上煤的高度矩阵,其中,高度矩阵的元素的数值表示煤的高度。度转换网络是一个映射层,可以将深度估计模型计算出来的煤的高度转换为实际中传送带的煤的高度。类似于地图,第一像素矩阵和第二像素矩阵可以类似理解为图上距离,占地面积矩阵和高度矩阵就是实际距离。

在步骤S210中,根据所述目标对象的体积控制设备的工作功率,包括:获取所述目标对象的密度和所述设备的运行速度区间;并根据所述密度和所述体积计算所述目标对象的质量;根据所述质量和所述运行速度区间控制所述工作功率。

以煤矿工业上的传送带传送煤为例,获取原煤的密度。根据原煤的密度和体积计算煤的质量,获取传送带或者传送带设备的运行速度区间,根据煤的质量和传送带设备的运行速度区间就可以计算传送带设备的工作功率,进而控制设备。

可选地,使用所述历史监控图像对所述深度估计模型进行训练之前或获取所述实时监控图像之后对图像进行预处理,其中,所述图像包括:所述历史监控图像和所述实时监控图像;其中,对所述图像进行预处理,包括:对所述图像进行联合双边滤波处理;和/或对所述图像进行图像锐化处理。

以煤矿工业上的传送带传送煤为例,煤矿下的环境与室外环境相比,光线暗,灰尘颗粒多。在煤矿下获取的图像有光线暗,灰尘颗粒干扰多的特点,本公开实施例,为了提高训练模型以及模型识别图像的效率,增加了一种预处理方法。对所述图像进行联合双边滤波处理可以滤除图像中的干扰成份,对所述图像进行图像锐化处理可以加粗或者加深图像中的边缘轮廓。

对所述图像语义分割模型进行训练之前,所述方法还包括:根据图像边缘信息的提取指令,通过消融实验分别在所述图像语义分割模型和所述深度估计模型中增加一层或多层注意力网络,并在模型中调整所述注意力网络的层序号;和/或根据模型运行的实时性要求指令,通过消融实验分别在所述图像语义分割模型和所述深度估计模型中减少一层或多层神经网络。

消融实验是去掉模型中的一层网络,根据剩余的网络的效果来衡量去掉的网络在整个模型中的作用。一些特殊场景下,非常重视图像边缘信息,以煤矿工业上的传送带传送煤,计算煤的体积为例,在煤矿下,获取的实时监控图像中的边缘信息和所述占地面积矩阵与所述高度矩阵都相关,图像边缘信息在计算煤的体积中是非常重要的,本公开实施例分别为图像语义分割模型和深度估计模型中增加一层或多层注意力网络。通过消融实验可以确定增加多少层注意力网络,效果好,以及如何调整所述注意力网络的在整个模型中的位置效果好。一些特殊场景下,对图像识别的准确率要求低些,实时性要求高,本公开实施例可以根据实时性要求指令,确定当前场景下对图像识别的实时性的要求,进而通过消融实验分别在所述图像语义分割模型和所述深度估计模型中减少一层或多层神经网络,提高模型运行速度。

为了更好的理解上述技术方案,本公开实施例还提供了一种可选实施例,用于解释说明上述技术方案。

图3示意性示出了本公开实施例的一种模型训练的流程图,如图3所示:

S302:通过第一图像获取设备获取历史监控图像,通过第二图像获取设备获取所述历史监控图像对应的深度图像;

S304:对所述历史监控图像进行标注处理,得到所述历史监控图像对应的语义标签;

S306:对所述历史监控图像和语义标签进行数据增强处理;

S308:使用所述历史监控图像和所述语义标签生成第一训练集和第一验证集,使用所述历史监控图像和所述深度图像生成第二训练集和第二验证集;

S310:使用第一训练集和第一验证集对所述图像语义分割模型进行训练,使用第二训练集和第二验证集对所述深度估计模型进行训练。

通过本公开,获取实时监控图像;将所述实时监控图像输入图像语义分割模型,输出目标对象的占地面积矩阵,其中,所述图像语义分割模型已通过训练,学习并保存有输入的图像与输出的所述占地面积矩阵之间的对应关系;将所述实时监控图像输入深度估计模型,输出所述目标对象的高度矩阵,其中,所述深度估计模型已通过训练,学习并保存有输入的图像与输出的所述高度矩阵之间的对应关系;将所述占地面积矩阵与所述高度矩阵中对应位置的元素的值相乘,并将相乘得到的多个元素乘积相加,得到所述目标对象的体积;根据所述目标对象的体积控制设备的工作功率。因为,本公开实施例可以通过图像语义分割模型,计算目标对象的占地面积矩阵,通过深度估计模型计算所述目标对象的高度矩阵,根据所述占地面积矩阵与所述高度矩阵计算所述目标对象的体积,因此,采用上述技术手段,可以解决现有技术中,在根据运输设备上的运输物品的体积控制设备时,需要部署相应的传感器或者仪器计算运输物品的体积的问题,进而降低设备控制中的成本,提高设备控制的效率。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random AccessMemory,简称为RAM)、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,组件服务端,或者网络设备等)执行本公开各个实施例的方法。

在本实施例中还提供了一种设备的工作功率的控制装置,该设备的工作功率的控制装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。

图4示意性示出了本公开可选实施例的一种设备的工作功率的控制装置的结构框图,如图4所示,该装置包括:

获取模块402,用于获取实时监控图像;

第一模型模块404,用于将所述实时监控图像输入图像语义分割模型,输出目标对象的占地面积矩阵,其中,所述图像语义分割模型已通过训练,学习并保存有输入的图像与输出的所述占地面积矩阵之间的对应关系;

第二模型模块406,用于将所述实时监控图像输入深度估计模型,输出所述目标对象的高度矩阵,其中,所述深度估计模型已通过训练,学习并保存有输入的图像与输出的所述高度矩阵之间的对应关系;

相乘模块408,用于将所述占地面积矩阵与所述高度矩阵中对应位置的元素的值相乘,并将相乘得到的多个元素乘积相加,得到所述目标对象的体积;

控制模块410,用于根据所述目标对象的体积控制设备的工作功率。

通过本公开,获取实时监控图像;将所述实时监控图像输入图像语义分割模型,输出目标对象的占地面积矩阵,其中,所述图像语义分割模型已通过训练,学习并保存有输入的图像与输出的所述占地面积矩阵之间的对应关系;将所述实时监控图像输入深度估计模型,输出所述目标对象的高度矩阵,其中,所述深度估计模型已通过训练,学习并保存有输入的图像与输出的所述高度矩阵之间的对应关系;将所述占地面积矩阵与所述高度矩阵中对应位置的元素的值相乘,并将相乘得到的多个元素乘积相加,得到所述目标对象的体积;根据所述目标对象的体积控制设备的工作功率。因为,本公开实施例可以通过图像语义分割模型,计算目标对象的占地面积矩阵,通过深度估计模型计算所述目标对象的高度矩阵,根据所述占地面积矩阵与所述高度矩阵计算所述目标对象的体积,因此,采用上述技术手段,可以解决现有技术中,在根据运输设备上的运输物品的体积控制设备时,需要部署相应的传感器或者仪器计算运输物品的体积的问题,进而降低设备控制中的成本,提高设备控制的效率。

本公开提出的对设备的工作功率的控制方法适用于一切运输领域,尤其是工业运输领域,比如在煤矿工业中的传送带传送煤,目标对象就是煤,通过图像语义分割模型,计算传送带上煤的占地面积矩阵,通过深度估计模型计算传送带上煤的高度矩阵,根据所述占地面积矩阵与所述高度矩阵计算传送带上煤的体积,根据传送带上煤的体积控制传送带的工作功率,设备就是传送带或者传送带设备。

可选地,第一模型模块404还用于通过第一图像获取设备获取历史监控图像,通过第二图像获取设备获取所述历史监控图像对应的深度图像;对所述历史监控图像进行标注处理,得到所述历史监控图像对应的语义标签。

第一图像获取设备可以是单目摄像和双目摄像头等设备,第二图像获取设备可以是深度相机。深度相机是近几年兴起的新技术,相比较传统的相机,深度相机在功能上添加了一个深度测量,从而更方便准确的感知周围的环境及变化。对所述历史监控图像进行标注处理,可以是在所述历史监控图像对应的预设区域内,存在所述目标对象的区域标记为1,不存在所述目标对象的区域标记为0。所述历史监控图像对应的语义标签便是1或0。

可选地,第一模型模块404还用于使用所述历史监控图像和所述语义标签对所述图像语义分割模型进行训练;将所述深度图像作为所述历史监控图像的标签,使用所述历史监控图像和所述深度图像对所述深度估计模型进行训练。

将所述历史监控图像和所述语义标签按照预设比例划分为第一训练集和第一验证集,根据第一训练集和第一验证集对所述图像语义分割模型进行训练。以煤矿工业中的传送带传送煤为例,所述图像语义分割模型经过训练之后,就可以识别出传送带上有煤的区域,也就是识别出传送带上煤的占地面积矩阵,其中,所述占地面积矩阵是关于煤占有的传送带的面积的矩阵。具体的,传送带上有煤的区域对应的矩阵的位置的元素为1,传送带上没有煤的区域对应的矩阵的位置的元素为0。将所述历史监控图像和所述深度图像按照预设比例划分为第二训练集和第二验证集,根据第二训练集和第二验证集对所述深度估计模型进行训练。以煤矿工业中的传送带传送煤为例,所述深度估计模型经过训练之后,就可以识别出传送带上煤的高度,也就是识别出传送带上煤的高度矩阵,其中,高度矩阵是关于煤的高度的矩阵。具体的,矩阵的元素的值代表传送带对应位置上的煤的高度。

可选地,第二模型模块406还用于将所述实时监控图像输入图像语义分割网络,得到第一像素矩阵,其中,所述图像语义分割模型包括:所述图像语义分割网络和语义转换网络;将所述第一像素矩阵输入所述语义转换网络,输出所述占地面积矩阵。

以煤矿工业上的传送带传送煤为例,第一像素矩阵可以理解为所述实时监控图像上,传送带上有煤的区域对应的矩阵的位置的元素为1,传送带上没有煤的区域对应的矩阵的位置的元素为0。语义转换网络是一个映射层,可以将第一像素矩阵中一个元素代表的实际面积转换出来,语义转换网络的作用可以理解为对第一像素矩阵乘一个系数,得到所述占地面积矩阵,也就是,目标对象的占所在设备的实际面积。本公开实施例中的图像语义分割模型相当于在一个常见的图像语义分割网络上增加一个语义转换网络。

可选地,第二模型模块406还用于将所述实时监控图像输入深度估计网络,得到第二像素矩阵,其中,所述深度估计模型包括:所述深度估计网络和深度转换网络;将所述第二像素矩阵输入所述深度转换网络,输出所述高度矩阵。

深度估计网络用于计算所述实时监控图像上的目标对象的高度,也就是第二像素矩阵。以煤矿工业上的传送带传送煤为例,第二像素矩阵就是传送带上煤的高度矩阵,其中,高度矩阵的元素的数值表示煤的高度。度转换网络是一个映射层,可以将深度估计模型计算出来的煤的高度转换为实际中传送带的煤的高度。类似于地图,第一像素矩阵和第二像素矩阵可以类似理解为图上距离,占地面积矩阵和高度矩阵就是实际距离。

可选地,控制模块410还用于获取所述目标对象的密度和所述设备的运行速度区间;并根据所述密度和所述体积计算所述目标对象的质量;根据所述质量和所述运行速度区间控制所述工作功率。

以煤矿工业上的传送带传送煤为例,获取原煤的密度。根据原煤的密度和体积计算煤的质量,获取传送带或者传送带设备的运行速度区间,根据煤的质量和传送带设备的运行速度区间就可以计算传送带设备的工作功率,进而控制设备。

可选地,第一模型模块404还用于使用所述历史监控图像对所述深度估计模型进行训练之前或获取所述实时监控图像之后对图像进行预处理,其中,所述图像包括:所述历史监控图像和所述实时监控图像;其中,对所述图像进行预处理,包括:对所述图像进行联合双边滤波处理;和/或对所述图像进行图像锐化处理。

以煤矿工业上的传送带传送煤为例,煤矿下的环境与室外环境相比,光线暗,灰尘颗粒多。在煤矿下获取的图像有光线暗,灰尘颗粒干扰多的特点,本公开实施例,为了提高训练模型以及模型识别图像的效率,增加了一种预处理方法。对所述图像进行联合双边滤波处理可以滤除图像中的干扰成份,对所述图像进行图像锐化处理可以加粗或者加深图像中的边缘轮廓。

可选地,第一模型模块404还用于根据图像边缘信息的提取指令,通过消融实验分别在所述图像语义分割模型和所述深度估计模型中增加一层或多层注意力网络,并在模型中调整所述注意力网络的层序号;和/或根据模型运行的实时性要求指令,通过消融实验分别在所述图像语义分割模型和所述深度估计模型中减少一层或多层神经网络。

消融实验是去掉模型中的一层网络,根据剩余的网络的效果来衡量去掉的网络在整个模型中的作用。一些特殊场景下,非常重视图像边缘信息,以煤矿工业上的传送带传送煤,计算煤的体积为例,在煤矿下,获取的实时监控图像中的边缘信息和所述占地面积矩阵与所述高度矩阵都相关,图像边缘信息在计算煤的体积中是非常重要的,本公开实施例分别为图像语义分割模型和深度估计模型中增加一层或多层注意力网络。通过消融实验可以确定增加多少层注意力网络,效果好,以及如何调整所述注意力网络的在整个模型中的位置效果好。一些特殊场景下,对图像识别的准确率要求低些,实时性要求高,本公开实施例可以根据实时性要求指令,确定当前场景下对图像识别的实时性的要求,进而通过消融实验分别在所述图像语义分割模型和所述深度估计模型中减少一层或多层神经网络,提高模型运行速度。

需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。

本公开的实施例提供了一种电子设备。

图5示意性示出了本公开实施例提供的一种电子设备的结构框图。

参照图5所示,本公开实施例提供的电子设备500包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501、通信接口502和存储器503通过通信总线504完成相互间的通信;存储器503,用于存放计算机程序;处理器501,用于执行存储器上所存放的程序时,实现上述任一项方法实施例中的步骤。

可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该输入输出设备与上述处理器连接。

可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:

S1,获取实时监控图像;

S2,将所述实时监控图像输入图像语义分割模型,输出目标对象的占地面积矩阵,其中,所述图像语义分割模型已通过训练,学习并保存有输入的图像与输出的所述占地面积矩阵之间的对应关系;

S3,将所述实时监控图像输入深度估计模型,输出所述目标对象的高度矩阵,其中,所述深度估计模型已通过训练,学习并保存有输入的图像与输出的所述高度矩阵之间的对应关系;

S4,将所述占地面积矩阵与所述高度矩阵中对应位置的元素的值相乘,并将相乘得到的多个元素乘积相加,得到所述目标对象的体积;

S5,根据所述目标对象的体积控制设备的工作功率。

本公开的实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序,上述计算机程序被处理器执行时实现上述任一项方法实施例中的步骤。

可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:

S1,获取实时监控图像;

S2,将所述实时监控图像输入图像语义分割模型,输出目标对象的占地面积矩阵,其中,所述图像语义分割模型已通过训练,学习并保存有输入的图像与输出的所述占地面积矩阵之间的对应关系;

S3,将所述实时监控图像输入深度估计模型,输出所述目标对象的高度矩阵,其中,所述深度估计模型已通过训练,学习并保存有输入的图像与输出的所述高度矩阵之间的对应关系;

S4,将所述占地面积矩阵与所述高度矩阵中对应位置的元素的值相乘,并将相乘得到的多个元素乘积相加,得到所述目标对象的体积;

S5,根据所述目标对象的体积控制设备的工作功率。

根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。

显然,本领域的技术人员应该明白,上述的本公开的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本公开不限制于任何特定的硬件和软件结合。

以上所述仅为本公开的优选实施例而已,并不用于限制于本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。

18页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种云台位姿预测的方法、设备和计算机可读存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!