具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。

如背景技术中所述，现有实际中对快递体积检测的相关技术存在种种缺陷，针对于此，本申请提出一种堆积物整体体积的检测方法，有助于更好的实现物流分拣场地中堆积快递的整体体积检测。

在一实施例中，如图1所示，本申请中的堆积物整体体积的检测方法，包括如下步骤：

步骤S110，预先获取目标检测区域的第一图像并对其进行标注处理，确定该目标检测区域的额定立方体边框、并配置该额定立方体的额定方数。

本申请该实施例的应用场景为物流分拣场站，这里的目标检测区域为物流场站的装卸口区域，本申请中的装卸口的含义为，将场站中每个物流车辆停的位置定义为一个装卸口，每个装卸口都一个传送带负责传送货，在传送带的两侧会堆积快递货物，这里两侧的区域均属于目标检测区域。

该实施例中，通过采集场站上配置的摄像头进行抓拍图像来获取第一图像；具体的，步骤S110中针对第一图像，采用专有标注软件人工标注目标检测区域地面范围的各角点，之后整体拖动抬升以确定顶面角点，从而实现额定立方体的绘制，确定额定立方体边框。举例而言，如图1所示，只用标注底部的4个点，然后整体拖动抬升就可以自动定出上顶面的4个点，完成立方体8个点的绘制，该标注工具中，绘制完成后可以对8个点的进行拖动微调。

步骤S110中，为进行额定方数的配置，通过计算确定目标检测区域中固定参考物的实际长度与其在第一图像中的像素长度的参考比例值，基于该参考比例值计算额定立方体的体积值并进行关联处理，以完成对额定立方体的额定方数的配置；

举例而言，装卸口对应传送带两侧分别为A区和B区。分别进行图像立方体标注和额定体积(额定方数)的录入。额定体积＝长x宽x高。录入的时候直接按照参数比例的长度来录入，比如：车厢(参考物)的长度是2.5，参照周围已经固定的长度比例来录入额定体积的长宽高，配置结果如图3所示。

需要说明的是，步骤S110的方法处理步骤在本申请中也称之为，基础参数信息配置。

之后，进行步骤S120，基于获取第一图像时的拍摄机位及参数、实时获取目标检测区域的第二图像，对第二图像进行堆积元素检测并基于检测结果进行堆积物的体积立方体绘制，得到实际立方体边框。

具体的，

步骤S120中，首先采用预选训练好的分割算法模型推理预测第二图像中堆积物的掩摸区域，即进行堆积元素检测。

为高效的得到堆积物的掩模区域，这里的分割算法模型可采用yolact算法模型，举例而言，如图4所示，图4右侧中快递堆积区域的外轮廓线所包络区域即为推测检测到的堆积物的掩模区域；

yolcat模型是一种深度学习算法模型，相比常见的maskrcnn模型有更快的推理速度(fps>30)，其采用了一个简单的全卷积模型，将实例分割任务分为两个并行的子任务：生成一组原型(prototype)masks和预测每个实例的mask系数。最后将原型和模板系数线性组合来生成实例masks。因为整个过程不依赖于repooling，由此可以产生非常高质量的masks.在实际部署实用中，yolcat只需要很少样本就能模型就能快速的收敛。部署后能够达到很好的推理效果。具体的，本申请中在模型训练阶段，将样本数据转换为coco格式的数据集，进行yolact深度模型的训练。

作为一种优选，在进行模型应用中，为提高效率(使矩阵计算数量减少，增加推理的速度)，可针对第二图像，基于额定立方体边框进行裁取处理；之后，再采用预选训练好的分割算法模型对裁取得到的图像进行推理预测，以得到掩模区域。同样的，为提高效率，在模型训练阶段，对样本数据也可采用类似预处理。

上述过程中，裁取处理处理的方式为，对额定立方体边框上各点的坐标值进行解析，确定其中的坐标极值min(x)、min(y)、max(x)、max(y)；以(min(x)，min(y))和(max(x)，max(y))为对角点来构建裁取矩形框，根据该裁取矩形框来对第二图像进行裁取处理。

步骤S120中，在推理预测得到掩模区域后，基于额定立方体边框的坐标和三角函数对掩摸区域进行视图切割，以得到掩模区域在各视图的掩模；

视图切割可使得整个堆积包裹的mask掩膜算落在四个视图里，这样切割的目的就是为了计算堆积实际区域的长、宽、高，每一个视图面代表一个维度计算，比如左视图和右视图以及底部视图分别代表宽度这个指标的计算，正视图代表高度指标的计算等。

步骤S120中，在得到掩模区域在各视图的掩模之后，基于各掩模在相应视图中相对于额定立方体对应面的面积占比，来计算确定体积立方体的长度、宽度、高度像素值，即对分割的mask图像进行轮廓提取然后进行面积计算，使用每个面的掩膜面积占比(相对额定立方体对应面)来计算长宽高的占比，而确定体积立方体的长度、宽度、高度像素值。

步骤S120中，最后根据体积立方体的长度、宽度、高度像素值进行体积立方体绘制，以得到实际立方体边框。

需要说明的是，由于实际中快递堆积物可能超出到额定立方体正视图外侧，为便于后续处理，在进行体积立方体绘制时，可将体积立方体的长度像素值调整为额定立方体的底部框长的像素值，根据体积立方体的宽度像素、高度像素值和调整后的长度像素值进行体积立方体绘制；其中，在绘制过程中，以额定立方体边框下侧一顶点作为坐标原点，并使体积立方体框中与该顶点相连的框线、与额定立方体边框中相应框线的方向保持一致。换言之，最终的绘制后视觉效果如图5所示，体积立方体完全位于额定立方体内，且对齐。

此外，在一些特殊情况下，由于快递堆积较少，在进行视图切割和计算确定体积立方体的长度、宽度、高度像素值时，未能得到高度像素值，此时确定高度像素值为预设默认值，例如预设默认值为1个像素。

需要说明的是，步骤S120的方法处理步骤中在堆积元素检测之后的步骤，在本申请中也称之为图像立方体体积的合成。

回到图1，最后进行步骤S130，根据实际立方体边框和额定立方体边框的像素尺寸数据，计算体积立方体与额定立方体的体积比值，将体积比值与额定方数的乘积确定为第二图像中堆积物的体积检测值。

本申请中，对于每个目标检测区域的实际堆积体积的计算，我们定义出一个公式：图像实际体积/图像额定体积＝实际堆积体积/额定堆积体积，

其中，图像额定体积为，绘制额定立方体时，所显示长宽高的像素值的乘积；

额定堆积体积为，绘制额定立方体后，对应配置的额定方数；

图像实际体积为，图像立方体合成后，计算出的体积立方体的长宽高的像素值的乘积。

基于该公式，显然实际堆积体积＝额定堆积体积*(图像实际体积/图像额定体积)，也即步骤S130中，所提到的，计算体积立方体与额定立方体的体积比值(像素体积相比)，将体积比值与额定方数的乘积确定为第二图像中堆积物的体积检测值，举例而言，预测结果如图6所示。

此外，如图7所示，实际场景下，物流场站中会有多个装卸口，多个装卸口有多个区域堆积体积的计算，对于最终场站堆积体积的计算实际就是将每个区域图像合成到原图上进行推测计算，以及把每个区域的体积进行求和。具体的，实际中，可以装卸口的维度将对应的区域的体积进行聚合，形成每个装卸口对应的堆积体积，最后把每个装卸口堆积的体积整体求和，形成场站整体的装卸口堆积体积，以应用于堆积告警和留仓体积统计等。

本申请采用图像视觉体积构建技术，只要在检测区域标注一下额定立方体和额定方数，就可以在额定立方体构建实际堆积立方体，通过构建的额定立方体和实际堆积立方体的比等于额定方数和实际方数的比来计算最终的实际堆积体积方数。该方法无需添加任何的物理设备，基于物流场站已经安装的单路普通摄像头就可进行体积检测，且该方法中涉及到的模型能够很好的泛化，无需样本大量标注，便于快速部署上线。

本申请中的技术法案，可用于实现物流场站管理中的堆积告警功能，例如分拣场地的装卸口发现有大于2方的堆积，但是没有车辆在装载就会发出告警。提醒调度人员，尽快安排车辆过来操作。还可用于实现场站管理中的留仓检查及路由调度功能，例如物流分拣场每天在凌晨清场，通过摄像头采集到的装卸口堆积体积，并与路线数据进行整合，来方便第二天安排路由调度等。

图8为本申请一个实施例提供的堆积物整体体积的检测装置的结构示意图，如图8所示，该检测装置800包括：

标注处理模块801，其用于对预先获取的目标检测区域的第一图像进行标注处理，确定该目标检测区域的额定立方体边框、并配置该额定立方体的额定方数；

检测绘制处理模块802，其用于对第二图像进行堆积元素检测并基于检测结果进行堆积物的体积立方体绘制，得到实际立方体边框，其中，第二图像为，采用拍摄获取第一图像时的拍摄机位及参数、实时拍摄目标检测区域而获取的图像；

体积确定模块803，其用于根据实际立方体边框和额定立方体边框的像素尺寸数据，计算体积立方体与所述额定立方体的体积比值，将体积比值与额定方数的乘积确定为第二图像中堆积物的体积检测值。

关于上述相关实施例中的检测装置800，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图9为本申请一个实施例提供的电子设备的结构示意图，如图9所示，该电子设备900包括：

存储器901，其上存储有可执行程序；

处理器902，用于执行存储器901中的可执行程序，以实现上述方法的步骤。

关于上述实施例中的电子设备900，其处理器902执行存储器901中的程序的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。