具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

其中一个实施例中，提供一种基于多传感器融合的仓储数字孪生的方法，将仓储管理与数字孪生相结合，实现仓储数字孪生。

首先本申请设定仓储管理中的基本硬件设备以及软件基础如下：

1)仓储管理系统(WMS系统)，是一个实时的计算机软件系统，能够按照运作的业务规则和运算法则，对信息、资源、行为、存货和分销运作进行更完美地管理，提高效率，包括收货处理、上架管理、拣货作业、月台管理、补货管理、库内作业、越库操作、循环盘点、RF操作、加工管理、矩阵式收费等。

2)仓储控制系统(WCS系统)，是WMS系统和装卸设备之间的桥梁，负责协调、调度底层的各种装卸设备，使底层装卸设备可以执行仓储系统的业务流程，并且这个过程完全是按照程序预先设定的流程执行的。

3)超宽带定位系统(UWB室内定位系统)，UWB室内定位原理和卫星定位原理类似，需要依靠4个已知坐标位置的UWB基站进行定位，工作人员和装卸设备携带UWB标签。通过在仓库区域安装UWB基站，并保证UWB基站与UWB标签之间存在较少遮挡，实现区域内15cm左右的高精度定位。

4)全景监控系统，在仓库区域布置摄像头阵列，使得摄像头可以无死角拍摄，并且将摄像头编号与拍摄区域绑定。

5)RFID系统，库区内装载物资的托盘、容器框均有RFID标签绑定，装卸设备配置RFID读卡器。

6)工作人员配备二维码扫描枪，可将货物与托盘、容器框进行绑定，使得物资与RFID标签的绑定，最终实现可通过装卸设备识别作业的物资。

7)通过3D扫描构建与仓库对应的虚拟场景，在虚拟场景中重建作业场景、工作人员、装卸设备、物资等三维模型。

需要说明的是，上述WMS系统、WCS系统、UWB室内定位系统、全景监控系统、RFID系统、二维码扫描枪等均为现有设备或软件系统，按需布置即可。并且通过3D扫描构建与实际场景对应的虚拟场景为数字孪生中的基础步骤，本实施例基于现有的场景构建方法实现即可，这里就不再展开描述。

基于上述本硬件设备以及软件基础，如图1所示，本实施例提供的基于多传感器融合的仓储数字孪生的方法，包括以下步骤：

步骤1、从WMS系统获取当前的任务单据，任务单据包括仓储任务所涉及的物资、工作人员、装卸设备(例如叉车、AGV等)和物资流向(例如物资从某车辆到某货位)。任务单据为WMS系统根据实际的仓储流向生成，本实施例中不涉及WMS系统内部工作流程，因此不展开描述如何生成任务单据。

步骤2、基于UWB室内定位系统获取仓储任务所涉及的工作人员的当前位置，并根据工作人员的当前位置确定所属的拍摄区域，调取该拍摄区域内的摄像头获取图像。

本实施例事先将仓库区域划分为多个拍摄区域，并在每一拍摄区域中安装一个或多个摄像头，利用摄像头实现对仓库区域划区域监控。

需要说明的是，仓储任务中所涉及的工作人员为一个或多个，若为多个工作人员时以每一个工作人员为基础进行后续识别。且为了提高作业场景识别准确性，本实施例优选在每一拍摄区域中设置多个摄像头，以摄像头所拍摄的目标最全的图像进行作业场景，也可以取多个摄像头所对应识别到的相同的作业场景最多的作业场景为最终的作业场景。

步骤3、对所获取的图像进行显著性检测，将图像分割为显著性区域和背景区域，对图像中的显著性区域采用YOLOv5深度学习神经网络进行目标识别，并将识别得到的目标类别与数量输入至预训练的第一全连接神经网络，得到第一全连接神经网络输出的与图像对应的当前的作业场景。

本实施例通过训练逐级特征打磨网络，采用深度学习的方式进行图像显著性检测，将图像分割为显著性区域和背景区域。该深度网络包括一个骨架网络，两级特征打磨模块、两个转换模块和一个融合模块。

具体的，本实施例进行步骤显著性检测包括以下步骤：

步骤3.1、采用ResNet-101神经网络基于128*128、64*64、32*32、16*16、8*8五种大小的卷积核对图像进行特征提取，得到五个尺度的图像底层特征。

步骤3.2、将五个尺度的图像底层特征分别输入转换模块进行维度重塑，将五个尺度的图像底层特征重塑为维度一致，例如256维。

步骤3.3、将维度重塑后的五个尺度的图像底层特征分别输入两级打磨模块，其中两级打磨模块包括前后连接的两个相同的打磨模块，每一个打磨模块的输入特征定义为F＝{f_k,k＝1,2..N}，输出特征定义为其中：

c_j＝ReLU(BN(Conv(f_j)))

p_k＝ReLU(BN(Conv(u_k+u_k+1…+u_N)))

式中，ReLU()为激活函数，且BN(Conv())为通过规范化手段，把每层神经网络任意神经元对于输入值f_j的分布强行拉回到均值为0、方差为1的标准正态分布；Upsample()表示上采样函数；N为步骤3.1中所采用的卷积核的种类，即本实施例N＝5。

步骤3.4、将经过两级打磨模块后的五个尺度的图像底层特征分别输入转换模块进行维度重塑(例如采用reshape函数)，将五个尺度的图像底层特征重塑为维度一致，例如32维。

步骤3.5、将步骤3.4维度重塑后的五个尺度的图像底层特征输入特征融合模块，得到融合后的特征。

步骤3.6、将融合后的特征输入第二全连接神经网络，得到由第二全连接神经网络输入分割显著性区域和背景区域后的图像，完成显著性检测。

在完成显著性检测后基于显著性区域进行作业场景识别，本实施例中的第一全连接神经网络可以利用人工分析的作业场景样本作为训练集进行训练输入作业场景中的目标类别与数量，推断作业场景，其中作业场景可分为卸货、运载、入库、盘点四类场景。并且针对图像中显著性区域进行目标识别输出的目标可以是车辆、装卸设备、货架、工作人员等目标。

容易理解的是，为了提高神经网络识别的准确性，本实施例中所采用的YOLOv5深度学习神经网络、第一全连接神经网络和第二全连接神经网络均为训练后的神经网络。

步骤4、若当前的作业场景未发生转换，则持续为当前的作业场景进行计时，若当前的作业场景发生转换，则统计转换前的作业场景的持续时间，将作业场景、持续时间以及作业场景中的物资、工作人员进行绑定，并为转换后的作业场景进行计时；其中物资通过工作人员配备的二维码扫描枪与装载容器绑定，所述装卸设备通过RFID读卡器识别装载容器绑定的RFID标签识别作业场景中的物资。

步骤5、基于UWB室内定位系统实时获取仓储任务所涉及的工作人员和装卸设备的位置信息，并从WCS系统获取仓储任务所涉及的装卸设备的运行状态，控制虚拟场景中对应的工作人员和装卸设备的三维模型根据实际的位置信息和运动状态进行同步运动，并累计装卸设备的运行时长。

步骤6、判断所获取的任务单据中的仓储任务是否执行完成，若未执行完成则返回步骤2继续执行，若已执行完成则执行步骤7。

本实施例中的仓储任务是否完成应理解为物资是否按照预设的流向完成运输。由于一次任务单据可能涉及多个作业场景，并且对于同一物资流向而言其所涉及的作业场景具有先后性，因此一个仓储任务中可能涉及一个或多个工作人员，当存在多个工作人员时可能因为物资流向未达到某个作业场景时而识别到工作人员处于空闲状态。

所以对于工作人员而言对于每个工作人员都识别场景(即步骤3针对每个工作人员执行)，对于仓储任务而言以最早识别到处于四类工作场景之一的工作人员对应的工作场景作为任务开始，以最迟识别到处于四类工作场景之一的工作人员对应的工作场景作为任务结束，也就是步骤4中的作业场景不包括空闲状态，而是处于四类工作场景之一的工作人员对应的工作场景。步骤7、根据作业场景的持续时间记录当前的任务单据的总工作时长，并按照预设的时间周期对仓储数据孪生中的数据进行统计，统计内容包括：物资出入库情况(可根据物资流向确定)以及每次出入库所需时间(可根据任务单据的总工作时长确定)、工作人员参与各类作业场景的时间、装卸设备的总运行时长。

在进行统计分析时，其预设的时间周期可以是月度、季度、年度等。其中对物资出入库情况以及每次出入库所需时间的统计可用于后续根据物资频度调整其在仓库中的位置，将高频物资放在出口处；对工作人员参与各类作业场景的时间的统计可用于后续根据人员参与场景时间以及工作的效率进行综合考评；对装卸设备的总运行时长可用于后续平衡同类设备运行的时长，避免设备因过度运行而迅速老化。

本实施例通过多传感器融合，精细化实现物资仓储作业流程的数字孪生，提升仓储管控的效率，将仓储作业数字化，为仿真、决策等高层应用打下基础。其中仿真可以是根据历史作业情况，根据物资和数量最接近做匹配，分析新的任务单据所需作业时间，决策可以是上述提及的统计分析的应用等。

在另一个实施例中，提供一种基于多传感器融合的仓储数字孪生的系统，即一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器(例如图像分析服务器、数据库服务器)、存储器、网络接口、显示屏(例如用于通过web页面形式展示统计数据。虚拟场景的三维模型部分采用threejs(webGL)库进行展示)和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于多传感器融合的仓储数字孪生的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

如图2所示，本实施例的计算机设备通过有线或无线与WMS系统、WCS系统、UWB室内定位系统(包括UWB数据服务器)、全景监控系统、RFID系统连接以获取数据。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。