具体实施方式

现在在下文中将参考附图更全面地描述本发明的各种实施方案，在附图中示出了本发明的一些但不是全部的实施方案。实际上，本发明可以许多不同的形式体现，并且不应该被解释为限于本文阐述的实施方案。相反，提供这些实施方案是为了使本公开满足适用的法律要求。除非另外指明，否则术语“或”在另选和结合意义上均用于本文。术语“例示性”、“示例”和“示例性”是用于没有质量水平指示的示例。在全篇内容中，类似的标号指代类似的元件。

短语“在一个实施方案中”、“根据一个实施方案”等一般意指跟在该短语后的特定特征、结构或特性可被包括在本公开的至少一个实施方案中，并且可被包括在本公开的多于一个实施方案中(重要的是，此类短语不一定是指相同的实施方案)。

词语“示例性的”在本文用来指“用作示例、实例或例证”。本文描述为“示例性”的任何实施方式不一定被理解为比其他实施方式优选的或有利的。

如果说明书陈述了部件或特征“可以”、“能够”、“能”、“应当”、“将”、“优选地”、“有可能地”、“通常”、“任选地”、“例如”、“经常”或“可能”(或其他此类词语)被包括或具有特性，则特定部件或特征不是必须被包括或具有该特性。此类部件或特征可任选地包括在一些实施方案中，或可排除在外。

在物料搬运环境(例如，配送中心、装运中心、仓库、工厂等)中，通常希望的是沿传送机系统的传送带传输物体(例如，包装、包裹、盒子、箱子、纸盒、货盘等)。传送机系统是机器人系统，其控制传送带以用于传输和/或分离物体。一般来讲，传送带由可编程逻辑单元控制，其中传送带的速度是固定的，以用于提供物体沿传送带的平稳流动。在某些传送机系统中，传送机系统的不同部分可包括具有不同速度的传送带。在其他传送机系统中，传送带的速度可基于物体沿传送带的位置而是可变的。例如，传送带的速度可以是可变的，其中物体的位置由集成在传送机系统中的视觉系统所提供的数据确定。

然而，传送机系统往往效率低下。在示例性传送机系统的情况下，可经由与传送机系统的分离和/或致动器相关联的斜槽将许多物体提供给传送机系统的传送带(例如，可由传送机系统的致动器拾取或扫掠物体)。在某些情况下，传送带上的大量物体可能导致传送带上的堵塞(例如，传送带上的特定位置处的物体数量过多)，这导致物体沿传送带的传输的延迟和/或从传送带卸载物体的延迟。此外，在某些情况下，由于传送带上的特定位置处的物体数量过多，与传送机系统的视觉系统相关联的用于识别物体的传送机筛分过程的准确性和/或效率可能降低。

因此，为了解决这些和/或其他问题，本文公开了基于强化学习的传送控制。本文所公开的基于强化学习的传送控制可用于例如提供改进的传送机系统，该改进的传送机系统具有改进的性能、改进的效率、改进的物体流动和/或改进的物体分离。在一个实施方案中，可经由机器学习来改进对传送机系统的传送带的速度的控制。例如，可采用训练来控制传送带，并且可采用机器学习来清除与传送机系统相关联的堵塞。在一个方面，可实现基于一种或多种机器学习技术来训练的学习智能体，以控制传送机系统的一个或多个部分。例如，学习智能体可提供基于一种或多种机器学习技术来确定的一个或多个控制信号，以控制用于传送机系统的传送带的速度和/或用于传送机系统的传送带的方向。在某些实施方案中，可在模拟期间采用多个学习智能体来进行域随机化训练，以便使实际数据和模拟数据之间的差异最小化。域随机化可使得能够在传送机系统的实时操作期间进行模拟和/或执行方面的训练。

在某些实施方案中，可采用与多个传送机系统相关联的模拟来训练和/或收集数据，以训练用于传送机系统的一个或多个强化学习智能体。在某些实施方案中，训练过程还可采用域随机化来使真实数据和模拟数据之间的差异最小化。在一个实施方案中，可并行地(例如，大致同时地)利用多个传送机系统来训练两个不同的机器学习模型。例如，可并行地训练不同的学习智能体。这两个不同的机器学习模型可相互依赖。例如，第一机器学习模型可使用强化学习来学习用于传送带的最佳带速的一个或多个控制策略。除此之外或另选地，第一机器学习模型可学习用于与传送机系统相关联的堵塞恢复(例如，以减轻堵塞状况)的一个或多个控制策略。此外，第二机器学习模型可采用卷积神经网络来从由传送机系统的视觉系统捕获的数据学习物体位姿。物体位姿可包括例如物体的平移和/或旋转。

在另一实施方案中，可采用与强化学习相关联的第一机器学习模型和与卷积神经网络相关联的第二机器学习模型来促进对传送机系统的控制。在一个具体实施中，传送机系统的视觉系统(例如，二维(2D)视觉传感器和/或三维(3D)视觉传感器)可扫描传送带以查找一个或多个物体。在某些实施方案中，视觉系统的成像设备(例如，RGB图像传感器)可捕获与传送带相关联的一个或多个RGB图像。然后，可将由传送机系统捕获的数据提供给与卷积神经网络相关联的第二机器学习模型，以确定一个或多个物体的物体位姿数据(例如，位置和/或取向)。基于物体位姿数据，与强化学习相关联的第一机器学习模型可采用一个或多个控制策略来确定与传送机系统的传送带的带速控制相关的速度控制数据。在某些实施方案中，速度控制数据可控制传送带的一个或多个致动器。

在又一实施方案中，可采用强化学习过程来学习与用于传送机系统的传送带的速度和/或传送机系统的传送带的方向相关的一个或多个控制策略。在某些实施方案中，可采用强化学习过程来初始学习与传送机系统的传送带的传送相关的一个或多个控制策略。另外，在学习了与传送相关的一个或多个控制策略之后的稍后阶段，可采用一个或多个控制策略来清除与传送机系统的传送带相关联的堵塞。因此，本文所公开的基于强化学习的传送控制可采用强化学习过程，以基于与传送相关的一个或多个控制策略来演进到用于堵塞恢复的控制策略。

在某些实施方案中，模拟到真实架构可采用模拟数据和/或真实数据来促进强化学习过程。在一个方面，模拟到真实架构可在模拟中训练时采用域随机化。在一个实施方案中，多个工作者系统(例如，传送机系统的相同模拟的多个实例)可并行地实现，其中一个或多个模拟方面在多个工作者之间是不同的。例如，对于传送机系统的不同模拟，经由传送带传输的物体(例如，盒子)的颜色可不同。在另一示例中，可针对传送机系统的不同模拟更改(例如，增大)深度噪声。在某些实施方案中，模拟数据和真实数据两者均可用于传送机系统的训练过程，其中训练过程所采用的传送机系统的模拟数据的量大于训练过程所采用的真实数据的量，以使仅对模拟数据的过度拟合最小化。

因此，可提供具有改进的性能、改进的效率、改进的物体流动和/或改进的物体分离的改进的传送机系统。

图1示出了提供可在其中实现本公开的一个或多个实施方案的一个或多个所述特征的示例性环境的系统100。根据一个实施方案，系统100包括机器学习传送机系统102，以促进传送机系统的基于强化学习的传送控制的实际应用。在一个实施方案中，机器学习传送机系统102可以是为传送机系统提供基于强化学习的传送控制的处理设备。在非限制性实施方案中，机器学习传送机系统102可以是用于传送机系统的学习智能体设备。机器学习传送机系统102可与促进传送机系统的基于强化学习的传送控制的一种或多种技术相关。此外，机器学习传送机系统102可提供对一种或多种技术的改进，诸如传送机系统技术、传送带技术、致动器技术、机器人技术、物料搬运技术、分拣系统技术、成像技术、扫描技术、数字技术和/或其他技术。在一个具体实施中，机器学习传送机系统102可改进传送机系统的性能。例如，与常规传送机系统相比，机器学习传送机系统102可为传送机系统提供改进的效率、改进的物体流动和/或改进的物体分离。

机器学习传送机系统102可包括物体位姿估计部件104、强化学习部件106和/或传送机系统控制部件108。另外，在某些实施方案中，机器学习传送机系统102可包括处理器110和/或存储器112。在另选的实施方案中，传送机系统控制部件108可与机器学习传送机系统102分开实现(例如，传送机系统控制部件108可在传送控制设备和/或传送系统内实现)。在某些实施方案中，机器学习传送机系统102(和/或本文所公开的其他系统、装置和/或过程)的一个或多个方面可构成体现在计算机可读存储介质(例如，存储器112)内的可执行指令。例如，在一个实施方案中，存储器112可存储计算机可执行部件和/或可执行指令(例如，程序指令)。此外，处理器110可促进计算机可执行部件和/或可执行指令(例如，程序指令)的执行。在示例性实施方案中，处理器110可被配置为执行存储在存储器112中或可以其他方式供处理器110访问的指令。

处理器110可以是能够执行根据本公开的一个或多个实施方案的操作的硬件实体(例如，物理地体现在电路中)。另选地，在其中处理器110被体现为软件指令的执行器的实施方案中，软件指令可将处理器110配置为响应于软件指令被执行而执行本文所述的一个或多个算法和/或操作。在一个实施方案中，处理器110可以是单核处理器、多核处理器、机器学习传送机系统102内部的多个处理器、远程处理器(例如，在服务器上实现的处理器)和/或虚拟机。在某些实施方案中，处理器110经由总线与存储器112、物体位姿估计部件104、强化学习部件106和/或传送机系统控制部件108通信，以例如促进在处理器110、存储器112、物体位姿估计部件104、强化学习部件106和/或传送机系统控制部件108之间传输数据。处理器110可以多种不同的方式体现，并且在某些实施方案中，可包括被配置为独立地执行的一个或多个处理设备。除此之外或另选地，处理器110可包括经由总线串联配置的一个或多个处理器，以实现对指令的独立执行、对数据的流水线和/或对指令的多线程执行。存储器112可为非暂态的，并且可包括例如一个或多个易失性存储器和/或一个或多个非易失性存储器。换句话讲，例如，存储器112可为电子存储设备(例如，计算机可读存储介质)。存储器112可被配置为存储信息、数据、内容、一个或多个应用程序、一个或多个指令等，以使机器学习传送机系统102能够执行根据本文所公开的一个或多个实施方案的各种功能。如本文在本公开中所使用，术语“部件”、“系统”等可为和/或可包括计算机相关实体。例如，本文所公开的“部件”、“系统”等可以是硬件、软件或硬件和软件的组合。例如，部件可以是但不限于在处理器上执行的过程、处理器、电路、可执行部件、指令线程、程序和/或计算机实体。

机器学习传送机系统102(例如，机器学习传送机系统102的物体位姿估计部件104)可接收传感器数据114。传感器数据114可包括与一个或多个物体相关联的一个或多个图像(例如，一个或多个2D图像和/或一个或多个3D图像)。除此之外或另选地，传感器数据114可包括与一个或多个物体相关联的3D点云数据。在一个实施方案中，传感器数据114可由扫描一个或多个传送带和/或一个或多个传送机系统的视觉系统捕获。一个或多个物体可以是经由传送机系统的传送带传输的一个或多个物理项、一个或多个元件、一个或多个设备等。例如，一个或多个物体可以是一个或多个包装、一个或多个包裹、一个或多个盒子、一个或多个箱子、一个或多个纸盒、一个或多个货盘和/或在物料搬运环境(例如，配送中心、装运中心、仓库、工厂等)中经由传送机系统的传送带传输的一个或多个其他物体。在某些实施方案中，一个或多个物体可以是位置不固定的一个或多个动态物体。例如，一个或多个物体可经由传送机系统的传送带运进、运出或以其他方式移动。来自一个或多个物体的物体可包括某个尺寸、某个形状、某个颜色和/或另一物理特性。来自一个或多个物体的物体还可包括相对于传送带的某个位置和/或相对于传送带的某个取向。例如，来自一个或多个物体的物体可包括x轴位置值Tx、y轴位置值Ty、z轴位置值Tz和/或旋转值Rz。

在一个实施方案中，传感器数据114可以是包括用于一个或多个图像的多个像素的成像数据。例如，多个像素中的每个像素可表示场景中与物体相关的点。在一个方面，多个像素中的每个像素可包括颜色数据、强度数据和/或深度数据。颜色信息可以一种或多种配色方案的形式表示，诸如但不限于RGB配色方案、CMYK配色方案、单色配色方案、灰度配色方案和/或另一种类型的配色方案。强度数据可表示与每个像素相关联的亮度。深度数据可对应于由相应像素表示的相应点距捕获一个或多个图像的视觉系统的距离。在示例性实施方案中，传感器数据114的一个或多个图像可以一种或多种格式编码和/或表示，诸如JPEG、位图、PNG、RAW和/或另一种类型的格式。

物体位姿估计部件104可确定与传感器数据114相关的一个或多个物体的物体位姿数据。在一个实施方案中，物体位姿估计部件104可采用机器学习模型，以基于传感器数据114中包括的一个或多个图像来确定物体位姿数据。在一个方面，物体位姿估计部件104所采用的机器学习模型可以是被训练用于物体位姿估计的机器学习模型。在另一方面，与传感器数据114相关联的一个或多个图像可作为与物体位姿估计相关联的机器学习模型的输入提供。在一个实施方案中，机器学习模型可以是卷积神经网络，该卷积神经网络被训练以从图像识别物体位姿。例如，在一个实施方案中，卷积神经网络可以是深度神经网络，其被训练为基于一系列卷积层、一个或多个池化层、一个或多个全连接层和/或一个或多个归一化层之间的共享权重架构和/或平移不变性特性来分析视觉表象。

在一个实施方案中，物体位姿数据可包括与传感器数据114相关的一个或多个物体的位置数据。例如，物体位姿估计部件104可采用与物体位姿估计相关联的机器学习模型，以基于包括在传感器数据114中的一个或多个图像来确定位置数据(例如，与传感器数据114相关的一个或多个物体的位置数据)。位置数据可以是例如平移数据，该平移数据包括来自与传感器数据114相关的一个或多个物体的每个物体的x轴位置值Tx、y轴位置值Ty和/或z轴位置值Tz。

在另一实施方案中，物体位姿数据可除此之外或另选地包括与传感器数据114相关的一个或多个物体的取向数据。例如，物体位姿估计部件104可采用与物体位姿估计相关联的机器学习模型，以基于包括在传感器数据114中的一个或多个图像来确定取向数据(例如，与传感器数据114相关的一个或多个物体的取向数据)。取向数据可以是例如来自与传感器数据114相关的一个或多个物体的每个物体的取向值Rz。

强化学习部件106可采用一组控制策略，以基于物体位姿数据来为传送机系统的传送带生成速度控制数据116。例如，强化学习部件106可采用一组控制策略，以基于位置数据和/或取向数据来为传送机系统的传送带生成速度控制数据116。在某些实施方案中，速度控制数据116可包括某一值，以增大或减小传送机系统的当前速度。例如，速度控制数据116可包括某个正值，以将传送机系统的传送带的速度增加某个量。在另一示例中，速度控制数据116可包括某个负值，以将传送机系统的传送带的速度减小某个量。除此之外或另选地，在某些实施方案中，速度控制数据116可包括某一值，以控制传送机系统的传送带的方向。例如，速度控制数据116可包括某个值(例如，第一二进制值)以在向前方向上控制传送机系统的传送带的方向。在另一示例中，速度控制数据116可包括另一值(例如，第二二进制值)，以在向后方向上控制传送机系统的传送带的方向。该组控制策略可以是基于强化学习而为传送机系统的传送带生成的一个或多个控制策略。该组控制策略可确定用于控制传送机系统的传送带的速度和/或方向。例如，该组控制策略可以是为传送机系统的传送带提供最佳带速的一个或多个控制策略。该组控制策略可包括一个或多个规则和/或一个或多个动作，以促进传送机系统的传送带的最佳带速和/或减轻与传送机系统的传送带相关联的堵塞状况。一个或多个规则和/或一个或多个动作可与一个或多个物体从传送带和/或传送带系统的某个区域的移动相关。除此之外或另选地，一个或多个规则和/或一个或多个动作可与一个或多个物体相对于传送带和/或传送带系统的一定程度的向前移动或一定程度的向后移动相关。除此之外或另选地，一个或多个规则和/或一个或多个动作可与一个或多个物体相对于传送带和/或传送带系统的运动路径相关。此外，经由强化学习过程训练的机器学习模型可生成该组控制策略。强化学习过程可与和多个传送机系统相关联的模拟相关，以便确定传送机系统的传送带的最佳带速。在一个实施方案中，强化学习部件106可采用机器学习模型，以基于来自与物体位姿数据相关的一组控制策略中的一个或多个控制策略来确定传送机系统的传送带的速度控制数据116。速度控制数据116可以是例如传送机系统的传送带的一个或多个带速。

传送机系统控制部件108可基于速度控制数据116来为传送机系统生成一个或多个控制信号。例如，传送机系统控制部件108可基于速度控制数据116来为传送机系统的传送带生成一个或多个控制信号。在某些实施方案中，传送机系统控制部件108可基于速度控制数据116来为传送机系统的一个或多个致动器生成一个或多个控制信号。在某些实施方案中，传送机系统控制部件108可基于速度控制数据116来修改传送机系统的传送带的一个或多个设置。传送机系统控制部件108可为传送机系统生成一个或多个控制信号，以促进例如与传送机系统的传送带相关联的堵塞回收和/或改进的物体流动。因此，机器学习传送机系统102可向传送机系统提供速度控制数据116和/或与速度控制数据相关联的一个或多个控制信号，以改进传送机系统的性能，改进传送机系统的效率，改进经由传送机系统的传送带传输的物体流动，和/或改进经由传送机系统的传送带传输的物体分离。

图2示出了提供可在其中实现本公开的一个或多个实施方案的一个或多个所述特征的示例性环境的系统200。根据一个实施方案，系统200包括机器学习训练系统202，以促进训练用于传送机系统的基于强化学习的传送控制的一个或多个机器学习模型的实际应用。机器学习训练系统202可与促进传送机系统的基于强化学习的传送控制的一种或多种技术相关。此外，机器学习训练系统202可提供对一种或多种技术的改进，诸如传送机系统技术、传送带技术、致动器技术、机器人技术、物料搬运技术、分拣系统技术、成像技术、扫描技术、数字技术、机器学习技术和/或其他技术。在一个具体实施中，机器学习训练系统202可促进用于传送机系统的基于强化学习的传送控制的一个或多个改进的机器学习模型的生成。

机器学习训练系统202可包括物体位姿估计训练部件204和/或强化学习训练部件206。另外，在某些实施方案中，机器学习训练系统202可包括处理器210和/或存储器212。在某些实施方案中，机器学习训练系统202(和/或本文所公开的其他系统、装置和/或过程)的一个或多个方面可构成体现在计算机可读存储介质(例如，存储器212)内的可执行指令。例如，在一个实施方案中，存储器212可存储计算机可执行部件和/或可执行指令(例如，程序指令)。此外，处理器210可促进计算机可执行部件和/或可执行指令(例如，程序指令)的执行。在示例性实施方案中，处理器210可被配置为执行存储在存储器212中或可以其他方式供处理器210访问的指令。

处理器210可以是能够执行根据本公开的一个或多个实施方案的操作的硬件实体(例如，物理地体现在电路中)。另选地，在其中处理器210被体现为软件指令的执行器的实施方案中，软件指令可将处理器210配置为响应于软件指令被执行而执行本文所述的一个或多个算法和/或操作。在一个实施方案中，处理器210可以是单核处理器、多核处理器、机器学习训练系统202内部的多个处理器、远程处理器(例如，在服务器上实现的处理器)和/或虚拟机。在某些实施方案中，处理器210经由总线与存储器212、物体位姿估计训练部件204和/或强化学习训练部件206通信，以例如促进在处理器210、存储器212、物体位姿估计训练部件204和/或强化学习训练部件206之间传输数据。处理器210可以多种不同的方式体现，并且在某些实施方案中，可包括被配置为独立地执行的一个或多个处理设备。除此之外或另选地，处理器210可包括经由总线串联配置的一个或多个处理器，以实现对指令的独立执行、对数据的流水线和/或对指令的多线程执行。存储器212可为非暂态的，并且可包括例如一个或多个易失性存储器和/或一个或多个非易失性存储器。换句话讲，例如，存储器212可为电子存储设备(例如，计算机可读存储介质)。存储器212可被配置为存储信息、数据、内容、一个或多个应用程序、一个或多个指令等，以使机器学习训练系统202能够执行根据本文所公开的一个或多个实施方案的各种功能。如本文在本公开中所使用，术语“部件”、“系统”等可为和/或可包括计算机相关实体。例如，本文所公开的“部件”、“系统”等可以是硬件、软件或硬件和软件的组合。例如，部件可以是但不限于在处理器上执行的过程、处理器、电路、可执行部件、指令线程、程序和/或计算机实体。

机器学习训练系统202(例如，机器学习训练系统202的物体位姿估计训练部件204)可接收训练数据214。训练数据214可包括与一个或多个物体相关联的一个或多个图像(例如，一个或多个2D图像和/或一个或多个3D图像)，以促进用于物体位姿估计的机器学习模型的训练。在一个实施方案中，训练数据214可由扫描一个或多个传送带和/或一个或多个传送机系统的视觉系统捕获。一个或多个物体可以是经由传送机系统的传送带传输的一个或多个物理项、一个或多个元件、一个或多个设备等。例如，一个或多个物体可以是一个或多个包装、一个或多个包裹、一个或多个盒子、一个或多个箱子、一个或多个纸盒、一个或多个货盘和/或在物料搬运环境(例如，配送中心、装运中心、仓库、工厂等)中经由传送机系统的传送带传输的一个或多个其他物体。在某些实施方案中，一个或多个物体可以是位置不固定的一个或多个动态物体。例如，一个或多个物体可经由传送机系统的传送带运进、运出或以其他方式移动。来自一个或多个物体的物体可包括某个尺寸、某个形状、某个颜色和/或另一物理特性。来自一个或多个物体的物体还可包括相对于传送带的某个位置和/或相对于传送带的某个取向。例如，来自一个或多个物体的物体可包括x轴位置值Tx、y轴位置值Ty、z轴位置值Tz和/或旋转值Rz。

在一个方面，训练数据214可以是包括用于一个或多个图像的多个像素的成像数据。例如，多个像素中的每个像素可表示场景中与物体相关的点。在一个方面，多个像素中的每个像素可包括颜色数据、强度数据和/或深度数据。颜色信息可以一种或多种配色方案的形式表示，诸如但不限于RGB配色方案、CMYK配色方案、单色配色方案、灰度配色方案和/或另一种类型的配色方案。强度数据可表示与每个像素相关联的亮度。深度数据可对应于由相应像素表示的相应点距捕获一个或多个图像的视觉系统的距离。在示例性实施方案中，训练数据214的一个或多个图像可以一种或多种格式编码和/或表示，诸如JPEG、位图、PNG、RAW和/或另一种类型的格式。

物体位姿估计训练部件204可基于训练数据214来训练与物体位姿估计相关联的机器学习模型。例如，由物体位姿估计训练部件204训练的机器学习模型可以是被训练用于物体位姿估计的机器学习模型。在一个方面，与训练数据214相关联的传感器数据(例如，一个或多个图像)可作为与物体位姿估计相关联的机器学习模型的输入提供。在一个实施方案中，机器学习模型可以是卷积神经网络，其基于从模拟所收集的训练数据214进行训练以识别物体位姿。例如，在一个实施方案中，卷积神经网络可以是深度神经网络，其基于训练数据214进行训练，以基于一系列卷积层、一个或多个池化层、一个或多个全连接层和/或一个或多个归一化层之间的共享权重架构和/或平移不变性特性来分析视觉表象。在某些实施方案中，物体位姿估计训练部件204可采用训练数据214来修改与物体位姿估计相关联的机器学习模型的一个或多个卷积层的一个或多个权重和/或一个或多个参数。

强化学习训练部件206可训练模型(例如，机器学习模型)，以基于物体位姿数据来学习用于传送带的最佳速度控制的一组控制策略。例如，强化学习训练部件206可训练模型(例如，机器学习模型)，以基于与训练数据214相关联的物体的位置数据和/或取向数据来学习用于传送带的最佳速度控制的一组控制策略。该组控制策略可以是基于强化学习而为传送机系统的传送带生成的一个或多个控制策略。例如，该组控制策略可以是为传送机系统的传送带提供最佳带速的一个或多个控制策略。在某些实施方案中，强化学习训练部件206可采用与和多个传送机系统相关联的模拟相关的强化学习过程，以便确定用于传送带的最佳速度控制的一组控制策略。

图3示出了提供可在其中实现本公开的一个或多个实施方案的一个或多个所述特征的示例性环境的系统300。系统300包括传送控制设备302，该传送控制设备确定传送机系统304的速度控制数据(例如，速度控制数据116)。在一个实施方案中，传送控制设备302包括机器学习传送机系统102和/或视觉系统306。另外，在一个实施方案中，传送机系统304包括传送带308和一个或多个物体310₁至310_N，其中N是整数。传送带308可以是通过传送机系统304传输、引导和/或路由一个或多个物体310₁至310_N的机构。一个或多个物体310₁至310_N可以是例如一个或多个包装、一个或多个包裹、一个或多个盒子、一个或多个箱子、一个或多个纸盒、一个或多个货盘和/或一个或多个其他物体。在一个方面，传送带308可与传送机系统304的接收通道、传送机系统304的累积缓冲通道、传送机系统304的装运通道或传送机系统304的另一通道相关联。在一个实施方案中，传送带308可与恒定高度相关联。在另一实施方案中，传送带可与可变高度(例如，一个或多个高度变化)相关联。传送机系统304可以是例如箱式传送机、搬运箱式传送机、塑料袋式传送机、传输传送机、货盘式传送机、累积式传送机、垂直式分度传送机或另一种类型的传送机系统。在某些实施方案中，传送机系统304的至少一部分可以是分拣系统。例如，在某些实施方案中，传送机系统304可以是扫臂式分拣机、带条式分拣机、交叉带式分拣机、翻盘式分拣机、推盘式分拣机、滑靴式分拣机、弹出轮式分拣机、垂直分拣机或另一种类型的分拣机系统。在一个实施方案中，传送机系统304可另外包括致动器312。致动器312可以是将旋转运动转换为传送带308的线性运动的设备。在一个实施方案中，致动器312可以是采用马达来控制传送带308的速度的电动线性致动器。

在一个实施方案中，视觉系统306可扫描传送机系统304以生成传感器数据114。例如，视觉系统306可包括一个或多个传感器，该一个或多个传感器被配置为扫描传送带308以生成与一个或多个物体310₁至310_N相关联的一个或多个图像。在一个实施方案中，视觉系统306可包括一个或多个成像设备(例如，一个或多个图像捕获设备)，诸如一个或多个相机(例如，一个或多个相机单元、一个或多个2D相机、一个或多个3D相机等)。例如，视觉系统306可包括一个或多个图像传感器(例如，一个或多个CMOS传感器、一个或多个CCD传感器等)，以便于生成与一个或多个物体310₁至310_N相关的一个或多个图像。在某些实施方案中，视觉系统306可除此之外或另选地生成与一个或多个物体310₁至310_N相关的3D点云数据。在某些实施方案中，视觉系统306可包括被配置为控制视觉系统306的嵌入式处理器(例如，不同于机器学习传送机系统102的处理器110的嵌入式处理器)。

机器学习传送机系统102可接收由视觉系统306生成的传感器数据114。此外，机器学习传送机系统102(例如，物体位姿估计部件104、强化学习部件106和/或传送机系统控制部件108)可采用传感器数据114来为传送机系统304的传送带308执行物体位姿估计、强化学习和/或传送机系统控制。例如，基于由视觉系统306生成的传感器数据114，机器学习传送机系统102(例如，物体位姿估计部件104、强化学习部件106和/或传送机系统控制部件108)可为传送机系统304的传送带308生成速度控制数据116。在某些实施方案中，可将由机器学习传送机系统102生成的速度控制数据116和/或与速度控制数据116相关联的一个或多个控制信号提供给传送机系统304的致动器312，以控制传送机系统304的传送带308的速度。因此，传送机系统304可设置有改进的性能、改进的效率、一个或多个物体310₁至310_N的改进的流动和/或一个或多个物体310₁至310_N的改进的分离。

在另选的实施方案中，可在服务器系统314上实现机器学习传送机系统102的至少一部分。例如，在某些实施方案中，视觉系统306可经由网络316将传感器数据114(例如，经处理的传感器数据)传输到在服务器系统314上实现的机器学习传送机系统102的至少一部分。网络316可以是采用无线技术和/或有线技术在视觉系统306和服务器系统314之间传输数据的通信网络。例如，网络316可以是Wi-Fi网络、近场通信(NFC)网络、全球微波接入互操作(WiMAX)网络、个人局域网(PAN)、短程无线网络(例如，网络)、红外无线(例如，IrDA)网络、超宽带(UWB)网络、感应无线传输网络和/或另一种类型的网络。

图4示出了根据本公开的一个或多个实施方案的系统400。系统400包括视觉系统306和多个传送机系统304₁至304_M，其中M是整数。在一个实施方案中，视觉系统306可扫描多个传送机系统304₁至304_M。例如，视觉系统306可扫描由传送机系统304₁的第一传送带提供的一个或多个第一物体、由传送机系统304₂的第二传送带提供的一个或多个第二物体等。在另一实施方案中，机器学习传送机系统102可确定由传送机系统304₁的第一传送带提供的一个或多个第一物体的第一物体位姿数据、由传送机系统304₂的第二传送带提供的一个或多个第二物体的第二物体位姿数据等。例如，在一个实施方案中，视觉系统306可生成由传送机系统304₁的第一传送带提供的一个或多个第一物体的第一图像传感器数据(例如，一个或多个第一图像)、由传送机系统304₂的第二传送带提供的一个或多个第二物体的第二图像传感器数据(例如，一个或多个第二图像)等。此外，机器学习传送机系统102可为多个传送机系统304₁至304_M执行相应的物体位姿估计、强化学习和/或传送机系统控制。

图5示出了根据本公开的一个或多个实施方案的系统500。系统500包括视觉系统306、卷积神经网络502、控制策略引擎504和/或传送带致动引擎506。在一个实施方案中，视觉系统306提供传感器数据114作为对卷积神经网络502的输入。在一个示例中，传感器数据114可被格式化为一个或多个RGB图像。在另一示例中，传感器数据114可被格式化为3D点云数据。然而，应当理解，传感器数据114可以是不同类型的成像数据。卷积神经网络502可被训练用于物体位姿估计。例如，卷积神经网络502可被训练为从传感器数据114识别物体位姿。卷积神经网络502可以是深度神经网络，其包括一系列卷积层、一个或多个池化层、一个或多个全连接层和/或一个或多个归一化层以促进物体位姿估计。在一个方面，卷积神经网络502可确定一个或多个分类、一个或多个相关性、一个或多个推断、一个或多个模式、一个或多个特征和/或其他信息，以促进物体位姿估计并生成与传感器数据114相关的物体位姿数据503。

在某些实施方案中，卷积神经网络502的处理可与图像识别、图像分析、3D点云和/或计算机视觉相关联以促进物体位姿估计。在一个方面，卷积神经网络502可基于与传送机系统的场景中与传感器数据114相关联的相应点的x轴坐标、y轴坐标和/或z轴坐标相关联的坐标系来确定包括在传感器数据114中的一个或多个物体的位置数据和/或取向数据。例如，卷积神经网络502可采用坐标系中的二维特征或三维特征的映射来确定包括在传感器数据114中的一个或多个物体的位置数据和/或取向数据。在某些实施方案中，卷积神经网络502可采用一个或多个物体分离掩模来识别包括在传感器数据114中的一个或多个物体的一个或多个几何特征。几何特征可包括例如物体的拐角、物体的边缘、物体的部分、物体的兴趣点、物体的兴趣点区域和/或物体的另一类型的几何特征。

在一个实施方案中，卷积神经网络502可基于传感器数据114来生成物体位姿数据503。物体位姿数据503可包括与传感器数据114相关的一个或多个物体的位置数据。例如，在一个实施方案中，卷积神经网络502可基于包括在传感器数据114中的一个或多个图像来确定位置数据(例如，与传感器数据114相关的一个或多个物体的位置数据)。在另一实施方案中，卷积神经网络502可基于包括在传感器数据114中的3D点云数据来确定位置数据(例如，与传感器数据114相关的一个或多个物体的位置数据)。包括在物体位姿数据503中的位置数据可包括来自与传感器数据114相关的一个或多个物体的每个物体的相对于坐标系的x轴位置值Tx、y轴位置值Ty和/或z轴位置值Tz。在另一实施方案中，物体位姿数据503可除此之外或另选地包括与传感器数据114相关的一个或多个物体的取向数据。例如，在一个实施方案中，卷积神经网络502可基于包括在传感器数据114中的一个或多个图像来确定取向数据(例如，与传感器数据114相关的一个或多个物体的取向数据)。在另一实施方案中，卷积神经网络502可基于包括在传感器数据114中的3D点云数据来确定取向数据(例如，与传感器数据114相关的一个或多个物体的取向数据)。包括在物体位姿数据503中的取向数据可包括来自与传感器数据114的一个或多个物体的每个物体的相对于坐标系的取向值Rz。

控制策略引擎504可基于物体位姿数据503来确定速度控制数据116。在一个实施方案中，控制策略引擎504可采用该组控制策略，以基于物体位姿数据503来选择速度控制数据116。该组控制策略可以是控制传送带(例如，控制传送带的致动)以用于传送带的最佳速度控制的一个或多个策略。例如，控制策略引擎504可采用物体位姿数据503和该组控制策略来确定传送带(例如，控制传送带的致动器)的速度控制数据116。在一个示例中，控制策略可以是促进传送机系统的传送带的最佳带速和/或减轻与传送机系统的传送带相关联的堵塞状况的动作和/或规则。除此之外或另选地，控制策略可与一个或多个物体从传送带和/或传送带系统的特定区域的移动相关。除此之外或另选地，控制策略可与一个或多个物体相对于传送带和/或传送带系统的一定程度的向前移动或一定程度的向后移动相关。除此之外或另选地，控制策略可以是一个或多个物体相对于传送带和/或传送带系统的运动路径。

传送带致动引擎506可将速度控制数据116应用于传送机系统的传送带。例如，传送带致动引擎506可将速度控制数据116应用于控制传送机系统的致动器。在一个实施方案中，传送带致动引擎506可经由与速度控制数据116相关联的一个或多个控制信号来将速度控制数据116提供给致动器。在某些实施方案中，一个或多个控制信号可包括某一值，以增大或减小传送机系统的传送带的当前速度。例如，一个或多个控制信号可包括某个正值，以将传送机系统的传送带的速度增加某个量。在另一示例中，一个或多个控制信号可包括某个负值，以将传送机系统的传送带的速度减小某个量。除此之外或另选地，一个或多个控制信号可包括括某一值，以控制传送机系统的传送带的方向。例如，一个或多个控制信号可包括某个特定值(例如，第一二进制值)以在向前方向上控制传送机系统的传送带的方向。在另一示例中，一个或多个控制信号可包括另一值(例如，第二二进制值)以在向后方向上控制传送机系统的传送带的方向。

图6示出了根据本公开的一个或多个实施方案的系统600。系统600包括用于与物体位姿估计相关联的机器学习的过程602。系统600还包括用于与强化学习相关联的机器学习的过程604。在一个实施方案中，过程602可以是由物体位姿估计部件104和/或卷积神经网络502执行的过程。此外，过程604可以是由强化学习部件106和/或控制策略引擎504执行的过程。过程602可基于传感器数据114来执行与物体位姿估计相关联的机器学习。在某些实施方案中，过程604可采用与机器学习相关联的图像识别、与机器学习相关联的图像分析和/或与机器学习相关联的计算机视觉来促进物体位姿估计。在一个方面，过程604可执行与物体位姿估计相关联的机器学习，以确定一个或多个分类、一个或多个相关性、一个或多个推断、一个或多个模式、一个或多个特征和/或与包括在传感器数据114中的一个或多个物体的几何特征相关的其他信息。例如，过程604可执行与物体位姿估计相关联的机器学习，以确定包括在传感器数据114中的一个或多个物体的拐角、包括在传感器数据114中的一个或多个物体的边缘、包括在传感器数据114中的一个或多个物体的部分、包括在传感器数据114中的一个或多个物体的兴趣点、包括在传感器数据114中的一个或多个物体的兴趣点区域和/或包括在传感器数据114中的一个或多个物体的另一类型的几何特征。在另一方面，过程604可执行与物体位姿估计相关联的机器学习，以基于包括在传感器数据114中的一个或多个物体的几何特征来确定物体位姿数据503。

过程604可基于物体位姿数据503和/或控制策略数据606来执行与强化学习相关联的机器学习。控制策略数据606可包括一组控制策略，以提供与速度控制数据116相关联的最佳带速。控制策略数据606可以是基于与强化学习相关联的机器学习而为传送机系统的传送带生成的一个或多个控制策略。例如，控制策略数据606可包括一个或多个规则和/或一个或多个动作，以促进传送机系统的传送带的最佳带速和/或减轻与传送机系统的传送带相关联的堵塞状况。包括在控制策略数据606中的一个或多个规则和/或一个或多个动作可与一个或多个物体从传送带和/或传送带系统的特定区域的移动相关。除此之外或另选地，包括在控制策略数据606中的一个或多个规则和/或一个或多个动作可与一个或多个物体相对于传送带和/或传送带系统的一定程度的向前移动或一定程度的向后移动相关。除此之外或另选地，包括在控制策略数据606中的一个或多个规则和/或一个或多个动作可与一个或多个物体相对于传送带和/或传送带系统的运动路径相关。

图7示出了根据本公开的一个或多个实施方案的系统700。系统700包括用于训练用于物体位姿估计和/或强化学习的一个或多个机器学习模型的一个或多个训练过程。系统700包括一个或多个传送机系统模拟702₁至702_S，其中S是整数。在一个实施方案中，一个或多个传送机系统模拟702₁至702_S提供训练数据214。训练数据214可以是例如由在随机环境中配置的一个或多个传送机系统模拟702₁至702_S提供的模拟数据。例如，传送机系统模拟702₁可经由传送机系统模拟702₁的传送带传输具有第一颜色的一个或多个第一物体，传送机系统模拟702₂可经由传送机系统模拟702₂的传送带传输具有第二颜色的一个或多个第二物体等。除此之外或另选地，传送机系统模拟702₁的视觉系统可与第一深度噪声相关联，传送机系统模拟702₂的视觉系统可与第二深度噪声相关联等。除此之外或另选地，传送机系统模拟702₁可包括传送机系统模拟702₁的传送带的一个或多个第一设置，传送机系统模拟702₂可包括传送机系统模拟702₂的传送带的一个或多个第二设置等。在某些实施方案中，可由一个或多个传送机系统模拟702₁至702_S采用模拟数据和真实数据两者，其中一个或多个传送机系统模拟702₁至702_S所采用的模拟数据的量大于一个或多个传送机系统模拟702₁至702_S所采用的真实数据的量，以例如使仅对模拟数据的过度拟合最小化。在某些实施方案中，与一个或多个传送机系统模拟702₁至702_S相关联的模拟到真实架构可在训练时采用域随机化，以例如使真实数据与模拟数据之间的差距最小化。

在另一实施方案中，可基于训练数据214来执行物体位姿估计训练704和强化学习训练704。在一个实施方案中，物体位姿估计训练704可与物体位姿估计训练部件204相关联，并且强化学习训练704可与强化学习训练部件206相关联。在某些实施方案中，物体位姿估计训练704可例如与强化学习训练704并行地执行。物体位姿估计训练704可训练例如卷积神经网络(例如，卷积神经网络502)以基于训练数据214进行物体位姿估计。此外，强化学习训练704可确定一个或多个控制策略和/或可训练与强化学习相关联的机器学习模型，以基于训练数据214致动传送带。

图8示出了根据本文所述的一个或多个实施方案的用于促进基于强化学习的传送控制的计算机实现的方法800。例如，计算机实现的方法800可与机器学习传送机系统102相关联。在一个或多个实施方案中，计算机实现的方法800开始于由包括处理器的设备(例如，由物体位姿估计部件104)接收与经由传送机系统的传送带传输的一个或多个物体相关联的传感器数据(框802)。传感器数据可包括与一个或多个物体相关联的一个或多个图像(例如，一个或多个2D图像和/或一个或多个3D图像)。除此之外或另选地，传感器数据可包括与一个或多个物体相关联的3D点云数据。在一个实施方案中，传感器数据可以是包括用于一个或多个图像的多个像素的成像数据。例如，多个像素中的每个像素可表示场景中与物体相关的点。在一个实施方案中，传感器数据的一个或多个图像可以是一个或多个RGB图像。一个或多个物体可以是经由传送机系统的传送带传输的一个或多个物理项、一个或多个元件、一个或多个设备等。例如，一个或多个物体可以是一个或多个包装、一个或多个包裹、一个或多个盒子、一个或多个箱子、一个或多个纸盒、一个或多个货盘和/或在物料搬运环境(例如，配送中心、装运中心、仓库、工厂等)中经由传送机系统的传送带传输的一个或多个其他物体。

计算机实现的方法800还包括由设备(例如，由物体位姿估计部件104)通过采用基于传感器数据推断物体位姿数据的机器学习模型来确定与一个或多个物体相关联的物体位姿数据(框804)。在一个实施方案中，机器学习模型可以是基于传感器数据推断物体位姿数据的卷积神经网络。卷积神经网络可以是深度神经网络，其被训练为基于一系列卷积层、一个或多个池化层、一个或多个全连接层和/或一个或多个归一化层之间的共享权重架构和/或平移不变性特征来分析视觉表象以进行物体位姿估计。在另一实施方案中，确定物体位姿数据包括基于传感器数据来确定与一个或多个物体相关联的位置数据。位置数据可包括来自与传感器数据相关的一个或多个物体的每个物体的x轴位置值、y轴位置值和/或z轴位置值。除此之外或另选地，确定物体位姿数据包括基于传感器数据来确定与一个或多个物体相关联的取向数据。取向数据可以例如是来自与传感器数据相关的一个或多个物体的每个物体的取向值。

此外，计算机实现的方法800包括由设备(例如，由强化学习部件106)基于与物体位姿数据相关联的一组控制策略来为传送机系统的传送带生成速度控制数据(框806)。该组控制策略可以是基于强化学习而为传送机系统的传送带生成的一个或多个控制策略。例如，该组控制策略可以是为传送机系统的传送带提供最佳带速的一个或多个控制策略。在一个实施方案中，该组控制策略可包括一个或多个规则和/或一个或多个动作，以促进传送机系统的传送带的最佳带速和/或减轻与传送机系统的传送带相关联的堵塞状况。包括在该组控制策略中的一个或多个规则和/或一个或多个动作可与一个或多个物体从传送带和/或传送带系统的特定区域的移动相关。除此之外或另选地，包括在该组控制策略中的一个或多个规则和/或一个或多个动作可与一个或多个物体相对于传送带和/或传送带系统的一定程度的向前移动或一定程度的向后移动相关。除此之外或另选地，包括在该组控制策略中的一个或多个规则和/或一个或多个动作可与一个或多个物体相对于传送带和/或传送带系统的运动路径相关。在某些实施方案中，速度控制数据可包括某一值，以增大或减小传送机系统的当前速度。例如，速度控制数据可包括某个正值，以将传送机系统的传送带的速度增加某个量。在另一示例中，速度控制数据可包括某个负值，以将传送机系统的传送带的速度减小某个量。除此之外或另选地，在某些实施方案中，速度控制数据可包括某一值，以控制传送机系统的传送带的方向。例如，速度控制数据可包括某个值(例如，第一二进制值)，以在向前方向上控制传送机系统的传送带的方向。在另一示例中，速度控制数据可包括另一值(例如，第二二进制值)，以在向后方向上控制传送机系统的传送带的方向。

在某些实施方案中，计算机实现的方法800还包括由设备(例如，由物体位姿估计部件104)从扫描传送机系统的视觉系统接收传感器数据。在某些实施方案中，机器学习模型为第一机器学习模型，并且计算机实现的方法800还包括由设备(例如，由强化学习部件106)基于与和多个传送机系统相关的强化学习相关联的第二机器学习模型来生成该组控制策略。在某些实施方案中，计算机实现的方法800还包括由设备(例如，由物体位姿估计训练部件204和/或强化学习训练部件206)基于与多个传送机系统相关联的模拟数据来训练第一机器学习模型和/或第二机器学习模型。在某些实施方案中，计算机实现的方法800还包括由设备(例如，由传送机系统控制部件108)向传送机系统的致动器提供与速度控制数据相关联的控制信号。

在一些示例实施方案中，可如下所述修改或进一步放大本文中的操作中的一些。此外，在一些实施方案中，还可包括附加任选的操作。应当理解，本文描述的修改、任选的添加或扩增中的每一个可单独地或与本文描述的特征中的任何其他特征组合地包括在本文的操作中。

提供前述方法描述和过程流程图仅作为说明性示例，并且不旨在要求或暗示必须以所呈现的顺序执行各种实施方案的步骤。如本领域技术人员将理解的，上述实施方案中的步骤顺序可以以任何顺序执行。词语诸如“之后”、“然后”、“下一个”等并不旨在限制步骤的顺序；这些词只是用来引导读者了解方法的描述。此外，例如，使用冠词“一个”、“一种”或“该”对单数形式的权利要求元素的任何引用都不应被解释为将元素限制为单数。

用于实现结合本文所公开的各方面描述的各种例示性逻辑、逻辑块、模块和电路的硬件可以包括通用处理器、数字信号处理器(DSP)、专用处理器诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)、可编程逻辑设备、离散栅极或晶体管逻辑、离散硬件部件或它们的被设计用于执行本文描述的功能的任何组合。通用处理器可以是微处理器，然而，另选地，处理器可以是任何处理器、控制器、微控制器或状态机。处理器可还被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、结合DSP核心的一个或多个微处理器、或者任何其他此类配置。另选地或除此之外，一些步骤或方法可以通过特定于给定功能的电路来执行。

在一个或多个示例性实施方案中，本文描述的功能可由专用硬件或由固件或其他软件编程的硬件的组合来实现。在依赖于固件或其他软件的实现方式中，可由于存储在一个或多个非暂态计算机可读介质和/或一个或多个非暂态处理器可读介质上的一个或多个指令的执行来执行这些功能。这些指令可由驻留在一个或多个非暂态计算机可读或处理器可读存储介质上的一个或多个处理器可执行软件模块来体现。在这方面，非暂态计算机可读或处理器可读存储介质可包括可由计算机或处理器访问的任何存储介质。作为示例而非限制，这种非暂态计算机可读或处理器可读介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、FLASH存储器、磁盘存储、磁存储设备等。如本文所用，磁盘存储装置包括压缩光盘(CD)、激光盘、光学光盘、数字通用光盘(DVD)、软磁盘及蓝光盘^TM、或用激光以磁性方式或以光学方式存储数据的其他存储设备。上述类型的介质的组合也包括在术语非暂态计算机可读和处理器可读介质的范围内。另外，存储在一个或多个非暂态处理器可读或计算机可读介质上的指令的任何组合在本文中可称为计算机程序产品。

本发明所属领域的技术人员将想到本文所阐述的本发明的许多修改和其他实施方案，其具有前述描述和相关附图中呈现的教导的益处。尽管附图仅示出了本文描述的装置和系统的某些部件，但应当理解，各种其他部件可与供应管理系统结合使用。因此，应当理解，本发明不限于所公开的特定实施方案，并且修改和其他实施方案旨在被包括在所附权利要求的范围内。此外，上述方法中的步骤可能不一定以附图中所描绘的顺序发生，并且在一些情况下，所描绘的步骤中的一个或多个可基本上同时发生，或者可涉及附加步骤。尽管本文采用了特定术语，但它们仅以一般性和描述性意义使用，而不是出于限制的目的。