阅读说明：本技术 优化机器的有效载荷载体的装载 (Optimizing payload carrier loading of a machine ) 是由 C·哈 S·N·马修 刘阳 Q·王 于 2020-01-02 设计创作，主要内容包括：一种装载机器的有效载荷载体的方法,包括当材料被装载到有效载荷载体中时,从机器上的相机接收有效载荷载体内部的二维图像。该方法还包括过滤图像以识别装载的材料的轮廓并确定该轮廓的区域。该方法还包括控制显示设备指示所确定的区域。(A method of loading a payload carrier of a machine includes receiving a two-dimensional image of an interior of the payload carrier from a camera on the machine as material is loaded into the payload carrier. The method also includes filtering the image to identify a contour of the loaded material and determining an area of the contour. The method also includes controlling a display device to indicate the determined region.)

优化机器的有效载荷载体的装载

技术领域

本发明涉及机器生产优化，且更具体地，涉及用于诸如轮式拖拉机式铲运机的挖掘机的操作的生产优化。

背景技术

运土机械可用于从挖掘地点移动土方、岩石和其它材料。通常，可能希望将挖掘的材料从挖掘地点移动到远离挖掘地点的另一位置。例如，可以将材料装载到可以将材料运输到倾卸地点的越野拖运单元上。如另一个示例，材料可以通过牵引在拖拉机后面的牵引盘挖掘，然后经由牵引盘拖运到倾卸地点。如另一个示例，轮式拖拉机式铲运机可以用于挖掘、拖运和倾卸挖掘的材料。

一种这样的机器，轮式拖拉机式铲运机，可以在操作循环中使用，以在装载阶段期间从一个位置切割的材料，在拖运阶段期间将切割的材料运输到另一位置，在倾卸阶段期间卸载切割的材料，并且在返回阶段期间返回挖掘地点以重复操作循环。与一些其它挖掘机或系统相反，使用轮式拖拉机式铲运机的决定可以基于诸如机器或系统的操作成本和生产率之类的因素。

操作机器或机器车队的生产率和成本可能受到某些因素的不利影响。例如，轮式拖拉机式铲运机的操作员可能在装载循环中花费相对于完成拖运循环所需的时间太多的时间，从而降低了效率。此外，利用特别长的装载循环来满载或可能过载机器在某些拖运循环的实际生产率和成本方面可能是有效的，但是对于其它拖运循环，可能通过例如增加轮胎滑移(增加轮胎磨损)、燃烧更多燃料、增加地面接合工具上的磨损以及增加机器结构和动力系部件上的磨损会降低生产率和增加成本。

为了提高运土机器的效率，包括在装载阶段，已经设计了系统。例如，Wang等人的美国专利申请公开号2016/0289927(“’927公开”)描述了一种具有感知传感器的碗监测系统，该感知传感器向控制器提供指示机器的碗的视图的信号。基于该信号，控制器确定碗中的材料水平，并向机器的操作员提供碗的当前装载状态的指示。

虽然’927公开中描述的系统有助于提高装载效率，但是该系统采用诸如LiDAR(光检测和测距)或立体相机的三维感知传感器来监测碗。这些类型的感知传感器可能是昂贵的，潜在地使得安装在例如机器车队上成本过高。另外，三维图像处理在计算上可能是昂贵的，相对于其它类型的解决方案，要求增加的计算能力进一步增加’927公开的解决方案的成本。

本发明涉及现有技术中的一个或多个改进。

发明内容

本发明的一个方面涉及一种用于机器的有效载荷载体的装载的方法。该方法可以包括当材料被装载到有效载荷载体中时，从机器上的相机接收有效载荷载体内部的二维图像。该方法可以包括过滤图像以识别装载的材料的轮廓并确定该轮廓的区域。该方法可以包括控制显示设备以指示所确定的区域。

本发明的另一方面涉及一种用于辅助机器的有效载荷载体的装载的相机。相机可以包括储存指令的存储器和处理器。所述处理器可被配置为执行所述指令以当材料被装载到有效载荷载体中时，接收有效载荷载体内部的二维图像，并过滤所述图像以识别装载的材料的轮廓。所述处理器可进一步被配置为执行所述指令以确定所述轮廓的区域并提供信号以控制显示设备来指示所确定的区域。

本发明的另一方面涉及一种机器。所述机器可具有显示设备和相机，所述相机被配置为当材料被装载到有效载荷载体中时捕获所述机器的有效载荷载体内部的二维图像。该机器还可以具有一个控制器，该控制器被配置为用于从相机接收图像并且过滤该图像以识别该装载的材料的轮廓。控制器可进一步被配置为确定轮廓的区域并提供信号以控制显示设备指示所确定的区域。

附图说明

图1是根据示例性公开的实施例的机器的图示；

图2是图1的机器的载荷增长曲线的曲线图；

图3是图1的机器的示例性控制系统的示意图。

图4是与图3的控制系统相关联的示例性相机的示意图。

图5和6是由图4的相机捕获的图像的表示。

图7是显示在机器的显示设备上的示例性接口的表示。

图8是用于优化机器的有效载荷载体的装载的示例性方法的流程图。

图9是图8的方法的示例性过滤步骤的流程图。

具体实施方式

图1示意性地示出了机器100，其可以是例如轮式拖拉机式铲运机。机器100可以是用于使用地面接合工具在现场执行作业的任何机器。机器100可以包括各种部件或子机器，例如轮式拖拉机式铲运机、牵引盘等。

机器100可以包括一个或多个牵引设备102，例如前轮和后轮，使得机器100能够用作移动单元。合适的动力源104，例如柴油机，可以位于机器100的前部106。还可以是柴油发动机的附加动力源108可以包括在机器100的后部110处。

机器100的前部106和后部110之间的有效载荷载体112可以使得机器100能够运输一定量的材料，例如泥土(土壤、岩石等)。在轮式拖拉机式铲运机上，有效载荷载体112可以是容纳和保持用于运输的材料的容器，并且有时可以被称为铲子或碗。

机器100还可以包括操作员站114。操作员站114可以包括封闭的或部分封闭的驾驶室，并且可以包括操作员座椅116、合适的操作员控制设备118、显示设备120和/或用于操作机器100的其他部件。

机器100还可以包括合适的控制系统，包括控制器122、各种检测器或传感器，以及用于操作机器100的部件的各种致动器。例如，机器100可以包括一个或多个致动器124，例如液压缸，用于升高和降低有效载荷载体112。致动器124可以降低有效载荷载体112，使得通常位于有效载荷载体112的下前边缘处的地面接合工具126可以在机器100的装载阶段期间穿透待装载的材料。致动器124还可以升高有效载荷载体112，用于在机器100的拖运阶段期间运输有效载荷。另外的致动器可以包括一个或多个致动器128和一个或多个致动器132，致动器128用于在倾卸阶段期间移动弹射器130，致动器132用于控制挡板134。

致动器132可以在装载和倾卸阶段将挡板134从与有效载荷载体112的前部接合移动到打开位置。致动器132通过反向移动还可以在拖运阶段期间将挡板134保持在与有效载荷载体112的前部接合的关闭位置。

挡板134可以在倾卸阶段与弹射器130同步操作，致动器132将挡板134移动到打开位置，致动器128在有效载荷载体112内移动弹射器130以辅助倾卸有效载荷。

机器100的转向可以通过转向单元来促进，该转向单元包括一个或多个致动器136，这些致动器位于例如有效载荷载体112与机器100的前部106之间的位置处。

如图1所示，在一些实施例中，装载辅助单元138可以可选地与有效载荷载体112相关联。图1所示的示例性装载辅助单元138代表可采用的各种类型的装载辅助单元，包括例如螺旋钻单元或升降机单元。在图1中，装载辅助单元138被示为螺旋钻140。应当理解，装载辅助单元138可以包括多个螺旋钻，升降机单元或可以辅助将材料装载到有效载荷载体112中的其他手段。装载辅助单元138可以由合适的机器致动器驱动，例如旋转液压致动器152。

机器100可以包括其他部件，以辅助操作员装载和倾卸有效载荷载体112和/或自主地控制机器100来这样做。在所公开的实施例中，相机154可以被定位以观察有效载荷载体112的内部，从而能够确定在有效载荷载体112中累积的材料的量。例如，相机154可以安装在有效载荷载体112的一部分上，例如安装在桅杆或杆上，以产生进入有效载荷载体并累积在其中的材料的视图。在一个实施例中，相机154可以是二维相机，例如B类(桥数字)相机。

本发明应用于其上的机器100(例如，轮式拖拉机式铲运机)可以在多个循环中运行，这些循环可以包括装载、拖运、倾卸和返回阶段。在给定的运土或运料操作中，例如由轮式拖拉机式铲运机执行的操作，操作的机器循环可能受到各种参数和/或因素的影响，这些参数和/或因素可能被称为循环特性。通过机器有效载荷的优化，在机器操作期间考虑循环特性可以实现机器生产率的增强、优化和/或最大化，以及操作成本的控制。

循环特性可以包括，例如，循环的拖运阶段的长度、机器要经过的坡度、机器必须行进的地面的特性、机器的特性(即，机器尺寸和装载方式)、装载的材料的类型，以及相对于有效载荷量的机器速度。

可结合轮式拖拉机式铲运机考虑的另一循环特性是载荷增长曲线。载荷增长曲线是机器装载期间有效载荷体积增加的图形表示。对于轮式拖拉机式铲运机，载荷增长曲线通常可以指示大部分有效载荷体积在操作循环的装载阶段的早期被装载，在装载阶段的后期有效载荷的增加逐渐减小。

图2图示了机器100(例如轮式拖拉机式铲运机)的示例性载荷增长曲线200。有效载荷表示在y轴上，并且通常可以以实立方码(BCY)为单位来测量。装载时间可以在x轴上测量，例如以分钟为单位的时间和/或其分数。

载荷增长曲线200可以在装载的初始阶段期间呈现相当陡峭部分202，并且可以随着装载阶段的进行而变平，呈现较不陡峭部分204。因此，大部分有效载荷体积可以在对应于陡峭部分202的装载阶段的部分中累积，随后在对应于较不陡峭部分204中，有效载荷的增加逐渐减小。载荷增长曲线的这种特征形状可归因于以下事实：当有效载荷载体112接收越来越多的材料时，可能需要稍后装载的材料将其提升或迫使其通过先前装载的材料。

如图2所示，载荷增长曲线200反映实际停止时间206和最佳停止时间208。实际停止时间206(在该示例中为大约1.2分钟)可以对应于操作员实际上通常实际停止向有效载荷载体112装载材料的时间。

最佳停止时间208(在这种情况下为0.6分钟)可以对应于装载应该停止以维持有效和高效的机器操作的最佳时间。最佳停止时间208可以对应于载荷增长曲线200上陡峭部分202更急剧地过渡到较不陡峭部分204的点。在图2的示例中，最佳停止时间208约为0.6分钟。因此，在这个示例中，操作员通常可以在最佳停止时间208-总装载时间的一半之后继续装载大约0.6分钟。虽然有效载荷载体112在装载的第一个0.6分钟内累积了大约18BCY，但是它只在从最佳停止时间208到实际停止时间206的0.6分钟的附加装载时间210期间累积了附加的3BCY。这使得额外的装载时间210低效地使用资源，包括燃料和时间。

应当理解，类似轮式拖拉机式铲运机的机器可以具有不同的载荷增长曲线，这取决于例如机器的尺寸，机器是否自装载，机器是否推动装载，机器是否为推拉式，机器是否具有增加装载的便利(例如，升降机或螺旋钻)，装载的材料的类型(例如，粘土、砂、砾石、岩石和土的混合物等)，和/或有效载荷载体112的尺寸和形状。在给定机器的实际生产操作之前，在给定的一组环境下操作的给定机器的载荷增长曲线可以根据经验确定。这可以通过例如测试操作和先前的现场经验来实现。

控制器122可包括中央处理单元，适当的存储器部件，各种输入/输出外围设备，以及通常与机器控制器相关联的其它部件。控制器122可以包括与机器100的操作相关联的程序、算法、数据映射等。控制器122可以被配置为接收来自多个源的信息，例如致动器124、128、132和136、相机154、各种传感器或检测器(例如，用于机器行进方向、地面速度、发动机操作等)，以及来自机器操作员经由例如控制设备118的输入中的一个或多个。控制器122可适当地定位成向与机器100相关联的各种传感器、致动器等发送适当信号和从与机器100相关联的各种传感器、致动器等接收适当信号。在一个实施例中，如图1所示，控制器122可以方便地位于操作员站114内或邻近操作员站114。例如，控制器122可以包括操作员的膝上型或移动计算机。可替代地，控制器122可以包括机器100的专用电子控制模块(ECM)或其他类型的车载计算机。在一些实施例中，控制器122的各方面可并入相机154中，使得相机154是被配置为执行控制器122的所公开操作的“智能相机”。在这种情况下，可以消除控制器122或其某些方面。

图3示意性地示出了与控制器122相关联的示例性控制系统300。控制器122可以例如经由导线适当地与各种机器部件通信。操作员控制设备118和显示设备120可以使操作员能够手动地向控制器122提供信号。显示设备120例如可以向操作员提供各种信息，以增强操作员对各种机械系统的认识，从而有助于保持有效和高效的机器操作。控制器122可以从各种源接收数据输入302，包括键盘、触摸屏显示器(其例如可以与显示设备120相关联)、计算机储存设备、因特网存储库、无线网络或本领域技术人员已知的其它数据输入源。

控制器122还可经由机器致动器模块306与各种机器致动器304通信。机器致动器模块306可以被配置为操作例如提升致动器124、挡板致动器132、弹射器致动器128、提环致动器、转向致动器136、装载辅助致动器152，或与机器100相关联的任何其他致动器。

控制器122可进一步被配置为与速度控制模块308通信以控制机器100的移动速度。速度控制模块306可以包括例如发动机速度控制手段、节流阀控制、变速器换档控制等。

控制器122可以进一步被配置为与自主控制模块310通信。自主控制模块310可以控制机器100执行各种任务而无需任何操作员输入，或者仅具有一定量的操作员输入。例如，自主控制模块310可以被配置为在以下模式中操作机器100：装载模式，用于在某个装载位置处执行装载阶段；拖运模式，用于执行将装载的材料从装载位置拖运到特定倾卸位置的拖运阶段；倾卸模式，用于在倾卸位置执行倾卸材料的倾卸阶段；和/或返回模式，用于使机器100返回到装载位置。响应于来自控制器122的信号，自主控制模块310可以控制机器100执行装载、拖运、倾卸和返回阶段的循环。

控制器122可以例如在正在进行的基础上接收与循环特性相关的输入数据。这可以使得能够相对连续地更新机器100的计算出的最佳有效载荷。例如，与所公开的实施例一致，控制器122可以从相机154接收数据。在一些实施例中，控制器122可以采用其他部件(未示出)，例如里程表、倾角计、车轮滑动传感器、另一个有效载荷传感器(例如，标尺)和/或各种其他传感器、检测器、诊断设备等。控制器122可以使用从这些部件接收的数据来收集与循环特性相关的数据并控制机器100的操作。

与所公开的实施例一致，控制器122可被配置为从相机154接收指示有效载荷载体112是否已根据载荷增长曲线200而最佳地填充有材料的数据。响应于该数据，控制器122可以被配置为向机器100的一个或多个部件提供信号，例如操作员控制设备118、显示设备120、机器致动器模块306、速度控制模块308或自主控制模块310。

例如，响应于从相机154接收到指示有效载荷载体112被最佳填充的信号，控制器122可以向操作员控制设备118提供信号。控制器122可以提供信号以将操作员站114中的装载指示灯从绿色(继续装载)改变为红色(停止装载)，以向操作员指示有效载荷载体112被最佳地填充。

可替代地或附加地，控制器122可被配置为向显示设备120提供指示有效载荷载体112被最佳填充的信号。显示设备120又可以在显示器上提供视觉指示，让操作员知道有效载荷载体112被最佳填充。

可替代地或附加地，控制器122可以被配置为向机器致动器模块306提供指示有效载荷载体112被最佳填充的信号。机器致动器模块306又可以提供信号来致动一个或多个致动器。例如，机器306可以将一个或多个信号提供给：(1)提升致动器124，以升高有效载荷载体112；(2)挡板致动器132，以将挡板134从打开位置移动到与有效载荷载体112的前部接合的关闭位置；(3)弹射器致动器128，以在有效载荷载体112内移动弹射器130，以便倾卸有效载荷或收起用于拖运阶段的弹射器130；(4)提环致动器312，以在机器100的前部106处操纵提环；(5)转向致动器136，以改变机器100的前部106与后部110区段之间的角度；或(6)装载辅助致动器152，以收起用于拖运阶段的装载辅助单元。

可替代地或附加地，控制器122可被配置为向速度控制模块308提供指示有效载荷载体112被最佳填充的信号。响应于该信号，速度控制模块308可以被配置为减小机器100的速度或停止机器100，减小节流阀或动力源104、108的速度等。

可替代地或附加地，控制器122可被配置为向自主控制模块310提供指示有效载荷载体112被最佳填充的信号。响应于该信号，自主控制模块310可以例如将机器100的当前操作模式从装载模式改变到拖运模式，或者执行其他功能以完成装载阶段。

图4示出了相机154的示例性示意图。相机154可具有用于数码相机的计算部件。例如，相机154可以具有存储器400、数据储存器402、通信单元404、透镜单元406、被配置为执行有效载荷优化算法410的处理器408。

存储器400可以包括诸如RAM的临时数据储存器。数据储存器402可以包括永久储存器，例如ROM、闪存、固态或本领域已知的其它类型的数据储存器。

通信单元404可被配置为与外部部件(例如控制器122)通信。通信单元404可包括例如USB、火线、蓝牙、Wi-Fi、CAN总线、以太网或本领域已知的用于互连计算设备的其它电子通信接口。在处理器408的命令下，通信单元404可以间歇地或连续地向控制器发送数据信号，包括指示有效载荷载体112是否已经被确定为最佳装载的信号。在一些实施例中，通信单元404还可以将实况视频数据流送到控制器122用于显示或处理。

与所公开的实施例一致，透镜单元406可包括本领域已知的用于数码相机的任何二维透镜系统。例如，透镜单元406可以体现为包括透镜(例如35mm透镜)和二维图像传感器(例如CCD或CMOS图像传感器)的数字单透镜反射(DSLR)系统。应当理解，透镜单元406可以是在传统数字相机或智能电话中使用的相同类型的透镜单元。

透镜单元406可以以包括二维图像传感器(例如，滤色器阵列)的每个像素的色彩值的连续或间歇数据流的形式向处理器408输出图像。因此，数据流可以包括二维图像信息。相机154可以定位成使得透镜单元406无阻碍地观察有效载荷载体112的内部，并且输出数据流因此包括有效载荷载体112的内部的二维图像信息。

处理器408可以是本领域已知的用于数码相机的图像处理器。举例来说，处理器408可为数字信号处理器(DSP)，其被配置为执行各种类型的成像处理，例如Bayer变换、去马赛克、降噪、成像锐化、边缘检测或坐标系变换。

有效载荷优化算法410可以包括安装在处理器408上和/或存储在存储器400或储存器402中用于由处理器408执行的计算机程序指令。由处理器408执行的有效载荷优化算法410可被配置为处理从透镜单元406接收的二维数字图像数据以确定何时最佳地装载有效载荷载体112。为此，算法410可以将从透镜单元406接收的二维数据从与相机154相关联的第一坐标系变换到用于确定有效载荷载体112中的材料量的第二参考坐标系。

图5展示图像序列500-504，其说明算法410可如何变换来自透镜单元406的二维图像数据。应当理解，相机154可能需要放置成不干扰机器100的操作，但仍然具有有效载荷载体112内部的视图。例如，有效载荷载体112可以具有大致矩形的形状，并且相机154可以位于有效载荷载体112的右后部的桅杆上。因此，相机154可以具有从对角地跨过有效载荷载体112并且在有效载荷载体112上方观察的视图。因此，相机154可以产生类似于图5所示的有效载荷载体112的图像500。

另外，在一些实施例中，相机154可以具有鱼眼透镜或其他广角透镜以从关闭位置捕获整个有效载荷载体112。因此，在由相机154生成的图像500中，有效载荷载体112的顶部边缘506可以限定相对于现实失真的坐标系508(X”，Y”)的轴。例如，坐标系508可以从由广角透镜引起的“桶”形失真向外凸出。应当理解，图像500在坐标系508内的像素位置(X”，Y”)因此可能相对于现实在视觉上失真。

使用图像失真校正技术和相机154的规范，算法410可以被配置为校正图像500以去除失真，产生未失真图像502。例如，在将相机154安装到机器100之前，可以使用开源“棋盘”技术来校准相机154，所述开源“棋盘”技术输出根据失真图像500产生预定尺寸的矩形棋盘所需的校准参数。算法410可被配置为将校准参数应用于图像500以产生图像502。

在未失真图像502中，有效载荷载体112的顶部边缘506可以定义未失真坐标系510(X’，Y’)，其中X’和Y’轴沿着直线延伸。算法410可被配置为将坐标系508中的像素位置(X”，Y”)平移到坐标系510中的其对应位置(X’，Y’)。

如图5所示，在图像510中，有效载荷载体112看起来相对于水平面旋转了大约45度。另外，因为来自图像502的视图从对角地跨过有效载荷载体112并在有效载荷载体112上方保持，所以X’和Y’轴以钝角(即，大于90度)彼此相交。

为了产生图像504，通过该图像504可以确定有效载荷载体112中的材料量，算法410可以被配置为将坐标系510中的像素位置(X’，Y’)旋转和平移到工作坐标系512中的对应位置(X，Y)。在坐标系512中，X轴和Y轴以直角(即90度)彼此相交，如在标准笛卡尔坐标系中那样。为了实现这一点，算法410可以使用旋转和平移变换技术。例如，算法410可以被配置为应用透视变换(例如OpenCV算法)，使得有效载荷载体402的角形成矩形，将图像502变换为自顶向下的图像504。图像504可以对应于有效载荷载体112从其垂直上方的俯视图，即从上方直接向下看有效载荷载体112。

当有效载荷载体112在装载期间可以填充有材料时，图6从自顶向下透视图像504的示出了有效载荷载体112的序列图像600-604。在图像600中，有效载荷载体112的装载刚刚开始，因此有效载荷载体112可以仅包括少量材料606。材料606可以限定围绕其边缘或周边包围区域610的轮廓608。应当理解，由于自顶向下透视图像504，当材料606位于有效载荷载体112中时，区域610可以是材料606的垂直横截面区域(即，材料606的“覆盖区”的区域)。

当有效载荷载体112进一步填充材料606时，轮廓608可以扩展，从而包围更大和更大的区域610。图像602示出了用材料606部分填充(例如50％)时的有效载荷载体112，图像604示出了用材料606最佳填充(例如85％)时的有效载荷载体112。在该描述中，“最佳地”填充可以指对应于载荷增长曲线200上的期望最佳停止时间208的有效载荷体积，在该处陡峭部分202过渡到较不陡峭部分204。

可以以不同的方式确定最佳体积和对应的所需最佳停止时间208。例如，它们可以通过机器100的现场测试凭经验确定。可替代地，了解机器100的性能特性的操作员或其他人员可以基于经验选择最佳体积/停止时间208。还可以通过选择载荷增长曲线200上载荷增长曲线200的斜率达到某一期望阈值(例如，30％)的点来数学地确定最佳体积/停止时间208。

材料606的区域610通常可以对应于有效载荷载体112中材料606的实际体积。例如，已知某些材料以一定的静止角静止。因此，如果材料606具有特定区域610，则材料606可具有特定对应高度。同样地，当区域610扩展已知量时，可以假定材料606的高度也增长对应的已知量。这可以允许基于横截面区域610计算材料的相对体积。另外，可以基于有效载荷载体112的已知尺寸从相对体积计算材料体积的实际值。因此，在所公开的实施例中，有效载荷载体112中的材料608的区域610可以用作体积的代替或替代。

在图6所示的示例中，可以假设图像504所示的材料606的区域610对应于基于载荷增长曲线200的有效载荷载体112的最佳装载体积(例如85％)。因此，基于上述讨论，当区域610到达图像504所示的阈值区域时，可能希望停止装载有效载荷载体112。

算法410可以被配置为使用图像处理技术来计算由轮廓608包围的区域610。在一个实施例中，算法410可被配置为应用可输出图像504中的特征的像素值(X，Y)的特征检测算法(例如，OpenCV算法)。例如，锐角(例如，>60度)可以被识别为特征，例如有效载荷载体112的角或材料606的角。

算法410可被配置为接着过滤/去除对应于不同于材料606的特征的坐标(X，Y)。在一个实施例中，算法410可以被配置为使用运动检测。例如，算法410可以应用在OpenCV中实现的Lucas-Kanade光流技术，使用检测到的特征的像素值(X，Y)、当前图像504和先前图像504作为输入。作为输出，算法410可以被配置为提供对应于每个检测到的特征包括的像素值(X，Y)的运动矢量。运动矢量可以包括两个图像504之间的特征的运动量值和运动方向。

算法410可被配置为去除对应于具有其量值高于阈值的运动矢量的特征的像素值(X，Y)。例如，算法410可以被配置为确定运动矢量的平均量值和运动矢量的标准偏差。算法410然后可以去除具有像素值(X，Y)的特征，所述像素值(X，Y)具有量值比某个阈值(例如两个标准偏差)平均值大的运动矢量。如下文所解释，在此过程之后，可仅保留对应于材料606的坐标(X，Y)。

算法410可以被配置为确定轮廓608的区域610。例如，算法410可以被配置为对过滤之后剩余的像素的数目进行计数，其是以正方形像素测量的区域610。算法410也可被配置为确定有效载荷载体112的百分比填充因数。有效载荷载体112的区域可以是有效载荷载体112的四个角内的像素的总数目，其可以预先确定和/或固定。为了确定百分比填充因数，算法410可被配置为将所计数的轮廓608内的像素数目除以有效载荷载体112的四个角内的像素的总数目。

如果需要，算法410可以被配置为使用其它技术来确定轮廓608的区域610。例如，算法410可以应用边缘检测来识别对应于轮廓608的像素值(X，Y)。在一个实施例中，算法410可被配置为识别图像504中的像素，其中色彩值从材料606的色彩(例如，灰度图像中的棕色、黑色或深灰色)过渡到有效载荷载体200的色彩(例如，灰度图像中的黄色或浅灰色)。算法410可以将这些识别的像素视为轮廓608。接着，算法410可被配置为识别图像504中落入轮廓608内的所有像素。算法410可被配置为对组成轮廓608且在由轮廓608包围的区域内的像素的总数目进行计数。通过将轮廓608的像素的总数目除以有效载荷载体112的四个角内的像素的总数目，可以确定算法410以确定百分比填充因数。

如图7中所示，算法410可被配置为向控制器122提供信号以控制显示设备120显示有效载荷载体状态接口700。接口700可以具有允许操作员提供或控制关于有效载荷载体112的状态的信息的一个或多个用户接口元件。例如，接口700可以包括显示对应于图像500的来自相机154的实况视频馈送的视频馈送窗口702。接口700还可以包括有效载荷增长曲线704，其示出有效载荷载体112的当前装载状态。

接口700可进一步具有填充因数指示符706，其指示有效载荷载体112的百分比填充因数，即，填充有材料606的有效载荷载体112的百分比。接口700还可以被配置为在从相机154接收到对应信号时提供有效载荷载体112被最佳填充的通知。例如，接口700可以被配置为在接收到这样的信号时显示“停止装载”消息，使得操作员知道停止当前装载阶段。

接口700还可以包括设置有效载荷载体112的顶角710和底角712的选项708。例如，在选择选项708时，操作员或技术人员可以使用鼠标，显示设备120的触摸屏或其他用户输入设备来设置角710、712。一旦被设置，算法410可以被配置为使用角710、712将图像500转换为图像502，如上所述。

图8示出了用于在机器操作期间优化有效载荷载体112的装载的示例性方法800。方法800可在由处理器408执行时由算法410执行。方法800的步骤不必以图8所示的顺序执行，并且可以按照与所公开的实施例一致的不同顺序执行。

在步骤802中，算法410可以从透镜单元406接收对应于图像500的实况视频馈送。视频馈送可以显示在接口700的窗口702中。

在步骤803中，算法410可以从如上所述的馈送中的图像500中去除失真。例如，在使用广角透镜的实施例中，算法410可以去除桶形失真。因此，例如，步骤803可以将坐标系508中的像素值(X”，Y”)转换为坐标系510中的对应像素值(X’，Y’)。

在步骤804中，算法410可以将图像500从图像504的坐标系510变换到坐标系512，如以上参考图5所讨论的。例如，先前操作员可以使用选项708来选择有效载荷载体112的顶角710和底角712。算法410可以使用有效载荷载体112的角710和/或712的像素值(X’，Y’)来将坐标系510中的所有像素值(X’，Y’)转换为坐标系512中的它们的对应值(X，Y)，如所解释的。

在步骤806中，算法410可过滤变换的图像504以去除对应于不同于材料606的特征的像素值，如上所述。图9示出了用于示例性步骤806的方法。

在步骤900中，算法410可以检测图像504中的特征。例如，如上所述，算法410可以应用特征检测过程(例如OpenCV过程)。特征检测过程可以输出图像504中任何识别特征的像素值(X，Y)，例如有效载荷载体112的角和有效载荷载体112中材料606的边缘或角。

在步骤902中，算法410可以计算在步骤900中识别的特征的运动矢量。例如，如上所述，算法410可以应用诸如Lucas-Kanade光流技术的运动检测技术。使用在步骤900中检测到的特征的像素值(X，Y)、先前图像504和当前图像504的输入作为输入，算法410可以计算每个检测到的特征的运动矢量。每个运动矢量可以具有在先前图像504和当前图像504之间的特征的运动量值的值。另外，在一些实施例中，每个矢量可以具有先前图像504和当前图像504之间的运动方向的值。例如，给定特征的运动矢量可以是10像素，45度。

在步骤904中，算法410可计算在步骤902中所计算的运动矢量的平均量值(例如，以像素为单位)。算法410可另外计算量值的标准偏差(例如，以像素为单位)。

在步骤906中，算法410可确定在步骤902中所计算的每一矢量的量值是否大于阈值(例如，12个像素)。在一个实施例中，阈值可以是在步骤904中计算的平均量值加上一定数量X的标准偏差。这是因为X＝2标准偏差可以提供将对应于材料606的特征与其他移动特征区分开的阈值。例如，当有效载荷载体112填充有材料606并且轮廓608扩展时，对应于材料606的像素值(X，Y)可以从一个图像504移动特定量值到下一个图像504。因此，可选择阈值，使得材料606通常在图像504之间移动的各种量值落在阈值内。在上述X＝2的示例中，可以知道具有其量值小于或等于平均量值加上两个标准偏差的运动矢量的特征对应于移动或静止的材料606。另一方面，已知其运动矢量具有比平均量值大两个以上标准偏差的量值的特征移动太快以至于不能是材料606。例如，它们可以是周围环境、阴影、相机154的视图的瞬时障碍物，或者不是材料606的其它特征。

如果步骤906的结果为否，则已确定对应于所述特征的像素值对应于材料606。因此，在步骤908中，可以保留像素值用于区域计算。例如，算法410可以将这些像素值存储在相机154的存储器400中用于进一步处理。

如果步骤906的结果为是，则已确定对应于所述特征的像素值不对应于材料606。因此，在步骤910中，像素值可被丢弃且不用于区域计算。

回到图8，在步骤808中，算法410可以确定轮廓608的区域610。例如，算法410可以对在步骤908中保留的并且因此在图9的过滤之后剩余的像素的数目进行计数。该像素的数目可以对应于正方形像素中的区域610。另外，算法410可以通过将所计数的像素数目除以图像504中有效载荷载体112的四个角内的像素的总数目来确定百分比填充因数，这可以预先确定和/或固定。算法410可以向控制器122提供信号，使得控制器122控制显示设备120以在接口700内的指示器706上指示所计算的填充因子。

在步骤810中，算法410可以确定在步骤808中确定的区域610是否等于或大于阈值。例如，算法410可以确定在步骤808中确定的填充因子是否大于或等于阈值百分比(例如，85％)。如上所述，阈值百分比可以预先确定为对应于有效载荷载体112相对于总装载容量的期望最佳装载体积(例如85％)。

如果步骤810的结果是“否”，则算法410可以返回到步骤802，并且算法可以重复步骤802-812，直到区域610达到阈值，这意味着有效载荷载体112已经被装载到最佳体积。

如果步骤810的结果是“是”，则在步骤812中，算法410可以通知控制器122已经确定有效载荷载体122被最佳地装载。例如，如上所述，处理器408可以经由通信单元404向控制器122发送指示有效载荷载体122已经被最佳装载的信号。

如上所述，控制器122可以基于该通知采取一个或多个动作，包括例如以下的任意组合：

·提供信号以将操作员站114中的装载指示灯从绿色(继续装载)改变为红色(停止装载)，使得操作员知道有效载荷载体112被最佳地填充。操作员然后可以手动控制机器100以停止装载有效载荷载体。

·向显示设备120提供指示有效载荷载体112被最佳填充的信号。显示设备120又可以在显示器上提供视觉指示(例如，“停止装载”消息)，让操作员知道有效载荷载体112被最佳地填充。操作员然后可以手动控制机器100以停止装载有效载荷载体。

·向机器致动器模块306提供指示有效载荷载体112被最佳填充的信号。机器致动器模块306又可以提供信号来致动致动器以完成装载阶段。例如，机器306可以将一个或多个信号提供给：(1)提升致动器124，以升高有效载荷载体112；(2)挡板致动器132，以将挡板134从打开位置移动到与有效载荷载体112的前部接合的关闭位置；(3)弹射器致动器128，以在有效载荷载体112内移动弹射器130，以便倾卸有效载荷或收起用于拖运阶段的弹射器130；(4)提环致动器312，以在机器100的前部106处操纵提环；(5)转向致动器136，以改变机器100的前部106与后部110区段之间的角度；或(6)装载辅助致动器152，以收起用于拖运阶段的装载辅助单元。

·向速度控制模块308提供指示有效载荷载体112被最佳填充的信号。响应于该信号，速度控制模块308可以被配置为通过降低机器100的速度，停止机器100，降低节流阀或动力源104、108的速度等来使装载阶段结束。

·向自主控制模块310提供指示有效载荷载体112被最佳填充的信号。响应于该信号，自主控制模块310可以例如将机器100的当前操作模式从装载模式改变到拖运模式，或者执行其他功能以完成装载阶段。

工业实用性

所公开的实施例可以应用于作业机械，例如轮式拖拉机式铲运机，其可以在包括装载、拖运、倾卸和返回阶段的循环中操作。通过消除浪费的时间和资源(如工时和燃料)，尽可能高效地完成这些循环是有益的。效率可以通过考虑循环特性来提高――其中之一是在此讨论的机器的载荷增长曲线。

具体地，可以通过考虑机器100的载荷增长曲线200来节省时间和资源。通过确保对于每个装载循环，操作员不继续装载超过最佳体积的有效载荷载体112，可以使用较少的燃料在较短时间内完成更多的循环。

所公开的实施例可以提供相对便宜但有效的技术来通知操作员一旦达到最佳填充体积就停止装载或者自主地控制机器100这样做。虽然可以利用诸如LiDAR或立体相机的三维成像系统来确定有效载荷体积，但是这样的系统是昂贵的。因此，例如在机器车队上使用三维有效载荷成像系统可能成本过高。

相反，所公开的实施例可以改为应用廉价的二维相机154，例如在传统的大规模生产的智能电话或数字相机上使用的类型。可以不从二维图像直接计算体积，但是所公开的实施例可以使用有效载荷材料606的区域610作为替代来间接确定何时已经达到最佳有效载荷体积。这有利地允许使用相对便宜的二维相机而不是更昂贵的三维相机。另外，二维图像处理通常比三维图像处理需要更少的计算资源。因此，所公开的实施例可以通过需要更少的计算资源来降低成本。

另外，所公开的实施例可以使操作员能够更好地集中于安全地驱动机器。通过在有效载荷载体被最佳填充时提供通知(例如，指示灯或显示器上的指示)，操作员可以不需要像在传统轮式拖拉机式铲运机的情况下那样转向以观察有效载荷载体来确定其是否充满。

对于本领域技术人员显而易见的是，在不脱离本发明的范围的情况下，可以对所公开的有效载荷过载控制系统进行各种修改和变化。通过考虑说明书和本文公开的实施例的实践，其它实施例对于本领域技术人员将是显而易见的。例如，本发明可以描述其中相机154是“智能的”并且被配置为执行算法410的实施例。这可以允许相机154作为独立单元(例如，装备)被提供，用于翻新否则不具有所公开的有效载荷优化功能的较旧机器。然而，机器也可以配备有作为标准或可选特征的这种功能。例如，本发明还包括使用普通相机代替“智能”相机。在这样的实施例中，相机154的一个或多个功能，包括算法410的一个或多个功能，可以被嵌入控制器122而不是相机中，并且相机仅需要捕获有效载荷载体的图像并将它们提供给控制器。因此，本说明书和示例仅被认为是示例性的，本发明的真实范围由所附权利要求及其等同物来指示。