阅读说明：本技术 设有图像投影设备的工程机械 (Engineering machine with image projection equipment ) 是由 雷诺·费拉 伦纳特·斯科格 于 2017-06-13 设计创作，主要内容包括：本公开总体上涉及一种工程机械(100),其中,工程机械(100)设有图像投影设备(200),该图像投影设备特别适于将图像投影在工程机械(100)所包括的外部部件的表面处。本公开还涉及对应的、用于这种工程机械(100)的方法和计算机程序。(The present disclosure generally relates to a work machine (100), wherein the work machine (100) is provided with an image projection device (200) which is particularly adapted for projecting an image at a surface of an external component comprised by the work machine (100). The disclosure also relates to a corresponding method and computer program for such a working machine (100).)

设有图像投影设备的工程机械

技术领域

本公开总体上涉及一种工程机械，其中，该工程机械设有图像投影设备，该图像投影设备特别适于将图像投影在该工程机械所包括的外部部件的表面处。本公开还涉及对应的用于这种工程机械的方法和计算机程序。

背景技术

例如挖掘机、推土机、装载机等形式的工程机械可以用于执行施工、采矿和/或景观美化操作中的各种任务。这样的工程机械通常可以配备有一个或多个能够接合各种物体以帮助执行任务的作业器具(work implements)。所述作业器具可以由例如可以位于工程机械上的操作者以期望的方式调节或操纵。存在要结合到这种工程机械中的各种控制系统和技术，用于帮助其操作者控制工程机械和/或作业器具。这些系统和技术能够与大量的各种传感器交互，用于向操作者提供有关工程机械和/或作业器具的信息和数据，以进一步帮助控制该工程机械和/或作业器具。

计算机科学的最新进展现在允许上述控制系统向操作者提供帮助，以实时地将由传感器获取的数据与工程机械在其中操作的动态结构环境相关联。基于这种关联，可以向操作者显示所谓的增强现实(AR)，用于帮助操作者操纵工程机械。

具体地，AR可以向操作者提供物理的真实世界环境的视图，其元素由计算机产生的感官输入(例如声音、文本、图形或视频)来增强(或补充)。在典型的现有技术AR应用中，数据处理器审查照相机捕获的图像以寻找线索，该线索触发另外的信息和图像的显示，连同所捕获的图像的显示一起。

例如，可以使用布置在工程机械所包括的操作者驾驶室内的显示屏将AR信息呈现给操作者。然而，这种实施方式使得操作者需要在显示器和例如作业器具之间分配他的注意力，从而使操作不稳定且使人疲劳。

作为替代方案，可以采用一种更动态的方法，例如US20140188333中所公开的那样，其中，向操作者提供了适合于增强现实能力的头戴式显示器(HMD)。根据US20140188333，即使在从操作者的直接视线中看不到作业器具的情况下，也可以额外地允许AR信息帮助操作者“看见”作业器具。

尽管US20140188333中提出的解决方案为工程机械的安全操作提供了大的改进，但本发明人已经确认了帮助操作者的进一步的可能性，而不必依赖于强迫操作者戴上例如HMD，从而允许当例如在施工现场等处操作工程机械时进一步降低风险。

发明内容

根据本公开的一个方面，上述问题至少部分地通过一种工程机械来减轻，该工程机械包括：工程机械结构；工程机械器件，该工程机械器件以可枢转方式连接到工程机械结构；和操作者驾驶室，该操作者驾驶室设置在工程机械结构处并且设有控制器件，该控制器件适于允许操作者控制工程机械器件的位置，其中，该工程机械还包括图像投影设备，该图像投影设备用于将图像投影在工程机械器件的面向操作者驾驶室的表面处，并且所投影的图像包括用于操作者控制该工程机械的信息。

因此，根据本公开，能够允许在所述工程机械外部的区域处进行用于帮助操作者的信息的任何投影，即，不必如根据现有技术所提出的那样依赖于在固定或移动的(例如HMD)显示器处呈现信息。而是，使用工程机械所包括的工程机械器件作为“画布”，以呈现帮助信息。

这种实施方式带来的优点在于，可以允许工程机械的操作者将其焦点放在“正确位置”，该“正确位置”通常将在操作者驾驶室外部而不是在操作者驾驶室内。另外，所投影的信息通常可以在“需要”的位置和时间被投影，而无需向操作者提供例如专用的HDM等。另外，本公开所提出的解决方案解决了现有技术的焦点深度问题，该问题为：当操作者在工程机械器件和布置在操作者驾驶室内的显示器装置之间切换其视线时，操作者必须重新聚焦。

图像投影设备应被理解为是指能够在工程机械器件的面向操作者驾驶室的表面处提供可见照明(包括例如标记、线条、符号、图标、文本、图像等)的设备或装置。图像投影设备可以这样包括不同类型的光源，例如发光二极管(LED)或LED阵列等。当然可以想到其它替代方案，例如激光器、图像/视频投影仪等。在一些实施例中，使用激光投影仪可能是优选的，因为与在一些实施方式中使用来自例如图像投影仪的聚焦较弱的光束所能实现的相比，激光投影仪能够提供高聚焦的单色光束以将图像投影在工程机械器件的表面处。然而，应当理解，在本公开的一些实施方式中，使用图像投影仪可能是合适的。

此外，该工程机械例如可以是挖掘机、轮式装载机、推土机、平地机和反铲装载机中的至少一种，或者是包括合适的工程机械器件的、任何形式的对应的施工设备，该工程机械器件被布置在外部且同时对于操作者是可见的，并且适合于允许以如上所述的方式投影图像。相应地，该工程机械器件当然可以取决于工程机械的类型。例如，在一些实施例中，该工程机械器件可以包括器具和联接件中的至少一个。该器具例如可以是铲斗等。

在一些实施例中，该工程机械可以包括内燃发动机，或者可以是纯电动车辆(PEV)和混合动力车辆(HEV)中的至少一种。此外，在本公开的一些实施例中，可能希望为该工程机械配备地理定位设备，例如工程机械所包括的GLONASS或GPS接收器，用于确定该工程机械在诸如作业现场或施工现场处的当前位置。与工程机械的位置有关的信息还可以包括与工程机械的相对定向有关的信息。

在本公开的实施例中，所述图像投影设备还包括控制单元，该控制单元适合基于当用户位于操作者驾驶室处时该用户的预期位置来调节在工程机械器件的表面处投影的图像的位置。例如，可以使用连接到控制单元的、眼睛和/或头部跟踪机构来执行这种估计。在可获得估计位置的情况下，能够允许例如从操作者的当前位置看时要正确投影的图像的透视图。可以通过如下方式执行所述估计：确定操作者或操作者的头部/眼睛的大致准确的位置；或者可替代地，例如估计操作者位于布置在工程机械所包括的操作者驾驶室内的座椅中。

在一个实施例中，该控制单元可以是通常被设置为工程机械的机载部件的电子控制单元(ECU)。此外，该控制单元优选适于接收指示工程机械器件的当前位置(例如相对于操作者驾驶室或地面)的信息，并且基于工程机械器件的当前位置和/或操作者的位置来调适在工程机械器件处投影的图像。

在工程机械器件的表面处投影的图像可以包括要由工程机械的操作者执行的当前或未来任务的信息，例如，如何在例如工程机械的当前位置处控制工程机械器件。这种信息例如可以包括使用挖掘机的器具的特定任务，例如在特定位置处的地面上挖坑。因此，所形成并投影的图像可以包括用于操作者的将在何处进行挖掘的信息(“挖掘指令”)。该挖掘指令或类似指令还可以包括对操作者的关于例如布置在地下的管和/或管道的警告。因此，在手上有这种信息的情况下，能够减少可能的挖掘事故。该信息也可以用于告知操作者例如以下项中的至少一个：铲斗的期望的装填水平和最大装填水平。

然而，应当理解，另外或者替代地，提供给操作者的信息可以包括例如用于操作者操纵工程机械的驾驶指令。可替代地，该信息可以适于向操作者提供关于工程机械的操作的反馈，从而例如以更有燃料效率的方式等来操作工程机械。

除了上述之外，该控制单元可以进一步适于接收与工程机械的周围环境有关的地理数据。可能地使用布置在工程机械处或其附近的一个或多个传感器来获取这种地理数据。这样的一个或多个传感器可以例如包括照相机、激光扫描仪、雷达设备、基于IR的设备和激光雷达设备中的至少一种。该地理数据可以提供与例如地面被如何布置有关的、与工程机械的周围环境中的可能的结构或障碍物等有关的信息。在一个实施例中，当形成要在工程机械器件的表面处投影的图像时，可以包括该地理数据。

根据本公开的另一个方面，提供了一种用于帮助工程机械的操作者的方法，其中，该工程机械包括：工程机械结构；工程机械器件，该工程机械器件以可枢转方式连接到工程机械结构；操作者驾驶室，该操作者驾驶室设置在工程机械结构处并且设有控制器件，该控制器件适于允许操作者控制工程机械器件的位置；图像投影设备，该图像投影设备用于投影图像；和控制单元，该控制单元用于控制图像投影设备，其中，该方法包括以下步骤：使用控制单元确定工程机械器件的位置；以及，基于所确定的工程机械器件的位置将所述图像投影在工程机械器件的面向操作者驾驶室的表面处。本公开的该方面提供了与上文关于本公开的先前方面所讨论的优点类似的优点。

应当理解，根据本公开的构思可以被实施为计算机程序，该计算机程序适于例如使用上文讨论的工程机械所包括的控制单元来执行。另外，本公开的这种实施方式提供了与上文关于本公开的先前方面所讨论的优点类似的优点。该计算机程序可以例如被存储到计算机可读介质上，其中该计算机可读介质可以是任何类型的存储装置，包括以下项中的一种：可移除非易失性随机存取存储器、硬盘驱动器、软盘、CD-ROM、DVD-ROM、USB存储器、SD存储卡或本领域中已知的类似计算机可读介质。

在以下描述和从属权利要求中公开了本公开的其它优点和有利特征。

附图说明

参考附图，下面是作为示例引用的本公开的实施例的更详细描述。

在这些图中：

图1是根据本公开的设有图像投影设备的、挖掘机形式的工程机械的透视图；

图2概念性地示出了根据本公开的示例实施例的图像投影设备；

图3A至图3D是投影到工程机械器件的面向操作者驾驶室的表面上的、可能形成的图像的概念示图；并且

图4示出了用于执行根据本公开的方法的处理步骤。

具体实施方式

现在将在下文中参考附图更充分地描述本公开，在附图中示出了本公开的当前优选实施例。然而，本公开可以以许多不同的形式来实施，且不应被解释为限于本文中阐述的实施例；而是，提供这些实施例是为了彻底性和完整性，并将本公开的范围充分地传达给本领域技术人员。在全文中，相同的附图标记指代相同的元件。

特别参考图1，提供了挖掘机100形式的工程机械100。挖掘机100包括可移动负载单元设备102，该可移动负载单元设备102包括工程机械器件，该工程机械器件被例示为动臂104和器具106。在图1中描绘的实施例中，器具106是铲斗，但也可以想到其它器具，例如抓持工具等。挖掘机100包括工程机械结构，该工程机械结构包括上部结构108和下部结构110，其中，上部结构108和下部结构110能够相对于彼此移动。详细地，上部结构108能够围绕大致竖直的几何轴线(未示出)相对于下部结构110旋转。

负载单元设备102连接到挖掘机100的上部结构108，这使得负载单元设备102能够相对于下部结构110以及相对于其地面118以可旋转方式移动。负载单元设备102也能够相对于地面118被升高和降低，从而增加/减小器具106和地面118之间的距离。另外，器具106能够相对于动臂104倾斜。如图1中进一步示出的，上部结构108包括用于容纳挖掘机100的操作者的驾驶室112，而下部结构110包括履带114形式的一对地面接合构件114。也可以想到其它的地面接合构件114，例如车轮等。

如所描述的，负载单元设备102能够相对于下部结构110以及相对于地面118移动。图1描绘了从负载单元设备102被用实线描绘时的第一当前时间点到未来时间点的移动。负载单元设备102在该未来时间点处被用虚线116描绘。箭头120描绘了从当前位置到未来位置的移动。

工程机械100还包括图像投影设备200。关于以下的描述给出了图像投影设备200及其相对于工程机械的实施方式和操作的详细描述。

现在转到图2，其中概念性地示出了图像投影设备200的可能的实施方式。如所例示的，图像投影设备200被布置成将图像投影到所述工程机械100外部的表面122上，例如投影在动臂104和器具106处。下文关于图3A至图3D的描述来给出在工程机械器件(例如动臂104和器具106)处的各种图像投影的进一步的细节。

图像投影设备200能够如上所述地包括例如激光投影仪204，用于在表面122处呈现信息。图像投影设备200还包括控制单元210，例如电子控制单元(ECU)，该控制单元210适于形成要由激光投影仪204投影的图像。控制单元210进一步适于控制激光投影仪204。例如，控制单元210可以被实现为通用处理器、专用处理器、包含处理组件的电路、一组分布式处理组件、被配置成进行处理的一组分布式计算机、现场可编程门阵列(FPGA)等。

该处理器可以是或可以包括用于进行数据或信号处理或用于执行存储在存储器中的计算机代码的、任何数量的硬件组件。该存储器可以是用于存储数据和/或计算机代码以完成或促进本说明书中描述的各种方法的一个或多个装置。该存储器可以包括易失性存储器或非易失性存储器。该存储器可以包括数据库组件、目标代码组件、脚本组件或用于支持本说明书的各种活动的任何其它类型的信息结构。根据示例性实施例，本说明书的系统和方法可以利用任何分布式或本地存储装置。根据示例性实施例，该存储器被可通信地连接到处理器(例如，经由电路或者任何其它有线、无线或网络连接)，并且包括用于执行本文中描述的一个或多个过程的计算机代码。

控制单元210进一步适于例如从工程机械100所包括的地理定位设备212接收指示工程机械100的当前位置的信息。地理定位设备212例如可以包括GPS接收器212或在施工现场处的本地定位设备，例如Wi-Fi定位系统。如本领域技术人员所理解的，在工程机械在地下操作的情况下，例如在矿井等中操作的情况下，可能需要使用替代卫星导航的方法。另外，控制单元210可以适于接收与工程机械100相对于例如作业现场的定向有关的信息，从而允许工程机械100以期望的方式被定位和定向。这样的定向信息例如可以由GPS接收器212来提供或使用与工程机械100一起提供的单独的指南针功能来提供。在图2中所示的示例性实施方式中，控制单元210进一步适于接收已经预先存储在数据库214中的施工数据，该数据库214被布置成与控制单元210通信。

图像投影设备200可以还包括布置在工程机械100上或远离工程机械100布置的数据库214。数据库214被布置成与控制单元210通信。在数据库214远离工程机械100布置的情况下，图像投影设备200可以包括用于与数据库214建立网络连接的收发器(未示出)。数据库214可以例如包括挖掘指令、驾驶指令或与工程机械100要在其中操作的特定地点(例如作业现场)有关的类似指令。

除了上述之外，控制单元210还优选适于例如从照相机设备216接收与工程机械100的周围环境有关的传感器数据。在一些实施例中，照相机设备216可以是适于用来形成工程机械100周围环境的3D表示的三维(3D)照相机。因此，控制单元210适于实施反馈功能，其中，例如传感器数据可以与存储在数据库214内的例如挖掘指令、驾驶指令或类似指令关联。因此，能够确定例如在作业现场/施工现场处(即，使用照相机设备216采集的)当前状态与由施工数据提供的“期望”的最终结果之间的匹配。这种关联将进一步允许所投影的图像以对应的方式被更新，即，连续地根据作业现场/施工现场的当前状态以及由操作者执行的工程机械器件的操作而更新。如下文将进一步讨论的，控制单元210还可以适于连接到工程机械100所包括的导航设备(未示出)，用于向控制单元210提供导航指令。

另外，控制单元210可以适于(连续地)接收与工程机械器件的当前定位有关的信息。这种信息例如可以在工程机械100所包括的CAN总线处获得，或者可替代地，可以从布置在工程机械器件处的其它传感器(未示出)来接收。

结合图4进一步参考图3A至图3D，提供了使用图像投影设备200来帮助工程机械100的操作者的四个示例。

在图3A中，为操作者提供了在所述工程机械100外部(例如在动臂104和器具106处)的上述表面122处的基本指令。在图3A至图3D中，表面122被限定为包括动臂104和器具106中的至少一个的、指向操作者驾驶室112的表面。

根据图3A要提供给操作者的指令被提供，用于控制器具106相对于地面118的位置。根据本实施例，这是通过如下方式实现的：例如使用从CAN总线接收的数据或使用照相机设备216来确定S1器具106的定位(或位置)。基于器具106的定位/位置，控制单元210(可能基于例如从数据库214接收的挖掘指令)形成要投影S2在表面122处的图像302。在图3A中提供的示图中，图像被投影在动臂104处。

作为所投影的图像302的结果，示出了向上指向的箭头，操作者将调节器具106的位置/定位，使得器具106被升高，并且控制单元210将因此确定S3器具106的调节后的位置。在器具106已经被“升高超过”所期望的高度(例如，升高“太多”)的情况下，可以形成调节后S4的图像304，并且随后将调节后的图像304投影S5在表面122处。在图3A中，调节后的图像304被提供为向下指向的箭头。

作为替代方案，并且如图3B中所示，可以提供替代图像306来***具106。这种图像306可以例如包括操作者能够容易理解的线条/标记。在图3B中，想法是操作者将中心线308调平至与邻近中心线308设置的两条外线310相同的高度处，用于将器具106相对于地面108布置在例如特定高度处。因此，将基于器具106的连续操作来动态地更新图3B中提供的示图。因此，将监测器具106的当前位置/定位，并将器具106的当前位置/定位与例如由所述挖掘指令提供的器具106的期望定位/位置进行比较。因此，通过示出对中心线308的连续调节，图3B中所示的实施方式将在一定程度上是模拟式的，而图3A中所示的实施方式将在一定程度上是“数字式”的，其基于阈值比较而在向上指向的箭头302和向下指向的箭头304之间进行切换。

在图3C中，提供了为操作者提供用于操作器具106的指令的又一个示例。具体地，在图3C中，希望将器具保持为“调平的”。针对器具106的当前定位/位置进行判定，并且表明该器具已被稍微旋转。结果，如在动臂104处所例示的，在表面122处将旋转图像312呈现给操作者。一旦操作者已经将器具106调平，就可以提供更新的图像(未示出)，以告知操作者该器具106现在已被调平。

此外，并且如上所述，在表面122处投影的图像可以不必局限于示出与例如器具106的特定操纵有关的信息。而是，可以提供其它类型的信息。如图3D中所例示的，图像314可以被投影在表面122(该表面122被例示为在器具106处)处，用于当例如在作业现场到处移动工程机械100时向操作者提供驾驶指令。该驾驶指令可以例如基于工程机械100的当前位置、以及例如从作业现场处的主管接收到的用于将工程机械100从作业现场处的当前位置移动到未来位置的所提供的任务。再次，确定器具106的位置/定位，其在图3D中被示出为稍微移动到一侧，以在移动工程机械100时为操作者提供适当的视线。在图3D中，图像314指令操作者在离工程机械100的当前位置300米内向右转弯。

如上所述，在表面122处投影的图像当然可以保有其它信息，例如器具106的当前重量(当已装料时)、以更有能量效率的方式操作工程机械100的指令等。因此，可以在表面122处向操作者提供对于以有效的方式操作工程机械100有用的任何类型的合适信息。

本公开考虑了用于完成各种操作的方法、装置和在任何机器可读介质上的程序产品。本公开的实施例可以使用现有的计算机处理器或者通过用于为此目的或其它目的而并入的适当系统的专用计算机处理器或者通过硬连线系统来实现。本公开的范围内的实施例包括程序产品，该程序产品包括机器可读介质，该机器可读介质用于携载或其上存储有机器可执行指令或数据结构。这种机器可读介质可以是能够由通用或专用计算机或带有处理器的其它机器访问的任何可用介质。

举例来说，这种机器可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置或如下的任何其它介质，该介质能够用于携载或存储形式为机器可执行指令或数据结构的期望的程序代码，并且该介质能够由通用或专用计算机或带有处理器的其它机器访问。当信息通过网络或另一种通信连接(硬连线、无线或者硬连线或无线的组合)被传输或提供给机器时，该机器将该连接适当地视为机器可读介质。因此，任何这样的连接都被适当地称为机器可读介质。以上的组合也被包括在机器可读介质的范围内。机器可执行指令例如包括使通用计算机、专用计算机或专用处理机执行某些功能或一组功能的指令和数据。

尽管附图可能示出了方法步骤的特定顺序，但这些步骤的顺序可以与所描绘的顺序不同。另外，可以同时或部分同时地执行两个或更多个步骤。这种变体将取决于所选择的软件和硬件系统以及设计者的选择。所有这些变体都在本公开的范围内。同样，能够利用具有基于规则的逻辑和其它逻辑以完成各种连接步骤、处理步骤、比较步骤和决策步骤的标准编程技术来完成软件实施。另外，虽然已经参考本公开的特定的示例性实施例描述了本公开，但对于本领域技术人员而言，许多不同的修改、变型等将变得显而易见。

通过研究附图、本公开和所附权利要求书，本领域技术人员在实践所要求保护的公开时能够理解并实现所公开的实施例的变体。此外，在权利要求书中，词语“包括”不排除其它元件或步骤，并且不定冠词“一”或“一个”不排除多个。