阅读说明：本技术 用于工程机械的信息系统 (Information system for construction machine ) 是由 约翰·亚伦格里普 于 2017-06-09 设计创作，主要内容包括：本公开总体上涉及一种用于工程机械(100)的信息系统(200),该信息系统特别适合基于与工程机械(100)的周围环境有关的施工数据将图像(206)投影到工程机械(100)外部的区域(122)上。本公开还涉及对应的用于这种工程机械(100)的方法和计算机程序。(The present disclosure relates generally to information systems (200) for a work machine (100), which are particularly suitable for projecting an image (206) onto an area (122) outside the work machine (100) based on construction data relating to the surroundings of the work machine (100), and to corresponding methods and computer programs for such a work machine (100).)

用于工程机械的信息系统

技术领域

本公开总体上涉及一种用于工程机械的信息系统，该信息系统特别适合基于与工程机械的周围环境有关的施工数据(construction data)将图像投影到该工程机械外部的区域上。本公开还涉及对应的用于这种工程机械的方法和计算机程序。

背景技术

例如挖掘机、推土机、装载机等形式的工程机械可以用于执行施工、采矿和/或景观美化操作中的各种任务。这种工程机械通常可以配备有能够接合各种物体以帮助执行任务的一个或多个作业器具(workimplements)。所述作业器具能够由例如可以位于工程机械上的操作者以期望的方式调节或操纵。存在要结合到这种工程机械中的各种控制系统和技术，以帮助其操作者控制工程机械和/或作业器具。这些系统和技术能够与大量的各种传感器交互，以向操作者提供有关工程机械和/或作业器具的信息和数据，以进一步帮助控制该工程机械和/或作业器具。

计算机科学的最新进展现在允许上述控制系统向操作者提供帮助，以实时地将由传感器获取的数据与工程机械在其中操作的动态结构环境关联。基于这种关联，可以向操作者显示所谓的增强现实(AR)，以帮助操作者操纵工程机械。

具体地，AR可以向操作者提供物理、真实世界环境的视图，其元素由计算机生成的感觉输入(例如声音、文本、图形或视频)来增强(或补充)。在典型的现有技术AR应用中，数据处理器检查照相机捕获的图像的线索，该线索触发另外的信息和图像的显示，连同所捕获的图像的显示。

例如，可以使用布置在工程机械所包括的操作者驾驶室内的显示屏将AR信息呈现给操作者。然而，这种实施方式使得操作者需要在显示器和例如作业器具之间分配他的注意力，从而使操作不稳定且使人疲劳。

作为替代方案，可以采用一种更动态的方法，例如US20140188333中所公开的那样，其中，向操作者提供了适合于增强现实能力的头戴式显示器(HMD)。根据US20140188333，即使在从操作者的直接视线中看不到作业器具的情况下，也可以额外地允许AR信息帮助操作者“看见”作业器具。

虽然US20140188333中提出的解决方案为工程机械的安全操作提供了大的改进，但本发明人已经确认了帮助操作者的进一步的可能性，而不必依靠强迫操作者戴上例如HMD，从而允许当例如在施工现场等处操作工程机械时进一步降低风险。

发明内容

根据本公开的一个方面，上述问题至少部分地通过一种用于工程机械的信息系统来减轻，该信息系统包括照明装置和控制单元，该照明装置被布置成将图像投影到所述工程机械外部的区域上，该控制单元适于控制所述照明装置，其中，该控制单元适于：接收工程机械的周围环境的一部分的施工数据；基于该施工数据形成要投影的图像；接收工程机械的当前位置的信息；并且基于工程机械的当前位置将所述图像投影到该区域上。

因此，根据本公开，能够允许在所述工程机械外部的区域处进行用于帮助操作者的信息的任何投影，即，不必如根据现有技术所提出的那样依靠在固定或移动的(例如HMD)显示器处呈现信息。而是，例如将工程机械周围的地面用作用于呈现帮助信息的“帆布”。

另外，所呈现的信息不仅基于例如包括在该工程机械中的器具位于何处，而且还基于与所使用的工程机械的周围环境有关的外部施工信息、以及工程机械的当前位置，以在例如所述地面处形成要投影的信息/图像。

该实施方式所具有的优点在于，可以允许工程机械的操作者“始终”将其焦点放在“正确位置”，该“正确位置”通常在工程机械的周围环境处，而不是在工程机械所包括的操作者驾驶室内。另外，所投影的信息将容易地供不止一个人/操作者使用，而不必向每一个操作者/人提供例如专用的HDM等。事实上，该信息通常可以在“需要”的地方和时间被投影，从而进一步帮助例如工程机械的操作者与在工程机械的周围环境中工作的其他人员之间的交互。

“照明装置”应被理解为是指能够在工程机械附近提供可见照明(包括例如标记、图标、文本、视频、图像等)的装置或设备。该照明装置可以包括不同类型的光源，例如发光二极管(LED)或LED阵列等。当然可以想到其他替代方案，例如激光器、图像/视频投影仪等。该照明装置也可以被布置成相对于工程机械提供可移动的照明。因此，无论工程机械的具***置如何，该照明装置都能够可控地照亮工程机械附近的不同位置。而且，该照明装置能够在距工程机械的不同距离处提供视觉照明。例如，该照明装置既能够照亮紧邻工程机械的车身结构的位置，又能照亮离开车身结构一定距离的位置。

在一个实施例中，该控制单元可以是通常被设置为工程机械的机载组件的电子控制单元(ECU)，该工程机械例如是挖掘机、轮式装载机、铰接式运输车、推土机、平地机和反铲装载机或者任何形式的对应的施工设备。在一些实施例中，该工程机械可以包括内燃发动机，或者可以是纯电动车辆(PEV)和混合动力车辆(HEV)中的至少一种。此外，应该理解，例如，可以从地理定位装置(例如工程机械所包括的GLONASS或GPS接收器)接收该工程机械的当前位置的信息。与工程机械的位置有关的信息可以还包括与工程机械的相对定向有关的信息。

在本公开的非限制性示例中，所述施工数据可以包括指示地面下方的施工情况(例如指示布置在地面下方的管和/或线缆)的信息。因此，该控制单元可以例如接收从施工的角度上看与工程机械的周围环境当前被如何布置有关的施工数据(可能还包括地图信息)。因此，所示例的管和/或线缆可以在它们的实际位置处对于操作者“可视化”，从而当操作者例如正在操作挖掘机的器具时帮助他/她，以确保器具不会与所述管和/或线缆形成意外接触。

然而，应当理解，施工数据不仅仅必须与工程机械周围的当前施工环境有关。而是，该施工数据可以还包括与工程机械周围的期望的施工前景有关的信息。即，在本公开的形式实施例中，该施工数据可以指示将由工程机械执行的施工任务的一部分或一个部分。这样，该施工数据可以与给操作者的用于使用挖掘机的器具来执行特定任务(例如在特定位置处在地上挖坑)有关的指令。因此，所形成的并且被投影的图像可以包括将在何处进行挖掘的标记(“挖掘指令”)、以及必须考虑的当前施工的上述信息(例如所提到的管和/或线缆)。

在可能的实施例中，从例如被布置成与控制单元通信的数据库接收该施工数据。在一个实施例中，该数据库可以布置在工程机械上。然而，在另一个实施例中，该数据库被布置成远离所述控制单元，并且可能使用诸如因特网的网络连接来访问。在一个实施例中，可以将该施工数据提供为与工程机械正在此处操作的施工或作业现场有关的三维位置数据。可能地，该施工数据可以包括地图信息，该地图信息限定了在施工/作业现场的特定位置，例如将由工程机械执行挖掘操作(在工程机械被装备成执行这种操作的情况下)的位置。

除了上述之外，所述控制单元可进一步适于接收与工程机械的周围环境有关的地理数据。能够使用布置在工程机械处或其附近的一个或多个传感器来获取这种地理数据。这样的一个或多个传感器可以例如包括照相机、激光扫描仪、雷达装置、基于IR的装置和激光雷达装置中的至少一种。作为所述施工数据的补充，该地理数据可以与例如地面被如何布置有关，与工程机械的周围环境中的可能的结构或障碍物有关，等等。在一个实施例中，当形成要在工程机械外部的区域处投影的图像时，可以包括该地理数据。根据本公开，能够另外包括适于确定指示例如地下地质和物理性质的信息的传感器装置。这种地下传感器装置例如可以包括用于表面波分析的装置等。

此外，在本公开的一些实施例中，可能希望还例如使用被连接到控制单元的眼睛和/或头部跟踪机构来估计操作者相对于工程机械的当前位置，并且基于所估计的位置来调节要投影的图像的形成。在该估计位置可用的情况下，能够允许例如当从操作者的当前位置看时正确地投影的图像的透视图。可以通过确定操作者的基本上准确的位置或者可替代地通过例如估计操作者位于该工程机械所包括的操作者驾驶室内来执行所述估计。

根据本公开的另一方面，提供了一种用于使用信息系统来帮助工程机械的操作者的方法，该信息系统包括照明装置和控制单元，该照明装置被布置成将图像投影到所述工程机械外部的区域上，该控制单元适于控制所述照明装置，其中该方法包括以下步骤：在控制单元处接收工程机械的周围环境的一部分的施工数据；由控制单元基于该施工数据形成要投影的图像；在控制单元处接收工程机械的当前位置的信息；并且基于工程机械的当前位置使用所述照明装置将该图像投影到所述区域上。本公开的该方面提供了与上文关于本公开的先前方面讨论的优点类似的优点。

应当理解，根据本公开的构思可以被实施为计算机程序，该计算机程序适于例如使用上文讨论的工程机械所包括的控制单元来执行。另外，本公开的这种实施方式提供了与上文关于本公开的先前方面所讨论的优点类似的优点。该计算机程序可以例如存储到计算机可读介质上，其中，该计算机可读介质可以是任何类型的存储设备，包括以下项中的一种：可移除非易失性随机存取存储器、硬盘驱动器、软盘、CD-ROM、DVD-ROM、USB存储器、SD存储卡或本领域已知的类似的计算机可读介质。

在以下的描述中和从属权利要求中公开了本公开的进一步的优点和有利特征。

附图说明

参考附图，以下是作为示例引用的本公开的实施例的更详细描述。

在这些图中：

图1是设置有根据本公开的信息系统的、挖掘机形式的工程机械的透视图；

图2概念性地示出了根据本公开的示例实施例的信息系统；

图3A和图3B是投影到图1中所示的工程机械外部的区域上的可能形成的图像的概念性示图；并且

图4示出了用于执行根据本公开的方法的处理步骤。

具体实施方式

现在将在下文中参考附图更充分地描述本公开，在附图中示出了本公开的当前优选的实施例。然而，本公开可以以许多不同的形式来实施，且不应被解释为限于本文中阐述的实施例；而是，提供这些实施例是为了充分性和完整性，并将本公开的范围充分传达给本领域技术人员。在全文中，相同的附图标记指代相同的元件。

特别参考图1，提供了挖掘机100形式的工程机械100。挖掘机100包括可移动负载单元装置102，该可移动负载单元装置102包括动臂104和器具106。在图1中描绘的实施例中，器具106是铲斗，但是也可以想到其他器具，例如抓持工具等。挖掘机100包括上部结构108和下部结构110，其中上部结构108和下部结构110能够相对于彼此移动。详细地，上部结构108能够围绕大致竖直的几何轴线(未示出)相对于下部结构110旋转。负载单元装置102连接到挖掘机100的上部结构108，这使得负载单元装置102能够相对于下部结构110以及相对于其地面118旋转移动。负载单元装置102也能够相对于地面118被升高和降低，从而增加/减小器具106和地面118之间的距离。另外，器具106能够相对于动臂104倾斜。如图1中进一步示出的，上部结构108包括用于容纳挖掘机100的操作者的驾驶室112，而下部结构110包括履带114形式的一对地面接合构件114。也能够想到其他的地面接合构件114，例如车轮等。

如所描述的，负载单元装置102能够相对于下部结构110以及相对于地面118移动。图1描绘了从负载单元装置102被用实线描绘时的第一当前时间点到未来时间点的移动。负载单元装置102在未来时间点处被用虚线116描绘。箭头120描绘了从当前位置到未来位置的移动。

工程机械100还包括信息系统200。关于下文的描述给出了信息系统200及其相对于工程机械的实施方式和操作的详细描述。

现在转到图2，其中概念性地示出了信息系统200的可能的实施方式。如所例示的，信息系统200包括照明装置204，该照明装置204被布置成将图像投影到所述工程机械100外部的区域122上，例如工程机械100周围的地面118上。在图1中示出的示例中，被照亮的区域122大致对应于将在此处使用器具106挖坑的区域。下面结合图3A和图3B的描述给出照亮该区域122和/或地面118的各种替代方式的进一步细节。

如上文讨论的，照明装置204能够包括布置在工程机械100的各种位置处的多个光源、图像或视频投影仪、激光投影仪或用于在区域122处呈现信息的类似装置。例如，工程机械100可以设置有多个照明装置204，所述多个照明装置204可能布置在工程机械100的车身结构140的前侧130、后端132处以及两个横向侧134上。

信息系统200还包括适于形成要由照明装置204投影的图像的控制单元210，例如电子控制单元(ECU)。控制单元210进一步适于控制该照明装置204。例如，控制单元210可以表现为通用处理器、专用处理器、包含处理组件的电路、一组分布式处理组件、被配置成进行处理的一组分布式计算机、现场可编程门阵列(FPGA)等。

该处理器可以是或可以包括用于进行数据或信号处理或者用于执行存储在存储器中的计算机代码的、任何数目的硬件组件。该存储器可以是用于存储数据和/或计算机代码以完成或促进本说明书中描述的各种方法的一个或多个设备。该存储器可以包括易失性存储器或非易失性存储器。该存储器可以包括数据库组件、目标代码组件、脚本组件、或用于支持本说明书的各种活动的任何其他类型的信息结构。根据示例性实施例，本说明书的系统和方法可以利用任何分布式或本地存储设备。根据示例性实施例，该存储器被可通信地连接到处理器(例如，经由电路或者任何其他有线、无线或网络连接)，并且包括用于执行本文中描述的一个或多个过程的计算机代码。

控制单元210进一步适于例如从工程机械100所包括的地理定位装置212接收指示工程机械100的当前位置的信息。地理定位装置212例如可以包括GPS接收器212或在施工现场处的本地定位装置，例如Wi-Fi定位系统。如本领域技术人员所理解的，在工程机械在地下操作的情况下，例如在矿井等中，可能有必要使用替代卫星导航的方法。另外，控制单元210可以适于接收与工程机械100相对于例如作业现场的定向有关的信息，从而允许工程机械100以期望的方式被定位和定向。这样的定向信息例如可以由GPS接收器212或使用与工程机械100一起提供的单独的指南针功能来提供。在图2中所示的示例性实施方式中，控制单元210进一步适于接收已经预先存储在数据库214中施工数据，该数据库214被布置成与控制单元210通信。

如上所指出的，数据库214可以布置在工程机械100上或远离工程机械100。在数据库214被布置成远离工程机械100的情况下，信息系统200可以包括用于与数据库214建立网络连接的收发器(未示出)。

除了上述之外，控制单元210优选适于例如从照相机装置216接收与工程机械100的周围环境有关的传感器数据。在一些实施例中，照相机装置216可以是适于用来形成工程机械100的周围环境的3D表示的三维(3D)照相机。因此，控制单元210适于实施反馈功能，其中，所接收到的施工数据被与使用例如照相机装置216采集的信息关联，以确定在例如作业现场/施工现场处(即，使用照相机装置216采集的)的当前状态与由施工数据提供的“期望”的最终结果之间的匹配。这种关联将进一步允许所投影的图像以对应的方式被更新，即，连续地根据作业现场/施工现场的当前状态而更新。

应进一步理解的是，通过允许在施工数据中标记出的“固定物体”例如被照相机装置216识别，可以允许增强对工程机械100相对于作业现场/施工现场的位置的确定，从而提供工程机械100与所述固定物体之间的关系，以确定工程机械100的当前位置。

结合图4进一步参考图3A和图3B，提供了使用信息系统200来帮助工程机械100的操作者的两个示例。

在图3A中，为操作者提供了用于挖坑302的详细指令。根据本实施例，这是通过接收S1与工程机械100的周围环境有关的上述施工数据来实现的。在图3A中，该施工数据包括要挖的坑302的位置和尺寸(即，X-Y-Z(例如以厘米或米或类似单位表示))的指示。基于该施工数据，控制单元210形成要投影在区域122(即，要挖坑302的地方)处的合适图像。在所示出的实施例中，该图像是未来的坑302的三维表示。该图像还可以包括要呈现给操作者的信息文本。

控制单元210还将例如从GPS接收器212接收S3工程机械100的当前位置的信息。当随后将所形成的图像投影S4到区域122上时，控制单元210将考虑所述当前位置。在本实施例中，该图像被选择为还包括操作者将从坑302中移除的垃圾堆定位在此处的指令/标记区域。

作为替代方案并且如图3B中所示，该图像可以包括要在区域122内投影的进一步的信息。在图3B中，这种信息被示出为包括与位于地面118下的管道/管304和电缆306有关的信息。因此，操作者将直接了解管304或线缆306位于何处，从而可以避免在例如挖沟308时接触到它们。在可能的实施例中，取决于例如所述器具被确定为相对于“实际”的管/线缆有多近，与管304或线缆306有关的标记可以被设置成不同的颜色。例如，在距离高于预定阈值(例如0.5m)的情况下，标记304/306可以是黄色，而在该距离低于或等于阈值的情况下，所述标记可以切换为红色。类似地，在确定所述器具以低于阈值的距离被定位的情况下，可以允许标记304/306“闪烁”地开和关。在一个实施例中，在该距离被确定为低于阈值的情况下，能够例如使用布置在操作者驾驶室内的扬声器系统额外地向操作者提供声音警告。

本公开考虑了用于完成各种操作的方法、设备和在任何机器可读介质上的程序产品。本公开的实施例可以使用现有的计算机处理器或者通过用于为此目的或另一目的而并入的适当系统的专用计算机处理器或者通过硬连线系统来实现。本公开范围内的实施例包括程序产品，该程序产品包括机器可读介质，该机器可读介质用于携载或具有存储在其上的机器可执行指令或数据结构。这种机器可读介质可以是能够由通用或专用计算机或带有处理器的其他机器访问的任何可用介质。

举例来说，这种机器可读介质能够包括RAM、ROM、EPROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁性存储设备，或者任何其他介质，该介质能够用于携载或存储形式为机器可执行指令或数据结构的期望的程序代码，并且该介质能够由通用或专用计算机或带有处理器的其他机器访问。当信息通过网络或另一种通信连接(硬连线、无线、或者硬连线和无线的组合)传输或提供给机器时，该机器适当地将该连接视为机器可读介质。因此，任何这样的连接都被适当地称为机器可读介质。以上的组合也被包括在机器可读介质的范围内。机器可执行指令例如包括使通用计算机、专用计算机或专用处理机器执行某些功能或一组功能的指令和数据。

尽管附图可能示出了方法步骤的特定顺序，但这些步骤的顺序可以与所描绘的顺序不同。另外，可以同时或部分同时地执行两个或更多个步骤。这种变体将取决于所选择的软件和硬件系统以及设计者的选择。所有这些变体都在本公开的范围内。同样，能够使用具有基于规则的逻辑和其他逻辑以完成各种连接步骤、处理步骤、比较步骤和决策步骤的标准编程技术来完成软件实施。另外，虽然已经参考了本公开的特定的示例性实施例描述了本公开，但对于本领域技术人员而言，许多不同的修改、变型等将变得显而易见。

通过研究附图、本公开和所附权利要求书，本领域技术人员在实践所要求保护的公开时能够理解并实现所公开的实施例的变体。此外，在权利要求书中，词语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。