阅读说明：本技术 用于使用检测到的声音操作移动式机器的系统和方法 (System and method for operating a mobile machine using detected sounds ) 是由 T·M·奥唐内尔 于 2019-08-16 设计创作，主要内容包括：在一个方面,一种用于操作移动机器的方法可以包括：从联接到机器的至少一个音频传感器接收音频输入；确定音频输入是否对应于非环境声音；确定非环境声音源与机器之间的方向；以及基于所确定的方向对非环境声音作出反应。(In one aspect, a method for operating a mobile machine may include: receiving an audio input from at least one audio sensor coupled to the machine; determining whether the audio input corresponds to a non-ambient sound; determining a direction between a non-ambient sound source and a machine; and reacting to the non-ambient sound based on the determined direction.)

用于使用检测到的声音操作移动式机器的系统和方法

技术领域

本发明总体上涉及一种移动式机器，并且更具体地涉及用于使用检测到的声音来操作移动式机器的系统和方法。

背景技术

移动式机器经常在工地使用。这些机器可以执行各种各样的任务。机器必须在了解机器环境，包括工地的其他居住者的情况下操作。工地可被包括人、机器、建筑物和其它物体的许多静止和移动元件占据。当机器由机器驾驶室中的人员操作时，操作者可以在评估工地环境时使用多种感觉。例如，操作者除了使用视线来评估环境之外，还可以利用声音和感觉来评估他或她的周围环境。

工地变得愈发自动化。机器可以自动操作或由远程操作者操作，而不是由机器驾驶室中的操作者来操作。在自动化工地中，对于机器来说，重要的是在了解他们周围的人和物体的情况下进行操作。例如，可能希望机器与比如材料堆的物体接合。然而，相同的机器不应该在物理上遇到人或其它机器。机器可具有碰撞避免系统，其利用激光或其它机构来评估机器的周围环境。然而，这样的系统可能具有有限的范围，并且在检测不在机器的视线内的障碍物时可能不太合适。例如，这种系统可能无法评估角落周围、另一物体后面或山坡上方的障碍物。

由Komatsu Ltd.提交并于2002年1月31日公开的日本发明号JP2002030699A描述了一种用于包括麦克风和控制器的移动机器的系统。控制器可以存储已知的声音模式，并且可以将麦克风接收到的声音与存储的声音模式进行比较。如果麦克风检测到与参考图案匹配的声音，则可以停止机器的移动。然而，JP2002030699A的系统缺乏评估不是编程库的一部分的声音的能力。依赖于编程库可能是有限的，因为系统不能检测和响应不是编程库的一部分的声音。本发明的系统可以解决上述的一个或多个问题和/或本领域中的其他问题。然而，本发明的范围由所附权利要求限定，而不是由解决任何具体问题的能力限定。

发明内容

在一个方面，一种用于操作移动机器的方法可以包括：从联接到所述机器的至少一个音频传感器接收音频输入；确定音频输入是否对应于非环境声音；确定非环境声音源与机器之间的方向；以及基于所确定的方向对非环境声音作出反应。

在另一方面，一种用于操作移动机器的系统可以包括：联接到机器的至少一个音频传感器；以及控制器，被配置为：从联接到机器的至少一个音频传感器接收音频输入；确定音频输入是否反映非环境声音；确定非环境声音源与机器之间的方向；以及基于所确定的方向对非环境声音作出反应。

在又一个方面中。一种用于操作移动机器的方法可以包括：从联接到机器的至少一个音频传感器接收音频输入；表征音频输入；基于所表征的音频输入，聚焦一个或多个防撞传感器；以及对所表征的音频输入作出反应。

附图说明

图1A-1C是示例性机器的示意性俯视图。

图2是用于图1A-1C的机器的示例性控制系统的框图；以及

图3是示出使用图2的示例性控制系统来评估环境声音的示例性控制序列的流程图。

具体实施方式

前面的一般描述和下面的详细描述都仅仅是示例性和解释性的，而不是对所要求保护的特征的限制。如在此所使用的，术语“包含(comprises)”、“包含(comprising)”、“具有”、“包括”或其其他变体旨在覆盖非排他性的包括，使得包括一系列元件的过程、方法、物品或装置不仅包括那些元件，而且可以包括未明确列出的或这种过程、方法、物品或装置固有的其他元件。

在本发明中，相对术语，例如“约”、“基本上”和“近似”用于表示所述值中±10％的可能变化。尽管参照拖运机器描述了本发明的某些方面，但这仅仅是示例性的。一般来说，本发明可应用于任何机器，例如任何类型的卡车、装载机、铲运机、拖拉机、装载机、挖沟机、挖掘机、平地机、反铲挖土机、推土机、装载-拖运-倾倒机器、叉车、起重机、辊子等。虽然本发明参考了传感器的示例性放置，但是这种传感器可以放置在与本发明一致的其他适当位置。

图1A-1C示出了示例性机器10的俯视图。机器10可包括前部12和后部14。前部12可包括驾驶室16，该驾驶室16可安装在发动机外壳上方。操作员驾驶室16可包括具有多个输入和显示器的控制系统。后部14可以包括倾倒体18，该倾倒体18可枢转地安装到机器10的框架上。机器10可由车轮20支撑在地面上。机器10的元件和布局仅仅是示例性的。本发明的原理可以应用于任何类型的机器，包括缺少上述部件或拥有不同部件的机器。

机器10可以包括一个或多个音频传感器30。音频传感器30可以是例如麦克风、地震检波器、水听器、地震计、声音***、系带传感器和/或本领域已知的任何其它类型的音频传感器。虽然这里可以使用术语麦克风，但是也可以使用任何其它合适类型的传感器。音频传感器30可以被配置为接收来自环境的噪声并且响应于这种噪声产生模拟或数字信号。来自音频传感器30的信号可以指示由音频传感器30检测到的噪声的各种质量。例如，音频传感器30的信号可以包括比如检测到的波形的幅度、频率、波长和/或周期的信息。

音频传感器30可以安装或以其他方式定位在机器10上的任何适当位置。当多个音频传感器30位于机器10上时，可以比较和/或组合从音频传感器30获得的信号，以便获得关于由音频传感器30检测到的声音的进一步信息。位于第一位置的音频传感器30可以收集指示检测到的声音的某些特性(例如，振幅、频率、波长和/或周期)的数据。位于第二位置的音频传感器30还可以收集指示相同检测到的声音的某些特性(比如上述特性)的数据。由音频传感器30在第一位置和第二位置处收集的数据可以在一个或多个特性上不同。例如，来自第一位置处的音频传感器30的信号可以反射振幅大于来自第二位置处的音频传感器30的信号的声波。这样的信息可以暗示检测到的声音的源比第二位置更靠近第一位置。来自音频传感器30的信号随时间的变化还可以指示声源的位置或位置的变化。例如，可以在不同时间将来自音频传感器30的信号与来自音频传感器30的信号进行比较，以便识别声音是例如更接近还是更远离。来自多个音频传感器30的数据可以被组合以进一步表征声音随时间的变化。来自不同位置处的音频传感器30的信号可以以各种方式变化以指示例如不同频率、不同振幅、不同波分量等，来自不同位置处的音频传感器30的信号之间的差异和相似性可以指示类型声源、距声源的距离、声源的移动等。

可以定位音频传感器30以便提供比如上述关于声源的信息。音频传感器30可以定位在机器10上并且彼此间隔开。图1A描绘了一个示例性配置。如图1A所示，音频传感器30可以放置在机器10的每一侧上。在替代方案中，音频传感器30可以放置在机器10的侧面的子集上。例如，音频传感器30可以放置在机器10的三个侧面上。在替代方案中，音频传感器30可以放置在机器10的两个相邻或相对侧上，或者一个音频传感器30可以放置在机器10的一侧上。图1B描绘音频传感器30的替代配置。如图1B所示，音频传感器30可以放置在机器10的每个拐角上，或者放置在机器10的拐角子组上。可替代地，音频传感器30可以放置在机器10的拐角处和机器10的侧面上。可以在机器10上使用侧面和/或拐角音频传感器30的任何组合。

图1C描绘在机器10上使用一个音频传感器30的替代配置。单个音频传感器30可以被配置为在没有从其他音频传感器30获得的信息的情况下确定声音的定向源。例如，音频传感器30可以是定向麦克风。可以仅使用被配置为确定声音方向的一个音频传感器30，或者可以使用多个这样的音频传感器30。可替代地，被配置为确定声音方向的一个或多个音频传感器30可以与未被如此配置的音频传感器30结合使用。在使用定向音频传感器30的情况下，这种音频传感器30可以放置在机器10的任何适当部分上。例如，音频传感器30可以放置在机器10的中心部分上，例如机器10的顶部中心部分。

如图1A-1C所示，机器10还可以包括一个或多个碰撞避免传感器40。碰撞避免传感器40可以包括碰撞避免系统。虽然图1A-1C将碰撞避免传感器40描绘为定位在机器10的侧面上，但是这样的配置仅仅是示例性的。可以使用任何数量和配置的碰撞避免传感器40。碰撞避免传感器40可以是任何适当类型的传感器。例如，碰撞避免传感器可以是光检测和测距(LIDAR)传感器、雷达传感器、超声传感器、基于相机的系统(例如，单目或立体相机)、传统(单束)激光器和/或热传感器。或者，可以使用任何其它合适类型的传感器。传感器40能够沿特定方向聚焦。碰撞避免传感器40可用于确定传感器40与机器10附近的物体之间的距离。因此，碰撞避免传感器40可配置成辅助机器10避免与另一物体碰撞。

图2示出了用于机器10的示例性控制系统100。控制系统100可以包括控制器110。控制器110可体现为单个微处理器或多个微处理器，其可包括用于监视机器10的操作，向机器10的组件发出指令和/或与外部装置通信的装置。例如，控制器110可以包括存储器、辅助存储设备、时钟和处理器，比如中央处理单元或用于完成根据本发明的任务的任何其他装置。与控制器110相关联的存储器或辅助存储设备可以存储可以帮助控制器110执行其功能的数据和/或软件例程。此外，与控制器110相关联的存储器或存储设备还可以存储从与作业机械10相关联的各种输入接收的数据。许多市场上可买到的微处理器可以被配置成执行控制器110的功能。应当理解，控制器110可以容易地体现为能够控制许多其它机器功能的通用机器控制器。各种其他已知的电路可以与控制器110相关联，包括信号调节电路、通信电路、液压或其他致动电路，以及其他适当的电路。

控制器110可以从包括音频传感器30和碰撞避免传感器40的输入接收信息。音频传感器30可以具有上述任何特性。音频传感器30可以向控制器110提供与来自机器10附近的噪声有关的信息。来自音频传感器30的信号可以是数字信号或模拟信号。来自音频传感器30的信号可以包括来自一个或多个音频传感器30的一个或多个信号。碰撞避免传感器40可以具有上述任何特性。碰撞避免传感器40可向控制器30和/或机器10提供关于是否有任何物体接近碰撞避免传感器40的信息。

控制器110或另一部件可以被配置为使用来自音频传感器30的信号来确定由音频传感器30检测到的声音的位置。例如，控制器110可以确定发出声音的方向。由控制器确定的方向可以是例如机器10的象限或其它扇区(例如，前扇区、后扇区、左扇区、右扇区、右前象限、左前象限等)。控制器110可以通过比较和/或组合来自多个音频传感器30的信号来确定位置信息。在使用定向麦克风或其它定向音频传感器30的情况下，来自一个音频传感器30的信号可以指示声源的位置。控制器110还可以使用来自音频传感器30的输入来近似或确定机器10和噪声源之间的距离。控制器110还可以使用来自音频传感器30的输入来确定对象的相对角位置。以下方向可以相对于机器10的驾驶室中的面向前方的操作者来限定：0度可以被限定为前方，90度可以被限定为向右方向，180度可以被限定为向后方向，并且270度可以被限定为向左方向。上述四个方向都可以彼此成直角。控制器110可以使用来自音频传感器30的输入，以便使用上述坐标系分配从0度到360度的方向值。这种测量的精度可以在大约+/-30度之内。

控制器110还能够基于由一个或多个音频传感器30测量的波形来辨别特定声音。控制器110可以被配置为将检测到的音频与库112进行比较，并且基于类型对检测到的声音进行分类。库112可以存储在控制器110上和/或可以由控制器110远程访问。例如，控制器110可以被配置为检测比如单词的音频命令(例如，“停止”)或确定检测到的音频是否是机器、人或环境声音的结果。环境声音可以是正常的、典型的或其它类型的背景噪声的声音，其不表示附近的物体，例如机器或人。例如，环境声音可能来自风、交通、机器10自身的操作声音或其它类型的背景声音。环境声音可能取决于环境。例如，在公路附近的工地中，交通噪声可以是环境声音的一部分。在繁忙的行人过道附近的工地中，某些级别的声音可能是环境声音的一部分。非环境声音可以是不是机器10运行的正常背景的一部分的任何声音。环境声音可以涉及不在工地本身上发生和/或不暗示附近障碍物的声音。相反，非环境声音可以是不是机器10运行的正常背景的一部分的声音。例如，非环境声音可以是指示工地本身上的人和/或机器的声音。环境声音可以由分贝水平或声音幅度的其它指示符来表征。附加地或可选地，环境声音可以由工地环境的特定波特征来表征。可以通过与存储的关于工地中的环境声音的数据进行比较来识别非环境声音。例如，非环境声音可以具有比环境声音更高的分贝水平或幅度和/或不同的波特征。控制器110能够确定哪种类型的源正在产生声音。控制器110还可以具有机器学习能力，从而随着时间的推移，控制器110可以获得区分声音源的能力。控制器110可以学习与特定工作环境相关联的声音。可以从多个控制器110编译信息，以便可以开发声音库(比如库112)。

控制器110可以被配置成基于来自音频传感器30和/或碰撞避免传感器40的输入来输出反应120。例如，控制器110可以被配置成向操作员提供警报、停止机器10、反转机器10、减慢机器10、改变机器10的方向，和/或以其他方式改变机器10的行为。这些可能的反应120将参考图3进一步详细讨论。

图3示出了用于评估环境声音并适当响应的示例性方法200。方法200可以集成从音频传感器30和/或碰撞避免传感器40获得的数据。在执行方法200的步骤时，机器10可以在有或没有操作者帮助的情况下操作。机器10可以是自动的，从而不需要操作员驾驶室16和/或坐在操作员驾驶室16中的操作员。机器10可以在包括各种环境声音的各种工作场所操作。在操作中，机器10可以在人、其他机器和其他物体附近工作。可能希望机器10遇到这些物体中的一些。例如，机器10可能遇到一堆待挖掘和/或重新定位的材料。另一方面，应当避免与其它物体或人的碰撞。

在步骤210中，可以校准比如控制系统100的系统。例如，可以基于周围环境校准系统100，并且音频传感器30可以测量周围环境，“零”或基线值。当机器10运行时，由音频传感器30检测到的声音可以与基线、环境值进行比较。每次在新工地使用机器10时，每天早晨、每周或以任何其它合适的时间间隔测量环境噪声水平。这种校准可以自动或手动完成。远程操作员可周期性地评估工地并执行校准或调零读数。例如，当工地的一个方面改变时，可以执行重新校准。例如，如果工地周围的交通模式改变或者如果声音环境改变，则可以在给定日期间的不同时间执行校准。附加地或可选地，可以在系统100、控制器110或机器10的制造期间执行校准。例如，系统100可以被制造成具有一个或多个预设环境噪声水平。在系统100被制造成具有多于一个预设环境噪声水平的情况下，用户可以在步骤210中选择适当的环境噪声水平。

在步骤230中，系统100的部件比如控制器110可以从机器10周围的环境接收音频输入。例如，控制器110可以经由音频传感器30接收音频输入。接收到的音频输入可以从上述的任何音频传感器30配置或者从音频传感器30的任何替换配置获得。

在步骤240中，比如控制器110的系统100的组件可以过滤在步骤230中接收的音频。可以使用任何合适的过滤方法或机制。例如，控制器110可以利用在步骤210中校准的环境噪声电平来过滤音频。控制器110可以滤除来自步骤230的音频输入，以便通过例如将来自步骤230的音频输入与在步骤210中校准的环境噪声电平进行比较来识别不是由环境噪声产生的音频输入的部分。这种过滤可以使控制器110识别不是工作环境的正常背景噪声的声音。在步骤250中，系统100的组件(例如控制器110)可确定是否已识别出非环境声音。附加地或可替代地，控制器110可以将过滤后的音频与声音库(比如上面关于图2描述的库112)进行比较，以便确定是否已经识别出与该库匹配的声音。例如，控制器110可以确定是否已经向机器10给出了命令(例如，“停止”)。如果在步骤250中没有识别出这种非环境或匹配的声音，则机器可以在步骤260中继续其操作而无需控制器110的干预。

如果在步骤250中识别出非环境或匹配的声音，则控制器110可以在步骤270中诊断音频和/或执行后续步骤。例如，控制器110可以尝试使用音频传感器30和/或其他传感器来识别声音的类型和/或源。控制器110可以依赖于来自音频传感器30和/或其他传感器的数据，以及预编程的声库或从机器学习构建的声库(比如库112)，以便确定声源(例如，机器、人等)、声音的方向和/或距声音的距离。如以上关于图2所讨论的，组合来自多个音频传感器30的数据可以在确定声源时起到三角测量作用。当机器移动时，来自一个或多个音频传感器30的音量变化可以指示声音的方向和/或距离。例如，随着机器10向前移动而增加的声音的音量可以指示声源大致设置在机器10的前方。如上所述，控制器110可以使用来自音频传感器30的输入，以便使用上述坐标系分配从0度到360度的方向值。这种测量的精度可以在大约+/-30度之内。这种测量的精度也可以更高。

控制器110还可以接合机器10的其他系统，以便获得关于声源的进一步信息。例如，控制器110可以利用碰撞避免传感器40来进一步评估声源。使用音频传感器30，控制器110可以确定发出声音的方向。基于该信息，控制器110可以将碰撞避免传感器40聚焦在该方向上。例如，控制器110可以指示碰撞避免传感器40瞄准或聚焦在该方向上。另外地或可选地，控制器110可以通过将控制器110的处理能力沿检测到的声音的方向引导至碰撞避免传感器40的操作来聚焦碰撞避免系统(包括碰撞避免传感器40)。处理能力的这种增加可以导致来自那些碰撞避免传感器40的增加的检测能力。例如，控制器110可以指示来自碰撞避免传感器40的增加的采样率，或者控制器110可以更深入地分析由碰撞避免传感器40收集的数据。碰撞避免传感器40可以提供关于机器10周围的物体的位置的附加信息，包括在步骤250中识别的声源。例如，碰撞避免传感器40可以提供关于物体的更精确位置和/或关于物体与机器10之间的距离的信息。碰撞避免传感器40可以与音频传感器30结合使用，以便评估潜在障碍物。可以向操作者提供视频或其他类型的视觉显示(例如示意性显示)，以反映在观察到的声音的方向上的设置。例如，视频或其它可视显示可以在观察到的声音的方向上示出对象，并且可以提供关于附近障碍物的进一步信息。附加地或可选地，自动视频和/或其他视觉诊断可以由控制器110基于对视频或其他视觉显示器中的对象的自动识别来执行。例如，如果碰撞避免传感器40检测到物体但该物体不产生可由音频传感器30检测到的噪声，则控制器110可执行物体的进一步评估。例如，诊断(比如上述视频诊断或来自碰撞避免传感器40的信息)可以确定检测到的对象是人、不可操作的机器、建筑物或应该避免的其他结构。可替代地，来自音频传感器30、碰撞避免传感器40和/或其他源(例如视频)的数据可以评估该物体是机器10应该接合的堆或其他物体。不同类型的传感器系统的组合，比如音频传感器系统和碰撞避免传感器系统，可以允许复杂的多层方法来检测自动化环境中的障碍物。

在步骤270中诊断音频和/或执行后续步骤之后，系统100的组件(例如控制器110)可以对步骤280中的诊断做出反应。例如，控制器110可以向机器10的驾驶室内或远程操作员发出警报。另外或可替代地，控制器110可以停止机器10、让机器10反向、改变机器10的方向、让机器10减速或以其他方式改变机器10的运动。如果在步骤250和/或270中声音与机器命令库(例如，“停止”命令)相匹配，则控制器110可以指示机器10执行该给定命令。

工业实用性

在此描述的系统100的公开的方面可以用于评估障碍物是否接近机器10。例如，系统100可以确定对象是否在机器10的路径中。特别地，系统100可用于机器的自动化和自主操作领域。尽管驾驶室内操作员具有收听他们周围的工地并听觉地评估障碍物的能力，但是当前的自动或自主机器10可能缺乏分析障碍物的音频维度。音频信息可以提供经由现有冲突避免系统不可用的细节。例如，碰撞避免系统可能不能评估角落周围、山坡上或另一物体后面的障碍物。相反，音频传感器30能够检测这样的对象。系统100可以在繁忙或拥挤的工地的情况下具有特定的效用，其中许多机器在工作，其中在工地存在人员，或者其中存在要避免的其他障碍。

对于本领域技术人员显而易见的是，在不脱离本发明的范围的情况下，可以对所公开的系统进行各种修改和变化。通过考虑在此公开的机器的说明书和实践，该系统的其他实施例对于本领域技术人员将是显而易见的。本说明书和实施例仅被认为是示例性的，本发明的真实范围由所附权利要求及其等效物来指示。