基于检测到的有效载荷的存在性的、机器人式运载工具的可调整的对象避开接近度门限
阅读说明：本技术 基于检测到的有效载荷的存在性的、机器人式运载工具的可调整的对象避开接近度门限 (Adjustable object avoidance proximity threshold for robotic vehicles based on detected presence of payload ) 是由 M·F·塔维拉 D·W·梅林格三世 于 2018-12-04 设计创作，主要内容包括：各个实施例包括基于是否正在携带有效载荷来调整在碰撞避免系统中实现的接近度门限的方法、设备和机器人式运载工具。方法可以包括：确定机器人式运载工具是否携带有效载荷；响应于确定机器人式运载工具携带有效载荷,来设置用于碰撞避免的接近度门限；以及使用用于碰撞避免的接近度门限来控制机器人式运载工具的一个或多个电动机。一些实施例可以包括：当没有在携带有效载荷时提高接近度门限,或者当正在携带有效载荷时减小接近度门限。以下实施例可以包括：确定有效载荷的分类；以及至少部分地基于该分类来设置接近度门限。(Various embodiments include methods, apparatus, and robotic vehicles that adjust a proximity threshold implemented in a collision avoidance system based on whether a payload is being carried. The method can comprise the following steps: determining whether the robotic vehicle carries a payload; setting a proximity threshold for collision avoidance in response to determining that the robotic vehicle is carrying a payload; and controlling one or more motors of the robotic vehicle using a proximity threshold for collision avoidance. Some embodiments may include: the proximity threshold is increased when no payload is being carried or decreased when a payload is being carried. The following embodiments may include: determining a classification of the payload; and setting a proximity threshold based at least in part on the classification.)
基于35 U.S.C.§119要求优先权
本专利申请要求享受于2018年1月3日递交的标题为“ADJUSTABLE OBJECTAVOIDANCE PROXIMITY THRESHOLD OF A ROBOTIC VEHICLE BASED ON PRESENCE OFDETECTED PAYLOAD(S)”的非临时申请No.15/860,897的优先权，该申请被转让给本申请的受让人，并且通过引用的方式明确地并入本文。
背景技术
诸如空中机器人式运载工具或“无人机”之类的机器人式运载工具通常用于各种应用，例如监视、摄影和/或货物递送。许多机器人式运载工具使用避障系统，其与运载工具控制系统相结合地工作以避免撞击人、财产和对象。例如，一旦机器人式运载工具检测到附近对象，在控制器内执行的避障系统就可以防止机器人式运载工具比某个最小距离(其在本文中被称为“接近度门限”)更近地接近对象。接近度门限通常是固定距离。在包括螺旋桨叶片的空中机器人式运载工具的情况下，接近度距离可以是几英尺，以避免由于与旋转的螺旋桨叶片接触造成的损坏和/或伤害。
发明内容
各个实施例包括机器人式运载工具、用于操作机器人式运载工具的系统和方法，其基于机器人式运载工具是否携带有效载荷来调整机器人式运载工具将接近对象的接近程度。在各个实施例中，由机器人式运载工具的处理器实现的方法可以包括：确定所述机器人式运载工具是否携带有效载荷；响应于确定所述机器人式运载工具携带有效载荷，来设置用于碰撞避免的接近度门限；以及使用用于碰撞避免的所述接近度门限来控制所述机器人式运载工具的一个或多个电动机。在一些实施例中，设置用于碰撞避免的所述接近度门限可以包括：响应于确定所述机器人式运载工具没有在携带有效载荷，来将所述接近度门限从第一值提高到高于所述第一值的第二值。在一些实施例中，设置用于碰撞避免的所述接近度门限可以包括：响应于确定所述机器人式运载工具正在携带有效载荷，来将所述接近度门限从高于第一值的第二值降低到所述第一值。在一些实施例中，设置用于碰撞避免的所述接近度门限可以包括：将所述接近度门限维持在当前设置的值处。
在一些实施例中，确定所述机器人式运载工具是否携带有效载荷可以包括：从有效载荷传感器获得数据，所述有效载荷传感器被配置为检测所述机器人式运载工具是否正在携带有效载荷；以及分析所获得的数据以确定所述机器人式运载工具是否正在携带有效载荷。在这样的实施例中，所述有效载荷传感器可以是接触传感器、重量传感器、图像传感器或射频识别标签读取器中的至少一项。在一些实施例中，分析所获得的数据以确定所述机器人式运载工具是否正在携带有效载荷可以包括：将所获得的数据与先前收集的指示所述机器人式运载工具正在携带有效载荷的数据进行比较；响应于确定所获得的数据与先前收集的指示所述机器人式运载工具正在携带有效载荷的数据相匹配，来确定所述机器人式运载工具携带有效载荷；以及响应于确定所获得的数据与所述先前收集的指示所述机器人式运载工具正在携带有效载荷的数据不匹配，来确定所述机器人式运载工具没有携带有效载荷。在一些实施例中，分析所获得的数据以确定所述机器人式运载工具是否正在携带有效载荷可以包括：将所获得的数据与指示所述机器人式运载工具正在携带一个或多个有效载荷的预定参数进行比较；响应于确定所获得的数据与所述指示所述机器人式运载工具正在携带有效载荷的预定参数相匹配，来确定所述机器人式运载工具携带有效载荷；以及响应于确定所获得的数据与所述指示所述机器人式运载工具正在携带有效载荷的预定参数不匹配，来确定所述机器人式运载工具没有携带有效载荷。在一些实施例中，分析所获得的数据以确定所述机器人式运载工具是否正在携带有效载荷可以包括：确定所述机器人式运载工具携带多少有效载荷。
一些实施例还可以包括：从一个或多个电动机获得指示相应的一个或多个电动机的转速的数据，以及分析所获得的数据以确定所述机器人式运载工具是否正在携带有效载荷。
一些实施例还可以包括：接收指示所述机器人式运载工具是否携带有效载荷的输入覆写，以及确定所述机器人式运载工具是否正在携带有效载荷可以是基于所接收的输入覆写的。
一些实施例还可以包括：响应于确定所述机器人式运载工具携带有效载荷，来确定所述有效载荷的分类；以及基于所述有效载荷的所述分类来设置所述接近度门限。在这样的实施例中，基于所述有效载荷的所述分类来设置所述接近度门限可以包括：将所述接近度门限从默认值改变为与所述有效载荷的所述分类相对应的经调整的值。在这样的实施例中，确定所述有效载荷的分类可以包括：确定所述有效载荷是否是接近度敏感类的有效载荷；以及将用于碰撞避免的所述接近度门限设置为基于所述有效载荷的所述分类的所述值可以包括：响应于所述有效载荷的所述分类是所述接近度敏感类的有效载荷，来增加或减小所述接近度门限。在这样的实施例中，接近度敏感类的有效载荷可以包括以下各项中的一项或多项：相机、大于预定跨距的转子、或者比预定数额更有价值的货物或所述机器人式运载工具的装置。一些实施例还可以包括：通过访问存储器中的用于与所述有效载荷的所述分类相关的所述接近度门限的数据结构，来确定与所述有效载荷的所确定的分类相对应的所述接近度门限。
一些实施例还可以包括：从对象传感器获得对象数据，所述对象传感器被配置为检测所述机器人式运载工具附近的一个或多个对象；确定所述机器人式运载工具附近的一个或多个对象是否对所述机器人式运载工具造成障碍或潜在障碍；以及确定对所述机器人式运载工具造成障碍或潜在障碍的对象的分类。在这样的实施例中，调整用于碰撞避免的所述接近度门限设置可以是基于以下各项中的较大者的：基于所述有效载荷的所述分类来确定的所述接近度门限、和针对对所述机器人式运载工具造成障碍或潜在障碍的所述对象的所述分类的接近度门限。
另外的实施例包括一种具有处理器的机器人式运载工具，所述处理器被配置有处理器可执行指令以执行上文概述的方法中的任何方法的操作。另外的实施例包括用于在机器人式运载工具中使用的处理设备，其被配置为执行上文概述的方法中的任何方法的操作。另外的实施例包括一种空中机器人式运载工具，其具有用于执行上文概述的方法中的任何方法的功能的单元。另外的实施例包括一种具有存储在其上的处理器可执行指令的非暂时性处理器可读介质，所述处理器可执行指令被配置为使得机器人式运载工具的处理器执行上文概述的方法中的任何方法的操作。
附图说明
被并入本文并且构成本说明书的一部分的附图示出了本发明的示例性实施例，并且连同上文给出的概括描述和下文给出的
具体实施方式
一起用于解释本发明的特征。
图1A是根据各个实施例的其中没有携带有效载荷的机器人式运载工具正在沿着穿过各个障碍物的路径行进的环境的平面图。
图1B是根据各个实施例的图1A的环境的平面图，在该环境中，携带有效载荷的机器人式运载工具正在沿着在各个障碍物周围的更加迂回的路径行进。
图1C是根据各个实施例的图1A-1B的环境的平面图，在该环境中，没有携带有效载荷的机器人式运载工具执行路径规划以沿着穿过各个障碍物的路径行进。
图1D是根据各个实施例的图1A-1C的环境的平面图，在该环境中，携带有效载荷的机器人式运载工具执行路径规划以沿着在各个障碍物周围的迂回路径行进。
图2是示出适于在各个实施例中使用的机器人式运载工具的组件和地面站的框图。
图3是示出根据一些实施例的用于响应于确定一个或多个有效载荷是否被机器人式运载工具携带而操作机器人式运载工具的方法的过程流程图。
图4是示出根据一些实施例的用于操作机器人式运载工具(包括确定被确定为被机器人式运载工具携带的有效载荷的分类)的方法的过程流程图。
图5是示出根据各个实施例的对有效载荷进行分类并且基于每个有效载荷的分类来指派针对接近度门限的值的方法的过程流程图。
图6是示出根据各个实施例的用于操作机器人式运载工具(包括路径规划)以避开每个障碍物至少达取决于该障碍物的分类的排除周界的方法的过程流程图。
图7是示出根据各个实施例的对对象进行分类并且基于每个对象的分类来将排除周界距离指派给对象的方法的过程流程图。
具体实施方式
将参照附图来详细描述各个实施例。在可能的情况下，将在各附图中使用相同的附图标记来指代相同或相似的部分。对特定例子和实现方式的参考是出于说明性目的，而不旨在限制权利要求的范围。
各个实施例包括用于操作机器人式运载工具的方法和实现这样的方法的机器人式运载工具处理设备。特别地，各个实施例根据由机器人式运载工具的一个或多个传感器和/或一个或多个电动机获得的数据，来确定机器人式运载工具是否携带一个或多个有效载荷。处理设备基于关于机器人式运载工具是否携带一个或多个有效载荷的确定，来设置用于碰撞避免的最小接近距离(即，接近度门限)。另外，处理设备使用被设置用于碰撞避免的接近度门限来控制机器人式运载工具的一个或多个电动机。
传统的避障系统使用的接近度门限通常是固定距离。然而，固定距离可能并不适合所有情况。例如，当机器人式运载工具携带有效载荷时，与机器人式运载工具不携带有效载荷时相比，不同的接近度门限可能是合适的。使用太大的固定接近度门限可能阻碍机器人式运载工具在何处或如何操作。例如，在具有许多对象的环境中，大的固定接近度门限可能意味着机器人式运载工具仅能在小区域内操作或者将无法到达其它区域，因为两个对象彼此太靠近。此外，当机器人式运载工具没有携带有效载荷时，没有损坏或丢失有效载荷的风险，在这种情况下，大的固定接近度门限可能过度限制机器人式运载工具的移动。
调整在碰撞避免系统中使用的接近度门限可以基于一个或多个经识别的有效载荷的分类，这可以使得与关于机器人式运载工具是否携带有效载荷的二元确定相比，机器人式运载工具能够利用更大的范围来操作。通过基于机器人式运载工具是否携带有效载荷来设置接近度门限，各个实施例可以增加一个或多个有效载荷的安全性和/或机动性(即，移动自由度)。在一些实施例中，分类可以是：有效载荷是否是敏感的或有价值的。例如，有效载荷可以是有价值的一件机载装置(例如，相机)或一件有价值的货物。在一些实施例中，分类可以是基于有效载荷的大小的，例如，可能比正常更大的机载装置(例如，螺旋桨)或者比正常更小或更大的货物。被指派给一个或多个有效载荷的接近度门限可以根据其类型或分类而变化，例如，与非有价值的或不太有价值的门限相比，将更大的接近度门限指派给有价值的门限。默认接近度门限可以用于针对其未确定分类的有效载荷。在一些实施例中，机器人式运载工具的处理器可以确定正被接近的对象的分类，并且进一步基于该对象的分类来调整由碰撞避免系统使用的接近度门限。在一些实施例中，机器人式运载工具的处理器可以对所有检测到的有效载荷和/或对象进行分类，基于分类来确定针对每个对象的排除周界，并且确定绕行路径以保持在所有检测到的对象的排除周界之外。
如本文中所使用的，术语“机器人式运载工具”和“无人机”指代各种类型的运载工具中的一种运载工具，这些类型的运载工具包括被配置为提供一些自主式或半自主式能力的机载计算设备。机器人式运载工具的例子包括但不限于：机器人式运载工具(例如，无人驾驶飞行器(UAV))；地面运载工具(例如，自主式或半自主式汽车、抽真空机器人等)；水基运载工具(即，被配置用于在水面上或在水下操作的运载工具)；天基运载工具(例如，航天器或航天探测器)；和/或其某种组合。在一些实施例中，机器人式运载工具可以是有人驾驶的。在其它实施例中，机器人式运载工具可以是无人驾驶的。在其中机器人式运载工具是自主式的实施例中，机器人式运载工具可以包括机载计算设备，其被配置为在没有例如来自操作人员(例如，经由远程计算设备)的远程操作指令的情况下(即，自主地)操纵和/或导航机器人式运载工具。在其中机器人式运载工具是半自主式的实施例中，机器人式运载工具可以包括机载计算设备，该机载计算设备被配置为接收例如来自操作人员(例如，经由远程计算设备)的一些信息或指令，并且与所接收的信息或指令一致地来自主式地操纵和/或导航机器人式运载工具。在一些实现方式中，机器人式运载工具可以是飞行器(无人驾驶或有人驾驶)，其可以是旋翼飞机或有翼飞机。例如，旋翼飞机(也被称为多旋翼飞行器或多旋翼直升机)可以包括多个推进单元(例如，转子/螺旋桨)，其可以为机器人式运载工具提供推进力和/或升力。旋翼飞机的特定非限制性例子包括三旋翼直升机(三个转子)、四旋翼直升机(四个转子)、六旋翼直升机(六个转子)和八旋翼直升机(八个转子)。然而，旋翼飞机可以包括任意数量的转子。
如本文所使用的，术语“有效载荷”指代机器人式运载工具携带的任何负载，其可以从机器人式运载工具移除或重新放置在机器人式运载工具上。有效载荷可以包括由机器人式运载工具携带的物体，其包括仪器(例如，相机、传感器等)、组件和货物(例如，用于递送的商品或包裹)。有效载荷可以包括机器人式运载工具在有限持续时间内携带的临时物品，例如物品。另外，有效载荷可以包括对于机器人式运载工具的操作所必需的长期或永久物品。有效载荷可以被直接固定到机器人式运载工具，或者通过机器人式运载工具的用于保持有效载荷的有效载荷附接设备、舱室和/或区域来间接地固定。
术语“障碍物”在本文中用于指代机器人式运载工具必须在其周围操纵以避免碰撞的对象。
术语“接近度门限”在本文中用于指代碰撞避免系统将在控制机器人式运载工具停止或改变行进方向以远离对象之前允许的对象和机器人式运载工具之间的最小距离。类似地，术语“排除周界”在本文中用于指代机器人式运载工具应当避开的以确保机器人式运载工具保持在接近度门限之外的在对象周围的距离。
如本文所使用的，术语“计算设备”指代至少被配备有处理器的电子设备。计算设备的例子包括安全设备内的处理器、机器人式运载工具和/或在机器人式运载工具上机载的任务管理计算机、以及与机器人式运载工具进行通信的被配置为执行各个实施例的操作的远程计算设备。计算设备可以包括无线通信设备(例如，蜂窝电话、可穿戴设备、智能电话、上网板(web-pad)、平板计算机、启用互联网的蜂窝电话、启用的电子设备、个人数据助理(PDA)、膝上型计算机等)、个人计算机和服务器。在各个实施例中，计算设备可以被配置有存储器和/或存储装置。另外，在各个示例实施例中提及的计算设备可以耦合到实现各个实施例的无线通信能力或包括这些无线通信能力，例如，被配置为建立局域网(LAN)连接的网络收发机和天线(例如，收发机)。
图1A-1D示出了环境10的平面图，在环境10中，机器人式运载工具可以行进，以避开其中的各个障碍物。特别地，环境10包括各个树31、32、33、34以及遛狗50的人40。
根据一些实施例，在图1A中示出了机器人式运载工具100使用可调整的接近度门限来用于环境10内的碰撞避免的操作。机器人式运载工具的处理器可以基于从各个传感器获得的数据来确定机器人式运载工具是否携带一个或多个有效载荷。由处理器进行的这种确定可以是出发前设置的一部分(即，在从一个位置离开到另一个位置之前)和/或作为动态导航分析的一部分。另外，响应于确定机器人式运载工具携带一个或多个有效载荷，处理器可以确定机器人式运载工具所携带的有效载荷的分类。处理器可以基于该有效载荷的所确定的分类来将用于碰撞避免的接近度门限设置为某一值。
机器人式运载工具100(在所示的例子中，其是空中机器人式运载工具)没有在携带任何有效载荷或至少没有在携带任何“接近度敏感类的有效载荷”。如本文所使用的，“接近度敏感类的有效载荷”的表述指代可能需要、要求和/或受益于使用与接近度门限的默认值不同的接近度门限值的一种或多种类型的有效载荷。接近度敏感类的有效载荷的例子包括相机、或机器人式运载工具的其它装置、和/或货物。
在机器人式运载工具上实现的接近度门限可以取决于有效载荷的性质或目的。例如，与机器人式运载工具相关联的操作员、所有者或其他实体可能想要保持相机或其它有价值的硬件远离可能损害、危害和/或窃取该硬件的人或对象，在这种情况下，可以使用大的接近度门限来确保机器人式运载工具远离人和对象。类似地，可能期望保持有价值的货物远离人或对象，在这种情况下可以使用大的接近度门限。在另一例子中，如果机器人式运载工具的操作者或所有者期望导航靠近对象以利用相机获得更好的图像，则可以使用小的接近度门限来使得机器人式运载工具能够接近足够接近对象以进行这样的摄影。作为另外的例子，对于空中机器人式运载工具，接近度敏感类的有效载荷可以包括大于标准或特定尺寸的转子。这种较大的转子对于空中机器人式运载工具附近的人或对象可能更加危险，因此可以在使用大于标准或特定尺寸的转子的机器人式运载工具上实现较大的接近度门限。
由于图1A中的机器人式运载工具100没有携带接近度敏感类的有效载荷，所以处理器可以将接近度门限设置为与第一距离D1(例如，10’)相对应的默认值。从位置A开始，当机器人式运载工具100接近对象(例如，树31–34、人40或狗50)时，处理器可以处理从机载传感器(例如，相机、雷达、激光雷达等)接收的数据，以检测机器人式运载工具100周围的对象以及特别是第一路径60上的障碍物。利用设置为第一距离D1(即，默认值)的接近度门限，机器人式运载工具100能够进行操纵或遵循用户控制命令，在检测到的对象之间移动(例如，飞行)，例如沿着树32、33和34之间的第一路径60的初始部分。在距离D1处的第一接近度门限允许机器人式运载工具100经过将没有由机载传感器检测到的对象的第一路径61。一旦机器人式运载工具100到达人40和狗50附近的位置B，接近度门限的默认值可以允许机器人式运载工具100在人40和一棵树32之间进一步前进。因此，当使用接近度门限的默认值时，机器人式运载工具100能够在稍微直接的路径行进穿过各个障碍物。
相反，当机器人式运载工具正在携带接近度敏感类的有效载荷时，可以实现较大的接近度门限，这可能限制可以在对象周围遵循的路线。根据一些实施例，在图1B中示出了携带接近度敏感类的有效载荷的机器人式运载工具200在环境10内的操作。参照图1A-1B，机器人式运载工具的处理器可以基于从传感器获得的数据来确定机器人式运载工具是否携带一个或多个有效载荷。由处理器进行的确定可以是出发前设置的一部分和/或作为动态导航分析的一部分。响应于确定机器人式运载工具携带一个或多个有效载荷，处理器可以确定机器人式运载工具所携带的有效载荷的分类。处理器可以基于该有效载荷的所确定的分类来将用于碰撞避免的接近度门限设置为某一值。
图1B中示出的机器人式运载工具200正在携带一个或多个有效载荷，并且一个或多个有效载荷中的至少一个有效载荷是接近度敏感类的有效载荷。因此，由于机器人式运载工具200正在携带接近度敏感类的有效载荷，所以处理器可以将接近度门限设置为第二距离D2(例如，二十英尺)，D2是比默认值(即，第一距离D1)要高的值。在导航移动期间，机器人式运载工具200的处理器可以应用经调整的接近度门限以保持距离任何障碍物至少第二距离D2。从位置A开始，利用被设置为第二距离D2的接近度门限，机器人式运载工具200能够进行操纵或遵循用户控制命令，以在检测到的对象之间飞行，例如沿着树32、33和34之间的第二路径62的初始部分。接近度门限的第二距离D2建立将没有由机载传感器检测到的对象的第二路径边界63。然而，一旦机器人式运载工具100到达人40和狗50附近的位置C，实现该接近度门限的碰撞避免系统将禁止在那些对象的方向上进一步前进。在位置C处，两棵树32、34也阻止横向移动。因此，机器人式运载工具100被迫原路返回并且在障碍物周围采取更加迂回的路线。
图1C示出了另外的实施例，其中，可以在规划路径时将针对由机器人式运载工具的处理器检测到的各个对象的一个或多个接近度门限结合有效载荷检测一起使用，以避免比适当的接近度门限更近地接近任何对象。参照图1A-1C，机器人式运载工具100的处理器可以评估检测到的对象(例如，树31–34、人40和狗50)并且对每个对象应用适当的接近度门限。在图1C所示的例子中，机器人式运载工具100没有在携带任何接近度敏感的有效载荷。因此，处理器可以将接近度门限设置为默认值。在一些实施例中，可以存在多于一个的默认值，每个默认值被配置用于机器人式运载工具可能遇到的不同类型的对象或障碍物。例如，处理器可以将接近度门限设置为与静态对象(即，不移动)相关联的第一默认值或与动态对象(即，移动的)相关联的第二默认值。第一默认值可以是第一距离D11，而第二默认值可以是第二距离D12。
处理器可以确定观察到的对象31–34、40、50中的每一个对象周围的边界，该边界与在碰撞避免系统中实现的与该对象相关联的特定接近度门限相对应。因为各种对象具有如所描述的不同的适当的接近度门限，所以处理器可以将所有确定的接近度门限考虑在内，以便绘制所检测到的对象中的一些对象之间的避开路径64。处理器可以生成内部地图，该内部地图使得处理器能够确定避开路径64并且确保机器人式运载工具100不会比这些对象中的任何对象的对应的接近度门限更近地接近它们。
与图1C中所示的例子相反，在机器人式运载工具携带接近度敏感类的有效载荷的情况下，处理器可以根据有效载荷的特定分类和检测到的对象的类型来在对象周围设置较大的排除边界。图1D示出了进一步的实施例，其中，可以在规划路径时将针对由机器人式运载工具的处理器检测到的各个对象的一个或多个接近度门限结合有效载荷检测一起使用，以避免比适当的接近度门限更近地接近任何对象。参照图1A-1D，在图1D中所示的例子中的机器人式运载工具200正在携带接近度敏感类的有效载荷。因此，处理器可以将接近度门限设置为一个或多个非默认值。根据一些实施例，可以存在一个以上的非默认值，每个非默认值被配置用于机器人式运载工具可能遇到的不同类型的对象或障碍物。例如，处理器可以将接近度门限设置为与静态对象(即，不移动)相关联的第一非默认值或与动态对象(即，移动的)相关联的第二非默认值。第一非默认值可以是第三距离D21，而第二非默认值可以是第四距离D22。非默认值可以高于或低于默认值，这取决于有效载荷的特定分类和所检测到的对象的类型。
当沿着初始路径65行进时，机器人式运载工具200将最终检测到其路径中的对象，例如树31–34、人40和狗50。在一些实施例中，机器人式运载工具200的处理器可以(例如通过视觉处理和图像识别方法和/或额外的对象定位方法)评估所检测到的对象，以确定对象31–34、40、50中的每个对象的位置、大小或其它特性(例如，对象是静止的还是移动的)。
另外，机器人式运载工具200的处理器可以基于所获得的数据来确定机器人式运载工具携带一个或多个接近度敏感的有效载荷，并且使用该确定来设置要在检测到的对象周围应用的一个或多个接近度门限。在一些实施例中，处理器可以将不同的值应用于针对不同类型的对象的接近度门限，例如，针对静态对象的第一接近度门限和针对移动(即，动态)对象的第二接近度门限。例如，处理器可以针对如树31–34之类的静止对象使用一个接近度门限，并且针对移动生物(人40和狗50)使用不同的较大的接近度门限。由于机器人式运载工具200正在携带一个或多个有效载荷，所以处理器可以设置如下的接近度门限：其是比当机器人式运载工具不携带有效载荷时使用的值要高的值。因此，处理器可以将静态对象接近度门限设置为第三距离D21，并且将动态对象接近度门限设置为第四距离D22，第一距离D21和第二距离D22二者都是比在机器人式运载工具没有携带有效载荷时使用的值要高的值。
然后，处理器可以确定所观察到的对象31–34、40、50中的每个对象周围的边界，该边界与在碰撞避免系统中实现的与该对象相关联的特定接近度门限相对应。因为如所描述的，各个对象具有不同的适当接近度门限，所以处理器可以将所有确定的接近度门限考虑在内，以便绘制在所有检测到的对象周围的避开路径66。为了高效地这样做，处理器可以生成包括所检测到的对象中的每个对象的位置的内部地图，并且基于适于每个对象的接近度门限来计算该对象周围的排除周界。这样的内部地图可以使得处理器然后能够确定无需原路返回的避开路径66并且确保机器人式运载工具200不会比这些对象中的任何对象的对应接近度门限更近地接近它们。
各个实施例可以在被配置为与一个或多个通信网络进行通信的各种机器人式运载工具内实现，其中，在图2中示出了具有适于与各个实施例一起使用的机器人式运载工具200的形式的机器人式运载工具的例子。参照图1A-图2，在任务环境20中操作的机器人式运载工具200可以包括多个转子120(例如，四个转子)，每个转子由对应的电动机125来驱动。机器人式运载工具200的主体110可以支撑多个转子120和电动机125。
机器人式运载工具200可以包括诸如一个或多个相机236之类的一个或多个机载传感器、或者如接触传感器、重量传感器或射频标识读取器之类的其它传感器。机器人式运载工具200可以包括处理设备210，其可以进一步包括可以由处理器220使用以确定用于控制移动和导航的运载工具姿态和位置信息的一个或多个姿态传感器，例如，高度计、陀螺仪、加速度计、电子罗盘、卫星定位系统接收器等。
相机236可以设置在机器人式运载工具200上的各个位置上，并且可以使用不同类型的相机。例如，第一组相机236可以面向转子120中的每个转子在其旋转平面中的一侧，例如安装在机器人式运载工具200的中心部分附近。另外或替代地，第二组相机236可以安装在转子120下面，例如在被配置为检测在机器人式运载工具200上是否安装了货物、转子120、螺旋桨防护装置250或其它装置的位置上。机器人式运载工具200还可以包括其它类型的传感器，其包括检测和测距传感器(例如，雷达、声纳、激光雷达等等)。
在处理器220中执行的对象避开系统可以使用由相机236生成的图像数据以及来自一个或多个其它类型的传感器(例如，雷达、声纳、激光雷达等)的数据。在各个实施例中，从相机236接收的图像和其它传感器数据可以由对象避开系统进行处理，以检测机器人式运载工具200是否携带某些有效载荷。从相机236接收的图像数据也可以由对象避开系统进行处理，以确定被确定为机器人式运载工具200所携带的有效载荷的分类。在一些实施例中，位于货舱或附接点中、但是仍然在机器人式运载工具上的主动传感器(未示出)可以使得处理器能够通过测量被嵌入在有效载荷之中或之上的某些材料来检测有效载荷的存在性。
机器人式运载工具200可以包括处理设备210，该处理设备210可以耦合到驱动转子120的多个电动机125中的每个电动机。处理设备210可以被配置为监测和控制机器人式运载工具200的各种功能、子系统和组件。例如，处理设备210可以被配置为监测和控制与推进、导航、功率管理、传感器管理和/或稳定性管理有关的各个模块、软件、指令、电路、硬件等。
处理设备210可以容纳用于控制机器人式运载工具200的操作的各种电路和设备。例如，处理设备210可以包括处理器220，该处理器220指导对机器人式运载工具200的控制。处理器220可以包括：一个或多个处理器，其被配置为执行处理器可执行指令(例如，应用、例程、脚本、指令集等)以控制机器人式运载工具200的移动、天线使用和其它操作(其包括各个实施例的操作)。在一些实施例中，处理设备210可以包括存储器222，存储器222耦合到处理器220并且被配置为存储数据(例如，导航规划、获得的传感器数据、接收的消息/输入、应用等)。处理器220和存储器222连同诸如(但不限于)以下各项之类的额外元件一起可以被配置为片上系统(SoC)215或者被包括在SoC 215内：通信接口224、一个或多个输入单元226、非易失性存储存储器230和被配置用于将SoC 215与机器人式运载工具200的硬件和组件对接的硬件接口234。处理设备210和/或SoC 215内的组件可以通过各种电路(例如，总线225、235或另外的类似电路)耦合在一起。
处理设备210可以包括一个以上的SoC 215，从而增加处理器220和处理器内核的数量。处理设备210还可以包括与SoC 215不相关联的处理器220。单个处理器220可以是多核处理器。各处理器220可以均被配置用于与处理设备210或SoC 215的其它处理器220相同或不同的特定目的。具有相同或不同配置的处理器220和处理器内核中的一项或多项可以被分组在一起。处理器220或处理器内核的群组可以被称为多处理器集群。
术语“片上系统”或“SoC”在本文中通常但并非排除性地用于指代一组互连的电子电路，其包括一个或多个处理器(例如，220)、存储器(例如，222)和通信接口(例如，224)。SoC 215可以包括各种不同类型的处理器220和处理器内核，例如，通用处理器、中央处理单元(CPU)、数字信号处理器(DSP)、图形处理单元(GPU)、加速处理单元(APU)、处理设备的特定组件的子系统处理器(例如，用于相机子系统的图像处理器或用于显示器的显示处理器)、辅助处理器、单核处理器和多核处理器。SoC 215可以进一步体现其它硬件和硬件组合，诸如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)、其它可编程逻辑器件、分立门逻辑、晶体管逻辑、性能监测硬件、看门狗硬件和时间参照。集成电路可以被配置为使得集成电路的组件位于单片的半导体材料(例如，硅)上。
在各个实施例中，处理设备210可以包括或耦合到用于通过无线通信链路25发送和接收无线信号的一个或多个通信组件232，例如，无线收发机、机载天线等等。一个或多个通信组件232可以耦合到通信接口224，并且可以被配置为处理与陆基发射机/接收机(例如，基站、信标、Wi-Fi接入点、蓝牙信标、小型小区(微微小区、毫微微小区等)等)相关联的无线广域网(WWAN)通信信号(例如，蜂窝数据网络)和/或无线局域网(WLAN)通信信号(例如，Wi-Fi信号、蓝牙信号等)。一个或多个通信组件232可以从无线电节点(例如，导航信标(例如，甚高频(VHF)全向范围(VOR)信标)、Wi-Fi接入点、蜂窝网络基站、无线站等)接收数据。
使用处理器220、一个或多个通信组件232和天线的处理设备210可以被配置为与各种远程计算设备进行无线通信，各种远程计算设备的例子包括基站或小区塔(例如，基站70)、信标、服务器、智能电话、平板设备、或机器人式运载工具200可以与其进行通信的另一计算设备。处理器220可以经由调制解调器和天线建立无线通信链路25。在一些实施例中，一个或多个通信组件232可以被配置为支持使用不同的无线接入技术与不同的远程计算设备进行的多个连接。在一些实施例中，一个或多个通信组件232和处理器220可以在安全通信链路上进行通信。安全通信链路可以使用加密或另一种安全的通信方式，以便保护一个或多个通信组件232与处理器220之间的通信。
机器人式运载工具200可以在与基站70进行通信的任务环境20中进行操作，基站70可以经由通信网络90提供至远程计算设备75和/或远程服务器80的通信链路。基站70可以例如通过无线信号提供至机器人式运载工具200的无线通信链路25。远程计算设备75可以被配置为控制基站70、机器人式运载工具200，和/或控制广域网上的无线通信，例如，使用基站70提供无线接入点和/或其它类似的网络接入点。此外，远程计算设备75和/或通信网络90可以提供对远程服务器80的访问。机器人式运载工具200可以被配置为与远程计算设备75和/或远程服务器80进行通信，以交换各种类型的通信和数据，其包括位置信息、导航命令、数据查询和任务数据。
机器人式运载工具可以使用高度计或导航系统(例如，全球导航卫星系统(GNSS)、全球定位系统(GPS)等)来导航或确定定位。在一些实施例中，机器人式运载工具200可以使用替代的定位信号源(即，除了GNSS、GPS等之外)。机器人式运载工具200可以使用与替代信号源相关联的位置信息以及额外信息(例如，结合最近可信的GNSS/GPS位置的航位推算、结合机器人式运载工具起飞区域的位置的航位推算等)来进行某些应用中的定位和导航。因此，机器人式运载工具200可以使用导航技术的组合(包括航位推算、基于相机对机器人式运载工具200之下及周围的陆地特征的识别(例如，识别道路、地标、高速公路标牌等))进行导航，所述导航技术可以代替或结合GNSS/GPS位置确定和基于检测到的无线接入点的已知位置的三角测量或三边测量。
在一些实施例中，机器人式运载工具200的处理设备210可以使用各个输入单元226中一个或多个输入单元来接收来自操作人员或自动/预编程控制装置的控制指令、数据，和/或来收集用于指示与机器人式运载工具200相关的各种状况的数据。例如，输入单元226可以接收来自各个组件中的一个或多个组件的输入，所述组件例如相机或其它成像传感器、检测和测距传感器(例如，雷达、声纳、激光雷达等)、麦克风、位置信息功能单元(例如，用于接收全球定位系统(GPS)坐标的GPS接收器)、导航仪器(例如，姿态指示器、陀螺仪、风速计、加速度计、高度计、罗盘等)、键盘等。可以针对白天和/或夜间操作来对相机进行优化。
空中机器人式运载工具可以是有翼或旋翼飞机种类。例如，机器人式运载工具200可以是旋转推进设计，其利用由对应的电动机驱动的一个或多个转子120来提供离地升空(或者起飞)以及其它空中移动(例如，前向行进、上升、下降、横向移动、倾斜、旋转等)。虽然机器人式运载工具200被示为可以利用各个实施例的空中机器人式运载工具的例子，但是并不旨在暗示或者要求各个实施例限于四旋翼飞行器。
机器人式运载工具200的处理器220可以在移动之前、期间和/或之后(例如通过访问来自机载传感器的读数)执行监测操作(例如，数据收集和处理)，以确定机器人式运载工具是否携带一个或多个有效载荷。特别地，处理器可以从一个或多个相机(例如，相机236)接收和分析图像(即，视频或静止图像)。由处理器接收的图像可以显示机器人式运载工具的其中可以携带有效载荷的一个或多个区域的全部或一部分。例如，可以设置相机以提供其中可以安装装置和/或其中可以固定有效载荷的区域的图像。
在一些实施例中，处理器可以通过视觉处理和图像识别方法来确定是否存在有效载荷。例如，可以将由处理器接收的货物区域的图像与先前存储的该货物区域的为空和/或存放货物的图像进行比较。另外，可以分析检测到的有效载荷的结构以确定被确定为机器人式运载工具所携带的任何有效载荷的分类。另外，可以使用诸如接触传感器、重量传感器和/或射频标识(RFID)读取器之类的其它传感器来检测是否存在有效载荷，并且如果检测到的话，则检测所检测到的有效载荷的分类。在一些实施例中，处理器可以被配置为：当在本来为空的空间中检测到任何结构时，确定存在有效载荷。在其它实施例中，处理器可以被配置为：仅当识别出存在特定有效载荷或有效载荷的特定类型时，确定存在有效载荷。
在一些实施例中，处理器可以确定检测到的有效载荷的特定身份或有效载荷的分类，例如识别特定结构(例如，使用形状识别)或读取结构上的标签/标记(例如，条形码)，其中，可以针对所述有效载荷而训练处理器(例如，通过初始训练例程)并且可以针对其而指定特定的(例如，用户指派的)接近度门限值。分类越具体，处理器就可以将越多不同的接近度门限指派给各种对象。作为对有效载荷进行分类的一部分，处理器可以确定一些结构无法被分类，在这种情况下所确定的分类可以是未知或默认分类。在一些实施例中，可以针对所有检测到的、机器人式运载工具所携带的结构来执行对有效载荷进行分类的操作。在一些实施例中，一旦检测到与接近度门限的最大值相关联的一类有效载荷，处理器就可以停止对有效载荷进行分类，直到所检测到的结构被移除为止。
图3示出了根据一些实施例的用于操作机器人式运载工具的方法300。参照图1A-图3，方法300可以由处理器(例如，机器人式运载工具(例如，100、200)的处理设备(例如，210)内的处理器(220))来执行以检测机器人式运载工具是否携带一个或多个有效载荷(例如，相机236)，并且相应地作为对其的响应来设置接近度门限。
在框305中，处理器可以发起用于设置接近度门限的测试。可以在启动时(即，当处理器打开或从睡眠模式唤醒时)发起用于设置接近度门限的测试。另外，可以在状况改变时发起用于设置接近度门限的测试。例如，在处理器接收到来自传感器(例如，接触传感器)的输入时，可以自动发起用于设置接近度门限的测试。作为另外的例子，响应于诸如坠落或对机器人式运载工具的强烈撞击之类的事件，处理器可以强制发起用于设置接近度门限的测试。另外，机器人式运载工具可以被配置为从操作员或控制系统接收用于指示存在或不存在有效载荷(或者特别是存在或不存在接近度敏感的有效载荷)的输入覆写。输入覆写可以取代基于传感器数据的关于机器人式运载工具是否携带有效载荷的任何确定。
在一些实施例中，处理器可以重复方法300的操作，以检测有效载荷并且对检测到有效载荷被携带或从机器人式运载工具移除进行响应。例如，处理器可以持续地重复方法300的操作，或者直到识别出所有检测到的有效载荷以确保机器人式运载工具的安全和正确操作。作为另一例子，处理器可以将方法300的操作重复预定迭代次数，所述预定迭代次数是在发动之前(例如，在起飞之前)提供给机器人式运载工具的出发前测试指令中指示的。此后，处理器可以可选地在去往目的地的途中以定期的间隔重复方法300的操作，或者在被设定为这样做的其它时间处重复方法300的操作。
在框310中，处理器可以从被配置为检测一个或多个有效载荷的存在性的一个或多个传感器获得数据。另外或替代地，作为框310中的操作的一部分，处理器可以从驱动电动机的一个或多个电子速度控制器(ESC)和/或机器人式运载工具的一个或多个电动机获得用于指示转速(例如，每分钟转数(RPM))的螺旋桨转速数据，其可以被分析以确定机器人式运载工具是否携带一个或多个有效载荷。这样的获得的数据可以被存储在本地存储器(例如，缓冲器)中，以支持后续操作中的图像处理。可以存储所获得的数据以用于跟踪使用历史或事故数据(例如，检测到的异常情况)。另外，存储的数据可以用于随后与图像分析的比较，以用于识别相同的有效载荷(如果被移除并且稍后重新安装在机器人式运载工具上的话)。
可以仅使用相机(例如，236)或者将其与其它传感器组合地使用。一个或多个相机可以安装在货物存放区域或其中可以安装或固定有效载荷的其它区域中。可以分析相机图像以检测有效载荷或其移除。处理器可以从一个或多个相机(例如，236)接收图像，所述一个或多个相机对可能潜在地被识别为有效载荷的结构进行成像，并且因此如果有效载荷在适当的位置的话将对其进行成像。在一些实现方式中，处理器可以从多个相机接收图像数据，其可以使得处理器能够更好地评估机器人式运载工具所携带的结构，以确定这样的结构是否是有效载荷，并且如果这样的结构是有效载荷，则是哪类的有效载荷。
处理器可以另外或替代地从其它类型的传感器(例如，当有效载荷被安装或装载在机器人式运载工具上时被激活的接触传感器和/或重量传感器)接收数据。导电材料可以被嵌入在有效载荷中或在有效载荷上，其中，该导电材料在与机器人式运载工具的接收导电材料接触时可以指示机器人式运载工具携带有效载荷并且可选地由此携带哪类的有效载荷。类似地，机器人式运载工具的一部分(例如，安装或携带有效载荷的位置)可以包括应变仪，其被配置为检测何时存在有效载荷。此外，电阻式或电容式传感器可以被附接或被嵌入在有效载荷中。另外或替代地，被安装在机器人式运载工具的主体上但是远离有效载荷的主动传感器可以测量被嵌入在一个或多个有效载荷之中或之上的无源材料。例如，处理器可以从被配置为检测RFID发射机的存在性的RFID读取器接收数据，RFID发射机可以被包括在有效载荷上或被嵌入在有效载荷中以由处理器进行检测。
在其中处理器另外或替代地从空中机器人式运载工具的一个或多个电动机接收指示相应的一个或多个转子的转速(例如，RPM)的数据的一些实施例中，处理器可以使用一个或多个电动机的转速来确定机器人式运载工具是否携带有效载荷。电动机的转速可以与和该电动机相关联的螺旋桨产生的推力直接相关。当机器人式运载工具携带有效载荷时，机器人式运载工具将更重。这种额外的重量可能需要电动机更快地旋转，以便保持稳定的速度、水平飞行或执行机动。该额外的重量可以根据电动机的转速来推断，电动机的转速可以与在机器人式运载工具上安装的额外的东西(例如，一个或多个有效载荷)相关联。
在框320中，处理器(或被配置为执行这样的分析的另一处理器)可以分析所获得的传感器数据，以确定机器人式运载工具是否正在携带一个或多个有效载荷。例如，使用相机图像数据，处理器可以执行图像处理分析以检测视野内的一个或多个有效载荷特有的边缘、质量和其它特征。作为另一例子，处理器可以识别接触和/或重量传感器信号、以及来自RFID读取器(如果包括的话)的信号，其指示机器人式运载工具正在携带一个或多个有效载荷。
替代地或另外地，处理器可以被配置为从一个或多个电动机或驱动电动机的电子速度控制器(ESC)获得指示转速(例如，RPM)的数据，转速可以被分析以用于确定机器人式运载工具是否携带一个或多个有效载荷。由于有效载荷将增加机器人式运载工具的重量，因此分析螺旋桨RPM数据可以涉及将当前RPM与存储在机器人式运载工具携带一个或多个有效载荷的情况下移动、悬停或操纵所需要的RPM范围的数据表进行比较。
另外，如果机器人式运载工具正在携带一个或多个有效载荷，则机器人式运载工具的重心可能改变，这可以通过比较各个转子的转速来检测。当机器人式运载工具的几何中心与该运载工具的重心不一致时，一个或多个转子的转速可能略高。另外，在机器人式运载工具的运动期间，处理器可以结合转子转速数据来考虑角速度数据，以计算机器人式运载工具的惯性力矩。如果所计算出的惯性力矩不同于基线或默认值，则这可以是关于已经移除了与机器人式运载工具所携带的一个或多个有效载荷一致的额外质量的指示。
在一些实施例中，关于机器人式运载工具是否正在携带一个或多个有效载荷的分析可以仅基于对一个或多个有效载荷的存在性的检测(例如，从接触传感器接收关于一个或多个有效载荷被安装的指示)。在一些实施例中，关于机器人式运载工具是否正在携带一个或多个有效载荷的确定可以涉及关于机器人式运载工具所携带的结构的特性的进一步分析，以确定这样的结构是否是一个或多个有效载荷。
在确定框325中，处理器可以基于在框320中分析的数据来确定机器人式运载工具是否正在携带一个或多个有效载荷。
响应于确定机器人式运载工具正在携带一个或多个有效载荷(即，确定框325＝“是”)，在框330中，处理器可以将接近度门限设置为较高值。较高值的接近度门限可以是被认为对于机器人式运载工具所携带的一个或多个有效载荷而言安全或不受威胁的距离。相反，当机器人式运载工具没有携带有效载荷时，可以使用较低值的接近度门限。
响应于确定机器人式运载工具没有在携带一个或多个有效载荷(即，确定框325＝“否”)，在框340中，处理器可以将接近度门限设设置为较低值。
在框330和/或340中设置接近度门限可以涉及或可以不涉及：基于关于机器人式运载工具是否正在携带一个或多个有效载荷的确定，根据当前接近度门限设置和适当的接近度门限设置来改变当前接近度门限值。例如，设置用于碰撞避免的接近度门限可以包括：响应于确定机器人式运载工具正在携带一个或多个有效载荷来将接近度门限从第一值提高到高于第一值的第二值。作为另外的例子，设置用于碰撞避免的接近度门限可以包括：响应于确定机器人式运载工具没有在携带一个或多个有效载荷来将接近度门限从第二值降低到第一值。设置用于碰撞避免的接近度门限还可以包括：将接近度门限维持在当前设置的值处。例如，设置用于碰撞避免的接近度门限可以包括：响应于确定机器人式运载工具没有在携带有效载荷并且接近度门限的当前设置的值是第一值，来将接近度门限保持在第一值处，该第一值低于第二值。作为另外的例子，设置用于碰撞避免的接近度门限可以包括：响应于确定机器人式运载工具正在携带一个或多个有效载荷并且接近度门限的当前设置的值是第二值，来将接近度门限保持在第二值处，该第二值高于第一值。
在框350中，处理器可以使用当前设置的接近度门限来控制机器人式运载工具的一个或多个电动机，以管理机器人式运载工具如何进行导航。例如，处理器可以发送信号以控制机器人式运载工具(例如，100、200)的电动机(例如，125)中的一个或多个电动机进行导航。处理器可以根据(即，在框340或345中设置的)接近度门限，来控制一个或多个电动机以避开障碍物，同时与机器人式运载工具的导航路径附近的障碍物保持距离。在一些实施例中，机器人式运载工具可以继续正常地操作来执行用户命令和/或预加载的导航规划，依赖于碰撞避免系统以防止比接近度门限的当前设置更近地接近任何对象。在一些实施例中，处理器可以修改对机器人式运载工具的控制，例如，调整或修改预加载的导航规划以确保机器人式运载工具不会比接近度门限的当前设置更近地接近所检测到的障碍物。
图4示出了根据一些实施例的用于操作机器人式运载工具的方法400。参照图1-图4，方法400可以由处理器(例如，机器人式运载工具(例如，100、200)的处理设备(例如，210)内的处理器(220))来执行以检测机器人式运载工具是否携带一个或多个有效载荷(例如，相机236)，并且相应地作为对其的响应来设置接近度门限。在方法400中，处理器可以执行如所描述的方法300的框305、310和350的操作。
在框420中，处理器(或被配置为执行这种分析的另一处理器)可以分析所获得的数据，以对检测到的机器人式运载工具所携带的有效载荷进行识别和分类。在一些实施例中，处理器可以使用图像识别方法来区分图像内的对象并且分析对象的形状以对对象进行识别或分类。例如，处理器可以将图像数据与对象识别模型进行比较，以确定对象是否可以被识别为特定对象(例如，基于面部识别的用户)或被分类为某些类型的对象(例如，坚固、脆弱、昂贵、未知等)。作为另一例子，使用相机图像数据，处理器可以执行图像处理分析以检测相机视野内的有效载荷特有的边缘、质量和其它特征。作为另一例子，处理器可以基于雷达和/或激光雷达的返回来检测机器人式运载工具的存放区域中的有效载荷。
作为框420中的进一步操作，处理器可以分析检测到的有效载荷以确定该有效载荷的适当分类。例如，处理器可以对图像数据执行图像识别算法以确定结构是否被识别为特定类型的有效载荷。这样的图像识别过程可以将特定有效载荷的图像与被分类或可分类有效载荷的数据库进行比较，以确定是否存在匹配的可能性。这样的图像识别过程可以使用机器学习来开发用于在将分类指派给有效载荷时使用的模型。
在一些实施例中，在框420中，处理器可以根据若干种宽泛的分类来对有效载荷进行归类，例如有效载荷是否是接近度敏感的，或者有效载荷的类型是否已知是脆弱的等等。在一些实施例中，在框420中，处理器可以确定有效载荷的特定类别，例如，将有效载荷识别并且分类为有价值的、脆弱的等。在一些实施例中，在框420中，处理器可以确定有效载荷的特定身份，例如，识别特定类型的装置(例如，相机)或货物(例如，昂贵的商品)，其中，可以(例如，通过初始训练例程)针对所述特定类型的装置或货物来训练处理器并且可以针对其指定特定的(例如，用户指派的)接近度门限值。在框420中进行的分类越具体，处理器就可以将越多不同的接近度门限指派给各种有效载荷。
作为在框420中对有效载荷进行分类的一部分，处理器可以确定一些有效载荷无法被分类，在这种情况下所确定的分类可以是未知或默认分类。在一些实施例中，可以针对所有检测到的机器人式运载工具所携带的结构或其某个子集，来执行框420中对有效载荷进行分类的操作。
在确定框425中，处理器可以基于框420中分析的数据来确定机器人式运载工具是否携带有效载荷。
响应于确定机器人式运载工具没有携带有效载荷(即，确定框425＝“否”)，在框440中，处理器可以将接近度门限设置为默认值。接近度门限的默认值可以是在机器人式运载工具没有携带有效载荷时或在机器人式运载工具携带的有效载荷不是接近度敏感类的有效载荷时被认为是对于周围对象安全或不构成威胁的距离。
响应于确定由机器人式运载工具携带有效载荷(即，确定框425＝“是”)，在确定框430中，处理器可以确定由于有效载荷的分类而导致的接近度门限的变化是否被授权。因此，处理器可以确定在框420中分析并且在确定框425中被确定为机器人式运载工具携带的有效载荷的任何结构是否具有与接近度门限的调整相关联或针对其而言接近度门限的调整是合适的分类。例如，处理器可以评估有效载荷分类以确定所识别的有效载荷中的一个或多个有效载荷是否被分类为敏感的、有价值的或以其它方式接近度敏感的。默认接近度门限可以用于针对其未确定分类的有效载荷。
响应于确定一个或多个检测到的有效载荷具有针对其而言改变优先门限是合适的分类(即，确定框430＝“是”)，在框445中，处理器可以将用于碰撞避免的接近度门限设置为与该有效载荷的分类相对应的值。例如，如果处理器已经确定有效载荷是昂贵的货物，则处理器可以将由碰撞避免系统使用的接近度门限增加到适于确保人或其他生物可能不会靠近机器人式运载工具的距离。对于不同类型的分类，接近度门限被调整的量(或所使用的接近度门限)可以是不同的。例如，用于被分类为敏感的有效载荷的接近度门限可以小于用于被分类为昂贵的有效载荷的接近度门限。
响应于确定检测到的有效载荷中没有一个是与不同于接近度门限的默认值的接近度门限值相关联的(即，确定框430＝“否”)，在框440中，处理器可以将接近度门限设置为默认值(如果尚未处于默认水平的话)。
在框440和/或445中设置接近度门限可以涉及或可以不涉及基于关于机器人式运载工具携带哪种分类的有效载荷的确定，根据当前接近度门限设置和期望的接近度门限设置来改变当前接近度门限值。例如，设置用于碰撞避免的接近度门限可以包括：响应于确定存在接近度敏感类的有效载荷，来将接近度门限从第一值提高到高于第一值的第二值。作为另外的例子，设置用于碰撞避免的接近度门限可以包括：响应于确定已经移除接近度敏感类的有效载荷，来将接近度门限从第二值降低到第一值。设置用于碰撞避免的接近度门限还可以包括：将接近度门限维持在当前设置的值处。例如，设置用于碰撞避免的接近度门限可以包括：响应于确定存在有效载荷并且接近度门限的当前设置的值是第一值，来将接近度门限保持在第一值处，该第一值低于第二值。作为另外的例子，设置用于碰撞避免的接近度门限可以包括：响应于确定基于所识别的有效载荷的类的针对接近度门限的适当的值是第二值，来将接近度门限保持在第二值处。
图5示出了根据一些实施例的用于在方法500中使用的用于检测和分类有效载荷的方法500。参照图1A-5，方法500可以由处理器(例如，机器人式运载工具(例如，200)的处理设备(例如，210)内的处理器(220))来执行以检测有效载荷(例如，236)并且执行动作作为响应。
在框502中，处理器可以从图像传感器(例如，设置在机器人式运载工具上的一个或多个相机)获得数据。处理器还可以获得对于确定有效载荷对象或结构的相对位置是有用的其它传感器数据，例如雷达或激光雷达数据。这样的数据可以被存储在本地存储器中以进行处理，例如缓冲存储器。
在框504中，处理器可以分析所获得的图像和其它数据，以识别有效载荷的存在性和位置。这种图像分析可以涉及识别不同颜色的边缘区域和通常用于在图像内识别对象的其它类型的过程。在一些实施例中，机器人式运载工具可以被配备有用于更准确地识别对象的立体相机。
在框504中识别的有效载荷中的每个有效载荷可以使用图像识别过程来单独地进行分析。为此，处理器可以实现循环以单独地调查每个经识别的有效载荷。因此，在框506中，处理器可以选择所识别的有效载荷中的一个有效载荷，并且在框508中，对针对所选择的有效载荷的图像数据执行对象识别处理以确定分类。如所描述的，这样的图像识别处理可以涉及将图像数据与所分类的有效载荷的数据库进行比较，以确定是否存在相近匹配。这样的图像识别过程可以涉及使用机器学习技术。
在确定框510中，处理器可以确定分类是否被指派给所选择的有效载荷。
响应于确定没有分类被指派给所选择的有效载荷(即，确定框510＝“否”)，在框512中，处理器可以指派针对与所选择的有效载荷相关联的接近度门限的默认值。
响应于确定分类被指派给所选择的有效载荷(即，确定框510＝“是”)，在框514中，处理器可以将与所选择的有效载荷的分类相对应的非默认值指派给所选择的有效载荷。
在确定框516中，处理器可以确定在图像数据内是否存在要被分类的另一有效载荷。如果是的话(即，确定框516＝“是”)，则在框506中，处理器可以选择另一经识别的有效载荷，并且重复如所描述的框508–514的操作。当所有有效载荷都已被分类时(即，确定框516＝“否”)，在如所描述的方法300的框350中，处理器可以继续使用当前设置的接近度门限来控制机器人式运载工具的电动机，以管理机器人式运载工具如何进行导航。
图6示出了根据一些实施例的用于操作机器人式运载工具的方法600。参照图1A-图6，方法600可以由处理器(例如，机器人式运载工具(例如，100、200)的处理设备(例如，210)内的处理器(220))来执行以检测障碍物(例如，31–34、40、50)并且执行动作作为响应。
在一些实施例中，机器人式运载工具的处理器可以使用对象检测和分类来调整针对各种检测到的对象的接近度门限，并且如果机器人式运载工具正在携带接近度敏感类的有效载荷，则确保这样的接近度门限超过针对接近度敏感类的有效载荷的接近度门限，并且然后当在这样的对象周围执行路径规划时使用这种经调整的接近度门限。通过评估针对机器人式运载工具所携带的有效载荷的适当的接近度门限中的每个接近度门限和机器人式运载工具附近的每个检测到的对象，处理器可以开发绕行或路径规划替代方案，其使得机器人式运载工具能够以避免比其对应的接近度门限或针对接近度敏感类的有效载荷的接近度门限更近地接近任何对象的方式来在对象周围操纵。通过执行这样的路径规划，与使用碰撞避免系统来避免与各个障碍物发生碰撞(这可能导致机器人式运载工具必须原路返回或沿着随机路径穿过多个障碍物)相比，机器人式运载工具可以遵循在检测到的对象周围或穿过检测到的对象的高效路径。用于实现这样的路径规划的各种方法都是可能的。图6中示出的方法600提供了为了此目的可以实现的一种方法的例子。
在框610中，机器人式运载工具的处理器可以正在控制机器人式运载工具的一个或多个电动机以执行预先规划的去往目的地的路线。
在框620中，处理器可以从被配置为检测机器人式运载工具附近的对象的存在性的一个或多个传感器获得数据。这样的传感器可以包括一个或多个相机、雷达、激光雷达等。来自这样的传感器的数据可以被存储在存储器(例如，缓冲存储器)中，以使得处理器能够进行分析。
在框630中，处理器(或被配置为执行这样的分析的另一处理器)可以分析所获得的传感器数据，以检测机器人式运载工具附近的对象。例如，使用相机图像数据，处理器可以执行图像处理分析以检测视野内的对象特有的边缘、质量和其它特征。作为另一例子，处理器可以基于雷达和/或激光雷达的返回来检测机器人式运载工具附近的对象。在一些实施例中，雷达和/或激光雷达数据可以用于检测和定位附近的对象，然后在图像处理中使用该信息以表征所检测到的对象。
作为框630中的进一步操作，处理器可以分析检测到的对象以确定检测到的对象的适当分类。例如，处理器可以对图像数据执行图像识别算法以确定对象是否被识别为特定类型。这样的图像识别过程可以将特定对象的图像与被分类或可分类对象的数据库进行比较，以确定是否存在匹配的可能性。这样的图像识别过程可以使用机器学习来开发用于在将分类指派给对象时使用的模型。
在一些实施例中，在框630中，处理器可以根据若干种宽泛的分类来对对象进行归类，例如对象是有生命的还是无生命的，或者对象的类型是否已知是脆弱的等等。在一些实施例中，在框630中，处理器可以确定对象的特定类别，例如，将对象识别并且分类为成人、儿童、狗、猫、树等。在一些实施例中，在框630中，处理器可以确定对象的特定身份，例如，识别特定个体(例如，使用面部识别)或特定动物(例如，家养狗)，其中，可以(例如，通过初始训练例程)针对所述特定个体或特定动物来训练处理器并且可以针对其指定特定的(例如，用户指派的)接近度门限值。在框630中进行的分类越具体，处理器就可以将越多不同的接近度门限指派给各种对象。
作为在框630中对对象进行分类的一部分，处理器可以确定一些对象无法被分类，在这种情况下所确定的分类可以是未知或默认分类。在一些实施例中，可以针对机器人式运载工具附近的所有检测到的对象来执行框630中对对象进行分类的操作。在一些实施例中，在框630中，可以仅对最靠近的对象或最靠近的几个对象进行分类。
在确定框635中，处理器可以确定所识别且分类的对象中的任何对象是否构成机器人式运载工具的障碍或潜在障碍。特别地，处理器可以确定在框630中识别的对象中的任何对象是否接近预先规划的去往目的地的路线。
响应于确定在机器人式运载工具附近不存在障碍物或潜在障碍物(即，确定框635＝“否”)，处理器可以继续在框610中控制机器人式运载工具的一个或多个电动机以执行预先规划的去往目的地的路线。
响应于确定一个或多个分类的对象确实或可能构成机器人式运载工具的障碍(即，确定框635＝“是”)，在框640中，处理器可以生成对象的虚拟地图，其基于该对象的分类或与在方法400的框420中确定的所分类的有效载荷相关联的接近度门限中的较大者来在每个对象周围加入排除周界。因此，代替调整在碰撞避免系统中使用的接近度门限，处理器可以使用对应的接近度门限和与所分类的有效载荷相关联的接近度门限，来扩展如在框640中生成的虚拟地图中表示的对象的边界。当机器人式运载工具没有在携带针对其而言提高的接近度门限是合适的有效载荷时，可以使用接近度门限的默认值来在针对其而言未确定分类的对象周围添加排除周界(即，没有改变接近度门限)。
在框650中，处理器可以使用在框640中生成的地图，来确定在所识别的障碍物周围或穿过所识别的障碍物的绕行路线，该绕行路线确保机器人式运载工具保持在针对所有障碍物的各自的接近度门限之外。处理器可以使用各种路径规划算法中的任何一种来完成这种路径规划。在框640中使用特定于对象分类的接近度门限来在对象周围添加排除周界有助于规划在对象周围至少达它们各自的接近度门限来操纵的路径。
在框660中，处理器可以控制机器人式运载工具的一个或多个电动机来执行绕行路线。这样做时，如所描述的，处理器可以在框620中继续从各个传感器获得数据，并且在框630中分析传感器数据以对附近对象进行识别、分类。一旦机器人式运载工具已经清除了障碍物(例如通过完成绕行路线)(即，确定框635＝“否”)，处理器就可以返回为在框610中控制机器人式运载工具的一个或多个电动机以执行预先规划的去往目的地的路线，并且重复如所描述的方法300、400、500和/或600的操作。
图7示出了根据一些实施例的用于在方法600中使用的用于对对象进行检测和分类的方法700。参照图1A-图7，方法700可以由处理器(例如，机器人式运载工具(例如，200)的处理设备(例如，210)内的处理器(220))来执行以检测障碍物(例如，120)并且执行动作作为响应。
在框702中，处理器可以从图像传感器(例如，设置在机器人式运载工具上的一个或多个相机)获得数据。处理器还可以获得对于确定对象的相对位置是有用的其它传感器数据，例如雷达或激光雷达数据。这些数据可以被存储在本地存储器中以进行处理，例如缓冲存储器。
在框704中，处理器可以分析所获得的图像和其它数据以识别所成像的对象的存在性和位置。这种图像分析可以涉及识别不同颜色的边缘区域和通常用于在图像内识别对象的其它类型的过程。在一些实施例中，机器人式运载工具可以被配备有立体相机，其可以使处理器能够使用体视学来确定到各个对象的距离。在机器人式运载工具仅被配备有单目相机的实施例中，可以基于随着机器人式运载工具移动到环境而从一帧到下一帧的对象的位置的移位来确定到各个对象的距离。在机器人式运载工具被配备有雷达和/或激光雷达的实施例中，可以使用来自那些传感器的数据来确定到对象的距离。在确定对象的位置时，处理器可以在存储器中生成对象坐标的文件或数据库，其使得处理器能够在后续操作中生成对象的地图。
在框704中识别的对象中的每个对象可以使用图像识别过程来单独地分析。为此，处理器可以实现循环以单独地调查每个对象。因此，在框706中，处理器可以选择所识别的对象中的一个对象，并且在框708中，对针对所选择的对象的图像数据执行对象识别处理以确定分类。如所描述的，这样的图像识别处理可以涉及将图像数据与所分类的对象的数据库进行比较，以确定是否存在相近匹配。这样的图像识别过程可以涉及使用机器学习技术。
在确定框710中，处理器可以确定分类是否被指派给所选择的对象。
响应于确定没有分类被指派给所选择的对象(即，确定框710＝“否”)，在框712中，处理器可以将默认的排除周界距离指派给所选择的对象。
响应于确定分类被指派给所选择的对象(即，确定框710＝“是”)，在框714中，处理器可以将与所选择的对象的分类相对应的排除周界距离指派给所选择的对象。
在确定框716中，处理器可以确定在图像数据内是否存在要被分类的另一对象。如果是的话(即，确定框716＝“是”)，则在框706中，处理器可以选择另一被识别的对象，并且重复如所描述的框708–714的操作。当所有对象都已被分类时(即，确定框716＝“否”)，处理器可以继续生成对象的地图，该地图添加了基于在如所描述的方法600的框620中的每个对象分类的排除周界。
所示出和描述的各个实施例仅是作为例子来提供的，以说明权利要求的各个特征。然而，关于任何给定实施例所示出和描述的特征未必限于相关联的实施例，并且可以与示出和描述的其它实施例一起使用或组合。此外，权利要求不旨在受任何示例实施例限制。例如，可以替换方法300、400、500、600和/或700的操作中的一个或多个操作或者将其与另一操作组合。
前述方法描述和过程流程图仅是作为说明性例子来提供的，而并不旨在要求或暗示各个实施例的操作必须以呈现的次序来执行。如本领域技术人员将明白的是，可以以任何次序来执行前述实施例中的操作的次序。诸如“此后”、“然后”、“接着”等的词语并不旨在限制这些操作的次序；这些词语用于引导读者浏览对这些方法的描述。此外，以单数(例如使用冠词“一(a)”、“一个(an)”或“所述(the)”)对权利要求元素的引用不应被解释为将该元素限制为单数。
结合本文公开的实施例所描述的各种说明性的逻辑框、模块、电路和算法操作可以实现成电子硬件、计算机软件、或者两者的组合。为了清楚地说明硬件和软件的这种可互换性，上文已经对各种说明性的组件、框、模块、电路以及操作围绕其功能进行了总体描述。至于这种功能是实现成硬件还是实现成软件，取决于具体应用和施加在整个系统上的设计约束。本领域技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是这样的实施例决策不应被解释为造成脱离权利要求的范围。
可以利用被设计为执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件、或者其任意组合来实现或执行用于实现各个实施例所描述的各种说明性的逻辑、逻辑框、模块以及电路的硬件。通用处理器可以是微处理器，但是在替代的方案中，处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可以实现为接收机智能对象的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或者任何其它这样的配置。替代地，一些操作或方法可以由特定于给定功能的电路来执行。
在一个或多个方面中，所述功能可以用硬件、软件、固件或其任意组合来实现。如果用软件实现，则可以将所述功能作为一个或多个指令或代码存储在非暂时性计算机可读介质或者非暂时性处理器可读介质上。本文所公开的方法或算法的操作可以体现在处理器可执行的软件模块或处理器可执行指令中，其可以驻留在非暂时性计算机可读的或处理器可读的存储介质上。非暂时性计算机可读的或处理器可读的存储介质可以是可以由计算机或处理器访问的任何存储介质。通过举例而非限制性的方式，这种非暂时性计算机可读的或处理器可读的存储介质可以包括RAM、ROM、EEPROM、闪存、CD-ROM或其它光盘存储、磁盘存储或其它磁存储智能对象、或者可以用于以指令或数据结构的形式存储期望的程序代码并且可以由计算机访问的任何其它介质。如本文所使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。上述的组合也被包括在非暂时性计算机可读和处理器可读介质的范围之内。此外，方法或算法的操作可以作为代码和/或指令中的一个或任何组合、或代码和/或指令集驻留在非暂时性处理器可读存储介质和/或计算机可读存储介质上，其可以并入计算机程序产品中。
提供所公开的实施例的先前描述，以使得本领域的任何技术人员能够实施或使用权利要求。对于本领域技术人员来说，对这些实施例的各种修改将是显而易见的，并且在不脱离权利要求的范围的情况下，可以将本文定义的总体原理应用于其它实施例。因此，本公开内容并不旨在限于本文示出的实施例，而是被赋予与随后的权利要求和本文所公开的原理和新颖特征相一致的最宽范围。