具体实施方式

本公开涉及全自主和/或半自主机器人车队以及用于自主车辆使用多个电信设备和/或使用自适应数据压缩在不同通信环境中进行通信的系统和方法。一方面，本公开提供用于由人类操作员远程操作自主车辆的系统和方法。全自主或半自主车辆的远程操作可能适用于各种情况。例如，如果自主车辆被要求行驶到尚未完全绘制于地图上的目的地(例如，大型企业或大学校园，或公园等)，则自主车辆可能无法确定如何到达目的地。因此，人类操作员远程操作自主车辆的能力是一个有益的特征。然而，由于人类操作员远离自主车辆，操作员和自主车辆之间的通信应尽可能可靠。远程人类操作员的情况是示例性的，其他情况可能需要与自主车辆进行可靠的通信。根据本公开的方面，提供了用于自主车辆使用多个电信设备和/或使用自适应数据压缩在不同通信环境中进行通信的系统和方法。

本文提供了一种机器人车队，其具有全自主或半自主操作的机器人车辆和用于协调机器人车队的车队管理模块，其中车队内的每个机器人被配置用于运输、交付或取回商品或服务以及能够在非结构化的开放或封闭环境中操作。每个机器人可以包括电力系统，运输系统，导航模块，至少一个可保安全的隔间或多个可保安全的隔间以容纳商品，可配置为将每个可保安全的隔间与市场内的客户群中的可分配客户、或提供者关联并在授权时提供进入的控制器，通信模块，以及被配置为管理运输系统、导航模块、传感器系统、通信模块和控制器的处理器。

如本文所用，术语“自主”包括全自主、半自主和其中车辆可以以受控方式运行一段时间而无需人工干预的任何配置。

如本文所用，术语“车队”、“子车队”和类似术语用于指示一起运行或在相同所有权下运行的多个陆地车辆。在一些实施例中，车队或子车队从事相同的活动。在一些实施例中，车队或子车队从事类似的活动。在一些实施例中，车队或子车队从事不同的活动。

如本文所用，术语“机器人”、“机器人车辆”、“机器人车队”、“车辆”、“全地形车辆”和类似术语用于指示运输人员、货物、物品和/或商品的移动机器。典型的车辆包括汽车、货车、面包车、无人驾驶机动车辆(例如，三轮车、卡车、拖车、公共汽车等)和无人驾驶有轨车辆(例如，火车、有轨电车等)，以及其他类型的陆地车辆。

如本文所用，术语“用户”、“操作员”、“车队操作员”和类似术语用于指示拥有或负责管理和操作机器人车队的实体。

如本文所用，术语“客户”和类似术语用于指示请求机器人车队提供的服务的实体。

如本文所用，术语“提供者”、“企业”、“供应商”、“第三方供应商”和类似术语用于指示与车队所有者或运营商协同工作以利用机器人车队的服务从提供者的营业地点或集结地点传送提供者的产品和或将提供者的产品返回提供者的营业地点或集结地点的实体。

如本文所用，术语“服务器”、“计算机服务器”、“中央服务器”、“主服务器”和类似术语用于指示网络上管理车队资源即机器人车辆的计算机或设备。

如本文所用，术语“控制器”和类似术语用于指示控制数据从计算机传输到外围设备以及数据从外围设备传输到的计算机设备。例如，磁盘驱动器、显示屏、键盘和打印机都需要控制器。在个人计算机中，控制器通常是单芯片。如本文所用，控制器通常用于管理对机器人的部件(例如可保安全的隔间)的访问。

如本文所用，“网状网络”是其中每个节点为网络中继数据的网络拓扑。所有网状节点在网络中的数据分布中协作。它可以应用于有线和无线网络。无线网状网络可以被认为是一种“无线自组织”网络。因此，无线网状网络与移动自组织网络(MANET)密切相关。尽管MANET不限于特定的网状网络拓扑，但无线自组织网络或MANET可以采用任何形式的网络拓扑。网状网络可以使用泛洪(flooding)技术或路由技术来中继消息。通过路由，消息通过从一个节点跳到另一节点直到到达其目的地而沿着路径传播。为了确保其所有路径都可用，网络必须允许连续连接，并且必须使用自我修复算法(例如最短路径桥接)围绕断开的路径重新配置自己。自我修复允许基于路由的网络在节点出现故障或连接变得不可靠时运行。因此，网络通常非常可靠，因为网络中的源和目的地之间通常有不止一条路径。这个概念也可适用于有线网络和软件交互。节点都相互连接的网状网络是全连接网络。

如本文所用，术语“模块”和类似术语用于指示中央服务器的自包含硬件组件，其又包括软件模块。在软件中，模块是程序的一部分。程序由一个或多个独立开发的模块组成，这些模块在程序链接之前不会组合。单个模块可以包含一个或几个例程，或执行特定任务的程序的部分。如本文所用，车队管理模块包括用于管理机器人车队的各个方面和功能的软件模块。

如本文所用，术语“处理器”、“数字处理设备”和类似术语用于指示微处理器或中央处理单元(CPU)。CPU是计算机内的电子电路，它通过执行指令指定的基本算术、逻辑、控制和输入/输出(I/O)操作来运行计算机程序的指令。

根据本文的描述，作为非限制性示例，合适的数字处理设备包括服务器计算机、台式计算机、膝上型计算机、笔记本计算机、子笔记本计算机、上网本计算机、网络本计算机、机顶盒电脑、掌上电脑、互联网家电、移动智能手机、平板电脑、个人数字助理、视频游戏机和车辆。本领域技术人员将认识到许多智能手机适用于本文所述的系统。合适的平板电脑包括本领域技术人员已知的那些具有小册子(booklet)、黑板(slate)和可转换配置的平板电脑。

在一些实施例中，数字处理设备包括被配置为执行可执行指令的操作系统。操作系统例如是包括程序和数据的软件，其管理设备的硬件并提供用于执行应用的服务。本领域技术人员将认识到，作为非限制性示例，合适的服务器操作系统包括FreeBSD、OpenBSD、Linux、Mac OS XWindows和本领域技术人员将认识到，作为非限制性示例，合适的个人计算机操作系统包括Mac OS 和类UNIX操作系统，例如GNU在一些实施例中，操作系统由云计算提供。本领域技术人员还将认识到，作为非限制性示例，合适的移动智能电话操作系统包括OS、Research InBlackBerryWindowsOS、WindowsOS、和

在一些实施例中，设备包括存储和/或存储器设备。存储和/或存储器设备是一种或多种用于临时或永久存储数据或程序的物理装置。在一些实施例中，设备是易失性存储器并且需要电力来维持所存储的信息。在一些实施例中，设备是非易失性存储器并且在数字处理设备未通电时保留所存储的信息。在一些实施例中，非易失性存储器包括闪存。在一些实施例中，非易失性存储器包括动态随机存取存储器(DRAM)。在一些实施例中，非易失性存储器包括铁电随机存取存储器(FRAM)。在一些实施例中，非易失性存储器包括相变随机存取存储器(PRAM)。在一些实施例中，设备是存储设备，作为非限制性示例，包括CD-ROM、DVD、闪存设备、磁盘驱动器、磁带驱动器、光盘驱动器和基于云计算的存储设备。

在一些实施例中，存储和/或存储器设备是诸如本文公开的那些之类的设备的组合。

在一些实施例中，数字处理设备包括向用户发送视觉信息的显示器。

在一些实施例中，显示器是阴极射线管(CRT)。在一些实施例中，显示器是液晶显示器(LCD)。在一些实施例中，显示器是薄膜晶体管液晶显示器(TFT-LCD)。在一些实施例中，显示器是有机发光二极管(OLED)显示器。在各种一些实施例中，OLED显示器是无源矩阵OLED(PMOLED)或有源矩阵OLED(AMOLED)显示器。在一些实施例中，显示器是等离子显示器。在一些实施例中，显示器是视频投影仪。在一些实施例中，显示器是可检测用户交互/手势/响应等的交互式显示器(例如，具有触摸屏或传感器，例如相机、3D传感器、LiDAR、雷达等)。在又一些实施例中，显示器是诸如本文公开的那些之类的设备的组合。

机器人车辆的车队

本文提供的是机器人车队100，如图1所示，具有机器人车辆101，每个机器人车辆全自主或半自主地运行。

如图2所示，机器人101的一个示例性配置是配置用于陆地行驶的车辆，例如小型全自主(或半自主)汽车。示例性全自主(或半自主)汽车很窄(即2-5英尺宽)，具有低质量和低重心以确保稳定性，具有可分配给一个或多个客户、零售商和/或供应商的多个安全隔间，并且被设计用于中等工作速度范围(即1.0-45.0mph)以适应市中心和住宅区的驾驶速度。此外，在一些实施例中，车队中的陆地车辆机器人单元被配置为具有从1.0mph到大约90.0mph的最大速度范围，以用于高速、州内或州际驾驶。车队中的每个机器人都配备了机载传感器(例如，相机(以高帧率运行，类似于视频)、LiDAR、雷达、超声波传感器、麦克风等)和内部计算机处理，以不断确定它可以安全地导航的位置，每个机器人周围还有哪些其他物体，以及它可以做什么。

在一些实施例中，机器人车队是全自主的。

在一些实施例中，机器人车队是半自主的。在一些实施例中，如图3所示，可能有必要在机器人101、车队运营商、提供者204和/或客户202之间进行人工交互以解决之前无法预见的问题(例如，导航模块故障、提供者库存问题、意外交通或道路状况，或机器人到达客户位置后的直接客户交互)。

在一些实施例中，机器人车队100由用户202直接控制。在一些实施例中，可能有必要在机器人101和/或车队操作员之间进行直接的人工交互以解决诸如机械故障、电气故障或交通事故之类的维护问题。将结合图5-7更详细地描述本公开的涉及由人类操作员远程操作机器人车辆的方面。

在一些实施例中，机器人车队被配置用于陆地行驶。在一些实施例中，车队中的每个机器人陆地车辆被配置为具有从13.0mph到45.0mph的工作速度范围。在一些实施例中，车队中的陆地车辆机器人单元被配置为具有从13.0mph到大约90.0mph的最大速度范围。

在机器人车队的一些实施例中，车队内的自主机器人代表第三方供应商/服务提供者进行操作。

例如，建立车队管理服务以为第三方饮料/食品提供者提供巡回递送服务(例如，用于第三方供应商的咖啡服务/体验)。设想车队管理服务将提供带有该第三方饮料/食品提供者的标志和产品的“白标”车辆的子车队，以全自主或半自主运行来提供该服务。

在机器人车队的一些实施例中，车队内的自主机器人被进一步配置为自主机器人子车队的一部分，并且每个子车队被配置为独立运行或与具有两个或更多子车队的多个子车队协同运行。

例如，包裹递送服务被配置为提供多个级别的服务，例如“即时专用加急服务”、“保证上午/下午递送服务”或“一般递送服务”。然后，服务提供者可以在其整个车辆车队内具有用于每种类型的服务的专门的递送车辆子车队。在又一示例中，第三方对车队中一定数量的车辆具有优先权。通过这样做，他们可以保证一定程度的响应能力。当他们不使用车辆时，车辆用于车队内的一般服务(例如，其他第三方)。

在一些实施例中，机器人车队由用户直接控制。

在一些实施例中，可能会有车辆发生故障、具有内部系统或模块故障或需要维护的时候。例如，在导航模块发生故障的情况下，车队内的每个机器人都可配置为允许机器人的处理器直接控制以由车队操作员超控(override)运输和传感器系统(即相机等)以允许车辆安全返回基站进行维修。

操作环境

在一些实施例中，非结构化开放环境是可通过可导航路径进入的非受限地理区域，包括例如公共道路、私人道路、自行车道、开阔地、开放公共土地、开放私人土地和/或人行道。

在一些实施例中，封闭环境是可通过可导航路径进入的受限、封闭或半封闭结构，包括例如商业建筑内的开放区域或房间(其中具有或不具有结构或障碍物)、公共或专用过道、走廊、隧道、坡道、电梯、传送带和/或人行道。

在一些实施例中，导航模块在非结构化的开放或封闭环境中控制车队中机器人的运输系统的路由。

车队管理模块

在机器人车队100的一些实施例中，车队包括车队管理模块120(与中央服务器相关联)，用于协调机器人车队100和为车队中的每个机器人101分配任务。车队管理模块协调车队中每个机器人的活动和定位。除了与机器人车队、车队所有者/运营商和/或用户进行通信外，车队管理模块还与提供者/供应商/企业和客户进行通信，以优化整个系统的行为。

车队管理模块与中央服务器110协同工作，中央服务器110通常位于车队所有者200拥有或管理的中央运营设施中。

如图3所示，在各种实施例中，请求被发送到主服务器110(通常位于车队所有者处或车队管理者的位置)，然后主服务器110与车队管理模块120通信。车队管理模块然后将请求中继到服务的适当的提供者204(例如，餐厅、递送服务、供应商或零售商)和车队中的一个或多个适当的机器人101。地理区域内且通常最接近服务提供者的车队中最合适的机器人然后被分配任务，然后服务提供者204在他们的业务中与该机器人101交互(例如，为其加载商品，如果需要的话)。机器人然后前往客户202并且客户与机器人交互以取回他们的商品或服务(例如，订购的商品)。交互可以包括通过客户的应用程序或通过机器人本身上的用户界面(使用例如RFID阅读器和客户电话、触摸板、键盘、语音命令、基于视觉的人的识别等)请求机器人打开它的隔间102、104。在完成递送(或取回，如果合适的话)后，机器人报告分配的任务完成，并报告回车队管理模块以再次分配(任务)。

如图4进一步所示，并且如之前提到的，在一些实施例中，车队管理模块120处理机器人车队100的协调和车队中每个机器人101的任务分配。车队管理模块协调车队中每个机器人的活动和定位。车队管理模块还与供应商/企业204和客户202通信以优化整个系统的行为。它通过利用机器人的处理器125来处理来自每个机器人系统和模块的各种输入和输出来做到这一点，机器人系统和模块包括：运输系统130、电力系统135、导航模块140、传感器系统170、175、通信模块160和控制器150，以有效地管理和协调车队中每个机器人的各种功能。

在一些实施例中，可以请求机器人拾取物品(例如，文件)，意图是交付给另一方。在这种情况下，车队管理模块将分配机器人到达给定位置，分配可保安全的隔间用于接收物品，确认从第一方到车队管理模块的接收，然后前往第二位置，在那里收到通知的接收方将使用适当的PIN或其他能访问固定隔间的识别码从机器人中取回物品。机器人然后将报告分配的任务的完成并报告回车队管理模块以重新分配(任务)。

运输系统

车队中的每个机器人车辆101包括运输系统130(例如，具有推进发动机、轮子、踏板、机翼、转子、鼓风机、火箭、螺旋桨、制动器等的驱动系统)。

如前所述，机器人车队可配置用于陆地行驶。典型的车辆包括汽车、货车、面包车、无人驾驶机动车辆(例如，三轮车、卡车、拖车、公共汽车等)和无人驾驶有轨车辆(例如，火车、有轨电车等)，以及其他类型的陆地车辆。

在一个示例性实施例中，机器人陆地车辆101配置有传统的4轮汽车配置，包括常规转向和制动系统。传动机构可配置用于标准2轮驱动或4轮全地形牵引驱动。推进系统(发动机)可配置为燃气发动机、涡轮发动机、电动机和/或混合气/电发动机。另选地，机器人可以配置有辅助太阳能电力系统135以提供备用应急电力或为次要的低功率子系统供电。

具有推进发动机的总驱动系统的部件的另选配置可包括轮子、踏板、机翼、转子、鼓风机、火箭、螺旋桨、制动器等。

电力系统

在一些实施例中，机器人车队的每个机器人配置有一个或多个电源，其包括电力系统135(例如，电池、太阳能、汽油、丙烷等)。

导航模块

车队中的每个机器人还包括导航模块140用于在非结构化开放或封闭环境中导航(例如，数字地图、高清地图、GPS等)。在一些实施例中，车队100依赖于由用户、操作员或车队操作员生成的地图，这些地图被特别创建以覆盖机器人被配置为操作的预期环境。然后，这些地图将用于对车队中的每个机器人进行总体指导，通过使用各种机载传感器(如相机、LiDAR、高度计或雷达)确认其相对地理位置和海拔，来增强对环境的这种理解。

在一些实施例中，为了导航，机器人车队使用内部地图来提供关于它们要去哪里和道路环境的结构(例如，车道等)的信息，并将该信息与车载传感器(例如，相机、LiDAR、雷达、超声波、麦克风等)和内部计算机处理相结合，以不断确定它们可以安全地导航的位置、每个机器人周围还有哪些其他物体以及它们可以做什么。在其他实施例中，车队结合在线地图以增强内部地图。然后结合这些信息来确定机器人要遵循的安全、稳健的轨迹，然后由机器人上的低级致动器执行。

在一些实施例中，车队依赖于全球定位系统(GPS)，该系统允许用户一天24小时、在所有天气条件下、在世界任何地方确定他们的准确位置、速度和时间。

在一些实施例中，机器人车队将使用内部地图、传感器和GPS系统的组合来确认其相对地理位置和海拔。

在一些实施例中，自主车队在预期已知需求的情况下战略性地定位在整个地理区域。

随着时间的推移，用户202和/或供应商204可以通过存储关于在一天的特定时间从地区的不同区域做出多少订单(以及什么类型的订单)的数据来预测对机器人服务的需求。这可以针对源(例如，餐厅、杂货店、一般企业等)和目的地(例如，客户、其他企业等)进行。然后，对于特定的当前日期和时间，此存储的数据用于确定给出预期需求的车队的最佳位置。更具体地说，可以将车队定位为尽可能靠近预期的源位置，预计这些源位置处将最有可能有新订单进入系统。甚至更具体地说，可以估计下一个小时内来自每个可能源的订单的数量，并按照这个数量来对每个源位置进行加权。然后可以定位车队，以使得车队基于这些数量最佳地覆盖经加权的位置。

在机器人车队的一些实施例中，机器人的定位可以基于以下来定制：预期用途、历史行为模式或被运送的特定尚品。

传感器系统

如前所述，每个机器人都配备有传感器系统170，其至少包括最少数量的机载传感器(例如，相机(例如，以类似于视频的高帧率运行的那些)、LiDAR、雷达、超声波传感器、麦克风等)和内部计算机处理125以不断确定它可以安全地导航的位置、每个机器人周围有哪些其他物体、以及它在其紧邻周围环境中可以做什么。

在一些实施例中，机器人车队的机器人还包括运输系统传感器175，其被配置为：监测驱动机构性能(例如，推进发动机)；监测电力系统级别135(例如，电池、太阳能、汽油、丙烷等)；或监测传动机构性能(例如，变速箱、轮胎、制动器、转子等)。

通信模块

车队中的每个机器人还包括通信模块160，其可配置为接收、存储数据并将数据发送至车队管理模块、发送至用户、向或从车队管理模块120发送数据以及向或从车队100中的机器人发送数据。在一些实施例中，数据至少与用户交互和机器人车队交互相关，包括例如调度的请求或订单、按需请求或订单、或基于非结构化开放或封闭环境内的预期需求的机器人车队的自我定位的需要。

在一些实施例中，车队中的每个机器人包括至少一个通信模块，该通信模块可配置为接收、存储和传输数据，并将该数据存储到存储器设备，以供将来的数据传输或手动下载。

在一些实施例中，每个企业204和客户202具有他们自己的应用程序/接口以与车队运营商200通信(例如，他们电话上用于客户的“纽诺(Nuro)客户应用程序”，平板电脑或电话或其内部计算机系统等上用于企业的“纽诺供应商应用程序”)。

在一些实施例中，与用户和车队中的机器人、车队的机器人之间以及用户和车队中的机器人之间的通信经由无线传输发生。

在一些实施例中，用户的无线传输交互和机器人车队无线传输交互通过由电子设备传输的移动应用发生并经由中央服务器、车队管理模块和/或网状网络转发到通信模块。

在一些实施例中，一种优选的通信方法是在车队管理器和机器人车队之间使用蜂窝通信(例如，3G、4G、5G等)。另选地，车队控制模块和机器人之间的通信可以经由卫星通信系统发生。

在一些实施例中，客户使用应用程序(在手机、膝上型计算机、平板电脑、计算机或任何交互式设备上)来请求服务(例如，按需食品订单或使得移动市场机器人来他们那)。

在一些实施例中，电子设备包括：电话、个人移动设备、个人数字助理(PDA)、大型计算机、台式计算机、膝上型计算机、平板电脑和/或可穿戴计算设备，例如通讯耳机、智能眼镜、隐形眼镜、数字手表、手镯、戒指、珠宝或它们的组合。

根据本公开的方面，每个机器人车辆的通信模块160可以被配置为与远程人类操作员进行通信。例如，通信模块160可以将由以高帧率运行的相机捕获的环境视频传送给远程操作员，以使得远程人类操作员能够想象车辆的周围环境。此外，通信模块160可接收来自远程人类操作员的指令以控制运输系统移动机器人车辆。将结合图5-7更详细地描述由人类操作员远程操作自主车辆的其他方面。

在本公开的另一方面，还参考图8，通信模块160可以包括多个电信设备810a～n，其使得自主车辆101能够进行更可靠的通信。在各种实施例中，每个电信设备可以包括天线812、调制解调器814和标识电信设备的标识符816、以及其他组件。在各种实施例中，天线812和调制解调器814可以被配置用于一种或多种通信技术，例如但不限于UMTS、CDMA EV-DO、GSM EDGE、4G LTE、WiMAX、5G和/或卫星通信等。在各种实施例中，标识符816可以由SIM卡来实现。在各种实施例中，每个电信设备810a～n可以彼此独立地操作，但也可以彼此同时操作。例如，各种电信设备810a～n可以在相同的电信网络上操作或者可以在不同的电信网络上操作，例如蜂窝运营商，并且每个电信设备可以具有与其他电信设备810a～n分开且独立的通信连接。

在图示的实施例中，通信模块160包括控制器或处理器820，其与每个电信设备810a～n进行通信并且可以控制和协调电信设备810a～n的操作。为方便起见，控制器/处理器820将被称为“控制器”，但应理解控制器820可被实现为处理器。在各种实施例中，控制器820可以确定每个电信设备810a～n的通信容量。在各种实施例中，电信设备可以向控制器820报告电信设备的通信容量。在各种实施例中，控制器820可以通过确定信号强度、延迟、吞吐量、丢包率和/或电信设备通信容量的其他度量来估计通信容量。在各种实施例中，控制器820可以使用为此类测试配置的预定服务器来确定此类度量。在各种实施例中，控制器820可以基于此类度量确定电信设备对于执行通信是不可靠的并且在特定时间点不应被使用。

在各种实施例中，控制器820可以协调哪些电信设备810a～n应当用于自主车辆101的通信以及数据应当如何分配到这样的电信设备810a～n。在各种实施例中，控制器820可以排除它确定为不可靠的任何电信设备。此外，对于估计具有更高通信容量的电信设备，可以向此类电信设备发送更大数量或更高速率的数据以进行通信。对于估计具有较低通信容量的电信设备，可以向此类电信设备发送较少量或较低速率的数据以进行通信。控制器820可以执行这种协调。

通信模块160可以经由一个或多个通信连接830接收数据，这些通信连接830可以包括硬连线通信总线、以太网线缆和/或无线连接，例如WiFi或蓝牙，以及其他连接。通信连接830可以与自主车辆101的一个或多个其他模块通信，例如图4中所示的各种模块。

上述实施例是示例性的，并且预期变化在本公开的范围内。例如，在各种实施例中，控制器/处理器820可以在通信模块160之外并且可以经由通信连接830与电信设备810a～n通信。在各种实施例中，自主车辆101的处理器125可以执行上面描述的操作。其他变化被预期在本公开的范围内。

(一个或多个)控制器和处理器

在一些实施例中，机器人车队中的每个机器人都配备有一个或多个处理器125，这些处理器能够进行高级计算以进行处理以及具有用于控制硬件的低级安全关键计算容量。至少一个处理器被配置为管理运输系统、导航模块、传感器系统、来自车队管理模块、通信模块和控制器的指令。

此外，在一些实施例中，机器人车队中的每个机器人都配备有控制器150，该控制器150可配置为将可保安全的隔间102、104中的每一个与可分配的客户202或提供者204相关联并在授权时提供进入。

下面将结合人类操作员对机器人车辆的远程操作来描述控制和处理。如上所述，全自主或半自主车辆的远程操作可能适用于各种情况。即使在自主车辆可由人类操作员本地操作的情况下，人类操作员远程操作自主车辆的能力也是有益的。当自主车辆的内部空间被配置为最大化商业承载容量并且不包括供人类操作员在自主车辆内本地操作车辆的空间时，这种能力变得更加重要。

在各种实施例中，根据本公开的方面的自主车辆包括内部空间以容纳人类操作员来本地控制自主车辆，但是车辆也可以由远程人类操作员远程控制。在各种实施例中，根据本公开的方面的自主车辆不包括内部空间来容纳人类操作员本地控制自主车辆。相反，根据本公开的方面，人类操作员可以远程操作自主车辆。这种配置提供了独特的考虑。与其中位于自主车辆中的人类操作员可以超控自主操作并接管手动操作以避免危险的现有配置相比，本公开的各种实施例在自主车辆中不包括用于人类操作员的空间。因为人类操作将远离自主车辆的位置，所以本公开的一方面提供用于改进与自主车辆的通信的系统和方法。远程人类操作只是将需要改进与自主车辆通信的情况的一个示例。本公开也适用于这种情况。

现在参考图4，如本文上面所述，自主车辆包括处理器125和用于控制自主车辆的各种系统和模块的控制器150，并且包括用于与外部系统通信的通信模块160。在本公开的一方面，通信模块160可以与远程人类操作员系统通信，该远程人类操作员系统可以是车队管理模块120的一部分或与车队管理模块120分开。

图5示出了远程人类操作员系统300的示例性实施例，其包括通信/处理设备310和人类操作员台320。人类操作员台320可以类似于典型汽车中的驾驶员台并且可以包括驾驶员座椅322、方向盘324、加速和制动踏板326、换档器328和视觉界面330。在图示的实施例中，视觉界面330采用虚拟现实(VR)或增强现实(AR)耳机的形式。在各种实施例中，视觉界面可以包括一个或多个显示屏，例如LED、LCD和/或OLED显示屏。在各种实施例中，人类操作员台320可以被配置为具有汽车中实际驾驶员台的近似触摸响应。例如，方向盘324可以被配置为具有汽车中动力转向的触摸响应，并且踏板326可以被配置为近似实际汽车中踏板的阻力。

人类操作员台320的仪器324-328可以连接或耦合到通信/处理设备310，这使得人类操作员台320和自主车辆之间能够进行通信。在所示实施例中，人类操作员台320通过物理线缆连接到通信/处理设备310。在各种实施例中，人类操作员台320可以使用诸如蓝牙之类的技术无线地耦合到通信/处理设备310。在各种实施例中，人类操作员台320不需要直接连接到通信/处理设备310并且可以通过中间设备和/或网络耦合到通信/处理设备310。

在各种实施例中，通信/处理设备310可以使用各种通信技术建立通信，包括例如IEEE 802.11x(WiFi)、蜂窝3G/4G/5G、有线通信和/或其他有线或无线通信协议。通信/处理设备310包括一个或多个处理器、存储器、机器指令和/或用于处理视觉信息以供视觉接口330显示的硬件。本领域技术人员将认识到各种通信、处理和显示视觉信息的方式。

通信/处理设备310还处理来自人类操作员台320的信号并将它们转换成用于控制自主车辆的控制指令，例如用于控制自主车辆的运输系统(130，图4)的控制指令以进行行驶。这样，当人类操作员转动方向盘324时，通信/处理设备310向自主车辆发送相应的控制指令以指示车辆转向。作为另一示例，当人类操作员使用人类操作员台320的踏板326加速或制动时，通信/处理设备310向自主车辆发送相应的控制指令以分别指示车辆加速或制动。图5的实施例和配置是示例性的，并且预期其他配置和变化在本公开的范围内。例如，在自主车辆是轨道车辆的情况下，远程人类操作员系统300可以具有在相同或相似类型的典型非自主车辆上反映实际操作员台的人类操作员台320。

还参考图6，示出了示例性视觉显示的图，其可以显示在VR/AR耳机中或显示屏上，或以其他方式显示。如本文以上所述，每个机器人车辆都配备有传感器系统，该系统可以包括相机，例如那些以类似于视频的高帧率运行的相机，以及其他传感器，并包括内部计算机处理以确定每个机器人车辆周围有什么其他物体。根据本公开的方面，由自主车辆的传感器系统捕获的这种视觉信息可以被处理并传送到远程人类操作员系统300以显示在视觉界面330上。在各种实施例中，视觉显示可以呈现从人类操作员的角度来看的自主车辆的周围环境，从而显示的内容随着驾驶员头部的转动而转动。在各种实施例中，人类操作员台320可以包括围绕人类操作员台的多个显示屏(未示出)，并且显示屏可以同时显示自主车辆的周围环境。其他配置和变化被预期在本公开的范围内。

继续参考图6，视觉显示器可以包括向人类操作员通知某些状况的各种指示符。作为示例，视觉显示器可以包括模式指示符332以指明自主车辆是在自主模式下运行还是在远程操作模式下运行。在自主模式下，人类操作员与人类操作员台320的交互不影响自主车辆420的移动。在远程操作模式下，人类操作员通过与人类操作员台320交互来控制自主车辆420的移动。在各种实施例中，人类操作员台可以包括用于在自主模式和远程操作模式之间切换的机构(未示出)，例如物理开关或触摸界面按钮、语音激活命令或其他机构。图示的视觉显示器还包括警告指示符，其可以提示人类操作员注意危险状况334。图6的视觉显示器的布局和配置仅仅是示例性的，并且预期变化在本公开的范围内。例如，在自主车辆是轨道车辆的情况下，远程人类操作员系统300的视觉界面可以针对用于操作这种车辆的视觉元素进行定制。

图7是自主车辆在自主模式和远程操作模式之间切换的操作的流程图。所示操作开始于自主车辆以自主模式运行602，其中不需要人工干预来使自主车辆行驶到各个目的地。当自主车辆接收到从自主模式切换到远程控制模式的指令时604，自主车辆可以激活远程控制模式并从远程人类操作员系统接收控制指令606。

因此，在远程操作模式606中，自主车辆通常不控制其自身的移动但可以继续监测周围环境。当处于远程操作模式606时，远程人类操作员可以启用某些自主能力，并且自主车辆可以基于对周围环境的监测来执行自主能力。此外，如果自主车辆检测到危险状况608，自主车辆可以在各种情况下超控远程操作模式并恢复到全自主模式610。例如，危险状况可以包括与自主车辆周围环境中的物体(例如另一车辆或人)即将发生碰撞。本领域技术人员将认识到确定即将发生碰撞的方法，包括使用车辆轨迹和估计物体轨迹。另一个危险状况可能包括在没有激活转向信号时的车道偏离。

在超控远程操作模式和/或恢复到自主模式610之后，自主车辆可以操作以自主减轻或避免危险状况612。

自主车辆可以将危险状况和到自主模式的切换传送到远程人类操作员系统614。在各种实施例中，这种通信可以在检测到危险状况并且自主模式被激活时发生。这种通信可以导致人类操作员系统的视觉显示器显示危险状况。在各种实施例中，人类操作员系统的视觉显示器可以针对不同的危险状况显示不同的危险指示，包括不同的图形或文字指示。在各种实施例中，远程人类操作员系统可以提供听觉、触知、触觉和/或其他物理或非物理危险指示。

在各种实施例中，人类操作员系统的视觉显示器可以在视觉显示器上突出与危险状况相关的物体，例如突出交通灯或道路标志或将它们显示为图形图标。在各种实施例中，人类操作员系统的视觉显示器突出潜在的危险状况，例如周围物体，例如车辆、行人、骑自行车的人、障碍物、灯、标志、车道线、转弯车道和路缘石等等。这些特征可以由自主车辆和/或远程人类操作员系统基于检测到的物体动态执行。在各种实施例中，自主车辆和/或远程人类操作员系统可以确定围绕周围物体的推荐路径并且可以向人类操作员提供指示作为推荐路径的指南。在各种实施例中，指示可以包括通过远程人类操作员系统的方向盘的触觉反馈和/或显示在视觉显示器上的投影路径。

其他变化被预期在本公开的范围内。

图7的操作可以保持自主模式602，直到它接收到切换到远程操作模式604的另一指令为止。因此，上文描述的是用于实现自主车辆的远程人类操作以及用于自主车辆超控远程操作以减轻危险状况的系统和方法。

根据一方面，并且如上所述，本公开提供用于使用多个电信设备和/或使用自适应数据压缩在不同通信环境中进行通信的系统和方法，包括将自主车辆的周围环境传达给远程人类操作员。在各种实施例中，自适应数据压缩可以以不同方式实现。在各种实施例中，数据压缩可由图4的处理器125和/或控制器150实现，在通信模块160中实现，和/或在传感器系统170中实现。在各种实施例中，通信模块160可以使用各种技术来执行编码以压缩数据，例如Lempel-Ziv-Welch压缩、游程长度编码和/或霍夫曼编码等。在各种实施例中，传感器系统170可以执行压缩，例如对由相机捕获的图像的图像压缩，包括MPEG压缩、H.264压缩和/或H.265压缩等。在各种实施例中，上述压缩中的一些或全部可由图4的处理器125和/或控制器150处理。

根据本公开的方面，自适应数据压缩可以基于通信模块160的电信设备810a～n的通信容量。更高的通信容量可能需要更少的数据压缩，以及更低的通信容量可能需要更大的数据压缩。在各种实施例中，自主车辆101的处理器125可以确定多少数据压缩适合于估计通信容量。在各种实施例中，自适应数据压缩可以通过将通信容量与应该如何执行压缩相关联的查找表来实现。例如，在各种实施例中，非常高的通信容量可能不需要在通信模块160、传感器模块170或处理器125中的任何数据压缩。在各种实施例中，非常低的通信容量可能需要在通信模块160、传感器模块170和处理器125中的每个中的数据压缩。在它们之间，各种通信容量可能需要仅在通信模块160、传感器模块170或处理器125中的一个或两个中进行数据压缩。这样，数据压缩量可以基于通信能力自适应地变化。

根据本公开的方面，自适应数据压缩可以基于自主车辆101的行驶速度。例如，更高的行驶速度可能需要自主车辆与远程人类操作员的更快通信，以便远程人类操作员可以在车辆以更高的行驶速度变化时更可靠地看到车辆的周围环境。在各种实施例中，较高的行驶速度可对应于较大的数据压缩，从而可将周围环境更快地传送给远程人类操作员。当自主车辆以较低的行驶速度行驶时，远程人类操作员可能不需要那么快地看到周围环境的变化。在各种实施例中，较低的行驶速度可对应于较少的数据压缩。在各种实施例中，自主车辆101的处理器125可以确定多少数据压缩适合特定行驶速度。在各种实施例中，自适应数据压缩可以通过将行驶速度与应该如何执行压缩相关联的查找表来实现。

在各种实施例中，自主车辆可以基于通信容量和行驶速度两者来执行自适应数据压缩。预期自适应数据压缩可取决于通信容量和行驶速度以外的因素或考虑。在各种实施例中，自适应数据压缩可以通过将各种因素/考虑与应该如何执行数据压缩相关联的查找表来实现。

上述实施例是示例性的，并且预期变化在本公开的范围内。例如，在各种实施例中，自适应数据压缩可以基于一个或多个其他度量，例如通信模块160中的通信延迟或天线信号强度。在各种实施例中，数据压缩发生的每个地方可以实现不同程度的数据压缩。例如，通信模块160可以实现多级数据压缩，传感器模块170可以分别实现多级数据压缩。自主车辆101的处理器125可以从各种模块确定需要何种程度的数据压缩。在各种实施例中，数据压缩可以由与本文所示或描述的那些不同的设备或模块来实现。在各种实施例中，自主车辆101可以包括实现视频编码/解码和/或音频编码/解码的硬件和/或软件组件，并且这样的硬件和/或软件可以是独立的或者可以集成到其他组件中。

现在参考图9，示出了自主车辆101的示例性操作。在框910处，自主车辆在陆地车辆运输系统进行行驶时确定至少两个电信设备的通信容量。如上所述，两个或更多个电信设备可以独立地执行通信并且每个电信设备可以具有不同的通信容量。在框910处，自主车辆确定陆地车辆运输系统的行驶速度。在框920处，自主车辆捕获车辆周围环境的图像数据，例如周围环境的视频。在框940处，自主车辆基于通信容量或基于行驶速度、或基于通信容量和行驶速度两者确定数据压缩率。例如，较高的通信容量可能需要较少的压缩，而较低的通信容量可能需要较高的压缩。此外，较高的行驶速度可能需要较低的压缩。在框950处，自主车辆基于压缩率压缩图像数据，并且在步骤960处，自主车辆使用电信设备传送编码的数据。在各种实施例中，自主车辆可以在数据分组中传送编码的数据，并且可以基于电信设备各自的通信能力将数据分组分发到电信设备。

在各种实施例中，图9的操作的特定部分可以在执行其他部分之前多次或连续执行。例如，框940可以连续执行以在自主车辆行驶时更新压缩率。可以基于压缩率并且在框950更新压缩率之前多次执行框950。在各种实施例中，当自主车辆以较高速度行驶时，框950可以更频繁地更新压缩率，因为通信状况和容量可能迅速变化。在各种实施例中，当自主车辆以较低速度行驶时，框950可以不那么频繁地更新压缩率，因为通信状况和容量可能缓慢变化。

在各种实施例中，图9的操作的特定部分可以并行执行。例如，框930可以捕获周围环境的图像数据，并且并行地，框960可以通过电信设备传送编码的数据。因此，图9的操作是示例性的，并且预期变化在本公开的范围内。

附加特征

本文公开的实施例是本公开的示例并且可以以各种形式体现。例如，虽然本文中某些实施例被描述为单独的实施例，但是本文中每个实施例可以与本文中一个或多个其他实施例组合。在此公开的具体结构和功能细节不应被解释为限制，而是作为权利要求的基础和作为教导本领域技术人员在实际上任何适当详细结构中以各种方式采用本公开的代表性基础。贯穿附图的描述，相似的附图标记可以指代相似或相同的元素。

短语“在实施例中”、“在多个实施例中”、“在各种实施例中”、“在一些实施例中”或“在其他实施例中”可以各自指代根据本公开的相同或不同的实施例中的一个或多个。“A或B”形式的短语表示“(A)、(B)或(A和B)”。“A、B或C中的至少一个”形式的短语表示“(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A、B和C)。”

此处描述的任何方法、程序、算法或代码都可以转换为编程语言或计算机程序，或以编程语言或计算机程序表达。此处使用的术语“编程语言”和“计算机程序”均包括用于向计算机指定指令的任何语言，并且包括(但不限于)以下语言及其派生：汇编、Basic、批处理文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、Pascal、Perl、PL1、脚本语言、Visual Basic、本身指定程序的元语言，以及所有第一、第二、第三、第四、第五或更进一代计算机语言。还包括数据库和其他数据模式，以及任何其他元语言。解释型、编译型或同时使用编译型和解释型方法的语言之间没有区别。程序的编译版本和源版本之间没有区别。因此，对其中编程语言可以存在于一种以上的状态(例如源、编译、对象或链接)的程序的引用是对任何和所有这些状态的引用。对程序的引用可包含实际指令和/或这些指令的意图。

在此描述的系统还可以利用一个或多个控制器来接收各种信息并转换所接收的信息以生成输出。控制器可以包括能够执行存储在存储器中的一系列指令的任何类型的计算设备、计算电路或任何类型的处理器或处理电路。控制器可以包括多个处理器和/或多核中央处理单元(CPU)并且可以包括任何类型的处理器，例如微处理器、数字信号处理器、微控制器、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、或类似。控制器还可包括用于存储数据和/或指令的存储器，当由一个或多个处理器执行时，这些数据和/或指令使一个或多个处理器执行一种或多种方法和/或算法。

本文描述的任何方法、程序、算法或代码都可以转换为编程语言或计算机程序，或以编程语言或计算机程序表达。此处使用的术语“编程语言”和“计算机程序”均包括用于向计算机指定指令的任何语言，并且包括(但不限于)以下语言及其派生：汇编、Basic、批处理文件、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、Pascal、Perl、PL1、脚本语言、Visual Basic、本身指定程序的元语言，以及所有第一、第二、第三、第四、第五或更进一代计算机语言。还包括数据库和其他数据模式，以及任何其他元语言。解释型、编译型或同时使用编译型和解释型方法的语言之间没有区别。程序的编译版本和源版本之间没有区别。因此，对其中编程语言可以存在于一种以上的状态(例如源、编译、对象或链接)的程序的引用是对任何和所有这些状态的引用。对程序的引用可包含实际指令和/或这些指令的意图。

应当理解，前述描述仅是对本公开的说明。在不脱离本公开的情况下，本领域技术人员可以设计各种替代和修改。因此，本公开旨在包括所有此类替代、修改和变化。参考附图描述的实施例仅用于展示本公开的某些示例。与上述和/或所附权利要求中描述的那些元素、步骤、方法和技术本质上不同的其他元素、步骤、方法和技术也旨在落入本公开的范围内。