具体实施方式

以下描述是为了使本领域的普通技术人员能够实施和利用本申请，并且该描述是在特定的应用场景及其要求的环境下提供的。对于本领域的普通技术人员来讲，显然可以对所披露的实施例作出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此，本申请并不限于所描述的实施例，而应该被给予与权利要求一致的最广泛的范围。

本申请中所使用的术语仅用于描述特定的示例性实施例，并不限制本申请的范围。如本申请使用的单数形式“一”、“一个”及“该”可以同样包括复数形式，除非上下文明确提示例外情形。还应当理解，如在本申请中，术语“包括”、“包含”仅提示存在所述特征、整体、步骤、操作、组件和/或部件，但并不排除存在或添加一个或以上其他特征、整体、步骤、操作、组件、部件和/或其组合的情况。

根据以下对附图的描述，本申请的这些和其他的特征、特点以及相关结构元件的功能和操作方法，以及部件组合和制造经济性，可以变得更加显而易见，这些附图都构成本申请说明书的一部分。然而，应当理解的是，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当理解的是，附图并不是按比例绘制的。

本申请中使用了流程图用来说明根据本申请的一些实施例的系统所执行的操作。应当理解的是，流程图中的操作可以不按顺序执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将一个或以上其他操作添加到这些流程图中。也可以从流程图中删除一个或以上操作。

此外，尽管本申请中披露的系统和方法主要涉及在自动驾驶系统中标定惯性测试单元和相机，但应该理解，这仅是一个示例性实施例。本申请的系统和方法可以应用于任何其他类型的运输系统。例如，本申请的系统和方法可以应用于不同环境的运输系统，包括陆地、海洋、航空航天等，或其任何组合。运输系统的自动驾驶车辆可以包括出租车、私家车、顺风车、公共汽车、火车、子弹列车、高速铁路、地铁、船只、飞机、宇宙飞船、热气球等，或其任何组合。

本申请的一个方面涉及标定自动驾驶车辆的惯性测试单元和相机的系统和方法。当自动驾驶车辆直线行驶时，所述系统和方法可以定义两个坐标系。一个坐标系用于确定惯性测试单元的姿态，另一个坐标系用于确定相机的姿态。尽管惯性测试单元的姿态和相机的姿态在两个不同的坐标系中，但是系统和方法可以确定两个坐标系的相对姿态。以这种方式，系统和方法可以确定惯性测试单元和相机之间的相对姿态以对它们进行标定。根据本申请描述的系统和方法，可以以简单且直接的方式来标定惯性测试单元和相机。

图1是根据本申请的一些实施例所示的示例性自动驾驶系统100的示意图。在一些实施例中，自动驾驶系统100可以包括车辆110(例如，车辆110-1、110-2......和/或110-n)、服务器120、终端设备130、存储设备140、网络150，以及定位导航系统160。

车辆110可以是任何类型的自动驾驶车辆、无人驾驶飞行器等。自动驾驶车辆或无人驾驶飞行器可以指能够实现一定程度的驾驶自动化的车辆。示例性的驾驶自动化等级可以包括车辆主要由人工监督并且具有特定的自主功能(例如，自主转向或加速)的第一级、车辆具有一个或以上高级司机辅助系统(ADAS)(例如，自适应巡航控制系统、车道保持系统)，其可以控制车辆的制动、转向和/或加速的第二级、当满足一个或以上特定条件时车辆能够自主驾驶的第三级、车辆可在没有人工输入或疏忽的情况下操作，但仍然受到某些限制(例如，被局限于某一区域)的第四级、车辆可以在所有情况下自主操作的第五级等，或其任何组合。

在一些实施例中，车辆110可以具有使车辆110移动或飞行的同等结构。例如，车辆110可包括传统车辆的结构，例如，底盘、悬架、转向设备(例如，方向盘)、制动设备(例如，制动踏板)、加速器等。又例如，车辆110可具有车身和至少一个车轮。车身可以是任何车身类型，例如运动车辆、轿跑车、轿车、皮卡车、旅行车、运动型多功能车(SUV)、小型货车或转换车。至少一个车轮可以被配置为全轮驱动(AWD)、前轮驱动(FWR)、后轮驱动(RWD)等。在一些实施例中，预期的车辆110可以是电动车辆、燃料电池车辆、混合动力车辆、传统内燃机车辆等。

在一些实施例中，车辆110能够感测其环境并利用一个或以上检测单元112进行导航。至少两个检测单元112可以包括全球定位系统(GPS)模块、雷达(例如，激光雷达(LiDAR))、惯性测试单元(IMU)、相机等，或其任何组合。雷达(例如，LiDAR)可以被配置为扫描周围环境并生成点云数据。然后，点云数据可以用于制作车辆110周围的一个或以上物体的数字三维表示。GPS模块可以指能够从GPS卫星接收地理定位和时间信息然后计算设备的地理位置的设备。惯性测试单元传感器可以指使用各种惯性传感器测量并提供车辆的特定力、角速率，有时是车辆周围的磁场的电子设备。各种惯性传感器可包括加速度传感器(例如，压电传感器)、速度传感器(例如，霍尔传感器)、距离传感器(例如，雷达、激光雷达、红外传感器)、转向角传感器(例如，倾斜传感器)、牵引相关传感器(例如，力传感器)等。相机可以被配置为获取一个或以上与相机范围内的物体(例如，人、动物、树、路障、建筑物或车辆)相关的图像。

在一些实施例中，服务器120可以是单个服务器，也可以是服务器组。所述服务器组可以是集中式的，也可以是分布式的(例如，服务器120可以是分布式的系统)。在一些实施例中，服务器120可以是本地的，也可以是远程的。例如，服务器120可以经由网络150访问存储在终端设备130、检测单元112、车辆110、存储设备140和/或定位导航系统160中的信息和/或数据。又例如，服务器120可以直接连接到终端设备130、检测单元112、车辆110和/或存储设备140以访问存储信息和/或数据。在一些实施例中，服务器120可以在云平台或车载计算机上实现。仅作为示例，云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中，服务器120可以在本申请中的图2描述的含有一个或以上组件的计算设备200上执行。

在一些实施例中，服务器120可包括处理设备122。处理设备122可以处理与自动驾驶相关联的信息和/或数据，以执行本申请中描述的一个或以上功能。例如，处理设备122可以标定惯性测试单元和相机。在一些实施例中，所述处理设备122可包括一个或以上处理引擎(例如，单芯片处理引擎或多芯片处理引擎)。仅作为示例，处理设备122可以包括中央处理单元(CPU)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、图像处理单元(GPU)、物理运算处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等或其任意组合。在实施例中，处理设备122可以集成在车辆110或终端设备130中。

在一些实施例中，终端设备130可以包括移动设备130-1、平板计算机130-2、膝上型计算机130-3、车辆130-4中的内置设备、可穿戴设备130-5等，或其任何组合。在一些实施例中，移动设备130-1可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、增强现实设备等，或其任意组合。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器控制设备、智能监控设备、智能电视、智能相机、对讲机等，或其任意组合。在一些实施例中，所述可穿戴设备可以包括智能手环、智能鞋袜、智能眼镜、智能头盔、智能手表、智能服装、智能背包、智能配件等，或其任意组合。在一些实施例中，智能移动设备可以包括智能电话、个人数字助理(PDA)、游戏设备、导航设备、销售终端(POS)等，或其任意组合。在一些实施例中，虚拟现实设备和/或增强型虚拟现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等，或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括Google^TM Glass、Oculus Rift、HoloLens、GearVR等。在一些实施例中，车载设备130-4可以包括车载计算机、车载电视等。在一些实施例中，服务器120可以集成到终端设备130中。在一些实施例中，终端设备130可以是具有定位技术的设备，用于定位终端设备130的位置。

存储设备140可以存储数据和/或指令。在一些实施例中，存储设备140可以存储从车辆110、检测单元112、处理设备122、终端设备130、定位导航系统160和/或外部存储设备获取的数据。例如，存储设备140可以将从惯性测试单元获取的惯性测试单元数据存储在检测单元112中。又例如，存储设备140可以将从相机获取的相机数据存储在检测单元112中。在一些实施例中，存储设备140可以存储服务器120可以执行或用于执行本发明中描述的示例性方法的数据和/或指令。例如，存储设备140可以存储处理设备122可以执行或用于标定惯性测试单元和相机的指令。在一些实施例中，存储设备140可包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写存储器可以包括随机存取存储器(RAM)。示例性随机存取存储器可包括动态随机存取存储器(DRAM)、双倍数据速率同步动态随机存取存储器(DDR SDRAM)、静态随机存取存储器(SRAM)、晶闸管随机存取存储器(T-RAM)和零电容随机存取存储器(Z-RAM)等。示例性只读存储器可以包括掩模型只读存储器(MROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)和数字多功能磁盘只读存储器等。在一些实施例中，所述存储设备140可在云端平台上执行。仅作为示例，云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

在一些实施例中，存储设备140可以连接到网络150以与自动驾驶系统100的一个或以上组件(例如，服务器120、终端设备130、检测单元112、车辆110和/或定位导航系统160)通信。自动驾驶系统100的一个或以上组件可以经由网络150访问存储设备140中存储的数据或指令。在一些实施例中，存储设备140可以直接连接到自动驾驶系统100的一个或以上组件(例如，服务器120、终端设备130、检测单元112、车辆110和/或定位导航系统160)或与之通信。在一些实施例中，存储设备140可以是服务器120的一部分。在一些实施例中，存储设备140可以集成在车辆110中。

网络150可以促进信息和/或数据的交换。在一些实施例中，自动驾驶系统100的一个或以上组件(例如，服务器120、终端设备130、检测单元112、车辆110、存储设备140或定位导航系统160)可以经由网络150将信息和/或数据发送到自动驾驶系统100的其他组件。例如，服务器120可以经由网络150从车辆110、终端设备130、存储设备140和/或定位导航系统160获取惯性测试单元数据或相机数据。在一些实施例中，网络150可以为任意形式的有线或无线网络，或其任意组合。仅作为示例，网络150可以包括缆线网络、有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络、近场通信(NFC)网络等或其任意组合。在一些实施例中，网络150可以包括一个或以上网络接入点。例如，网络150可以包括有线或无线网络接入点(例如，150-1、150-2)，通过该接入点，自动驾驶系统100的一个或以上组件可以连接到网络150以交换数据和/或信息。

定位导航系统160可以确定与对象相关联的信息，例如，终端设备130、车辆110等。在一些实施例中，定位导航系统160可以包括全球定位系统(GPS)、全球导航卫星系统(GLONASS)、罗盘导航系统(COMPASS)、北斗导航卫星系统、伽利略定位系统、准天顶卫星系统(QZSS)等。信息可包括物体的位置、高度、速度或加速度、当前时间等。定位导航系统160可以包括一个或以上的卫星，例如，卫星160-1、卫星160-2和卫星160-3。所述卫星160-1至160-3可以独立地或共同地确定上述信息。卫星定位导航系统160可以经由无线连接将上述信息发送到网络150、终端设备130或车辆110。

本领域普通技术人员将理解，当自动驾驶系统100的元件(或组件)执行时，该元件可以通过电信号和/或电磁信号执行。例如，当终端设备130向服务器120发送请求时，终端设备130的处理器可以生成编码所述请求的电信号。然后，终端设备130的处理器可以将电信号发送到输出端口。若终端设备130经由有线网络与服务器120通信，则输出端口可物理连接至电缆，其进一步将电信号传输至服务器120的输入端口。如果终端设备130经由无线网络与服务器120通信，则终端设备130的输出端口可以是一个或以上天线，其将电信号转换为电磁信号。在诸如终端设备130和/或服务器120的电子设备内，当其处理器处理指令、发出指令和/或执行动作时，指令和/或动作通过电信号进行。例如，当处理器从存储介质(例如，存储设备140)恢复或保存数据时，它可以将电信号发送到存储介质的读/写设备，其可以在存储介质中读取或写入结构化数据。该结构化数据可以通过电子设备的总线，以电信号的形式传输至处理器。此处，电信号可以指一个电信号、一系列电信号和/或多个不连续的电信号。

图2是根据本申请的一些实施例所示的示例性计算设备的示例性硬件和/或软件组件的示意图。在一些实施例中，服务器120和/或终端设备130可以在计算设备200上实现。例如，处理设备122可以在计算设备200上实现，并且被配置为执行本申请中披露的处理设备122的功能。

计算设备200可用于实现本申请的自动驾驶系统100的任何组件。例如，自动驾驶系统100的处理设备122可以通过其硬件、软件程序、固件或其组合在计算设备200上执行。尽管为了方便仅示出了一个这样的计算机，但是这里描述的与自动驾驶系统100相关的计算机功能可以以分布式方式在多个类似平台上实现以分配处理负荷。

计算设备200可以包括连接到与其连接的网络(例如，网络150)的通信(COM)端口250，以方便数据通信。计算设备200还可以包括用于执行程序指令的处理器(例如，处理器220)，其形式为一个或以上处理器(例如，逻辑电路)。例如，处理器可以包括其中的接口电路和处理电路。接口电路可以被配置为从总线210接收电信号，其中电信号编码用于处理电路的结构化数据和/或指令。处理电路可以进行逻辑计算，然后将结论、结果和/或指令编码确定为电信号。然后，接口电路可以经由总线210从处理电路发出电信号。

计算设备200还可以包括不同形式的程序存储器和数据存储器，包括：例如磁盘270、只读存储器(ROM)230或随机存取存储器(RAM)240，用于存储由计算设备200处理和/或传输的各种数据文件。示例性计算设备200还可以包括存储在只读存储器230、随机存取存储器240和/或由处理器220执行的其他类型的非暂时性存储介质中的程序指令。本申请的方法和/或流程可以以程序指令的方式实现。计算设备200还包括输入/输出组件260，其支持计算设备200与其中的其他组件之间的输入/输出。计算设备200也可以通过网络通信接收编程和数据。

仅仅为了说明，在计算设备200中仅描述了一个处理器。然而，应当注意的是，本申请中的计算设备200还可以包括多个处理器，因此由本申请中描述的一个处理器执行的操作也可以由多个处理器共同或单独执行。例如，计算设备200的处理器执行操作A和操作B.又例如，操作A和操作B也可以由计算设备200中的两个不同的处理器共同或单独执行(例如，第一处理器执行操作A，第二处理器执行操作B，或者第一和第二处理器共同执行操作A和B)。

图3是根据本申请的一些实施例所示的示例性移动设备的示例性硬件和/或软件组件的示意图。在一些实施例中，终端设备130可以在移动设备300上应用。如图3所示，移动设备300可以包括通信平台310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、输入/输出(I/O)350、内存360、移动操作系统(OS)370和存储器390。在一些实施例中，任何其他合适的组件，包括但不限于系统总线或控制器(未示出)，也可包括在移动设备300内。

在一些实施例中，移动操作系统370(如，iOS^TM、Android^TM、Windows Phone^TM)和一个或以上应用程序380可以从存储器390加载到内存360中以便由CPU340执行。应用程序380可以包括浏览器或任何其他合适的移动应用程序，用于从处理设备122接收和呈现与定位或其他信息有关的信息。用户与信息流的交互可以通过输入/输出350实现，并通过网络150提供给处理设备122和/或自动驾驶系统100的其他组件。

为了实施本申请描述的各种模块、单元及其功能，计算机硬件平台可用作本文中描述的一个或以上组件的硬件平台。具有用户接口组件的计算机可用于实施个人计算机(PC)或任何其他类型的工作站或终端设备。若计算机被适当的程序化，计算机亦可用作服务器。

图4是根据本申请的一些实施例所示的示例性处理设备122的框图。处理设备122可以包括轨迹获取模块410、惯性测试单元姿态确定模块420、相机姿态确定模块430、相对坐标姿态确定模块440和相对姿态确定模块450。

轨迹获取模块410可以被配置为获取自动驾驶车辆的直线行驶轨迹。

惯性测试单元姿态确定模块420可以被配置为确定惯性测试单元相对于第一坐标系的惯性测试单元姿态。例如，惯性测试单元姿态确定模块420可以从惯性测试单元获取惯性测试单元数据，并确定第一坐标系。又如例如，惯性测试单元姿态确定模块420可以基于惯性测试单元数据和第一坐标系，确定惯性测试单元姿态。

相机姿态确定模块430可以被配置为确定相机相对于第二坐标系的相机姿态。例如，相机姿态确定模块430可以从相机获取相机数据，并且基于相机数据确定第二坐标系。又例如，相机姿态确定模块430可以基于相机数据和第二坐标系，确定相机姿态。

相对坐标姿态确定模块440可以被配置为确定第一坐标系和第二坐标系之间的相对坐标姿态。例如，相对坐标姿态确定模块440可以将第一坐标系的第一地面法向量与第二坐标系的第二地面法向量对齐，并将惯性测试单元的第一行驶方向与相机的第二行驶方向对齐。相对坐标姿态确定模块440还可以确定第一坐标系与第二坐标系之间的相对坐标姿态。

相对姿态确定模块450可以被配置为基于惯性测试单元姿态、相机姿态和相对坐标姿态，确定相机和惯性测试单元之间的相对姿态。

处理设备122中的模块可以通过有线连接或无线连接互相连接或通信。有线连接可以包括金属线缆、光缆、混合电缆等或其任意组合。无线连接可以包括局域网络(LAN)、广域网络(WAN)、蓝牙、紫蜂网络、近场通信(NFC)等或其任意组合。两个或以上模块可以合并成一个单独的模块，任意一个模块可以被拆分成两个或以上单元。例如，处理设备122可以包括存储模块(未示出)，用于存储与惯性测试单元和相机相关的信息和/或数据(例如，惯性测试单元数据、相机数据等)。

图5是根据本申请的一些实施例所示的用于标定自动驾驶车辆的惯性测试单元和相机的示例性过程500的流程图。在一些实施例中，过程500可以作为存储在只读存储器230或随机存取存储器240中的一组指令(例如，应用程序)来实现。处理器220和/或图4中的模块可以执行一组指令，并且当执行指令时，处理器220和/或模块可以被配置为执行过程500。以下所示过程的操作仅出于说明的目的。在一些实施例中，过程500可以利用未描述的一个或以上附加操作和/或在此没有讨论的一个或以上操作来完成。另外，如图5所示的和下面描述的过程的操作顺序不是限制性的。

在510中，处理设备122(例如，轨迹获取模块410、处理器220的接口电路)可以获取自动驾驶车辆直线行驶的轨迹。

在一些实施例中，惯性测试单元和相机可以安装在自动驾驶车辆上，用于感测自动驾驶车辆周围的环境并为所述自动驾驶车辆导航。在一些实施例中，自动驾驶车辆可以被控制(由司机或处理设备122)以直线行驶预定距离。在某些实施例中，所述预定距离可以是存储在系统100(的存储设备例如，存储设备140、只读存储器230、随机存取存储器240等)中的默认值，或者由系统100或其操作者根据不同的应用场景确定。例如，所述预定距离可以是50米、100米、200米、1000米等。处理设备122可以在自动驾驶车辆直线行驶时获取自动驾驶车辆的轨迹。

在520中，处理设备122(例如，惯性测试单元姿态确定模块420)可以确定惯性测试单元相对于第一坐标系的惯性测试单元姿态。

在一些实施例中，相对于第一坐标系的惯性测试单元姿态可以反映惯性测试单元相对于第一坐标系的方位、位置、姿态或旋转。在一些实施例中，惯性测试单元姿态可以表示为欧拉角、旋转矩阵、方位四元数等，或其任何组合。例如，惯性测试单元姿态可以表示为如图6所示的旋转矩阵其中R可以表示矩阵，I可以表示惯性测试单元，s₁可以表示第一坐标系。

图6是根据本申请的一些实施例所示的相机和惯性测试单元之间的示例性相对姿态的示意图。如图6所示，C可以表示相机的原点，并且X_I、Y_I和Z_I可以分别代表相机的三个轴。I可以表示惯性测试单元的原点，X_I、Y_I和Z_I可以分别代表惯性测试单元的三个轴。O₁和O₂可分别代表第一坐标系S₁和第二坐标系S₂的原点。X_I、Y_I和Z_I可以分别表示第一坐标系S₁的三个轴。X₂、Y₂和Z₂可以分别表示第二坐标系S₂的三个轴。可以表示相机相对于惯性测试单元的相对姿态。可以表示相机相对于第二坐标系S₂的相对姿态。可以表示惯性测试单元相对于第一坐标系S₁的相对姿态。可以表示第二坐标系S₂相对于第一坐标系S₁的相对姿态。

在一些实施例中，第一坐标系可以是定义的三维坐标系。例如，当自动驾驶车辆直线行驶时，处理设备122可以确定自动驾驶车辆的第一地面法向量和第一行驶方向。处理设备122可以根据右手定则使用第一地面法向量和第一行驶方向作为第一坐标系的两个轴来确定第一坐标系。

在一些实施例中，当自动驾驶车辆直线行驶时，惯性测试单元可以使用各种惯性传感器检测并输出加速度、旋转速率、有时还可以是惯性测试单元周围的磁场。例如，各种惯性传感器可包括一个或以上加速度计、一个或以上陀螺仪、一个或以上磁力计等，或其任何组合。处理设备122可以使用加速度、旋转速率和/或磁场来计算惯性测试单元姿态。用于确定第一坐标系和/或惯性测试单元姿态的过程或方法可以在本申请的其他地方找到(例如，图7及其描述)。

在530中，处理设备122(例如，相机姿态确定模块430)可以确定相机相对于第二坐标系的相机姿态。

在一些实施例中，相对于第二坐标系的相机姿态可以反映相机相对于第二坐标系的方位、位置、姿态或旋转。在一些实施例中，相机姿态可以表示为欧拉角、旋转矩阵、方位四元数等，或其任何组合。例如，相机姿态可以表示为如图6所示的旋转矩阵其中R可以表示矩阵，R可以表示相机，并且s₂可以表示第二坐标系。

在一些实施例中，第二坐标系可以是定义的与相机相关的三维坐标系。例如，当自动驾驶车辆直线行驶时，相机可以拍摄相机视野范围内的视频或图像。处理设备122可以基于从相机拍摄的视频或图像建立第二坐标系。例如，处理设备122可以从视频或图像获取至少两张图片，并根据三维重建技术处理所述至少两张图片。处理设备122可以在三维场景中获取第二地面法向量。处理设备122可以根据右手定则使用相机的第二地面法向量和第二行驶方向作为第二坐标系的两个轴，确定所述第二坐标系。

在一些实施例中，处理设备122可以基于三维重建技术确定相机姿态。例如，处理设备122可以将相机的至少两张图片和/或内部参数输入至三维重建技术中。三维重建技术可以输出相对于第二坐标系的相机姿态和相机拍摄的场景的三维结构数据。用于确定第二坐标系和/或相机姿态的过程或方法可以在本申请的其他地方找到(例如，图8-9及其描述)。

在540中，处理设备122(例如，相对坐标姿态确定模块440)可以确定第一坐标系和第二坐标系之间的相对坐标姿态。

在一些实施例中，第一坐标系和第二坐标系之间的相对坐标姿态可以反映第一坐标系相对于第二坐标系的方位、位置、姿态或旋转。在一些实施例中，相对坐标姿态可以表示为欧拉角、旋转矩阵、方位四元数等，或其任何组合。例如，相对坐标姿态可以表示为旋转矩阵如图6所示，其中R可以表示矩阵，s₁可以表示第一坐标系，s₂可以表示第二坐标系。

第一坐标系和第二坐标系都是定义的坐标系，并且本质上是相同坐标系的两个不同表示。在一些实施例中，处理设备122可以通过旋转和对齐第一坐标系和第二坐标系的轴来确定相对坐标姿态。例如，处理设备122可以将第一坐标系的第一地面法向量与第二坐标系的第二地面法向量对齐，并将惯性测试单元的第二行驶方向和地面法向量周围的相机的第二行驶方向对齐，以确定相对坐标姿态。在一些实施例中，处理设备122可以基于相同的参考坐标系确定相对坐标姿态。例如，处理设备122可以分别确定第一坐标系相对于世界坐标系的第一相对姿态和第二坐标系相对于世界坐标系的第二相对姿态处理设备122可以通过将第一相对姿态乘以第二相对姿态确定第一坐标系相对于第二坐标系的相对坐标姿态用于确定相对坐标姿态的过程或方法可以在本申请的其他地方找到(例如，图10及其描述)。

在550中，处理设备122(例如，相对姿态确定模块450)可以基于惯性测试单元姿态、相机姿态和相对坐标姿态，确定相机和惯性测试单元之间的相对姿态。

在一些实施例中，相机和惯性测试单元之间的相对姿态可以反映相机相对于惯性测试单元的方向、位置、姿态或旋转。在一些实施例中，相对姿态可以表示为欧拉角、旋转矩阵、方位四元数等，或其任何组合。例如，相对姿态可以表示为欧拉角α、β和γ。α、β和γ可分别表示围绕X轴、Y轴和Z轴的旋转角度。又如，相对姿态可以表示为如图6所示的旋转矩阵其中R可以表示矩阵，C可以表示相机，并且I可以表示惯性测试单元。旋转矩阵可以是围绕三个轴R_x、R_Y,和R_Z的三个旋转矩阵的乘积。其中， 并且

在一些实施例中，处理设备122可以基于惯性测试单元姿态相机姿态和相对坐标姿态确定相机相对于惯性测试单元的相对姿态例如，处理设备122可以根据下面的等式(1)确定相对姿态

其中，是相对坐标姿态的转置矩阵，并且是惯性测试单元姿态的转置矩阵。

在一些实施例中，相机和惯性测试单元之间的相对姿态可用于为所述自动驾驶车辆导航。例如，当自动驾驶车辆行驶时，处理设备122可以计算所述自动驾驶车辆的激光雷达所获取的三维目标在相机中的位置。在惯性测试单元的帮助下，处理设备122可以首先将激光雷达获取的三维目标变换到惯性测试单元坐标系中，然后使用相机和惯性测试单元之间的相对姿态，再将所述三维目标变换到相机坐标系中。

应当注意的是，上述描述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请的范围。例如，可以在过程500中的其他地方添加一个或以上其他可选操作(例如，存储操作)。在存储操作中，处理设备122可以存储本申请中其他地方披露的存储设备(例如，存储设备140)中的信息和/或数据(例如，相机和惯性测试单元之间的相对姿态)。

图7是根据本申请的一些实施例所示的用于确定惯性测试单元相对于第一坐标系的惯性测试单元姿态的示例性过程700的流程图。在一些实施例中，过程700可以通过存储在只读存储器230或随机存取存储器240中的一组指令(例如，应用程序)来实现。处理器220和/或图4中的模块可以执行一组指令，并且当执行指令时，处理器220和/或模块可以被配置为执行过程700。以下所示过程的操作仅出于说明的目的。在一些实施例中，过程700可以利用未描述的一个或以上附加操作和/或没有在此讨论的一个或以上操作完成。此外，图7中所示以及以下描述的过程的操作顺序并非限制性的。

在710中，处理设备122(例如，惯性测试单元姿态确定模块420、处理器220的接口电路)可以从惯性测试单元获取惯性测试单元数据。

在一些实施例中，惯性测试单元可包括至少两个惯性传感器，例如一个或以上加速度计、一个或以上陀螺仪、一个或以上磁力计等，或其任何组合。惯性测试单元可以使用所述至少两个惯性传感器输出惯性测试单元数据。例如，惯性测试单元数据可以包括加速度、旋转速率、自动驾驶车辆周围的磁场等，或其任何组合。处理设备122可以在自动驾驶车辆行驶时从惯性测试单元获取惯性测试单元数据。

在720中，处理设备122(例如，惯性测试单元姿态确定模块420)可以基于所述自动驾驶车辆的轨迹，确定第一坐标系。

在一些实施例中，当自动驾驶车辆直线行驶时，处理设备122可以获取自动驾驶车辆的轨迹。处理设备122可以从自动驾驶车辆的轨迹中，确定自动驾驶车辆的第一地面法向量和第一行驶方向。如图6所示，处理设备122可以使用第一地面法向量和第一行驶方向作为第一坐标系S1的两个轴(例如，第一地面法向量为X1、第一行驶方向为Y1)，并根据右手定则确定第一坐标系S1的第三轴(例如Z1)。

在730中，处理设备122(例如，惯性测试单元姿态确定模块420)可以基于惯性测试单元数据和第一坐标系，确定惯性测试单元姿态。

在一些实施例中，处理设备122可以基于加速度、旋转速率和/或自动驾驶车辆周围的磁场，计算惯性测试单元相对于第一坐标系的惯性测试单元姿态。例如，处理设备122可以根据融合算法融合加速度、旋转速率和/或磁场以确定惯性测试单元姿态。示例性融合算法可以包括互补滤波方法、共轭梯度滤波方法、扩展卡尔曼滤波方法、无迹卡尔曼滤波方法等，或其任何组合。

应该注意的是，上述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请的范围。例如，可以在过程700中的其他地方添加一个或以上其他可选操作(例如，存储操作)。在存储操作中，处理设备122可以与存储本申请中其他地方披露的存储设备(例如，存储设备140)中的惯性测试单元相关的信息和/或数据(例如，惯性测试单元数据)。

图8是根据本申请的一些实施例所示的用于确定相机相对于第二坐标系的相机姿态的示例性过程700的流程图。在一些实施例中，过程800可以通过存储在只读存储器230或随机存取存储器240中的一组指令(例如，应用程序)来实现。处理器220和/或图4中的模块可以执行一组指令，并且当执行指令时，处理器220和/或模块可以被配置为执行过程800。以下所示过程的操作仅出于说明的目的。在一些实施例中，过程800可以利用未描述的一个或以上附加操作和/或没有在此讨论的一个或以上操作来完成。另外，图8所示和以下描述的过程的操作顺序不是限制性的。

在810中，处理设备122(例如，相机姿态确定模块430、处理器220的接口电路)可以从相机获取相机数据。

在一些实施例中，当自动驾驶车辆直线行驶时，相机可以获取自动驾驶车辆范围内的相机数据(例如，视频或图像)。处理设备122可以从相机获取相机数据。

在820中，处理设备122(例如，相机姿态确定模块430)可以基于相机数据确定第二坐标系。

在一些实施例中，处理设备122可以将相机数据输入至三维重建技术中以获取三维场景。示例性三维重建技术可以包括纹理形状(SFT)方法、明暗重构三维形状法、多视图立体声(MVS)方法、运动恢复结构(SFM)方法、飞行时间(ToF)方法、结构光方法、莫尔纹影法等，或其任何组合。在三维场景中，处理设备122可以获取相机的第二地面法向量和第二行驶方向。如图6所示，处理设备122可以根据右手定则将第二地面法向量和第二行驶方向分别作为第二坐标系S₂的两个轴(例如，第二地面法向量作为X2，第二行驶方向作为第二坐标系S2的Y2，以确定第三轴(例如，Z₂))。用于确定第二坐标系的过程或方法可以在本申请的其他地方找到(例如，图10及其描述)。

在830中，处理设备122(例如，相机姿态确定模块430)可以基于相机数据和第二坐标系，确定相机姿态。

在一些实施例中，处理设备122可以使用三维重建技术确定相机姿态。例如，处理设备122可以将相机数据和/或相机的内部参数输入到运动恢复结构方法中。运动恢复结构方法可以使用相机拍摄的视频或图像，自动恢复相机的运动和相机拍摄的场景的三维结构。例如，在运动恢复结构方法中，可以先对视频或图像中的一组二维特征点进行跟踪，以获取随着时间推移的特征点轨迹。然后使用所述随着时间推移的特征点轨迹，可以推导出相机所在的位置和/或特征点的三维位置。使用相机所在的位置和/或特征点的三维位置，可以确定相机和第二坐标系之间的旋转矩阵。处理设备122可以基于所述旋转矩阵，确定相机相对于第二坐标系的相机姿态。

应该注意的是，上述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请的范围。例如，可以在过程800中的其他地方添加一个或以上其他可选操作(例如，存储操作)。在存储操作中，处理设备122可以存储与本申请中其他地方披露的存储设备(例如，存储设备140)中的相机相关的信息和/或数据(例如，相机数据)。

图9是根据本申请的一些实施例所示的用于确定第二坐标系的示例性过程900的流程图。在一些实施例中，过程900可以通过存储在只读存储器230或随机存取存储器240中的一组指令(例如，应用程序)来实现。处理器220和/或图4中的模块可以执行一组指令，并且当执行指令时，处理器220和/或模块可以被配置为执行过程900。以下所示过程的操作仅出于说明的目的。在一些实施例中，过程900可以利用未描述的一个或以上附加操作和/或在此没有讨论的一个或以上操作完成。另外，图9所示和下面描述的过程的操作顺序不是限制性的。

在910中，处理设备122(例如，相机姿态确定模块430)可以基于相机数据和三维重建技术，确定第二地面法向量。

在一些实施例中，处理设备122可以将相机数据输入至三维重建技术(例如，运动机构方法)中获取三维场景。处理设备122可以获取三维场景中的地面法向量作为第二地面法向量。

在920中，处理设备122(例如，相机姿态确定模块430)可以基于相机数据，确定相机的第二行驶方向。

处理设备122可以在三维场景中获取相机的行驶方向作为第二行驶方向。

在930中，处理设备122(例如，相机姿态确定模块430)可以基于第二地面法向量和相机的第二行驶方向，确定第二坐标系。

在一些实施例中，如图6所示，处理设备122可以根据右手定则使用第二地面法向量和第二行驶方向分别作为第二坐标系S₂的两个轴(例如，第二地面法向量为X₂，第二行驶方向为Y₂)以确定第二坐标系S₂的第三轴(例如，Z₂)。处理设备122可以分别使用第二地面法向量、第二行驶方向和确定的第三轴分别作为X₂,Y₂和Z₂，确定第二坐标系。

应该注意的是，上述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请的范围。例如，可以在过程900中的其他地方添加一个或以上其他可选操作(例如，存储操作)。在存储操作中，处理设备122可以存储与本申请中其他地方披露的存储设备(例如，存储设备140)中的相机相关的信息和/或数据(例如，相机数据)。

图10是根据本申请的一些实施例所示的用于确定第一坐标系与第二坐标系之间的相对坐标姿态的示例性过程900的流程图。在一些实施例中，过程1000可以通过存储在只读存储器230或随机存取存储器240中的一组指令(例如，应用程序)实现。处理器220和/或图4中的模块可以执行一组指令，并且当执行指令时，处理器220和/或模块可以被配置为执行过程1000。以下所示过程的操作仅出于说明的目的。在一些实施例中，过程1000可以利用未描述的一个或以上附加操作和/或在此没有讨论的一个或以上操作来完成。另外，图10所示和下面描述的过程的操作顺序不是限制性的。

在1010中，处理设备122(例如，相对坐标姿态确定模块440)可以将第一坐标系的第一地面法向量与第二坐标系的第二地面法向量对齐。

在一些实施例中，处理设备122可以将第一坐标系朝向第二坐标系平移和/或旋转。处理设备122可以在平移和/或旋转之后将第一地面法向量与第二地面法向量对齐。在一些实施例中，处理设备122可以以欧拉角、旋转矩阵、方位四元数等或其任何组合的形式记录所述平移和/或旋转。

在1020中，处理设备122(例如，相对坐标姿态确定模块440)可以将惯性测试单元的第一行驶方向与相机的第二行驶方向对齐。

在一些实施例中，将第一地面法向量与第二地面法向量对齐后，处理设备122还可以通过旋转将惯性测试单元的第一行驶方向与相机的第二行驶方向围绕对齐的地面法向量对齐。在一些实施例中，处理设备122可以以欧拉角、旋转矩阵、方位四元数等或其任何组合的形式记录旋转。

在1030中，处理设备122(例如，相对坐标姿态确定模块440)可以确定图6中描述的第一坐标系和第二坐标系之间的相对坐标姿态。

在一些实施例中，处理设备122可以基于平移和/或旋转确定相对坐标姿态。在一些实施例中，相对坐标姿态可以表示为欧拉角、旋转矩阵、方位四元数等，或其任何组合。

应该注意的是，上述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请的范围。例如，可以在过程1000中的其他地方添加一个或以上其他可选操作(例如，存储操作)。又例如，处理设备122可以基于相同的参考坐标系(例如，世界坐标系)确定第一坐标系和第二坐标系之间的相对坐标姿态。

上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括韧体、常驻软件、微代码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“单元”、“模块”或“系统”。此外，本申请的各方面可以采取体现在一个或以上计算机可读介质中的计算机程序产品的形式，其中计算机可读程序代码包含在其中。

计算机可读信号介质可能包含一个内含有计算机程序代码的传播数据信号，例如在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频等，或任何上述介质的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或以上程序语言编写，包括面向主体编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或以上发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。