具体实施方式

除其他方面之外，本文档中描述的技术通过例如对例如使用车辆车载传感器获取的行驶信号的图像应用图像处理以感知(例如，检测有关其的信息)行驶信号。图像处理可包括：在捕获的图像中提取候选行驶信号；将候选行驶信号分类为真实的行驶信号；并且随后在真实的行驶信号中标识相关的行驶信号。同样估计了行驶信号的状态。可将该技术(我们有时称其为行驶信号感知系统)集成至车辆系统中。车辆系统可包括单个电子设备(例如，GPS设备、移动电话以及移动计算设备)或在单个电子设备中实现。该技术可促进手动驾驶以及自动驾驶车辆的更为安全的驾驶决策。

在本文档中广泛地使用术语“车辆”以包括具有手动驾驶能力或自主驾驶能力或这两者的任何车辆。车辆可以以自主模式或人为操作模式或它们的组合(例如，人类引导的自主模式或机器辅助的手动模式)来驾驶。本文档中描述的技术可与由SAEInternational’s standard J3016:Taxonomy and Definitions for Terms Related toOn-Road Motor Vehicle Automated Driving Systems(SAE国际标准J3016：与道路机动车辆自动驾驶系统相关的术语的分类和定义)(其以其全文通过引用并入本文)限定的任何自主级别(例如，不具有自动化的0级、具有驾驶辅助1级、具有部分自动化的2级、具有条件自动化的3级、具有高度自动化的4级以及具有完全自动化的5级)的任何车辆组合。

广泛地使用术语“感知”以包括大小、形状、距离、配置、取向、编组、数字、文本、颜色、操作状态或其他特性或它们的组合的识别、标识或导出。

广泛地使用术语“行驶信号”以包括例如提供车辆的驾驶行为的可视指示或车辆的驾驶中要考虑的任何驾驶状况。可见指示可携带相对于行为或状况的任何程度的批准(authority)，包括告知、建议(advising/suggesting)、鼓励、要求、或授权行为或对于状况的注意。

广泛地使用术语“真实的行驶信号”以包括已知存在的任何行驶信号。有关真实的行驶信号的信息可从数据源(例如，数据库或道路地图或这两者)获取，或从基于由车辆获取的数据的先验分析的真实的行驶信号的指示获取，或从这两者获取。

广泛地使用术语“相关的行驶信号”以包括例如与车辆的驾驶决策(例如，前进、减速或停车)或其他活动相关或对其有用的任何行驶信号。

车辆系统

如图1A中所示，车辆10的典型活动是安全并且可靠地手动或者自主地驾驶通过环境12至目的位置14，同时避开车辆、行人、骑自行车者和其他障碍物16并遵守道路的规则(例如，操作规则或驾驶偏好)。车辆自主地执行该活动的能力通常被称为自主驾驶能力。

车辆的驾驶通常由技术18以及20的阵列(例如，硬件、软件以及存储的以及实时的数据)来支持，在本文将该阵列统称为车辆系统22。在一些实现中，技术中的一个或一些或全部由车辆车载。在一些情况下，该技术中的一种或一些或所有位于另一位置，诸如在服务器处(例如，在云计算基础设施中)。车辆系统的组件可包括以下中的一个或多个或全部(以及其他)。

1.存储器32，该存储器32用于存储机器指令以及各种类型的数据。

2.一个或多个传感器24，该一个或多个传感器24用于测量或推断或者测量并且推断车辆的状态和状况，诸如，车辆的位置、线速度和角速度和加速度、以及前进方向(heading)(即车辆的前端的取向)。例如，此类传感器可包括，但不限于：GPS；惯性测量单元，该惯性测量单元测量车辆线性加速度和角速率；单独的车轮速度传感器，用于测量或估算单个车轮滑移率；单独的车轮制动压力或制动扭矩传感器；发动机扭矩或单独的车轮扭矩传感器；以及方向盘角度和角速率传感器。

3.一个或多个传感器26，该一个或多个传感器26用于测量车辆的环境的属性。例如，此类传感器可包括，但不限于：激光雷达；雷达；可见光、红外和/或热光谱中的单目或立体摄像机；超声传感器；飞行时间(TOF)深度传感器；以及温度和雨水传感器。

4.一个或多个设备28，该一个或多个设备28用于通信其他车辆的状态和条件的所测量或所推断或所测量以及所推断的属性，诸如位置、线性速度和角速度、线性加速度和角加速度、以及线性前进方向和角前进方向。这些设备包括车辆到车辆(V2V)和车辆到基础设施(V2I)通信设备以及用于通过点对点或自组织网络或通过这两者进行无线通信的设备。设备可以跨电磁频谱(包括无线电和光通信)或其他介质(例如，声学通信)进行操作。

5.一个或多个数据源30，该一个或多个数据源30用于提供关于环境12的历史或实时或预测的信息、或它们中的任何两个或更多个的组合，包括例如交通拥堵更新以及天气条件。此类数据可以被存储在车辆上的存储器存储单元32上，或者经由无线通信从远程数据库34传送至车辆。

6.一个或多个数据源36，该一个或多个数据源36用于提供从GIS数据库提取的数字道路地图数据，潜在地包括一项各项中的一项或多项：道路几何属性的高精度地图；描述道路网络连接属性的地图；描述道路物理属性的地图(诸如，机动车道和非机动车道的数量、车道宽度、车道交通方向、车道标记类型和位置)；以及描述道路特征(诸如，人行横道、交通标志或者各种类型的其他行驶信号(例如，停止，让行)、以及交通信号或者各种类型的其他行驶信号(例如，红黄绿指示器、闪烁的黄色或红色指示器、或右转或左转箭头)的空间位置的地图。此类数据可以被存储在车辆上的存储器存储单元32上，或者通过无线通信从远程定位的数据库传送至车辆，或其二者的组合。

7.一个或多个数据源38，该一个或多个数据源38用于在一天的类似时间提供关于先前已沿本地路段行驶的车辆的驾驶属性(例如，典型的速度和加速度概况)的历史信息。此类数据可以被存储在车辆上的存储器存储单元32上，或者通过无线通信从远程定位的数据库34传送至车辆，或其二者的组合。

8.一个或多个计算机系统40，该一个或多个计算机系统40位于车辆上，用于执行算法以用于基于实时传感器数据和先验信息在线(即，在AV上实时的)生成控制动作(例如，进程42)，从而允许车辆执行其手动或自主或该两种驾驶能力。

9.一个或多个接口设备44(例如，显示器、鼠标、跟踪点、键盘、触摸屏、扬声器、生物统计读取器以及姿势读取器)，该一个或多个接口设备耦合至计算机系统40以用于向车辆的乘员提供各种类型的信息以及警报并且接收来自车辆的乘员的输入。耦合可以是无线的或有线的。可以将接口设备中的任何两个或更多个集成到单个中。

10.一个或多个无线通信设备46，该一个或多个无线通信设备46用于将数据从远程定位的数据库34传送至车辆，并且将车辆传感器数据或与驾驶性能相关的数据传送至远程定位的数据库34。

11.功能设备以及车辆特征48，该功能设备以及AV特征48被装备成用于从计算机系统接收用于驱动(例如，转向、加速、减速、档位选择)和用于辅助功能(例如，转向指示器激活)的命令并按照该命令行动。

图1B示出了行驶信号感知系统的示例。车辆车载的一个或多个传感器122(例如，激光雷达、雷达、GPS接收器、超声传感器、飞行时间(TOF)深度传感器、温度传感器、速度传感器以及雨水传感器)收集信号124并且经由网络接口101将其传送至计算设备100，其可以是独立装置或是车辆系统的组件。网络接口101可以是无线的或者是有线的或其二者。例如，GPS传感器记录在道路网络上驾驶的车辆的当前位置；或者速度传感器记录该车辆以及其他车辆的速度。车辆车载的视觉传感器132(例如，能够记录可见光、红外和/或热光谱中的场景的单目或立体视频相机)收集图像或视频134并且经由网络接口101将其传送至计算设备100。计算设备100可接收来自一个或多个车辆外数据源(例如，传感器142、视觉传感器144、或数据库146、或它们的组合)的数据148，该一个或多个车辆外数据源安装在例如基础设施、服务器、另一车辆或建筑物上。

计算设备100可包括处理器102和存储器104。行驶信号感知系统可使用信号以及数据(124、134以及148)以执行与感知行驶信号相关联的活动。当信号以及数据到达计算设备100时，网络接口101通过数据总线110将信号以及数据传递至处理器102以用于分析。在一些情况下，信号以及数据存储在存储器104中、数据存储106中、或在数据库108中或存储在它们的组合中。

可由图像处理器112处理图像或视频134以提取图像中的候选行驶信号。分类器114将候选行驶信号分类为真实的行驶信号。估计器116被用于估计分类的行驶信号的当前状态。图像处理器112、分类器114或估计器116或它们的组合可由硬件设备(例如，现场可编程门阵列或集成电路)实现、或由通过通用处理器102执行的一个或多个软件模块实现、或由它们的组合实现。在数据分析期间，由处理器(102、112、114或116)在较早时间t-1生成的输出160可作为在较后时间t用于分析的先验信息的一部分被反馈至计算设备100。先验信息可被存储在存储器104、数据存储106、或数据库108或它们的组合中。由处理器(102、112、114或116)生成的输出170可被传送至远程数据库146，其将在较后时间t被车辆或另一车辆用作先验信息。

计算设备100的输出可在显示器182上可视化，或通过扬声器184创建为音频信号，或其二者。输出可包括在地图上重叠的检测到的行驶信号、或有关检测到的真实的行驶信号的视觉警报或音频警报或该两种警报。在一些实现中，输出包括命令186以控制车辆的加速、转向或制动。

在一些实现中，车载传感器相对于附接至该车辆的一个或多个参照的位置(包括位置以及角度)是预先知道的(例如，通过自动校准)。例如，参考图2，位于车辆200的车顶上的视觉传感器202的位置或者位于车辆200的内部天花板上的视觉传感器202的位置是预先测量的，并且该位置是相对于一个或多个特定位置参照的，例如，前保险杠210的边缘的中点211、或后保险杠212的边缘的中点213、或车辆上或车辆中的任何其他点或标签。

图3示出了在道路网络上驾驶的车辆300，并且场景350是图2中视觉传感器的视场的示例图像。传感器的位置与参照之间的关系的确定在理解相对于视觉传感器202的视场的车辆的形式的取向以及方向是重要的。在一些情况下，当相对于参照的视觉传感器的位置不确定时(由于，例如，硬件或软件中的错误、校准中的故障、位置移位、或不清楚的参照点的选择、或这些中的两个或更多个的组合)，该技术利用概率模型以及统计推断以确定视觉传感器的位置，并且该位置可由概率分布函数描述以供后续使用。

在图像350中示出的行驶信号312通常占据像素的区域352而不是整个图像，由此应用图像处理以在图像中定位行驶信号。行驶信号可以比背景对象(例如，道路354、人行道356、车辆、行人、树木、动物或建筑物)更亮，但是比一些对象(例如，太阳、来自玻璃的光反射、金属或镜子)更暗。可以以像素的饱和度以及亮度信息的形式确定亮度以及暗度。参考图4，图像处理器400可将获取的图像从RGB表示402转换为HSL(色调-饱和度-亮度)表示404，也被称为HSV(色调-饱和度-值)。随后，图像处理器400可滤除406具有低于下限或高于上限或其两者的饱和度以及亮度的值的像素。具有低于上限或者高于下限或这两者的饱和度或者亮度或它们的组合的像素被保留以用于额外处理。

图像中的亮像素或亮像素的区域可能不全部与行驶信号对应，但是可能由于(除其他外)其他车辆上的灯、路灯、建筑物灯、反射、太阳或月亮。由于行驶信号通常具有某些形状(例如，圆形、正方形、菱形以及箭头形状)，从它们中获取的像素也通常在图像中呈现相似的形状。换言之，图像中的亮区域呈现亮度或颜色中的急剧的值变化，并且边界的形状也是有用的信息。由此，图像处理可执行边缘滤波，其识别具有像素值的急剧变化的对象的边缘。边缘滤波408能够分离出可能在图像中的对象。可在RGB图像或HSL图像上执行边缘滤波，其可能已经或尚未经过饱和度以及亮度滤波。

由于图像包括离散化域，不是直线的真实的边缘(例如，曲线或圆形边界)可由图像中的一个或多个线段表示。因此，由边缘滤波识别的对象可以是多边形。边缘滤波的输出可包括零个、一个或多个多边形。当存在至少一个多边形时，则测试每一个多边形以查看其是否可被视作候选行驶信号。测试标准可包括但不限于下述中的任何两个或更多个的中的一个或组合：

1.凸部以及形状。如果车辆在特定的位置处并且具有特定的取向(例如，基于道路地图中或数据库中或其二者中的信息)，则可以期望行驶信号在图像中出现。此类信号可已知具有特定形状(例如，圆形或正方形)，并且从行驶信号中捕获的像素的图像强度可期望形成该已知的形状(或其版本)。例如，圆形行驶信号通常在图像中作为圆形或椭圆形出现。在很大程度上，行驶信号的形状是凸出的，由此图像处理评估多边形的凸部(或凹部)。具有低凸部(或高凹部)的多边形与较高凸部的多边形相比，其表示行驶信号的可能性更低。

在另一方面，通过寻找一个最下的椭圆以捕获(trap)多边形，该多边形可近似为椭圆。此类椭圆的短轴与长轴的比值可被用作圆度的度量。比值越接近1，多边形越可能是圆形。理论上，完美的圆形具有精确等于1的比值，并且多边形具有0到1之间的比值。因此，比值高于阈值的任何多边形被视作圆形，并且因此可能被考虑为候选行驶信号。

2.尺寸。表示行驶信号的多边形不应当小于阈值或大于阈值。例如，过大的多边形(例如，覆盖图像的一半)可(与真实的信号相比)更可能与非常靠近车辆的视觉传感器的对象对应(例如，在该车辆前方的另一汽车的尾灯)。相似地，过小的多边形可能与过远并且因此可忽略的行驶信号对应，或可以是光的杂散源或可以是图像中的噪声。

3.实心度(Solidness)。表示不是箭头或者转向灯的行驶信号的多边形通常具有实心的颜色或亮度。例如，可通过多边形内不存在任何其他较小的多边形来测量该多边形的实心度。换言之，在其内包含另一多边形的任何多边形可能不具有作为候选行驶信号的资格。

基于先验信息430(例如，数据库、地图或先前分析的数据或它们的组合)，可以将上述标准中的两个或更多个中的一个或组合编码为一个或多个模板420。可基于模板匹配410评估上述标准中的一个或多个。通过模板匹配意味着将一个或多个标准的值与由模板中的一个或多个预先限定的这些标准的值的特定值或范围相比较。行驶信号感知系统可为每一个标准创建一个或多个模板420、或创建编码两个或更多个标准的单个模板或这两者。模板可取决于地理区域。标准的模板可包括平均值以及偏差值。形状的模板可包括平均形状以及偏差形状。标准的模板可包括多个标准的模板值，例如，实心度的模板可包括下述中的一个或多个：HSL空间或RGB色彩空间中的色彩分布、形状、尺寸。

上述标准中的一个或多个的模板匹配410可基于加权和。例如，每一个标准可由等级(scale)表示，例如，0到10之间，并且与模板的匹配给出了表示匹配程度的数字分数。该技术进一步将权重指派至不同的标准的分数，并且加权和可被用于确定例如多边形是否是合资格的候选行驶信号。

上述标准中的一个或多个的模板匹配410可基于贝叶斯推断。例如，每一个标准均由在模板中的一个或多个中限定的概率分布函数表示。这些标准可一起形成联合概率分布。随后将贝叶斯推断应用至多边形以确定多边形满足标准的概率。具有通过阈值的概率的多边形被确定为合资格的候选行驶信号。

最后，图像处理器400在图像中标识零个、一个或多个候选行驶信号并且存储有关它们在图像中的位置的信息。我们将这称为从图像中“提取”候选行驶信号。

行驶信号分类

参考图5，当候选行驶信号502由图像处理器提取出时，行驶信号分类器500可在候选行驶信号与真实的行驶信号之间构建对应模型504并且计算分类分数505。基于分类分数505，行驶信号分类器500可在候选行驶信号中标识真实的行驶信号506并且从真实的交通信号中选择相关的行驶信号508。候选行驶信号可以不是真实的行驶信号，因为它是假阳性(false positive)的。在一些情况下，当真实的行驶信号与在当前时刻做出驾驶决策有关时，它可以被考虑为车辆的相关的行驶信号。例如，在距离车辆过远处(例如，超过500米)检测到的行驶信号并不影响当前的驾驶决策并且可能被考虑为不相关。

图3示出了示例，其中车辆300在笔直的道路上驾驶，沿着道路每隔100米安装了三个行驶信号312、314以及316。车辆300可仅需要将最靠近的行驶信号312标识为相关的行驶信号，因为当前时刻的车辆300必须遵守该行驶信号312。在一些实现中，分类器可不仅考虑最靠近的行驶信号312而且也考虑将要遇到的下一行驶信号314等。一个原因可能是为了增强行驶信号分类或信号估计或这两者的准确度。另一原因可以是最靠近的行驶信号312可能被例如树木或一件施工装备部分地阻挡，并且来自更远的交通信号314或316的信息可被用于推断最靠近的行驶信号312的相关性。在这些情况下，交通信号312以及314被视作相关的行驶信号。这些原理可被应用至额外的交通信号以及各种类型的交通信号。

在分类步骤506以及508之后，行驶信号分类器可生成一个或多个真实的并且相关的分类的行驶信号521作为输出525。在一些情况下，可以跳过相关的行驶信号的确定，并且生成分类的真实的行驶信号522作为输出525。

分类的真实的行驶信号532或相关的行驶信号531或这两者可被反馈至相关性模型504并且作为先验信息540的一部分存储以供后续分析。

在一些实现中，分类真实的行驶信号506可包括访问作为先验信息540的一部分的额外数据(例如，道路地图或数据库或传感器数据)。先验信息540可包括下述中的任何两个或更多个中的一个或组合：

1.自我车辆的位置。在道路上的车辆的位置以及方向可基于数据库、道路地图数据、或一个或多个传感器(例如，GPS传感器)或它们的组合确定。传感器可以是车载或者车辆外的。车辆外传感器可以是安装在例如另一车辆上或基础设施上或这两者上的传感器。使用从任何数据源或从任何传感器或从这两者获取的数据以推断车辆的位置。然而，当位置不确定时(例如，由于硬件或软件中的错误、校准中的故障、到数据库的连接故障、位置移位或它们的组合)，该技术利用概率建模以及统计推断以确定车辆的位置。

2.形状。在一些实例中，行驶信号可包括下述形状中的一个或多个或它们的组合。图6A示出了行驶信号的一些示例，诸如左转箭头652、U形转弯箭头654、实心圆形灯656、右转箭头658或它们的组合。一些实现可通过使用概率分布函数建模形状来考虑可能的形状不确定性。

3.颜色。行驶信号可展现不同的颜色以及它们的组合，例如，红色、琥珀色、绿色或白色。在一些情况下，可在特定的地理区域中使用其他颜色。一些实现可通过使用概率分布函数建模颜色来考虑可能的颜色不确定性。

4.位置以及配置。行驶信号的位置(例如，在道路上的位置、面朝的方向、配置取向、距离地面的距离或它们的组合)可被编码至道路地图数据中。进一步地，行驶信号可展示各种配置。例如，图6A示出了水平地组织的行驶信号602、垂直地组织的行驶信号604以及L形的行驶信号606。配置以及它们的尺寸(例如，宽度、长度、高度、深度或它们的组合)可被包括在先验信息中。一些实现可通过使用概率分布函数建模位置或配置来考虑它们中可能的不确定性。

5.道路网络。道路地图或数据库可包括安装行驶信号的位置(例如，交叉口、分叉、合并道路以及人行横道)。进一步地，由行驶信号控制的允许的穿过方向(例如，直行、右转、左转、U形转弯以及它们的组合)可被包括在先验信息中。例如，参考图6B，仅当右转行驶信号610被照亮时，由车辆600在交叉口处进行的右转才可被允许。

6.先前分类的行驶信号。可在一段时间内执行行驶信号分类。参考图5，先前确定的行驶信号531或532可被包括在先验信息540中以供之后使用。

在一些实现中，真实的行驶信号的图像或特定环境中的另一可见特征被捕获或者合成，并且其之后被视作先验图像。在一些应用中，先验图像包括下述中的一个或多个中的在先前时刻的图像：车辆位置、行驶信号颜色、行驶信号形状、行驶信号位置、行驶信号配置以及道路网络。先验图像可基于车辆的视觉传感器的视场生成，或基于鸟瞰视图生成。在一些情况下，在视觉传感器视场与鸟瞰视图之间执行变换。例如，有关行驶信号(例如，位置、高度、大小、形状以及颜色)的信息可已经在地图上注释，该地图是基于鸟瞰视图，并且在该地图上执行变换以在视觉传感器的视场中生成先验图像。

从鸟瞰视图生成车辆视觉传感器的视场中的先验图像(或反之亦然)可依赖下述中的一个或多个：(1)基于道路地图数据的真实的行驶信号在全局参考帧中的位置(包括取向)；(2)基于道路地图数据以及连续更新的传感器数据的车辆在全局参考帧中的位置(包括取向)；以及(3)视觉传感器在车辆的参考帧中的位置(包括取向)。这些位置中的任一个可以从数据源中确定地知道或者可以概率地建模。

图7示出了示例，其中从车辆的视觉传感器获取的图像700被处理并且检测到两个候选行驶信号702以及704。先验信息(例如，数据库、注释以及传感器数据)可被用于生成包括道路地图的先验图像710，其中可以已经注释了真实的行驶信号715的特性(例如，位置、大小、形状、颜色以及配置)。视觉传感器的视场中的图像700可被变换为与先验图像710对齐的鸟瞰视图，从而得到鸟瞰图像720。在该变换中，图像700被变换为多边形721，并且候选行驶信号702以及704的图像被分别变换为点722以及724。通过将变换的候选行驶信号722以及724与注释中的真实的行驶信号725的已知位置(例如，基于阈值方案或概率推理方法)相比较，分类器确定候选行驶信号722是真实的行驶信号但是候选行驶信号724为假阳性。

相似地，可在车辆的视觉传感器的视场中生成先验图像。具有真实的行驶信号的已知特性的先验信息可被变换为视场，以便于确定将预期哪种出行信号或出行信号将是什么样子。例如，图8A示出了从数据库中获取并且表示车辆的附近区域的地图800。根据数据库或根据另一数据源，在附近区域中的真实的行驶信号802并且它的信息(例如，位置、形状、颜色以及配置)是已知的。地图800可被变换为视觉传感器的视场中的先验信息810，并且真实的行驶信号812可在先验图像810中合成。先验图像810可被用于将候选行驶信号分类为真实的行驶信号。当将先验图像810与候选行驶信号822以及824的图像820相比较，分类可确定候选行驶信号824与真实的行驶信号812对应并且候选行驶信号822为假阳性。

在一些实现中，先验图像的生成可包括下述因素中的一个或多个：

1.视场。在一些情况下，视觉传感器具有固定的视场，则传感器仅能够观察视觉传感器所瞄准的方向中的空间的有限的部分。视场通常在垂直以及水平角范围中执行，例如，120度或150度的水平范围以及30、45或60度垂直范围。因此，先验图像的一部分可以在当前视场的外部，并且应当被忽略，因为在视场外部的任何出行信号无法由视觉传感器观察到。

2.形状。如果车辆的取向与行驶信号的信令表面不平行，例如是圆形的行驶信号可以在先验图像中作为椭圆形呈现。例如，图8B示出了正在驶向交叉口的车辆850，并且面朝形状为圆形的两个行驶信号852以及854。在车辆的视觉传感器的视场860中，行驶信号854可呈现为圆形形状864，但是行驶信号852可呈现为椭圆形形状862。当在先验图像中示出的行驶信号从行驶信号的真实的形状偏差超过阈值时，在先验图像中的行驶信号可被忽略，因为它可能对应例如道路上的另一行驶方向或可能过远或可能与车辆无关。该技术可在变换的先验图像中设置行驶信号的小半径与大半径的比值的下限，并且丢弃具有低于该下限的比值的行驶信号。

3.大小。当行驶信号距离车辆较远时(例如，远于10米、20米、30米、40米、50米、100米、200米、300米、400米、500米或1000米)，它在先验图像中的存在可能变得较小。在许多情况下，遥远的行驶信号与车辆的驾驶决策无关，所以可应用先验图像中的行驶信号的大小的下限以滤除无关的行驶信号。

鉴于已经从图像处理中标识行驶信号，故可基于先验信息在它们中分类真实的行驶信号。使用先验信息，分类可包括评估M个候选行驶信号(表示为C₁、…、C_M)与在先验信息中注释的N个真实的行驶信号(标识为T₁、…、T_N)之间的对应性。通常来讲，候选行驶信号的数量M大于真实的行驶信号的数量N，因为候选行驶信号可包括真实的行驶信号以及假阳性(例如，街灯、制动灯、尾灯、前灯、照亮的出租车标志、倒车灯、雾灯、太阳光、反射以及建筑物灯)。可创建对应性指示符F_m＝n以指示候选行驶信号C_m与真实的行驶信号T_n对应。在一些情况下，对应性指示符可反映无对应性(例如，F_m＝0)。可创建并且存储收集了所有对应性指示符F_m的对应性向量F＝[F₁、F₂、...、F_M]以供后续使用。

在一些实现中，候选行驶信号C_m可与测量的数据相关联(例如，在道路网络上的车辆的位置、路线、行驶信号形状、行驶信号颜色、行驶信号位置以及配置或它们的组合)，表示为D_m。可创建并且存储收集了所有单独测量的数据向量D＝[D₁、D₂、…、D_M]以供后续使用。

可通过测量的数据D与先验信息之间的差的加权和计算图5中的分类分数505。具有低于加权和的阈值的分类分数的候选行驶信号C_m可被分类为真实的行驶信号T_n。例如，当在道路网络上的候选行驶信号的位置距在先验信息中编码的真实的行驶信号的距离小于1、2、3、4或5米时，候选行驶信号是真实的行驶信号的可能性很高。在另一示例中，如果候选行驶信号被测量为在地面上方0.8米、但是先验信息指示靠近候选行驶信号的位置的真实的行驶信号高度约为6米，则该候选行驶信号可能是假阳性。

在一些实现中，可通过如下描述的贝叶斯推断算法计算分类分数505。

1.初始化。算法可初始化对应性向量F＝[F₁、F₂、...、F_M]。

2.似然函数。分类分数可以是从概率分布函数p(F|D)得出的似然函数L(F,D)。在一些情况下，由随机变量e表示测量噪声或潜在的测量误差，并且似然函数变为L(F,D,e)。

3.优化。优化方法可被采用以标识最优似然函数。在一些实现中，优化可使用线性编程，或动态编程。一种方法可以在每一个搜索步骤中交换两个指示符；例如，在之后的搜索步骤中使用的随机向量(例如，F＝[1,3,2,4])可交换在先前的搜索步骤中使用的随机向量(例如，F＝[1,2,3,4])中的两个对应性指示符。

在一些实现中，优化可依赖于随机化搜索；例如，该优化随机地播种(seed)一个或多个可能的对应性向量F，并且从可能的对应性向量中得出最优对应性向量。在一些情况下，播种可取决于在先前时刻t-1执行的最优解决方案。

在一些实现中，使用了穷举搜索，例如，检查了所有可能的对应性向量的可能性，并且基于最佳可能性确定了最佳对应性向量。

在一些实现中，在道路上的行驶可由面朝相同的交通方向的两个或多个行驶信号控制。例如，图10示出了在车辆1000的交通方向中行驶是由行驶信号1010以及1020同时地控制的。在一些情况下，该技术可将两个或更多个行驶信号视作群组以分类候选行驶信号。例如，行驶信号T_n以及T_n及可作为交通控制的群组一同操作，并给候选行驶信号C_m、C_m作可被考虑为群组，其被视作优化中的约束。

在图5中对相关的行驶信号进行分类508的一些实现中，相关性可基于车辆的移动方向、车辆的路线、车辆可到达的距离(例如，5米内、10米内、50米内、100米内或200米内)、或车辆可达到行驶信号的时间间期(例如，1秒内、5秒内、10秒内、20秒内、30秒内、1分钟内或5分钟内)或它们的组合。由于并不是所有真实的行驶信号都是与例如车辆的驾驶决策相关的，故从真实的行驶信号中分类相关的行驶信号。例如，在图9中，除了车辆900的驾驶方向930之外，行驶信号感知系统还可标识面朝驾驶方向922的真实的行驶信号912，并且行驶信号912被分类为无关。无关系分类可以基于以下各项中一项或多项：

1.位置。距离车辆过远(例如，远于10米、20米、30米、40米、50米、100米、200米、300米、400米、500米或1000米)的行驶信号可以是无关的。距离的测量可基于在图像中行驶信号的大小。

2.形状。不面对车辆的驾驶方向的行驶信号可在图像中具有变形的形状。在图8B的示例中，可将变形为椭圆形形状862的圆形行驶信号852考虑为无关。

3.路线信息。分类相关的行驶信号可包括使用路线信息。在一些实现中，该技术使用先验信息(例如，道路地图数据)以及车辆的当前路线以标识车辆将会首先遇到的相关的行驶信号。在图9中，车辆900在具有分叉的道路上行驶。车辆的视觉传感器可捕获控制交通引导至两个分支的行驶信号910以及912，并且图像处理可使得两个行驶信号910以及912称为候选行驶信号。然而，基于车辆的当前路线920，行驶信号912被视作无关并且行驶信号910被保留以供后续考虑。

在一些实现中，两个或更多个特征可被用于相关性分类。参考图6B，左转信号620并不控制车辆600的驾驶方向，因此分类可使用路线信息以确定无关性。此外，左转信号360的形状(例如，向左指的箭头)可被考虑为无关的形状，并且由此行驶信号620可被分类为无关。

在一些实现中，可交换图5中对真实的行驶信号506进行分类以及对相关的行驶信号508进行分类的顺序。例如，在图9中示出的场景中，分类器可确定行驶信号912附近的任何候选行驶信号都是无关的，并且随后标识与真实的行驶信号910对应的候选行驶信号。在计算方面，在先验信息中注释的N个真实的行驶信号T₁、…、T_N可被分类为相关或者无关，导致R≤N个相关的行驶信号是N个真实的行驶信号的子集。真实的并且相关的行驶信号T₁、…、T_R随后被用于执行行驶信号分类。

信号状态估计

行驶信号改变其信号状态(例如，颜色或形状或亮度或实心度、或它们的组合)以影响车辆的操作，例如，以控制交通。一旦标识出真实的并且相关的行驶信号，该技术估计该行驶信号的信号状态。由于各种原因(例如，视觉传感器中的失真)，行驶信号的信号状态可能无法准确地在图像中捕获。例如，红色的行驶信号可在图像中呈现为琥珀色的行驶信号；圆形的行驶信号可在图像中呈现为正方形。

信号状态估计可基于两个或更多个行驶信号的一致性。在一些情况下，面朝相同的交通方向的两个或更多个行驶信号可同时地示出相同的信号状态。在此类情况下，该技术可将两个或者更多个行驶信号作为群组而不是单独地估计，并且将行驶信号的信号状态约束为相同的。例如，在图10中，行驶信号1010以及1020同时地控制交通，并且它们的信号状态在估计过程中被约束为相同的。

信号状态估计可包括评估信号状态在行驶信号配置内的位置。图11示出了水平地配置的行驶信号的示例。在第一状态1110处，最左位置处的停止信号(例如，红色)1112在交通信号配置中被照亮。在第二状态1120处，最右位置处的前进信号(例如，绿色)1122被照亮。在第三状态1130处，中间位置处的减速信号(例如，琥珀色)1132被照亮。因此，该技术可使用有关在行驶信号配置中的转变的信号状态的位置的知识以估计当前信号状态。在一些实现中，信号状态的位置并非确定地知道，并且可通过概率分布函数以建模位置信息。

信号状态估计可包括评估车辆附近的交通流。车辆附近的当前交通流的速度可由一个或多个车载传感器、或一个或多个车辆外传感器、或另一数据源或它们的组合以确定。参考图12，车辆1200、1202以及1204在行驶信号1210以及1220的影响下移动。由于车辆1200、1202以及1204具有相似的速度，或具有在速度的范围内的速度，故行驶信号1210以及1220的在由图像表示的时刻的信号状态可能处于前进状态(例如，绿色)。相反，如果由行驶信号1230控制的另一车辆1206仍保持停止，则可能行驶信号1230的信号处于停止状态(例如，红色)。

在一些实现中，当沿着车辆的行驶的方向的交通流正在减速，则很有可能控制交通流的行驶信号正在从前进状态(例如，绿色)变为减速状态(例如，琥珀色)或变为停止状态(例如，红色)。当交通流已停止但是开始向前移动时，很有可能控制该交通流的行驶信号正在从停止状态(例如，红色)变为前进状态(例如，绿色)。相似地，除了车辆的面朝方向的交通流的速度，另一方向中的交通流的速度也可被用于信号状态估计。例如，在交叉口处，与车辆的面朝方向垂直的交通流正在移动，则很有可能面朝车辆的行驶信号处于停止状态(例如，红色)。

信号状态估计可使用有关预期的状态专版的信息，诸如颜色或形状或实心度、或它们的组合。例如，行驶信号的颜色可以循环序列改变：红色→绿色→琥珀色→红色，或红色→绿色→红色。在一些情况下，行驶信号的形状可以循环序列改变：实心圆形→箭头→实心圆形，或实心圆形→正方形→实心圆形。在一些实现中，行驶信号的实心度可以循环序列改变：实心→闪烁→实心。可以从数据库或地图数据或先验图像知道可能的转变，并且它们可被视作先验信息的一部分。在一些实现中，有关可能的转变的知识并不是确定的，故概率地建模可能的转变。

信号状态估计可包括时间滤波。当在先前时刻t-1的行驶信号已经被估计时，先前估计的状态可用作基于贝叶斯推断估计之后时刻t的行驶信号的先验信息。例如，让S_t-1表示行驶信号在时刻t-1的状态；则可通过基于当前测量的数据D_t以及过去的状态S_t-1评估概率p(S_t|D_t,St_-1)以估计时刻t的状态S_t。时间滤波可包括隐马尔可夫模型，其考虑下述中的一个或多个：转变、对应性、行驶信号配置中的地点、交通流以及先前估计的状态。

工作流

图13示出了在本文档中描述的技术的示例性工作流。可从一个或多个视觉传感器1301获取图像，并且图像处理1320输出零个、一个或多个候选行驶信号1340。可从其他传感器1302获取数据，并且从来自分类1350以及估计1360的先前分析的结果的数据源收集先验信息1303。从传感器数据或先验信息或这两者收集或计算与行驶信号相关联的各种测量1330。使用变量测量1330或先验信息1303或这两者将候选行驶信号分类为真实的行驶信号1350。处理分类的行驶信号以估计它们的信号状态1360。信号状态估计可利用先前分析的信号状态、变量测量1330、先验信息1303或它们的组合。

在一些实现中，当已经检测到真实的行驶信号并且估计了其信号状态时，该技术可生成音频警报、视觉警报或相应地该两种警报。例如，当估计了停止信号(例如，红色)或减速信号(例如，琥珀色)时，可生成警报以警告乘员。当确定了行驶信号中的转变状况(例如，从停止信号到前进信号、或从前进信号到减速信号、或从前进信号到停止信号、或从减速信号到停止信号)时，可生成警报以警告乘员遵守行驶信号的规则。

在一些实现中，当车辆正在以自主模式或组合的自主以及人为操作模式(例如，人类引导的自主模式或机器辅助的手动模式)来驾驶时，该技术可结合行驶信号检测以及信号状态估计的结果以控制车辆的操纵1380以响应于交通信号。例如，当估计了减速信号(例如，琥珀色)或停止信号(例如，红色)或前进信号(例如，绿色)时，该技术可让车辆减速或让车辆停止或允许车辆前进。当确定了行驶信号中的转变状况(例如，从停止信号到前进信号、或从前进信号到减速信号、或从前进信号到停止信号、或从减速信号到停止信号)时，该技术可控制车辆相应地响应于该转变状况。

行驶信号感知系统的实现可基于硬件或软件或这两者。例如，该技术可通过车辆系统中的电子装置实现。在一些情况下，行驶信号感知系统的特征中的一些或全部可被容纳至其他设备中，诸如与车辆中的驾驶员或乘客相关联的移动设备。图14示出了示例性设备1400。该设备可被安装在例如车辆1401的仪表板上。该设备可包括或连接至视觉传感器(例如，相机)1410，其被设置为朝向车辆1401的前部。设备1400可示出描绘了车辆1401的轨迹1404的地图视图1402。当其通电时，设备1400可持续地执行行驶信号感知。当车辆1401正在靠近例如在交叉口处的行驶信号1460时，设备1400可更新地图视图1452以示出更新的轨迹1454以及检测到的行驶信号1460。地图视图1452可示出行驶信号1460的状态1462(例如，“停止”)。

在一些实现中，该设备可包括音频组件1420(例如，扬声器)。可通过声音来通知检测到的行驶信号1460，例如，“检测到行驶信号”。信号状态1462可以用声音来言语表达(verbalize)，例如，“停车”。

其他实现也在权利要求的范围内。

相关申请的交叉引用

本申请要求于2017年4月18号提交的美国申请序列第15/490,694号、于2017年4月18号提交的美国申请序列第15/490,599号、于2017年4月18号提交的美国申请序列第15/490,616号以及于2017年4月18号提交的美国申请序列第15/490,682号的权益，上述申请中的每一个的公开均通过引用以其全文并入本文。