具体实施方式

该系统可以被布置用于处理在道路上导航的车辆前方的环境的图像，以训练神经网络或深度学习算法，诸如卷积神经网络(CNN)，从而在多帧信号(例如，多帧语义信号)的上下文内对该多帧信号进行检测和分类。示例性的多帧语义信号包括车辆灯指示符(VLI)，该情况下的任务是基于车辆的灯指示符(例如，闪烁灯、制动灯、危险灯)来识别车辆的状态。多帧语义信号还可以包括紧急车辆灯(例如，紧急车辆上的闪光灯)、施工标志灯(例如，用于绕行管理)、交通灯状态分类(例如，绿/黄/红灯、闪烁的绿/黄/红、闪烁的箭头等等)，或其他时变的视觉信号。语义信号可以被用于识别车辆操纵(maneuver)，检测主车辆的环境中特殊车辆(例如，紧急车辆)的存在，识别道路标志指示符(诸如交通灯)的状态或行为，或识别其他的附近信号或车辆。在本公开的示例中，多帧语义信号可以涉及从主车辆车载的一个或多个传感器在一段时期内捕捉的多个帧中产生的信号。在各种实施例中，该多个帧被用来创建信号签名，并对该信号签名进行处理以表征该信号。这种处理的结果可以被用于生成响应于该信号的车辆控制信号，诸如通知车辆操作者或生成车辆制动控制信号。在一些实施例中，车辆控制系统可以被用于接收车辆控制信号，并且执行已识别的车辆操纵或发出适当警报。

然而，可以理解的是，本公开的实施例并不限于语义信号是由灯引起的场景。语义信号识别可以与各种其他情况相关联，并且可以由其他类型的图像数据产生，并且也可以由不基于图像或不完全基于图像的数据(诸如可听信息)产生。在一些实施例中，多帧语义信号还可以包括对可听信号的检测，诸如警笛或紧急车辆汽笛声。

本文所描述的系统和方法包括应用卷积神经网络(CNN)来提供对多帧语义信号的检测和分类，以基于来自相机和其他传感器的输入来确定信号分类器。可以对输入进行分析或将输入与预定的信号特征进行匹配，诸如通过与信号特征的数据库进行匹配。输入可以被用于识别、分析或预测事件、事件序列、物体、物体的行为(例如，基于物体运动序列的驾驶模式)，或其他物体或事件特征。

CNN的这种应用基于对输入的人工智能(AI)分析。如本文所使用的，AI分析是与开发决策制定系统有关的领域，以执行传统上需要活的行为者(诸如人)的认知任务。CNN是以下类型的人工神经网络(ANN)算法：其中ANN包括可以松散地对生物神经元进行建模的计算结构。一般来说，ANN经由节点(例如神经元)之间的加权连接(例如突触)来编码信息(例如数据或决策制定)。现代ANN是许多AI应用的基础，诸如自动感知(例如计算机视觉、语音识别、上下文意识等)、自动认知(例如决策制定、物流、路由、供应链优化等)、自动控制(例如自主汽车、无人机、机器人等)等等。

许多ANN被表示(例如，被实现)为与所建模的连接相对应的权重的矩阵。ANN通过接受数据进入一组输入神经元进行操作，该组输入神经元通常有许多与其他神经元的外向连接。在神经元之间的每一次遍历中，对应的权重对输入进行修改，并且在目的地神经元处对照阈值而被测试。如果加权值超过阈值，则该值再次被加权或通过非线性函数而被转换，并被传送到沿ANN图向下更远的另一神经元；如果没有超过阈值，则该值通常不会被传送到沿图向下的(down-graph)神经元并且突触连接保持不活动。继续加权和测试的过程，直到到达输出神经元；输出神经元的模式和值构成了ANN处理的结果。

大多数ANN的正确操作依赖于正确的权重。然而，ANN设计者可能不知道哪些权重将适用于给定的应用。ANN设计者通常选择一些神经元层或层之间的特定连接(包括循环连接)，但ANN设计者可能不知道哪些权重将适用于给定的应用。相反，训练过程被用来得出适当的权重。然而，确定正确的突触权重对于大多数ANN是共同的。通过选择初始权重进行训练过程，该初始权重可以是随机选择的。训练数据被馈送入ANN，并且将结果与提供误差指示的目标函数进行比较。误差指示是衡量ANN的结果与预期结果相比的错误程度的度量。然后，这个误差被用来校正权重。经过多次迭代，权重将集体收敛，以将操作数据编码到ANN中。这个过程可以称为目标函数(例如成本或损失函数)的优化，从而使成本或损失最小化。

反向传播是一种将训练数据前向馈送通过ANN的技术——本文的“前向”是指数据在输入神经元处开始，并且遵循神经元连接的有向图直到到达输出神经元——并且目标函数被反向应用通过ANN以便校正突触权重。在反向传播过程中的每个步骤，先前步骤的结果被用来校正权重。因此，输出神经元校正的结果被应用于连接到输出神经元的神经元，以此类推，直到达到输入神经元。反向传播已经成为训练各种ANN的流行技术。

本文所描述的语义信号检测和分类可以基于应用深度神经网络(DNN)以对多帧图像序列进行分类。用于处理有序(sequential)数据的DNN架构可以包括循环神经网络(RNN)和3-D CNN的变体。虽然有些人认为RNN在自然语言处理(NLP)任务中表现良好，但有些人认为RNN在捕捉图像的空间结构方面不太有效，所以RNN通常并未被广泛对图像序列使用。此外，RNN的变体使用卷积，然而它们通常没有被广泛使用，因为其涉及到实现复杂的架构并且通常提供较差的结果。

3-D CNN的使用解决了RNN的一些缺陷。例如，3-D CNN为处理有序的图像数据提供了简单直接(straightforward)的架构，并且通常给出相对于RNN而言更优越的性能。然而，全3-D卷积的计算成本很高，这使得全3-D卷积不利于实时应用，诸如自动驾驶。例如，全3-D卷积通常包括保存长的图像序列，这需要相当大的存储器空间并且由于处理3-D数据(例如多维矩阵数据)而显著增加计算成本。

与使用全3-D卷积相比，本技术方案处理有序图像以生成时态(temporal)图像，同时保持整体图像序列的时空(spatio-temporal)结构。通过保持时空结构，本技术方案以显著降低的存储器空间要求和显著降低的计算成本，享有使用全3-D卷积的优势。

根据当前公开的主题的示例的方法可以在本文所描述的车辆可安装系统的各种可能的实施方式和配置中的一个或多个中实施。在一些实施例中，该系统的各种示例可以被安装在车辆中，并且可以在车辆运动时被操作。在一些实施例中，该系统可以实现根据当前公开的主题的示例的方法。

下面的描述和附图充分说明了具体的实施例，以使本领域的技术人员能够理解具体的实施例。其他实施例可以包括结构、逻辑、电气、工艺和其他变化。各个实施例的部分和特征可以包括在其他实施例中，或被其他实施例的特征所取代。权利要求中阐述的实施例包括这些权利要求的所有可用等价物。

图1是根据示例性的实施例的方法100的框图表示。方法100包括接收多个输入图像110。在各种示例中，图像110可以包括图2所示的车辆制动灯的图像序列，或者可以包括图3所示的车辆转向信号的图像序列。

方法100包括将多个图像110中的每一个映射到对应的多个向量120。多个图像110是被用于捕捉图像的相机的视场(FOV)中主车辆的环境(例如，3-D环境)的2-D表示。例如，2-D的多个图像110可以使用传感器来创建，该传感器包括图像像素的2-D阵列和附加的图像捕捉电路。

可以执行多个图像110到对应的多个向量120的映射，使得向量120保持原始图像110沿其各轴中的一个轴的空间结构。因此，多个向量120中的每一个都提供了从对应的源2-D图像创建的1-D表示。在图1所示的示例中，向量120可以包括行向量，其中每个行向量120具有与每个对应的图像110相同的宽度“W”。图像110到向量120的映射可以包括计算机视觉硬件能够有效执行的操作，诸如计算沿图像的每一列的平均值、中值或最大值。

方法100包括将向量120串接(concatenate)成新的时态图像130。这提供了2-D图像的时态图像130，该图像由多个向量120的全部或多个向量120的代表性数量(例如，统计学上的代表性采样)构成。时态图像130可以具有与向量120和图像110相同的宽度“W”，还包括与源图像数量相等的高度“T”。方法100包括将时态图像130馈送入卷积神经网络(CNN)140，以识别语义信号150。

由于时态图像130的行保持了原始图像的空间结构，因此馈送入CNN140的时态图像130保持了整体图像序列110的时空结构。通过保持时空结构，在CNN 140中使用时态图像130，这就以显著降低的存储器空间要求和显著降低的计算成本提供了与使用全3-D卷积相同的优点。在一个示例中，通过保持时空结构，本技术方案提供了类似于2-D CNN的存储器和计算成本。

图2是根据示例性的实施例的图像映射200的框图表示。图像映射200可以基于收到的一组有序图像210和220。如图2所示，图像210和220共同构成了车辆上三个制动灯从开启到关闭再回到开启的二十个有序图像。可以使用列向(column-wise)最大运算符将二十个有序图像210和220中的每一个映射到对应的多个行向量，并将它们串接成时态图像230。例如，时态图像230中最上面的一行是代表应用于第一个有序图像的列向最大运算符的输出的行向量，并且随后的几行代表二十个有序图像210和220随时间的进展。在图2所示的实施例中，二十个有序图像210和220中的每一个都是高度为八十像素、宽度为八十像素，并且每个行向量的高度为一像素、宽度为八十像素，并且时态图像230的高度为二十像素(对于每个行向量而言，为一像素)、宽度为八十像素。时态图像230可以包括多个时态子区域，诸如制动灯开启的第一区域240、制动灯关闭的第二区域250、以及制动灯重新开启的第三区域260。时态图像230随后被馈送入CNN进行信号分类，例如，识别车辆何时应用、释放和重新应用车辆制动。

图3是根据示例性的实施例的图像映射300的框图表示。图像映射300可以基于收到的一组有序图像310和320。如图3所示，图像310和320共同构成了右转向信号闪光的二十个有序图像。可以使用列向最大运算符将二十个有序图像310和320中的每一个映射到对应的多个行向量，并将它们串接成时态图像330。例如，时态图像330中最上面的一行是代表应用于第一个有序图像的列向最大运算符的输出的行向量，并且随后的几行代表二十个有序图像310和320随时间的进展。在图3所示的实施例中，二十个有序图像310和320中的每一个都是高度为八十像素、宽度为八十像素，每个行向量的高度为一像素、宽度为八十像素，并且时态图像330的高度为二十像素(对于每个行向量而言，为一像素)、宽度为八十像素。时态图像330可以包括多个时态子区域，例如转向信号开启的区域340、350和360、以及转向信号关闭的区域370、380和390。时态图像330随后被馈送入CNN进行信号分类，诸如识别车辆何时发出转向信号。

图4是根据示例性的实施例的图像映射400的框图表示。图像映射400可以基于接收到的一组有序捕捉的交通灯图像，本文被示出为交通灯图410。如图4所示，交通灯图410的序列共同代表交通信号的有序图像。

可以使用行向(row-wise)最大运算符将有序捕捉的交通灯图像中的每一个映射到对应的多个列向量，并将它们串接成时态图像420。例如，时态图像420中最左面的一列是代表应用于第一个有序图像的列向最大运算符的输出的列向量，并且随后的几列代表有序捕捉的交通灯图像随时间的进展。虽然只示出了八个有序图410来说明交通信号的变化，但总共可以有二百六十个有序捕捉的交通灯图像可以被用于生成时态图像420。生成的时态图像420的大小可以基于所捕捉的交通灯图像的分辨率。在图4所示的实施例中，每个有序图410代表高度为八十像素、宽度为三十像素的图像，每个列向量的宽度为一个像素、高度为八十像素，并且时态图像430的高度为八十像素、宽度为二百六十像素(对于每个列向量而言，为一像素)。在一些实施例中，有序捕捉的交通灯图像的采样频率可以被选择为代表每个状态，例如代表每个灯变化。例如，如果红、红/黄和绿状态之间的定时是已知的，则可以捕捉少于240个图像来识别交通灯变化。

时态图像420可以包括多个时态子区域，例如照射红光的区域430、照射红光和黄光的区域440，以及照射绿光的区域450。虽然有序图410示出了从红到红/黄到绿的进展，但也可以检测到其他的序列，诸如从绿到黄到红到绿。此外，虽然有序图410示出了垂直的交通灯方向，但交通灯和有序捕捉的交通灯图像可以被水平地接收或捕捉，并且有序图410或产生的时态图像420可以被旋转九十度。时态图像420随后被馈送入CNN以进行信号分类，诸如识别交通信号的状态或定时。

图5是根据示例性的实施例的图像映射500的框图表示。图像映射500可以包括多个输入图像510。多个输入图像510可以被分类器520转换为多个特征向量530。该分类器对64*64像素(例如，红度和灰度)变形缩放(warp)进行运算，并存储64-条目的输出特征向量。多个特征向量530可以串接成存储在循环缓冲器540中的特征向量图。特征向量530中的至少16个可以被存储在循环缓冲器540中。来自循环缓冲器540的数据可以被分开并由闪烁分类器550或制动分类器560使用。

闪烁分类器和制动分类器550、560可以由骨干(backbone)网络组成，该骨干网络将每个图像转换为大小为64-条目的特征向量。骨干由卷积层和池化层以及最后的全连接组成。骨干特征可以包括制动分类器560，其可以包括上升(rise)、下降(fall)、开启和关闭的状态。骨干特征可以包括闪烁分类器550，其可以包括闪烁或制动信号的状态：制动(例如，上升、下降、开启、关闭)、闪烁(例如，右＝开启/关闭；左＝开启/关闭)。骨干特征可以包括闪烁分类器550和制动分类器560的组合，其可以被用于识别闪烁和制动信号的组合状态。制动分类器可以被用于处理在车辆检测后收到的前十六个特征向量当中的、循环缓冲器540的两个最近的特征向量。相反，闪烁分类器550可以被用于对检测到的最近的十六个信号进行分类。循环缓冲器540可以被用于存储特征向量530的移动窗口，使得最近的N个特征向量530可以供闪烁分类器和制动分类器550、560使用。

在训练后，分类系统可以包括至少三个神经网络，其包括骨干网络、制动网络和闪烁网络。骨干网络可以接收每个图像的像素集。例如，该像素集可以包括多个64×64像素，其有效轴为50像素。这可以包括至少有两个通道(例如，红度、灰度)的多个车辆图像。对骨干向量的分析可以产生骨干向量，例如长度为64像素的骨干向量。该网络可以包括单个隐藏全连接层和具有四个神经元的输出层。这种网络可以包括相关联的近似3.6k个周期(cycle)的Maffe成本。

在示例中，骨干网络可以包括近似342k个周期的Maffe成本。这可以用附加的修剪(prune)来加以改善(例如使其降低)。制动分类器560可以对最近的两个行向量进行运算以产生概率，诸如用于识别制动关闭、制动开启、制动上升或制动下降。

闪烁分类器550可以对16个行向量进行运算以产生各种概率。例如，每个骨干可以被重整形为包括1×16水平向量以及4个通道。每个骨干可以针对一个或多个分类输出而产生概率，所述一个或多个分类输出诸如左闪烁信号(例如，开启信号、关闭信号)或右闪烁信号(例如，开启信号、关闭信号)、危险信号(例如，两个转向信号同时闪烁)、或制动信号。在一个示例中，骨干网可以包括每周期约68K的Maffe成本。

在每个周期，骨干可以对变形缩放进行运算，诸如对64×64变形缩放(例如，红度和灰度)进行运算。骨干可以将六十四的输出向量存储在循环缓冲器中，该缓冲器保存了最后的16个结果。在示例中，该缓冲器可以代表慢速事项表(agenda)下的1.78秒。最后两个向量可以被用于制动分类器560的输入。在示例中，所有的16个向量是闪烁分类器550的输入。在示例中，使用隐马尔可夫(hidden Markov)模型可以在时间上积分制动分类器560信号(例如，上升、下降、开启和关闭)，以产生多帧制动信号。

图6是根据示例性的实施例的共享图像映射600的框图表示。共享图像映射600可以包括训练一个或多个分类器，例如制动分类器660或闪烁分类器670。可以在一组或多组训练变形缩放(例如，训练变形缩放)数据上对一个或多个分类器进行训练。在训练时，至少十六个输入图像可以作为十六个具有共享权重的骨干网络的输入。在示例中，十六个具有共享权重的分类器620可以得到相应的输入图像610并对其进行分类以输出图像610的特征向量630。

特征向量对640被用来作为训练制动分类器650的输入。在实施例中，特征向量对640被组织为第一和第二个、第二和第三个、第三和第四个等等，直到特征向量630被用尽。这导致针对N个输入特征向量而训练N-1个制动分类器(例如，16个输入特征向量具有15对)。

特征向量630被用于训练闪烁分类器660。在实施例中，所有输入图像610的特征向量630被用于训练闪烁分类器660。因此，在图6所示的示例中，总共有16个特征向量630可以被用作闪烁分类器660的输入。

图7是根据示例性实施例的系统700的框图表示。系统700可以包括各种组件，这取决于特定实施方式的要求。在一些示例中，系统700可以包括处理单元710、图像获取单元720和一个或多个存储器单元740、750。处理单元710可以包括一个或多个处理设备。在一些实施例中，处理单元710可以包括应用处理器780、图像处理器790或任何其他合适的处理设备。同样地，图像获取单元720可以包括任何数量的图像捕捉设备和组件，这取决于特定应用的要求。在一些实施例中，图像获取单元720可以包括一个或多个图像捕捉设备(例如，相机)，例如图像捕捉设备722、图像捕捉设备724和图像捕捉设备726。在一些实施例中，系统700还可以包括将处理单元710与图像获取设备720通信地连接的数据接口728。例如，数据接口728可以包括任何有线和/或无线链路，用于将由图像获取设备720获得的图像数据传输到处理单元710。

应用处理器780和图像处理器790都可以包括各种类型的处理设备。例如，应用处理器780和图像处理器790中的任何一个或两者都可以包括一个或多个微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器或适合于运行应用和适合于进行图像处理和分析的任何其他类型的设备。在一些实施例中，应用处理器780和/或图像处理器790可以包括任何类型的单核或多核处理器、移动设备微控制器、中央处理单元等。可以使用各种处理设备，例如包括可从诸如等制造商获得的并且可以包括各种架构(例如，x86处理器、等)的处理器。

在一些实施例中，应用处理器780和/或图像处理器790可以包括可从获得的EyeQ系列处理器芯片中的任何一个。这些处理器设计都包括具有本地存储器和指令集的多个处理单元。此类处理器可以包括用于接收来自多个图像传感器的图像数据的视频输入，并且也可以包括视频输出能力。虽然图7描述了包括在处理单元710中的两个独立的处理设备，但可以使用更多或更少的处理设备。例如，在一些示例中，可以使用单个处理设备来完成应用处理器780和图像处理器790的任务。在其他实施例中，这些任务可以由两个以上的处理设备执行。

处理单元710可以包括各种类型的设备。例如，处理单元710可以包括各种设备，诸如控制器、图像预处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器或任何其他类型的用于图像处理和分析的设备。图像预处理器可以包括用于捕捉、数字化和处理来自图像传感器的影像的视频处理器。CPU可以包括任何数量的微控制器或微处理器。支持电路可以是任何数量的本领域内普遍熟知的电路，包括高速缓存、电源、时钟和输入输出电路。存储器可以存储软件，该软件在被处理器执行时，控制系统的操作。存储器可以包括数据库和图像处理软件，其包括例如神经网络的经训练的系统。存储器可以包括任何数量的随机存取存储器、只读存储器、闪存、磁盘驱动器、光存储体、可移动存储体和其他类型的存储体。在一个实例中，存储器可以与处理单元710分开。在另一个示例中，存储器可以被集成到处理单元710中。

每个存储器740、750可以包括软件指令，该软件指令在被处理器(例如，应用处理器780和/或图像处理器790)执行时，可以控制系统700的各个方面的操作。这些存储器单元可以包括各种数据库和图像处理软件。存储器单元可以包括随机存取存储器、只读存储器、闪存、磁盘驱动器、光存储体、磁带存储体、可移动存储体和/或任何其他类型的存储体。在一些示例中，存储器单元740、750可以与应用处理器780和/或图像处理器790分开。在其他实施例中，这些存储器单元可以被集成到应用处理器780和/或图像处理器790中。

在一些实施例中，该系统可以包括位置传感器730。位置传感器730可以包括适合于确定与系统700的至少一个组件相关的位置的任何类型的设备。在一些实施例中，位置传感器730可以包括GPS接收器。这种接收器可以通过处理由全球定位系统卫星广播的信号来确定用户位置和速度。来自位置传感器730的位置信息可以对应用处理器780和/或图像处理器790可用。

在一些实施例中，系统700可以操作性地连接到其中可以安装系统700的车辆车载的各种系统、设备和单元，并且通过任何合适的接口(例如，通信总线)，系统700可以与车辆的系统进行通信。系统700可以与之协作的车辆系统的示例包括：油门系统、制动系统和转向系统。

在一些实施例中，系统700可以包括用户接口770。用户接口770可以包括任何适合于向系统700的一个或多个用户提供信息或用于从其接收输入的设备，例如，包括触摸屏、麦克风、键盘、指针设备、轨道轮、相机、旋钮、按钮等。可以由系统700将信息通过用户接口770提供给用户。

在一些实施例中，系统700可以包括地图数据库760。地图数据库760可以包括用于存储数字地图数据的任何类型的数据库。在一些示例中，地图数据库760可以包括与各种项目在参考坐标系中的位置有关的数据，所述各种项目包括道路、水特征、地理特征、兴趣点等。地图数据库760不仅可以存储这些项目的位置，还可以存储与这些项目有关的描述符，包括例如与任何存储的特征相关的名称和关于它们的其他信息。例如，已知障碍物的位置和类型可以包括在数据库中，关于道路的地形或沿道路的某些点的坡度的信息等等。在一些实施例中，地图数据库760可以与系统700的其他组件物理上定位在一起。可替代地或附加地，地图数据库760或其一部分可以相对于系统700的其他组件(例如，处理单元710)而远程定位。在这样的实施例中，可以通过到网络的有线或无线数据连接(例如，通过蜂窝网络和/或因特网等)，下载来自地图数据库760的信息。

图像捕捉设备722、724和726每个都可以包括适合于从环境中捕捉至少一个图像的任何类型的设备。此外，可以使用任何数量的图像捕捉设备来获取图像以输入到图像处理器。当前公开的主题的一些示例可以包括或可以只用单一的图像捕捉设备来实现，而其他示例可以包括或可以用两个、三个、甚至四个或更多的图像捕捉设备来实现。

可以理解的是，系统700可以包括或可以与其他类型的传感器操作性地关联，包括例如：声学传感器、RF传感器(例如雷达收发器)、LIDAR传感器。此类传感器可以独立于图像获取设备720使用，也可以与之协作使用。例如，来自雷达系统(未示出)的数据可以被用于验证从对图像获取设备720获取的图像进行处理所收到的经处理的信息，例如，用于过滤从对图像获取设备720获取的图像进行处理所产生的某些误报(false positive)，或者其可以与来自图像获取设备720的图像数据或与来自图像获取设备720的图像数据的一些经处理的变体或衍生物相结合，或以其他方式对其加以补充。

系统700或其各种组件可以被并入各种不同的平台。在一些实施例中，系统700可以被包括在车辆上。例如，车辆可以配备处理单元710和诸如上文相对于图7所述的系统700的任何其他组件。虽然在一些实施例中，车辆可以只配备单一的图像捕捉设备(例如，相机)，但在其他实施例中可以使用多个图像捕捉设备。例如，车辆的图像捕捉设备722和724中的任何一个都可以是ADAS(高级驾驶辅助系统)成像集的一部分。

作为图像获取单元720的一部分而包括在车辆上的图像捕捉设备可以被安置在任何合适的位置。在一些实施例中，图像捕捉设备722可以位于后视镜的附近。这个位置可以提供与车辆的驾驶员相似的视线，这可以帮助确定驾驶员可以看到什么和不可以看到什么。也可以使用图像获取单元720的图像捕捉设备的其他位置。例如，图像捕捉设备724可以位于车辆的保险杠上或保险杠中。这样的位置可以特别适用于具有宽视场的图像捕捉设备。位于保险杠的图像捕捉设备的视线可以与驾驶员的视线不同。图像捕捉设备(例如，图像捕捉设备722、724和726)也可以位于其他位置。例如，图像捕捉设备可以位于车辆的一个或两个侧视镜上或在侧视镜中、在车辆的车顶上、在车辆的引擎盖上、在车辆的后备箱上、在车辆的侧面，安装在车辆的任何车窗上、位于任何车窗后面或位于任何车窗前面，以及安装在车辆的前面和/或后面的灯体中或其附近等等。图像捕捉单元720或作为在图像捕捉单元720中使用的多个图像捕捉设备之一的图像捕捉设备可以具有与车辆的驾驶员的视场(FOV)FOV不同的FOV，并且不总是看到相同的物体。在一个示例中，图像获取单元720的FOV可以延伸到典型驾驶员的FOV之外，并且因此可以对驾驶员的FOV之外的物体成像。在另一个示例中，图像获取单元720的FOV是驾驶员的FOV的某一部分。在一些实施例中，图像获取单元720的FOV对应于一扇区，该扇区覆盖车辆前方的道路的区域、道路的周围或其他区域。

除了图像捕捉设备外，车辆还可以包括系统700的各种其他组件。例如，处理单元710可以包括在车辆上，要么与车辆的引擎控制单元(ECU)集成，要么与之分开。车辆还可以配备位置传感器730，诸如GPS接收器，并且还可以包括地图数据库760和存储器单元740和750。

为了更好地说明本文公开的方法和装置，本文提供了实施例的非限制性列表。

示例1是一种用于对多帧语义信号进行快速CNN分类的系统，该系统包括：处理电路；以及包括指令的一个或多个存储设备，该指令在被该处理电路执行时将该处理电路配置为：从图像捕捉设备接收多个时间序列图像；将该多个时间序列图像转换为存储在时间序列缓冲器中的多个向量；基于该多个向量生成时态图像；以及基于对该时态图像应用卷积神经网络而生成语义信号。

在示例2中，示例1的主题可选地包括：其中，多个向量中的每一个包括具有与该多个时间序列图像中的每一个相同的宽度的行向量。

在示例3中，示例2的主题可选地包括：其中，为了将该多个时间序列图像转换为该多个向量，该处理电路被配置为计算该多个时间序列图像中的每一个内的多个列中的每一列的列值。

在示例4中，示例2-3中的任何一个或多个的主题可选地包括：其中，计算该列值包括：计算该多个时间序列图像中的每一个内的多个列中的每一列的平均值、中值或最大值中的至少一个。

在示例5中，示例1-4中的任何一个或多个的主题可选地包括：其中，该时态图像的生成包括：将该多个向量串接以形成该时态图像。

在示例6中，示例1-5中的任何一个或多个的主题可选地包括：其中，为了将该多个时间序列图像转换为该多个向量，该处理电路被配置为使用分类器从相应的多个图像中获得该多个向量中的每一个。

在示例7中，示例1-6中的任何一个或多个的主题可选地包括：其中，为了基于对该时态图像应用卷积神经网络而生成该语义信号，该处理电路被配置为使用闪烁分类器。

在示例8中，示例1-7中的任何一个或多个的主题可选地包括：其中，为了基于对该时态图像应用卷积神经网络而生成该语义信号，该处理电路被配置为使用制动分类器。

在示例9中，示例1-8中的任何一个或多个的主题可选地包括：其中，为了基于对该时态图像应用卷积神经网络而生成该语义信号，该处理电路被配置为对该多个向量中的一对向量使用制动分类器，并且对整个时态图像使用闪烁分类器。

在示例10中，示例1-9中的任何一个或多个的主题可选地包括：其中，制动分类器针对多个制动信号而被训练。

在示例11中，示例1-10中的任何一个或多个的主题可选地包括：其中，多个制动信号包括制动开启信号、制动关闭信号、制动上升信号和制动下降信号中的至少一个。

在示例12中，示例1-11中的任何一个或多个的主题可选地包括：其中，闪烁分类器针对多个闪烁信号而被训练。

在示例13中，示例1-12中的任何一个或多个的主题可选地包括：其中，多个闪烁信号包括右闪烁开启信号、右闪烁关闭信号、左闪烁开启信号和左闪烁关闭信号中的至少一个。

在示例14中，示例1-13中的任何一个或多个的主题可选地包括：其中：该图像捕捉设备安装在车辆上；该语义信号指示该车辆已改变的路径条件；以及该指令进一步将该处理电路配置为：响应于已改变的路径条件，识别用于该车辆的操纵；以及发送车辆控制信号以执行该操纵。

在示例15中，示例1-14中的任何一个或多个的主题可选地包括车辆控制设备，用以接收控制信号并执行车辆操纵。

示例16是一种自主导航语义信号方法，包括：从图像捕捉设备接收多个时间序列图像，该多个时间序列图像中的每一个与唯一图像捕捉时间相关联；将该多个时间序列图像中的每一个映射到多个向量中的每一个；将该多个向量转换为时态图像；以及基于对该时态图像应用卷积神经网络而识别语义信号。

在示例17中，示例16的主题可选地包括：捕捉该多个时间序列图像；以及将该唯一图像捕捉时间与所捕捉的多个时间序列图像中的每一个相关联。

在示例18中，示例16-17中的任何一个或多个的主题可选地包括：其中，多个向量中的每一个包括具有与该多个时间序列图像中的每一个相同的宽度的行向量。

在示例19中，示例18的主题可选地包括：其中，将该多个时间序列图像中的每一个映射到多个向量中的每一个包括：计算该多个时间序列图像中的每一个内的多个列中的每一列的列值。

在示例20中，示例18-19中的任何一个或多个的主题可选地包括：其中，计算该列值包括：计算该多个时间序列图像中的每一个内的多个列中的每一列的平均值、中值或最大值中的至少一个。

在示例21中，示例16-20中的任何一个或多个的主题可选地包括：其中，该时态图像的生成包括：将该多个向量串接以形成该时态图像。

在示例22中，示例16-21中的任何一个或多个的主题可选地包括：其中，为了将该多个时间序列图像转换为该多个向量，处理电路被配置为使用分类器从相应的多个图像中获得该多个向量中的每一个。

在示例23中，示例16-22中的任何一个或多个的主题可选地包括：其中，为了基于对该时态图像应用卷积神经网络而生成该语义信号，处理电路被配置为使用闪烁分类器。

在示例24中，示例16-23中的任何一个或多个的主题可选地包括：其中，为了基于对该时态图像应用卷积神经网络而生成该语义信号，处理电路被配置为使用制动分类器。

在示例25中，示例16-24中的任何一个或多个的主题可选地包括：其中，为了基于对该时态图像应用卷积神经网络而生成该语义信号，处理电路被配置为对该多个向量中的一对向量使用制动分类器，并且对整个时态图像使用闪烁分类器。

在示例26中，示例16-25中的任何一个或多个的主题可选地包括：其中，制动分类器针对多个制动信号而被训练。

在示例27中，示例16-26中的任何一个或多个的主题可选地包括：其中，多个制动信号包括制动开启信号、制动关闭信号、制动上升信号和制动下降信号中的至少一个。

在示例28中，示例16-27中的任何一个或多个的主题可选地包括：其中，闪烁分类器针对多个闪烁信号而被训练。

在示例29中，示例16-28中的任何一个或多个的主题可选地包括：其中，多个闪烁信号包括右闪烁开启信号、右闪烁关闭信号、左闪烁开启信号和左闪烁关闭信号中的至少一个。

在示例30中，示例16-29中的任何一个或多个的主题可选地包括：基于该语义信号识别车辆操纵；以及向车辆控制设备发送用以执行该车辆操纵的控制信号。

示例31是包括指令的一种或多种机器可读介质，该指令在被计算系统执行时使该计算系统执行示例16-30的任何方法。

示例32是一种包括用于执行示例16-30的任何方法的部件的装置。

示例33是一种存储指令的计算机程序产品，该指令在被计算机化系统执行时使该计算机化系统执行操作，该操作包括：从图像捕捉设备接收多个时间序列图像，该多个时间序列图像中的每一个与唯一图像捕捉时间相关联；将该多个时间序列图像中的每一个映射到多个向量中的每一个；将该多个向量转换为时态图像；以及基于对该时态图像应用卷积神经网络而识别语义信号。

在示例34中，示例33的主题可选地包括：捕捉该多个时间序列图像；以及将该唯一图像捕捉时间与所捕捉的多个时间序列图像中的每一个相关联。

在示例35中，示例33-34中任何一个或多个的主题可选地包括：其中，多个向量中的每一个包括具有与该多个时间序列图像中的每一个相同的宽度的行向量。

在示例36中，示例35的主题可选地包括：其中，将该多个时间序列图像中的每一个映射到多个向量中的每一个包括：计算该多个时间序列图像中的每一个内的多个列中的每一列的列值。

在示例37中，示例35-36中的任何一个或多个的主题可选地包括：其中，计算该列值包括：计算该多个时间序列图像中的每一个内的多个列中的每一列的平均值、中值或最大值中的至少一个。

在示例38中，示例33-37中的任何一个或多个的主题可选地包括：其中，该时态图像的生成包括：将该多个向量串接以形成该时态图像。

在示例39中，示例33-38中的任何一个或多个的主题可选地包括：其中，为了将该多个时间序列图像转换为该多个向量，处理电路被配置为使用分类器从相应的多个图像中获得该多个向量中的每一个。

在示例40中，示例33-39中的任何一个或多个的主题可选地包括：其中，为了基于对该时态图像应用卷积神经网络而生成该语义信号，处理电路被配置为使用闪烁分类器。

在示例41中，示例33-40中的任何一个或多个的主题可选地包括：其中，为了基于对该时态图像应用卷积神经网络而生成该语义信号，处理电路被配置为使用制动分类器。

在示例42中，示例33-41中的任何一个或多个的主题可选地包括：其中，为了基于对该时态图像应用卷积神经网络而生成该语义信号，处理电路被配置为对该多个向量中的一对向量使用制动分类器，并且对整个时态图像使用闪烁分类器。

在示例43中，示例33-42中的任何一个或多个的主题可选地包括：制动分类器针对多个制动信号而被训练。

在示例44中，示例33-43中的任何一个或多个的主题可选地包括：其中，多个制动信号包括制动开启信号、制动关闭信号、制动上升信号和制动下降信号中的至少一个。

在示例45中，示例33-44中的任何一个或多个的主题可选地包括：其中，闪烁分类器针对多个闪烁信号而被训练。

在示例46中，示例33-45中的任何一个或多个的主题可选地包括：其中，多个闪烁信号包括右闪烁开启信号、右闪烁关闭信号、左闪烁开启信号和左闪烁关闭信号中的至少一个。

在示例47中，示例33-46中的任何一个或多个的主题可选地包括：基于该语义信号识别车辆操纵；以及向车辆控制设备发送用以执行该车辆操纵的控制信号。

示例48是一种分类系统，包括：带有指令的存储器，该指令在被处理单元执行时使该处理单元实现分类训练器，该分类训练器包括：骨干网络，用于将多个图像转换为特征向量；制动网络，用于针对多个制动信号中的每一个产生概率；以及闪烁网络，用于针对多个闪烁信号中的每一个产生概率。

在示例49中，示例48的主题可选地包括：其中，该骨干网络包括卷积层、池化层和全连接层。

在示例50中，示例48-49中的任何一个或多个的主题可选地包括：其中：该多个图像包括多个双通道车辆图像；以及该骨干网络将该多个图像转换为长度为六十四的特征向量。

在示例51中，示例48-50中的任何一个或多个的主题可选地包括：其中：针对该多个制动信号，对两个骨干特征构成的集合进行分类；以及针对该多个制动信号和该多个闪烁信号，对十六个骨干特征构成的集合进行分类。

在示例52中，示例48-51中的任何一个或多个的主题可选地包括：其中：针对在检测到车辆后接收到的十六个帧的第一子集，对两个骨干特征构成的集合进行分类；以及当至少已经接收到十六个帧的完整集合时，对十六个骨干特征构成的集合进行分类。

在示例53中，示例48-52中的任何一个或多个的主题可选地包括：其中，该制动网络包括单个隐藏全连接层和具有四个神经元的输出层。

在示例54中，示例48-53中的任何一个或多个的主题可选地包括：其中，该制动网络对两个行向量进行运算以针对该多个制动信号中的每一个产生概率。

在示例55中，示例48-54中的任何一个或多个的主题可选地包括：其中，该多个制动信号包括制动开启信号、制动关闭信号、制动上升信号和制动下降信号中的至少一个。

在示例56中，示例48-55中的任何一个或多个的主题可选地包括：其中，该闪烁网络对十六个行向量进行运算以针对该多个闪烁信号中的每一个产生概率。

在示例57中，示例48-56中的任何一个或多个的主题可选地包括：其中，十六个行向量包括十六个骨干特征构成的重整形集合，该十六个骨干特征构成的重整形集合包括一个长度为十六的水平向量和四个通道。

在示例58中，示例48-57中的任何一个或多个的主题可选地包括：其中，该多个闪烁信号包括右闪烁开启信号、右闪烁关闭信号、左闪烁开启信号和左闪烁关闭信号中的至少一个。

示例59是一种分类方法，包括：训练分类训练器，该分类训练器包括：骨干网络，用于将多个图像转换为特征向量；制动网络，用于针对多个制动信号中的每一个产生概率；以及闪烁网络，用于针对多个闪烁信号中的每一个产生概率。

在示例60中，示例59的主题可选地包括：其中，该骨干网络包括卷积层、池化层和全连接层。

在示例61中，示例59-60中的任何一个或多个的主题可选地包括：其中：该多个图像包括多个双通道车辆图像；以及该骨干网络将该多个图像转换为长度为六十四的特征向量。

在示例62中，示例59-61中的任何一个或多个的主题可选地包括：其中：针对该多个制动信号，对两个骨干特征构成的集合进行分类；以及针对该多个制动信号和该多个闪烁信号，对十六个骨干特征构成的集合进行分类。

在示例63中，示例59-62中的任何一个或多个的主题可选地包括：其中：针对在检测到车辆后接收到的十六个帧的第一子集，对两个骨干特征构成的集合进行分类；以及当至少已经接收到十六个帧的完整集合时，对十六个骨干特征构成的集合进行分类。

在示例64中，示例59-63中的任何一个或多个的主题可选地包括：其中，该制动网络包括单个隐藏全连接层和具有四个神经元的输出层。

在示例65中，示例59-64中的任何一个或多个的主题可选地包括：其中，该制动网络对两个行向量进行运算以针对该多个制动信号中的每一个产生概率。

在示例66中，示例59-65中的任何一个或多个的主题可选地包括：其中，该多个制动信号包括制动开启信号、制动关闭信号、制动上升信号和制动下降信号中的至少一个。

在示例67中，示例59-66中的任何一个或多个的主题可选地包括：其中，该闪烁网络对十六个行向量进行运算以针对该多个闪烁信号中的每一个产生概率。

在示例68中，示例59-67中的任何一个或多个的主题可选地包括：其中，十六个行向量包括十六个骨干特征构成的重整形集合，该十六个骨干特征构成的重整形集合包括一个长度为十六的水平向量和四个通道。

在示例69中，示例59-68中的任何一个或多个的主题可选地包括：其中，该多个闪烁信号包括右闪烁开启信号、右闪烁关闭信号、左闪烁开启信号和左闪烁关闭信号中的至少一个。

示例70是一种存储指令的计算机程序产品，该指令在被计算机化系统执行时使该计算机化系统执行操作，该操作包括：训练分类训练器，该分类训练器包括：骨干网络，用于将多个图像转换为特征向量；制动网络，用于针对多个制动信号中的每一个产生概率；以及闪烁网络，用于针对多个闪烁信号中的每一个产生概率。

在示例71中，示例70的主题可选地包括：其中，该骨干网络包括卷积层、池化层和全连接层。

在示例72中，示例70-71中任何一个或多个的主题可选地包括：其中：该多个图像包括多个双通道车辆图像；以及该骨干网络将该多个图像转换为长度为六十四的特征向量。

在示例73中，示例70-72中的任何一个或多个的主题可选地包括：其中：针对该多个制动信号，对两个骨干特征构成的集合进行分类；以及针对该多个制动信号和该多个闪烁信号，对十六个骨干特征构成的集合进行分类。

在示例74中，示例70-73中的任何一个或多个的主题可选地包括：其中：针对在检测到车辆后接收到的十六个帧的第一子集，对两个骨干特征构成的集合进行分类；以及当至少已经接收到十六个帧的完整集合时，对十六个骨干特征构成的集合进行分类。

在示例75中，示例70-74中的任何一个或多个的主题可选地包括：其中，该制动网络包括单个隐藏全连接层和具有四个神经元的输出层。

在示例76中，示例70-75中的任何一个或多个的主题可选地包括：其中，该制动网络对两个行向量进行运算以针对该多个制动信号中的每一个产生概率。

在示例77中，示例70-76中的任何一个或多个的主题可选地包括：其中，该多个制动信号包括制动开启信号、制动关闭信号、制动上升信号和制动下降信号中的至少一个。

在示例78中，示例70-77中的任何一个或多个的主题可选地包括：其中，该闪烁网络对十六个行向量进行运算以针对该多个闪烁信号中的每一个产生概率。

在示例79中，示例70-78中的任何一个或多个的主题可选地包括：其中，十六个行向量包括十六个骨干特征构成的重整形集合，该十六个骨干特征构成的重整形集合包括一个长度为十六的水平向量和四个通道。

在示例80中，示例70-79中的任何一个或多个的主题可选地包括：其中，该多个闪烁信号包括右闪烁开启信号、右闪烁关闭信号、左闪烁开启信号和左闪烁关闭信号中的至少一个。

示例81是一种或多种机器可读介质，其包括指令，该指令在被机器执行时使该机器执行示例1-80的操作中的任何操作。

示例82是一种包括用于执行示例1-80的操作中的任何操作的部件的装置。

示例83是一种用于执行示例1-80的任何示例的操作的系统。

示例84是一种用于执行示例1-80的任何示例的操作的方法。

上述详细描述包括对附图的引用，其中附图构成详细描述的一部分。附图通过说明的方式示出了其中可以实践本发明的具体实施例。这些实施例在此也被称为“示例”。这些示例可以包括除所示出或所描述的之外的元素。然而，本发明人也预期到只提供那些所示出或所描述的元素的示例。此外，本发明人还预期到使用无论是就特定的示例(或其一个或多个方面)、还是就本文所示出或所描述的其他示例(或其一个或多个方面)而所示出或所描述的那些元素(或其一个或多个方面)的任何组合或排列的示例。

对系统的任何引用应当参照适用于由系统执行的方法和/或存储指令的计算机程序产品，该指令一旦被系统执行将使得系统执行该方法。该计算机程序产品是非临时性的，并且例如可以是集成电路、磁存储器、光存储器、磁盘等。

对方法的任何引用应当参照适用于被配置为执行该方法的系统和/或存储指令的计算机程序产品，该指令一旦被系统执行将使得系统执行该方法。

对计算机程序产品的任何引用应当参照适用于由系统执行的方法和/或被配置为执行存储在计算机程序产品中的指令的系统。

术语“和/或”是附加地或可替代地。

在上述说明书中，已经参照本发明的具体实施例描述了本发明。然而，显而易见的是，在不背离所附权利要求书中阐述的本发明的广泛精神和范围的情况下，可以对其进行各种修改和变化。

此外，说明书中和权利要求书中的术语“前”、“后”、“顶”、“底”、“上”、“下”等，如果有的话，是用于描述的目的，而不一定用于描述永久的相对位置。可以理解的是，这样使用的术语在适当的情况下是可以互换的，例如，使得本文描述的本发明的实施例能够在与本文示出的或以其他方式描述的方向不同的其他方向上操作。

任何用于实现相同功能的组件布置都是实际上“相关联的”，从而实现了所需的功能。因此，本文的任何两个组件结合起来以实现特定的功能，可以被看作是彼此“相关联的”，从而实现了所需的功能，而与架构或中间组件无关。同样，任何两个如此相关联的组件也可以被视为彼此“可操作地连接”或“可操作地耦合”，以实现所需的功能。

此外，本领域的技术人员将认识到，以上描述的操作之间的界限只是说明性的。多个操作可以组合成单一的操作，单一的操作可以分布在附加的操作中，并且可以在时间上至少部分重叠地执行操作。此外，替代性的实施例可以包括特定操作的多个实例并且可以在其他各种实施例中改变操作的顺序。

然而，其他的修改、变化和替代方案也是可能的。因此，本说明书和附图应被视为说明性的，而不是限制性的。

然而，其他的修改、变化和替代方案也是可能的。因此，本说明书和附图应被视为说明性的，而不是限制性的。

短语“可以X”表示条件X可以被满足。这个短语也表明，条件X可以不被满足。例如，任何提到系统包括某个组件的说法，也应该覆盖该系统不包括该某个组件的场景。

术语“包含”、“包括”、“具有”、“由…构成”和“基本由…构成”是可以互换使用的。例如，任何方法都可以至少包括附图中和/或说明书中包含的步骤，可以只包括附图和/或说明书中包含的步骤。这同样适用于系统和移动计算机。

可以理解的是，为了说明的简单性和清晰性，附图中所示的元素不一定是按比例绘制的。例如，为了清晰起见，一些元素的尺寸可以相对于其他元素被夸大。此外，在认为适当的情况下，参考数字可以在附图中重复，以表示对应或类似的元素。

又例如，在一个实施例中，所说明的示例可以实现为位于单个集成电路上或同一设备内的电路。可替代地，这些示例可以实现为任何数量的分开的集成电路或分开的设备，这些集成电路或设备以适当的方式彼此互连。

又例如，这些示例或其部分可以作为物理电路或可转换为物理电路的逻辑表示的软表示或代码表示来实现，例如以任何适当类型的硬件描述语言。

另外，本发明不限于在非可编程硬件中实现的物理设备或单元，而是也可以应用于能够通过按照适当的程序代码进行操作来执行所需设备功能的可编程设备或单元，诸如大型机、微型计算机、服务器、工作站、个人计算机、笔记本、个人数字助理、电子游戏、汽车和其他嵌入式系统、手机和其他各种无线设备，在本申请中通常被称为“计算机系统”。

其他修改、变化和替代方案也是可能的。因此，本说明书和附图应被视为说明性的，而不是限制性的。

在权利要求中，放在括号之间的任何参考符号都不应被解释为对权利要求的限制。“包括”一词并不排除掉除权利要求中列出的那些元素或步骤之外的其他元素或步骤的存在。此外，本文使用的术语“一”或“一个”被定义为一个或多于一个。另外，在权利要求中使用诸如“至少一个”和“一个或多个”这样的引入性短语，不应理解为暗示了通过不定冠词“一”或“一个”引入另一个权利要求元素将包含这种引入的权利要求元素的任何特定权利要求限制为只包含一个这样的元素的发明，即使同一权利要求包括引入性短语“一个或多个”或“至少一个”和诸如“一”或“一个”的不定冠词。对于定冠词的使用也是如此。除非另有说明，诸如“第一”和“第二”等术语被用来任意区分这些术语所描述的元素。因此，这些术语不一定是为了表明这些元素的时间或其他优先次序，仅仅是某些度量在相互不同的权利要求中被引用的事实并不表明这些度量的组合不能被有益地使用。

虽然本发明的某些特征已在此得到说明和描述，但对于本领域的普通技术人员来说，现在会出现许多修改、替换、变化和等同物。因此，应当理解，所附的权利要求书旨在涵盖落入本发明真正精神范围内的所有此类修改和变化。

可以提供在任何附图和/或说明书和/或权利要求中说明的任何组件和/或系统单元的任何组合。可以提供在任何附图和/或说明书和/或权利要求中说明的任何系统的任何组合。可以提供在任何附图和/或说明书和/或权利要求中说明的步骤、操作和/或方法的任何组合。可以提供在任何附图和/或说明书和/或权利要求中说明的操作的任何组合。可以提供任何附图和/或说明书和/或权利要求书中所说明的方法的任何组合。

此外，虽然本文已经描述了说明性的实施例，但具有同等要素、修改、省略、组合(例如，跨越各种实施例的方面)、改编和/或改变的任何和所有实施例的范围是本领域技术人员基于本公开所能理解的。权利要求中的限制应根据权利要求中使用的语言进行广义解释，而不限于本说明书中或在本申请审查期间中描述的示例。这些示例应被解释为非排他性的。此外，所公开的方法的步骤可以以任何方式修改，包括重新排列步骤的顺序和/或插入或删除步骤。因此，本说明书和示例仅被视为说明性的，其真正的范围和精神由以下权利要求及其等价物的完整范围来表示。