阅读说明：本技术 用于车辆控制系统的有损数据压缩器 (Lossy data compressor for vehicle control system ) 是由 C.马塞洛 G.帕特里尼 M.韦林 P.福雷 T.格内魏因 于 2019-05-29 设计创作，主要内容包括：本发明公开了一种用于车辆控制系统的有损数据压缩器。用于物理测量数据(3)的有损数据压缩器(1)包括参数化映射网络(2),该映射网络(2)在应用于空间X中的测量数据点x时,在更低维度的流形Z中产生点z,并且被配置为响应于接收数据点x作为输入而在Z上提供点z作为输出,其中,流形Z是连续超曲面,其仅允许超曲面上的任何两个点之间的完全连续路径；并且映射网络(2)的参数θ朝向目标可训练或被训练,该目标包括根据给定的距离测度通过使用映射网络(2)将来自空间X的物理测量数据(3)的给定集合P<Sub>D</Sub>映射到流形Z上而在流形Z上最小化给定先验分布P<Sub>Z</Sub>与在流形Z上诱导的分布P<Sub>Q</Sub>之间的距离。(A lossy data compressor (1) for physical measurement data (3) comprises a parametric mapping network (2), the mapping network (2) when applied to measurement data points X in a space X, producing points Z in a lower dimensional manifold Z, and being configured to provide as an output points Z on Z in response to receiving data points X as an input, wherein the manifold Z is a continuous hypersurface allowing only a fully continuous path between any two points on the hypersurface, and a parameter θ of the mapping network (2) is trainable or trained towards a target comprising minimizing a distance between a given prior distribution P Z and a distribution P Q induced on the manifold Z by using the mapping network (2) to map a given set P D of physical measurement data (3) from the space X onto the manifold Z according to a given distance measure.)

用于车辆控制系统的有损数据压缩器

技术领域

本发明涉及一种有损数据压缩器（lossy data compressor），其特别适合用于物理测量数据，该物理测量数据将由至少部分自动化的车辆对于对象或情况的存在进行评估。

背景技术

当驾驶车辆时，人类驾驶员使用他的眼睛捕捉大量信息并对可见对象进行分类。例如，驾驶员识别车道边界、交通标志、其它车辆和行人，并且在车辆的手动控制器上开始适当的动作。

对于以至少部分自动化的方式在交通中移动的车辆，需要功能来对来自物理测量数据的对象和情况进行分类，该物理测量数据已经由传感器从车辆的环境捕获。

EP 1 752 362 B1公开了一种用于车辆的车道保持辅助系统，其根据标线带（tape）对车道边界进行分类并且对将跨越边界的可能性以及与这种跨越相关的潜在危险进行评定。

US 8,682,821 B2公开了一种评估来自车辆的环境的雷达数据的方法，以便于对某些类型的对象或非人类动物是否正在环境中移动进行分类。对于该分类，使用机器学习。

发明内容

本发明提供了一种用于物理测量数据的有损数据压缩器。有损数据压缩器包括参数化映射网络，该映射网络在应用于存在于空间X中的物理测量数据的数据点x时，在具有比空间X的维度低的维度的黎曼流形（Riemannian manifold）Z中产生点z，并且该映射网络被配置为响应于接收数据点x作为输入而在Z上提供点z作为输出。

例如，如果物理训练数据由来自摄像机的图像组成，该图像具有给定的像素宽度和高度以及每像素给定数量比特的颜色深度，则这些图像存在于具有该宽度、高度和颜色深度的所有可能图像的空间X中。因此，x中的数据点对应于一个这样的图像。从表面上看，这样的数据点x到Z上的点z的映射将如何构成数据压缩可能并不明显。但是，当从空间X映射到流形Z上时，通过维数的减小来实现该压缩。

流形Z是连续超曲面（hypersurface），其仅允许超曲面上的任何两点之间的完全连续路径。例如，三维空间中的常规球体的表面是二维的，具有作为自由度的极角和方位角。

映射网络的参数θ朝向目标可训练或被训练，该目标包括根据给定的距离测度（measure）通过使用映射网络将来自空间X的物理测量数据的给定集合P_D映射到流形Z上而在流形Z上最小化给定先验分布（prior distribution）P_Z与在流形Z上诱导的分布P_Q之间的距离。距离测度对于分布之间的距离和单独点之间的距离两者都是明确限定的。

与至少部分自动的车辆相关的分类问题是监督学习问题，即学习过程必须扎根到“基础事实”：必须使分类系统知道，例如，哪些交通标志是待识别的以及它们表示什么，或哪些不同类型的车道标记具有哪些后果。为此，用例如图像中实际可见的对象手动标记训练数据（诸如图像）。然后机器学习分类系统被训练成使得在训练图像的整个集合上，真实存在的对象被正确识别。但是，标记的训练数据是稀缺且昂贵的资源。

发明人已经发现，通过用所提供的有损数据压缩器压缩物理测量数据，能够将物理测量数据变成对于随后的监督训练更易处理的形式。具体地，数据的维度大幅减小，使得可以用比直接在物理测量数据上执行的训练更少的手动标记的训练数据来执行监督训练。

同时，连续超曲面与用于映射网络的参数θ的训练目标的组合确保尽管压缩到低得多的维度，但是在高维度空间X中的数据点x之间存在的语义（semantic）相似性在映射到更低维度的流形Z时被保留。例如，如果X中的数个图像显示相似的对象，则然后该数个图像被映射到流形Z上的类似位置。有损压缩不可避免地需要丢弃一些信息，但是为了在交通中控制车辆的最终目的，对象和情况的语义意义是重要的。因此保持语义相似性是有利的，使得有损数据压缩不仅仅是剔除信息以减少其体积并且仅凭借减小的体积使得后续分类更易于处理。相反，数据压缩已经通过突出显示其中的正则性来增强数据，因此数据压缩实际上是一个预处理，其执行否则将由分类独自执行的部分工作。

这是有利的，因为映射网络本身的训练可以以无人监督的方式执行，即，其可以在未标记的训练数据上执行。因此，大量未标记数据可以被使用于训练有损数据压缩器。因为压缩数据一方面具有低得多的维度并且另一方面还被关于正则性（regularity）和相似性进行预处理，因此用于识别对象和情况的分类器将需要更少的标记数据以用于训练。

Z是连续超曲面以及距离测度对于分布之间的距离和单独点之间的距离两者都是明确限定的的组合有助于映射网络的训练。具体地，可以使用梯度下降方法或需要目标函数可微分的其它方法。

此外，由于压缩可以抑制数据的无关改变，诸如噪声，因此提高了训练的鲁棒性。

应该注意的是，尽管从表面上看，映射网络本身的参数θ仅仅是没有显示其是如何已经被获得的迹象的数字的集合，但是在提交本申请之日，能够使用统计方法来验证给定的映射网络是否已经朝向上述目标进行了训练。换句话说，朝向该目标的训练在映射网络的参数θ中留下了独特的“指纹”。因此，“朝向目标可训练或被训练”的特征能够被视为完成的有损数据压缩器的特征，而不仅仅是用于获得该压缩器的方法的特征。

在一个特别有利的实施例中，流形Z是超球面或超椭圆体。这些超曲面相对简单，因此通过映射到其上容易保留语义相似性。同时，限定那些超曲面的方程式也固定了这些超曲面上的点之间的路径，该路径首先被允许。即，这些方程式禁止路径离开或刺穿超曲面。

在一个特别有利的实施例中，在映射网络的训练目标中的距离测度包括Wasserstein距离。以这种方式，映射网络解决了在流形Z上以最小成本将诱导分布P_Q转换为给定的先验分布P_Z（或反过来）的“最优传输问题”。

在这方面，必须注意，即使分布P_Q仅由从物理测量数据P_D生成的那些值支持，但是其不限于这些值。相反，分布P_Q包括Z中的无限数量的点，其保留了明显来自物理测量数据的集合P_D的主要特征。

同样地，物理测量数据的原始集合P_D也能够被解释为表示远远超出该实际集合P_D的分布。在映射到Z中之后语义相似性和空间X中的点x之间的相对距离的保留对于整个分布是有效的，而不仅仅是对于支持集合P_D。

在另一特别有利的实施例中，映射网络包括至少一个神经网络。这种网络是大幅降低数据集合的维度的非常好的工具。

作为映射网络的一部分的神经网络还能够用于另一目的：神经网络能够用固定层扩展，该固定层能够用作用于映射网络的训练的硬件加速。正如稍后将在用于制造有损数据压缩器的方法的讨论中看到的，该方法的一个实施例使用依赖于迭代计算的Sinkhorn算法，该迭代计算涉及指数函数的计算、矩阵乘法、矩阵的元素级除法（element-wisedivision）以及Frobenius积的计算。这些操作中的每一个均能够被实施为神经网络的一层，使得神经网络的大规模并行性能够被利用以提高计算的速度。因此，在一系列计算上迭代固定次数的循环可以在神经网络中实施为其中堆叠单独计算的夹层结构的重复。

因此，在一个特别有利的实施例中，神经网络包括同一个夹层结构的至少两个实例，其中该夹层结构包括多个不同的层，并且其中，这些层中的每一个均被配置为执行指数函数的计算、矩阵乘法、矩阵的元素级除法或Frobenius积的计算中的至少一个。

尽管可以在未标记数据上执行有损数据压缩器的训练，但这并不意味着映射网络不能够利用关于物理测量数据的可用先验信息和待从这些数据提取的特征。相反，这种先验信息能够进入给定的先验P_Z中。例如，如果最终要识别对象的固定集合，则可以选择先验P_Z以包含与固定集合中的不同对象的数量相对应的多个不同的聚类（cluster）。以这种方式，有损压缩将使物理测量数据预先离散化到某种程度以用于随后的分类。此外，测量范围的物理极限可以被反映在先验P_Z的选择中。

因此，在另一特别有利的实施例中，给定的先验P_Z包括流形Z上的至少两个不同的聚类。

如前所述，有损数据压缩器的主要存在目的是便于检测车辆的环境中的对象和情况。因此，作为逻辑扩展，本发明还提供了一种用于对车辆的环境中的对象或情况进行分类的系统。

该系统包括至少一个上述的有损数据压缩器。该有损数据压缩器被通信地联接到至少一个传感器，该传感器被配置为从车辆的环境的至少部分获得物理测量数据。

该系统还包括分类器模块，该分类器模块被通信地联接到有损数据压缩器并且被配置为对有损数据压缩器的输出是否指示车辆环境中的至少一个对象或者至少一种情况的存在进行分类。

如上所述，有损数据压缩器和分类器模块一起工作，因为压缩提供了原始数据的预处理和增强，使得除了具有比空间X的维度更低的维度的流形Z的单纯效果之外，便于分类。在很少或没有标记数据的情况下，可以使用大量未标记的训练数据获得有损数据压缩器。分类器模块的训练能够使用比如果在物理测量数据上直接执行分类所需要的标记训练数据小得多的标记训练数据的集合来完成。

在一个特别有利的实施例中，分类器模块经由共享介质总线网络（车辆的另外的系统被联接到该共享介质总线网络）通信地联接到有损数据压缩器，而有损数据压缩器经由专用宽带连接通信地联接到传感器。以这种方式，便于从车辆内的不同区域收集物理测量数据，而不会占用过多的可用传送带宽。

具体而言，今天的车辆中的大多数配备有CAN总线或其它总线系统，非常多的车辆系统被连接到该CAN总线或其它总线系统。该总线允许所有成员彼此通信并且与任何两个通信车辆系统之间先前使用的专用电缆树相比大大节省了布线。然而，该节省是以总线作为共享介质的代价出现的，即，在任何给定时间处只有一个成员可以在总线上传送，因此所有成员共享可用带宽。如果要检测车辆的整个环境，例如通过安装在车辆上的各个位置中的一组摄像机，则产生非常大量的原始数据。通过例如具有1 M比特/s总带宽的“高速”CAN总线来挤压这些数据可能是不实际的。但是如果数据在传感器附近被有损地压缩，则压缩版本小到足以经由CAN总线传输。例如，有损数据压缩器可以是用于收集物理测量数据的传感器模块的一部分。

以这种方式，促进了具有关于至少部分自动的运动的新功能的现有车辆的升级。例如，使用专用电缆将多个摄像机连接到中央控制单元以用于自动运动可能是困难，因为没有物理空间留下来安装这些电缆。

在另一有利的实施例中，该系统还包括决策模块，该决策模块与分类器模块通信地联接并且被配置为基于分类器模块的输出确定是否有必要改变车辆的轨迹，或者是否有必要至少部分地停用自动化驾驶功能，以避免对车辆、车辆的驾驶员或另一实体的不利后果。

该系统还包括致动模块，该致动模块与决策模块通信地联接并且被配置为响应于所述确定是肯定的而致动车辆的动力系、制动系统和/或转向系统，和/或致动车辆的警告装置以发出可由车辆的驾驶员物理感知的警告，和/或导致至少部分地停用车辆的自动化驾驶功能。

以这种方式，如果标记训练数据的给定集合可用，则可以增加车辆的整体操作安全性，或者，如果要提供给定水平的总体操作安全性，则其可以使用更少的标记训练数据来实现。

除了交通标志的分类之外，另一个重要的用例是将路面上的小对象分类为对汽车无害或危险。例如，要碾过的砖块将会是危险的，而一些纸是无害的。在检测到危险对象的情况下，这能够导致紧急制动系统的触发。

尽管在车辆系统中的使用是有损数据压缩器的主要用例，但是有损数据压缩器，并且特别是其与另外的分类器的组合，具有许多其它应用。一些示例是：

•被调整以保留某些类型的特征的图像压缩，例如用于执法机构的指纹数据库；

•在自动化诊断系统中的糖尿病的视网膜病变或其它眼病的基于图像的检测（图像分类为健康和不健康）。在该用例中，标记“基础事实”的获得必须由眼科医生执行并且因此尤其昂贵；

•自动质量控制中的缺陷或劣质部件的基于图像的分类，其能够触发劣质部件从生产线上被自动丢弃；

•用于对谁正在说话进行分类的语音样本的压缩；以及

•通过将操作期间记录的感觉信号分类为：正常、需要维护、缺陷而自动检测故障装置/机器/器械/生产线，并且触发维修和维护或减少的操作，以避免附加的压力。

本发明还提供了一种用于制造有损数据压缩器的方法。

该方法在第一步骤中包括建立目标函数，以用于通过物理测量数据集合P_D的映射来最小化先验分布P_Z与在流形Z上诱导的分布P_Q之间的距离。目标函数是所述距离与指定随机生成的标签属于P_D中的数据点x的概率的双随机矩阵（doubly stochastic matrix）P的熵（entropy）的加权和（weighted sum）。

在第二步骤中，关于双随机矩阵P最小化目标函数以找到最优矩阵P。

在第三步骤中，关于映射网络的参数θ最小化目标函数以找到映射网络的最优参数θ。

最后，除非满足预定的终止标准，否则该方法分支回到第二步骤。

加权和中的熵的效果是以某种方式弛豫（relax）问题以使其解决方案更容易处理。例如，如果使用Wasserstein距离作为距离测度，则然后找到最小化目标函数的映射网络的最优参数θ变得困难且在计算上是昂贵的。具体而言，所述弛豫使问题正则化。

优化P和优化映射网络的参数θ之间的交替具有最终获得的解决方案变得更加平衡的另外效果。如果对于仅一个目标仅存在一个优化，则存在不属于目标函数的部分的特性转向恶化的趋势。交替减少了该趋势。

在一个特别有利的实施例中，目标函数包括双随机矩阵P与成本矩阵（costmatrix）C的Frobenius点积，该成本矩阵C将成本值分配给P_D中的数据点x_i与流形Z上的对应特征z_j的每一个组合。该Frobenius点积特别适合于使用近线性时间Sinkhorn算法求解。因此，有利地，借助于Sinkhorn算法执行关于P的最小化。

在一个特别有利的实施例中，成本值对应于数据点x_i被映射到的流形Z上的点与特征z_i之间的欧几里德（Euclidean）或测地绝对距离。以这种方式，距离可以有机地适于所选择的流形Z和适于Z上所选择的先验分布P_Z。

考虑d维空间中的流形。输入空间中的点是利用X上的支持从分布x~p(x)中提取的。给定X上的样本{x_i}, i=1,...,m的有限集合，我们的目标是在维度k的更低维度流形Z上学习潜在变量z，其中，k<<d。最优传输的离散表达方式为我们提供了用于匹配来自经验样本的两个分布的目标。我们的兴趣是学习一个这样的分布，作为输入空间中的点的表示。我们考虑形式为神经网络的函数族{f_θ: X→Z}，用参数θ的元组进行参数化。我们选择成为k维黎曼（Riemannian）流形；其形式由我们选择的先验分布P_Z指定。对于每个f_θ，我们限定了具有以下边际（marginal）的潜在空间Z中的传输问题

并且，

其中，δ是Kronecker-德尔塔，这意味着和是由样本{x_i}, i=1,...,m和对应的特征{z_i}, i=1,...,m给出的经验边际分布。

我们限定了成本矩阵C，在我们的例子中，其取决于模型参数。例如，成本矩阵C可以由欧几里德距离限定

。

距离的选择是任意的并且其应该适于我们正在处理的特定潜在空间——例如，也能够使用流形Z上的测地距离的空间。匹配p（z|x）和P_Z能够通过最小化Wasserstein距离来实现。由于这在计算上是昂贵的，我们替代地最小化熵弛豫的Wasserstein距离，其形成了学习问题：

。

其中，<>是Frobenius点积，H是熵，λ是确定近似质量的自由参数（对于λ=0，W_λ对应于Wasserstein距离），并且P是指定（随机生成的）标签属于数据点（即，P中的输入必须为正并且行和列必须总和为1，或者换句话说，P必须在双随机矩阵的集合中）的概率的矩阵。

我们的最终目标是学习最优函数f_θ。在没有熵正则化（λ= 0）的情况下，找到极小将是困难的并且在计算上是昂贵的。作为代替，如果我们使用传输问题的正则化版本（λ>1），则我们能够在模型参数θ和近线性时间Sinkhorn算法上交替随机梯度下降，以用于解决关于P的匹配问题。

由于Sinkhorn算法是迭代的并且趋向于快速收敛，我们能够展开算法的L迭代并将它们作为层添加到神经网络，这意味着内部最小化操作由这些层（L Sinkhorn迭代）执行并且θ上的外部最小化操作经由随机梯度下降执行。

因此，在另一特别有利的实施例中，通过映射网络的参数θ上的随机梯度下降来执行关于映射网络的参数θ的最小化。

有损数据压缩器和系统可以至少部分地由计算机实施。特别地，可以通过软件升级先前的数据压缩器或先前的车辆系统，以向其提供根据本发明的功能。因此，这种软件本身就是可销售的产品。因此，本发明还涉及一种具有机器可读指令的计算机程序，当由计算机和/或控制单元执行时，该计算机程序将计算机和/或控制单元升级为本发明提供的有损数据压缩器和/或系统。本发明还涉及一种具有该计算机程序的非暂时性机器可读存储介质或下载产品。

附图说明

使用附图结合优选实施例的描述在下面详细说明本发明的进一步改进。

附图示出：

图1为有损数据压缩器1的示例性实施例；

图2为有损数据压缩器1的映射网络2内的示例性神经网络2a；

图3为保留语义相似性的优点的图示；

图4为车辆50中的示例性分类系统51；

图5为方法100的示例性实施例。

具体实施方式

图1示出了有损数据压缩器1的一个示例性实施例。由参数θ的元组参数化的映射模块2将来自作为空间X的子集合的训练集合P_D的数据点x映射到更低维度的流形Z上的点z。所有物理测量数据3都存在于空间X中。流形Z由给定的先验P_Z限定。在图1中图示的示例中，流形Z是球形，并且先验P_Z是横跨该球体的表面散布的点的随机分布。

作为映射来自集合P_D的数据点x的结果的所有点z构成集合z（P_D）。然而，由映射诱导的分布P_Q包括在混凝土集合（concrete set）z（P_D）上面和上方的更多点（绘制为空心圆）。

图2示出了映射网络2中的示例性神经网络2a。数据点x到数据点z的实际映射由以虚线轮廓绘制的层20a-20e执行。这些层20a-20e由参数θ的元组参数化。

另外，神经网络2a包括层夹层的两个实例21a和21b。这些夹层中的层是固定的（即，其不依赖于参数θ）并且因此以实线轮廓绘制。第一夹层21a包括层22a、23a和24a。第二夹层21b包括层22b、23b和24b。如由相同的阴影所表示的，层22b执行与层22a相同的功能，层23b执行与层23a相同的功能，层24b执行与层24a相同的功能。层夹层21a和21b的组合用于计算误差信号E，该误差信号E是用于在Z上诱导的分布P_Q与先验分布P_Z之间的熵弛豫Wasserstein距离的测度。

在训练神经网络2a期间，调整参数θ以最小化误差信号E。

图3a示出了形式为手写数字x的物理测量数据3的示例性集合P_D。图3b到图3d示出了数据点x到更低维度的流形的不同映射。

图3b示出了到带状更低维度的流形Y上的第一映射。流形已经被分配了参考符号Y而不是Z，因为该流形不满足其只允许该流形Y上的任何两点之间的完全连续路径的条件。相反，从一个点到另一个点的路径可以导致离开带的区域。到该流形Y的映射并非表现良好的，因为与不同数字相关的点出现在粗放的混合物中。

图3c示出了到球形更低维度的流形Z上的第二映射。这里，在流形Z上的点之间没有离开流形的不连续的路径。因此，表面光滑。然而，与不同数字相关的点z仍然是混合的。

在图3d中，使用相同的流形Z。另外，已经利用诱导分布P_Q应与给定的先验分布P_Z匹配的目标执行映射。因此，点z根据其所相关的数字呈现为在流形Z上聚类。更重要的是，在映射到流形Z之后，原始空间X中的距离似乎已经被保留，并且语义相似性已经以“接近度”的形式被保留在流形Z上：与“7”最相似的数字“1”的实例非常接近与“1”最相似的数字“7”的对应实例。

图4示出了示例性车辆50，其配备有用于对其环境中的对象或情况进行分类的系统51。车辆50配备有四个摄像机传感器52a-52d，其监视车辆50的环境的不同部分53a-53d。每个传感器52a-52d经由相应的专用宽带连接56a-56d连接到对应的有损数据压缩器1a-1d并且通过该连接56a-56d接收物理测量数据3。

车辆50配备有CAN总线作为共享介质总线网络55。有损数据压缩器1a-1d被连接到该网络55并使用其将压缩数据转发到分类器模块54。分类器模块54经由网络55将分类的结果转发到决策模块57。如果决策模块57发现存在改变车辆50的轨迹50a的需要，或者至少部分地禁用自动化驾驶功能的需要，则致动模块58被通知。然后，致动模块58致动动力系59a、制动系统59b和/或转向系统59c以到达此效果。致动模块58还可以致动车辆50的警告装置59d以发出警告59e，该警告59e可由车辆50的驾驶员物理感知。

分类器模块54、决策模块57和致动模块58在车辆50内的不同位置的绘制在需要这种放置的意义上不是限制性的。相反，这些模块也可以被组合成例如一个单个的控制单元。图4中的示例性放置是说明性的，以示出车辆50中共享介质总线网络55的存在提供了关于部件的放置的高度自由度。

图5示出了用于制造有损数据压缩器1的方法100的一个示例性实施例。该制造的主要方面是在有损数据压缩器1内训练映射网络2。

在第一步骤110中，建立目标函数以用于通过物理测量数据集合P_D的映射来最小化先验分布P_Z与在流形Z上诱导的分布P_Q之间的距离。以下以交替方式最小化该目标函数。

在步骤120中，关于双随机矩阵P最小化目标函数以找到最优矩阵P。

在步骤130中，关于映射网络的参数θ最小化目标函数以找到映射网络的最优参数θ。

然后在菱形140a中检查是否满足预定的终止标准。例如，这种终止标准可以就目标函数的绝对值的阈值，或者目标函数的值从一次迭代到下一次迭代的相对变化的阈值来明确表达。如果满足终止标准（逻辑值1），则方法100终止。如果不满足终止标准（逻辑值0），则然后在步骤140中，方法100分支回到根据步骤120关于P的最小化。