发明内容

发明人已经开发了一种用于生成与由第一物理成像模式捕获的实际测量数据不能区分开的合成测量数据的方法。这种物理成像模式基于向对象发射询问波，并且以允许确定询问射束的发射与反射波的到达之间的飞行时间的方式记录来自对象的反射波。以定向射束的形式，可以传输询问波，并且可以接收反射波。

特别地，询问波可以是雷达波、LIDAR波或超声波。具体地，第一物理测量模式的测量数据可以包括

● 到对象上有助于发射反射波的位点的角度和距离的组合；和/或

● 对象上所述位点的点云。

这些测量模式的共同之处在于，原始数据比图像数据更难被人类解释。因此，当机器学习模型被训练成对测量数据所指示的对象进行分类或获取诸如对象的速度之类的回归量时，利用与手头的任务有关的“地面实况（ground truth）”来标记训练数据的记录会更加昂贵和耗时。获得合成测量数据的可能性允许使更多训练数据可用于机器学习模块的训练，而无需为标记该数据付出过多的人力。

测量数据可以采用适合于预期用途的任何形式。例如，测量数据可以包括时间序列数据或该时间序列数据到频率空间的变换，诸如快速傅立叶变换。

该方法开始于在第一潜在空间中获得合成测量数据的第一压缩表示。该第一潜在空间与第一解码器相关联，该第一解码器被训练成将第一潜在空间的每个元素映射到与第一物理测量模式的实际测量数据的记录不能区分开的合成测量数据的记录。例如，编码器和解码器的串联（tandem）可以被训练成使得当实际测量数据的记录由编码器变换为第一压缩表示并且然后变换回合成测量数据的记录时，该合成测量数据的记录最好与实际测量数据的原始记录相对应。即使进行这种串联训练，也仅需要处于其训练状态的第一解码器来实行该方法。

经训练的第一解码器被应用于第一压缩表示。这产生了所寻求的合成测量数据。

发明人已经发现，以这种方式，获得合成测量数据的相当复杂的任务可以被简化成寻找适当的压缩表示的简单得多的任务。具体地，如果压缩是有损压缩，则就所包含的数据量而言，压缩表示可以是测量数据的记录的100分之一或更小。在维数少100倍的空间中查找事物要容易得多。雷达、LIDAR和超声波传感器生成的原始数据是稀疏的，即，所包含的信息远少于相应信号所能表示的信息。这允许对数据进行有损压缩，而不会丢失有关采样场景的任何关键信息。

如果第一压缩表示包括离散变量的矢量或张量，并且这些变量的数量小于第一物理测量模式的测量数据的记录中的变量的数量，则该效果就特别显著。例如，第一压缩表示可以是矢量量化的表示，即，具有量化分量的矢量或张量。这缩小了在其中进一步寻求第一压缩表示的空间：由于存在有限数量的维度以及沿着每个维度的有限数量的可能离散值，因此存在有限数量的可能压缩表示。

可以使用任何合适的技术在缩小的空间中寻求第一压缩表示。例如，可以使用参数优化技术来优化压缩表示中的变量，以便找到映射到合成测量数据的合适记录（即，与实际测量数据不能区分开的记录）的表示。在矢量量化的情况下，如果可以足够快地测试候选压缩表示是否映射到合成测量数据的合适记录，则即使对第一潜在空间进行蛮力搜索也可能是可行的。

在下文中，公开了获得第一压缩表示的两种示例性方法。这些示例性方法还考虑到第一潜在空间通常是完整矢量空间的子空间，该完整矢量空间由解码器取作输入的所有变量张成。例如，如果训练了编码器-解码器串联，并且由编码器产生的压缩表示是具有100个分量的矢量，则并非来自该100维矢量空间的所有矢量都将被解码成有意义的结果。但是可以使用另外的机器学习来训练找到确实映射到合成测量数据的合适记录的矢量的能力。

在第一示例性实施例中，从先验变换的输入空间中提取样本，该先验变换被训练成将该输入空间的每个元素映射到第一潜在空间的元素。然后将先验变换应用于该样本，并且这产生了所寻求的第一压缩表示。然后，该第一压缩表示将映射到合成测量数据的合适记录。以这种方式，获得合成测量数据的总体任务被拆分成可以依次实行的两个任务：训练编码器-解码器串联以形成第一潜在空间，并且然后训练先验变换以将样本（例如，随机样本）从输入空间转换为作为第一潜在空间的成员的样本。

例如，先验变换可以具体地包括至少一个经训练的自回归神经网络。例如，该神经网络可以是卷积神经网络。可以将任意输入数据转换成由编码器-解码器串联创建的潜在空间的成员的先验变换的一个示例在本领域中被已知为“ PixelCNN”。

优选地，该先验变换可以包括多个部分，使得该先验变换的不同部分将它们各自的输入空间的元素映射到各自的输出，然后将这些输出叠加以形成第一压缩表示。例如，先验变换的不同部分可以将它们各自的输入映射到第一压缩表示的不同部分，并且所有部分一起形成完整的第一压缩表示。在第一压缩表示被组织成具有多个级别的分层结构的情况下，这是特别有利的。然后先验变换的不同部分可以被训练成产生第一压缩表示的不同级别。

以这种方式拆分先验变换的优点是双重的。

首先，将条件附加到所寻求的合成测量数据上具有更大的灵活性。例如，手头的任务可能不是仅找到任何合成雷达图像，而是找到会指示存在某些对象的图像。某些对象的这种存在可以在分类任务中形成“类别标签”。在第一压缩表示包括三个级别（叫做最高、中等和最低级别）的示例中，一个第一自回归神经网络（例如，PixelCNN）可以被训练成找出压缩表示的每个级别。最高级别的获得可能取决于类别标签；较低级别的获得可能取决于类别标签和在前级别的结果。

其次，由于可以单独地训练先验变换的各个部分，因此该训练可以并行化。以这种方式，可以利用硬件加速器上的所有可用计算能力和存储器。

在第二示例性实施例中，该方法被专门配置成用于测量数据的域转移。即，从第二物理测量模式的实际测量数据开始，寻找表示具有基本相似内容的场景的第一物理测量模式的合成测量数据。

例如，该第二物理测量模式可以具体包括：记录入射在传感器上的光波的强度和/或波长的空间分辨的分布。这样的传感器产生可以被人类容易地解释的图像。因此，非常普遍的做法是通过将任务分配给大量人类劳动力来获得表示图像中包含的对象类型的标签，这些人类劳动力会标记他们在图像中识别出的对象。也有很多这类标签图像的既存集合。如果将这样的标签图像域转移成雷达数据的合成记录，则从一开始就知道雷达数据将表示哪些对象。换句话说，可以将附着在图像上的任何“地面实况”标签重新用于雷达数据。这比从头开始人工标记雷达数据要容易得多。与对图像进行人工标记相比，这种对雷达数据进行人工标记需要更多的专业知识和更多时间。

为了完成域转移，将第二经训练的编码器应用于第二物理测量模式的实际测量数据的记录，该第二物理测量模式与第一物理测量模式不同。例如，该记录可以包括图像。

应用第二经训练的编码器在第二潜在空间中产生第二实际测量数据（例如，图像）的第二压缩表示。类似于第一潜在空间，该第二潜在空间与第二解码器相关联，该第二解码器被训练成将第二潜在空间的每个元素映射到与该第二物理测量模式的实际测量数据的记录不能区分开的第二测量模式的合成测量数据的记录。例如，第二编码器和第二解码器可以以编码器-解码器串联的方式被训练，使得当第二模式的实际测量数据的输入记录（例如，图像）被编码器编码为压缩表示以及随后被解码器解码时，该输入记录被最好地重现。即使以这种方式串联训练第二编码器和第二解码器，在该方法的过程中，仅第二编码器需要处于其训练状态。

将域变换应用于第二压缩表示。该域变换被训练成将第二潜在空间的每个元素映射到第一潜在空间的元素。以这种方式，获得了所寻求的第一压缩表示。然后可以将第一解码器应用于该第一压缩表示以获得最终结果，即，第一物理测量模式的所寻求的合成测量数据。

与第一实施例类似，将域转移的任务拆分成一方面为第二压缩表示的生成，并且另一方面为该第二压缩表示到第一潜在空间的实际转移。可以再次依次实行针对两个任务的训练，并且因此比对整体映射的一个单个训练更容易完成，该整体映射从第二模式的实际测量数据的记录直接导致第一潜在空间中的第一压缩表示。在这里，真实世界的类比是，从地面跳1 m高到第一个台阶，然后从那里跳1 m高到下一个台阶，比一次跳2 m高要容易得多。

在另外的特别有利的实施例中，无论任务是“从头开始”（例如，基于从输入空间随机提取的任意样本）还是通过从另一种测量模式进行域转移来获得合成测量数据，可以将从中获得第一压缩表示的第一潜在空间挑选成使得第一解码器将该第一潜在空间的元素映射到的合成测量数据与至少一个预确定条件一致。如之前所讨论的，该预确定条件可以包括某种类别标签，使得可以获得属于分类的特定类别的合成测量数据。例如，可能特别需要示出了在碰撞过程中的两个车辆和停车标志的雷达数据。

优选地，预确定条件具体包括：询问波与一个或多个特定对象的相互作用，和/或影响询问波和/或反射波的传播的一个或多个环境条件。例如，由于被用于雷达成像的微波辐射被水部分吸收，因此，当大雨到来时，同一个场景的雷达数据可能发生变化。用于车辆的对象检测系统应该在各种环境条件中都能可靠地工作，因此需要关于这些环境条件具有一定可变性的训练数据。

通过适当地设置预确定条件，该方法可以被用来获得表示各种条件和组合的训练数据，即使不是所有这样的组合都已经成为对任何所使用的编码器、解码器、先验变换和域变换的训练的一部分。例如，这样的训练可能是基于各种类型的车辆和各种类型的天气条件的雷达数据，但是可能没有大降雪中的兰博基尼的数据，因为这种昂贵汽车的理智拥有者不会在不利的冬季驾驶条件下冒发生事故的风险。利用上述方法，可以合成地生成该雷达数据，从而扩大了可以被用于训练机器学习模块以进行对象检测的数据池。

因此，在另外的特别有利的实施例中，该方法可以进一步包括：使用第一物理测量模式的所生成的合成测量数据来训练至少一个机器学习模块。该机器学习模块要将从车辆捕获的实际测量数据映射到至少一个分类和/或回归值。该分类和/或回归值与以至少部分自动化的方式在道路交通中操作车辆有关。特别地，所生成的合成测量数据可以被用来增强第一物理测量模式的已经存在的一组实际测量数据，使得被用于训练的最终数据集相对于不同情况和条件具有期望的可变性。

如前面所讨论的，分类的类别可以关于对象的类型。特别地，从车辆获取的测量数据可以被“语义地分割”成来自不同对象的贡献。例如，回归值可以包括：对象的速度和方向、轮胎与道路之间的摩擦系数、或者在当前条件下可以由车辆的传感器勘测的、在行进方向上车辆前方的最大范围。

在以这种方式对其进行训练之后，该机器学习模块可以在车辆中投入使用。因此，在另外的特别有利的实施例中，该方法进一步包括：

● 使用第一物理测量模式从车辆获取实际测量数据；

● 由经训练的机器学习模块来处理所获取的实际测量数据，以获得至少一个分类和/或回归值；

● 从分类和/或回归值计算用于车辆的至少一个系统的至少一个致动信号；以及

● 利用所述致动信号致动系统。

例如，在确定当前设想的车辆在空间和时间上的轨迹与在途的另一车辆的轨迹相交时，可以致动转向系统和/或制动系统以使车辆在到达另一车辆之前减速至停止，或走在绕着另一车辆的路径上。在此安全关键应用程序和另外的安全关键应用程序中，生成合成测量数据的可能性允许扩大被用于训练机器学习模块的训练数据，从而改善了该训练数据的可变性。这改善了训练的结果，并且因此也改善了机器学习模块将使车辆在给定的特定交通情况下实行正确动作的可能性。

如前面所讨论的，可以使用采用变分自动编码器（variational autoencoder）样式的训练、基于未标记的实际测量数据来获得处于其训练状态的第一解码器。因此，本发明还涉及用于训练第一编码器和解码器的方法。该方法包含下列步骤：

● 通过第一物理测量模式获得一组实际测量数据的记录；

● 借助于第一可训练编码器将实际测量数据的每个记录映射到第一压缩表示；

● 借助于第一可训练解码器将第一压缩表示映射到第一物理测量模式的合成测量数据的记录；以及

● 优化表征了第一编码器和解码器的行为的参数，这以使合成测量数据的记录与实际测量数据的对应记录之间的差异最小化为目标。

在本文中，如前面所讨论的，该第一物理测量模式基于向对象发射询问波，并且以允许确定询问射束的发射与反射波的到达之间的飞行时间的方式记录来自对象的反射波。该询问波是雷达波、LIDAR波或超声波。

如前面所讨论的，第一解码器的训练独立于被用来获得第一压缩表示的任何其他手段的训练，诸如先验变换或域变换。这意味着，如果要将先验变换变成在新的期望输入空间与第一潜在空间之间进行映射的变换，则第一解码器的训练仍然保持有效，并且不必重复。同样地，如果期望实行从新的物理测量模式到第一物理测量模式的域转移，则将必须训练新的域变换，但是将不需要改变第一解码器。

本发明还提供了一种用于训练域变换的方法，该域变换可以被用来将第二物理测量模式的实际测量数据的第二压缩表示映射到第一潜在空间。

在该方法的过程中，通过第二物理测量模式获得一组实际测量数据的记录。该实际测量数据的每个记录借助于第二经训练的编码器被映射到第二压缩表示，如前面所讨论的，该第二经训练的编码器可以与第二解码器一起以变分自动编码器的样式被串联训练。

通过可训练域变换将第二压缩表示映射到第一压缩表示。借助于第一经训练的解码器将第一压缩表示映射到合成测量数据的记录。优化表征了域变换的行为的参数，这以使合成测量数据的记录与由使用第一经训练的编码器将第一物理测量模式的实际测量数据处理成压缩表示所造成的记录不能区分开并且将该压缩表示传递到第一经训练的解码器为目标。

换句话说，用于优化表征了域变换的行为的参数的最优标准测量了最终获得的记录合成测量数据在已经从第一潜在空间的已知成员生成的记录当中的“混合”程度，也就是说，第一压缩表示已经借助于对应于第一解码器的第一编码器从第一物理测量模式的实际测量数据生成。

在任何一种训练方法中，参数可以例如包括：权重，以该权重将对神经网络中的神经元或其他处理单元的输入进行聚合以形成对该神经元或其他处理单元的激活。参数的优化可以根据任何合适的方法进行。例如，可以使用梯度下降法。

上述所有方法可以至少部分地是计算机实现的。因此，本发明还涉及一种具有机器可读指令的计算机程序，所述机器可读指令在由一个或多个计算机执行时使一个或多个计算机实行上述方法中的至少一种。在这方面，应以术语“计算机”的含义包含用于车辆或车辆子系统的电子控制单元，以及其他基于可编程指令来控制技术设备的嵌入式系统。

该计算机程序可以体现在非暂时性机器可读存储介质中，和/或体现在下载产品中。下载产品是一种数字可交付产品，其可以在线交易和购买，使得可以立即将其交付给计算机，而不必运送非暂时性存储介质。

替换地或以组合的形式，存储介质和/或下载产品可以包含通过如上所述的方法产生的合成测量数据。如上面所讨论的，具有此合成测量数据的任何人都可以立即开始增强该机器学习模块的训练。

替换地或以组合的形式，存储介质和/或下载产品可以包含表征了第一编码器和解码器的行为的参数，以及由针对这样的编码器和解码器的训练方法所产生的参数。具有这些参数的任何人都可以立即开始使用第一编码器和第一解码器，而无需对其进行训练。

替换地或以组合的形式，存储介质和/或下载产品可以包含表征了域变换的行为的参数，以及由针对这样的域变换的训练方法所产生的参数。具有这些参数的任何人都可以立即开始使用该域变换，而无需对其进行训练。

本发明还涉及一种配备有计算机程序和/或配备有机器可读存储介质和/或下载产品的计算机。

现在使用附图来详细描述另外的有利实施例，而无意于限制本发明的范围。