具体实施方式

提供以下详细描述以帮助读者获得对本文描述的方法、装置和/或系统的全面理解。然而，在理解了本申请的公开之后，本文中描述的方法、装置和/或系统的各种改变、修改和等同物将是显而易见的。例如，本文中描述的操作顺序仅仅是示例，并且不限于在本文中阐述的那些操作顺序，而是可以在理解本申请的公开之后明显改变，除了必须以一定顺序进行的操作之外。此外，为了更加清楚和简洁，在理解本申请的公开之后可以省略对已知的特征的描述。

本文描述的特征可以以不同形式来实施，并且不应被解释为限于本文描述的示例。相反，提供本文中描述的示例仅仅是为了说明实现本文中描述的方法、装置和/或系统的许多可行方式中的一些，在理解本申请的公开之后这些方式将显而易见。

应注意，在本文中，针对示例或实施例使用术语“可以”(例如，关于示例或实施例可以包括或实现什么)意味着存在至少一个示例或实施例，在该至少一个示例或实施例中包括有或实现了这种特征，但是所有示例和实施例不限于此。

在整个说明书中，当组件被描述为“连接到”或“耦接到”另一组件时，它可以直接“连接到”或“耦接到”该另一组件，或者可以存在介于其间的一个或多个其他组件。相反，当元件被描述为“直接连接到”或“直接耦接到”另一元件时，可以不存在介于其间的其他元件。同样地，也应以相同的方式理解例如“在...之间”和“直接在......之间”以及“与......相邻”和“与......紧邻”的类似表述。如本文中所使用的，术语“和/或”包括关联列出的项目中的任何一个和任何两个或更多个的任何组合。

虽然本文中可以使用诸如“第一”、“第二”、“第三”之类的术语来描述各构件、组件、区域、层或部，但是这些构件、组件、区域、层或部不应被这些术语限制。相反，这些术语仅用于将一个构件、组件、区域、层或部分与另一构件、组件、区域、层或部分加以区分。因此，在不脱离示例的教导的情况下，本文中描述的示例中提及的第一构件、组件、区域、层或部分也可以被称为第二构件、组件、区域、层或部分。

本文中使用的术语仅用于描述各种示例，而不用于限制本公开。除非上下文另外明确指示，否则冠词“一”、“一个”和“该”也意在包括复数形式。术语“包括”、“包含”和“具有”表示存在所阐述的特征、数目、操作、构件、元件和/或其组合，但并不排除存在或添加一个或多个其他特征、数目、操作、构件、元件和/或其组合。

除非另外定义，否则这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员基于对本申请的公开的理解通常所理解的含义相同的含义。诸如在常用词典中定义的术语应被解释为其含义与在相关技术和/或本申请的上下文中的含义相同，而不应被解释为理想的或过于正式的含义，除非本文明确如此定义。在本文中，关于示例或实施例(例如，关于示例或实施例可以包括或实现什么)的术语“可以”的使用意味着存在至少一个示例或实施例，其中这样的特征是被包括或实现的，而所有示例不限于此。

而且，在示例实施例的描述中，为了简洁，可以省略在理解本申请的公开内容之后由此已知的对结构或功能的详细描述。

在理解了本申请的公开内容之后，可以显而易见地以各种方式组合本文中所描述的示例的特征。此外，尽管本文中所描述的示例具有各种配置，但在理解了本申请的公开内容之后，其他配置能够变得显而易见。

图1示出了根据实施例的通过无线电检测和测距(雷达)数据处理方法识别周围环境的示例。

在图1的示例中，雷达数据处理设备110可以通过被配置为检测对象的传感器检测存在于雷达数据处理设备110前方的对象。传感器可以是例如图像传感器、光检测和测距(激光雷达)传感器或雷达传感器。例如，可以通过传感器检测到前方的对象180的距离、与对象180形成的角度、对象180的速度等。

图1示出了传感器是雷达传感器111的示例。在图1的示例中，雷达数据处理设备110可以分析从雷达传感器111接收的雷达信号，并且检测到位于雷达传感器111前方的对象180的距离。雷达传感器111可以设置在雷达数据处理设备110内部或外部。雷达传感器111可以朝雷达数据处理设备110的外部发射雷达信号。除了从雷达传感器111接收的雷达信号之外，雷达数据处理设备110还可以基于由另一传感器(例如，图像传感器等)收集的数据来检测到对象180的距离。本文中所使用的术语“距离”可以指示间距(range)，因而术语“间距”和“距离”可以在本文中互换使用。例如，从A到B的间距可以指示从A到B的距离，并且A与B之间的间距可以指示A与B之间的距离。

例如，雷达数据处理设备110可以设置在车辆中。车辆可以基于雷达数据处理设备110检测到的距离或间距来执行例如自适应巡航控制(ACC)、自动紧急制动(AEB)、盲点检测(BSD)等的操作。

此外，雷达数据处理设备110除检测间距之外还可以生成周围环境的图130。图130可以是指示位于雷达数据处理设备110周围的目标的位置的图，并且这种附近的目标可以包括例如动态对象(诸如，车辆和人类)以及静止或背景对象(诸如，护栏和交通信号灯)。

可以使用单扫描技术来生成图130。通过单扫描技术，雷达数据处理设备110可以从雷达传感器111获得单扫描图像120，并且根据所获得的单扫描图像120来生成图130。单扫描图像120可以根据单雷达传感器111感测到的雷达信号来生成，并且可以具有相对低的分辨率。单扫描图像120可以是雷达扫描图像，并且可以包括由雷达传感器111以仰角接收的雷达信号指示的间距。例如，在图1的示例中，单扫描图像120的水平轴指示雷达传感器111的转向角，并且单扫描图像120的竖直轴指示从雷达传感器111到目标的间距。单扫描图像不限于图1中所示的示例格式，并且在各种示例中可以由另一格式表示。

雷达扫描图像在本文中可以主要被描述为诸如间距-多普勒图或间距-角度图的二维(2D)图像图，但是不限于示例的2D图。雷达扫描图像可以是三维(3D)或更高维的格式的图，诸如间距-多普勒-角度图。另外，转向角可以指示与从雷达数据处理设备110朝目标点的方向相对应的角度。例如，转向角可以是雷达数据处理设备110前进的方向与基于雷达数据处理设备110的目标点(例如，车辆)的方向之间的角度。间距-多普勒图可以指示目标的多普勒速度以及从雷达传感器111到目标的间距。例如，间距-多普勒图的一个轴指示多普勒速度(例如，径向速度)，并且间距-多普勒图的另一个轴指示间距。类似地，间距-角度图可以指示与目标相对应的到达方向(DoA)以及从雷达传感器111到目标的间距。例如，间距-角度图的一个轴指示DoA，并且间距-角度图的另一个轴指示间距。

雷达数据处理设备110可以通过多雷达图获得与目标的形状有关的准确信息。可以通过对多个雷达扫描图像进行组合或级联来生成多雷达图。例如，雷达数据处理设备110可以通过将在雷达传感器111移动时获得的多个雷达扫描图像进行时空组合或级联来生成图130。

如上所述，雷达数据处理设备110可以通过处理根据雷达信号而生成的原始雷达数据来生成扫描图像，并且基于所生成的扫描图像来生成行驶或驾驶相关信息(例如，图130)或执行对象识别。在此，可能需要高分辨率的扫描图像以提高生成行驶相关信息和执行对象识别时的准确性。本文中所使用的术语“分辨率”可以指示对表示图像的详细程度以及图像中的总像素计数的测量。本文中所使用的术语“分辨力单位”可以指示设备(例如，传感器和雷达)识别微小差异的能力(例如，区分彼此间隔开的两个对象的能力)的最小单位。该最小单位可以包括例如最小间距单位、最小角度单位和最小速度单位。分辨率可以与分辨力单位和/或分辨力成反比。因此，随着设备的分辨力单位减小并因而得到改善，可以获得更高分辨率的图像。

然而，由于在雷达传感器的成本和可以设置在车辆中的雷达传感器的数量方面的限制，可由单雷达传感器获得的原始雷达数据的信息量可能会受到限制。由于由单雷达传感器获得的原始雷达数据的信息量可能会受到限制，因此根据原始雷达数据生成的扫描图像的分辨率也可能受到限制。

图2示出了根据实施例的雷达数据处理设备200的示例。

参考图2，雷达数据处理设备200包括例如雷达数据获取器210、分辨率增加模型220、雷达数据处理器230和参考数据库(DB)290。可以通过软件模块来实施雷达数据获取器210和雷达数据处理器230，但是不限于此，还可以通过硬件模块或软件模块与硬件模块的组合来实施它们。

雷达数据获取器210可以获得雷达数据。例如，雷达数据获取器210可以包括雷达传感器，该雷达传感器被配置为通过发送和接收雷达信号来获得原始雷达数据。将参考图3更详细地描述雷达传感器。原始雷达数据可以包括与多个维度相对应的信息。例如，原始雷达数据可以包括与间距相关的维度、水平角相关的维度、仰角相关的维度和径向速度相关的维度相关联的信息。在该示例中，在讨论角时，将主要描述水平角。然而，本公开不限于这样的示例。另外，雷达数据的维度不限于三个维度。也就是说，雷达数据的维度不限于本文中所描述的间距维度、角维度和径向速度维度。

间距维度可以指示啁啾(chirp)信号的频率变化。啁啾信号的频率变化可以指示快时间轴上的信息，并且可以根据雷达传感器中的发送信号与相应的接收信号之间的频率差来计算雷达传感器与对象之间的间距。例如，快时间轴可以是如图3中所示的在其上指示每个啁啾信号的频率变化的时间轴。

角维度可以指示虚拟天线的变化。例如，雷达传感器可以使用平面波并可以被设置在均匀线性阵列(ULA)的结构中。在该示例中，从发送天线发送的雷达信号可以被多个接收天线接收。可以以一定的间隔彼此间隔开地布置相邻的接收天线，因此接收天线可以响应于从同一发送天线发射的对应信号而接收具有不同相位的信号。基于这样的相位差，雷达数据处理设备200可以估计DoA。

径向速度维度可以指示慢时间轴上的信息，作为与多个啁啾信号之中的变化相关联的信息。例如，当对象移动时，要被对象连续反射且从该对象接收的多个啁啾信号可能会发生相位变化，并且与啁啾信号的这种相位变化相关联的信息可以用于估计对象的径向速度。例如，慢时间轴可以是如图3中所示的通过啁啾信号进行分类的时间轴。

雷达数据获取器210可以通过处理原始雷达数据来获得雷达数据。例如，雷达数据获取器210可以通过预处理原始雷达数据来生成雷达扫描图像。例如，雷达扫描图像图可以指示与原始雷达数据的多个维度中的一些维度相关联的信息。例如，雷达扫描图像图可以是2D格式的图，例如间距-多普勒图或间距-角度图。例如，当雷达数据是雷达扫描图像时，雷达扫描图像的分辨率可以对应于包括在雷达扫描图像中的像素的数量。

尽管本文中可以将雷达数据主要描述为雷达扫描图像，但是雷达数据不限于扫描图像。雷达数据可以包括由雷达传感器感测到的原始雷达数据和/或通过从原始雷达数据转换获得的数据。原始雷达数据的分辨率可以与感测原始雷达数据的雷达传感器的间距分辨力、角度分辨力和速度分辨力成反比。例如，间距分辨力可以与啁啾信号所扫频的带宽成反比。也就是说，随着带宽增加，间距分辨力可以提高，并且可以提供提高的间距分辨力。另外，随着包括在雷达传感器中的虚拟天线的数量增加，可以提高角度分辨力并因而可以提高DoA估计的精度。这是因为，当通过数字波束成形(DBF)和其他DoA估计方法来估计DoA时，角度分辨率可以与虚拟天线的总数量成反比。例如，虚拟天线的数量可以对应于发送天线的数量与接收天线的数量的乘积。当啁啾信号的周期相同且大量啁啾信号被用于单扫描时，可以提高雷达数据中的速度分辨力。将参考图3来描述基于雷达传感器的硬件性能对分辨力的示例限制。然而，雷达传感器的分辨率和分辨力可能不限于这样的示例。

分辨率增加模型220可以被设计为增加输入雷达数据的分辨率，并且具有机器学习结构并包括神经网络。分辨率增加模型220可以被配置为根据第一分辨率输入数据和参考数据来输出第二分辨率输出数据。在此，第二分辨率输出数据的第二分辨率可以大于或高于第一分辨率输入数据的第一分辨率。第二分辨率可以指示高分辨率且第一分辨率可以指示低分辨率。因此，第一分辨率输入数据可以是低分辨率输入数据，第二分辨率输出数据可以是高分辨率输出数据。在下文中将参考图4来描述分辨率增加模型220的示例结构。

在示例中，雷达数据处理设备200可以使用分辨率增加模型220，根据输入雷达数据和参考数据来生成输出雷达数据。雷达数据处理设备200可以从参考DB 290中加载用于增加输入雷达数据的分辨率的参考数据。雷达数据处理设备200可以预先存储参考DB 290，或者根据需要，通过与外部服务器的通信请求和接收参考DB 290。参考DB 290可以通过更换外部存储卡进行更新。本文中描述的参考数据可以是分辨率增加模型220所参考以便根据输入雷达数据生成高分辨率输出雷达数据的数据，并且可以包括原始雷达数据、雷达扫描图像、从雷达数据中提取的特征数据、以及除雷达传感器之外的各种类型的传感器所获得的其他信息。在下文中将详细描述雷达扫描图像和特征数据。

雷达数据处理器230可以处理使用如上所述的分辨率增加模型220来生成的输出雷达数据。例如，雷达数据处理器230可以将输出雷达数据转换为与到单个对象的实际间距、径向速度和角度相关联的信息，并且使用通过该转换获得的信息来控制设置有雷达数据处理设备200的车辆和/或移动终端。尽管上面将雷达数据获取器210描述为根据原始雷达数据生成雷达扫描图像作为输入雷达数据，但是本公开不限于该示例。例如，雷达数据获取器210可以获取原始雷达数据作为输入雷达数据，并且使用分辨率增加模型220根据原始雷达数据来生成输出雷达数据。在该示例中，雷达数据处理器230可以将输出雷达数据转换成输出雷达扫描图像。又例如，雷达数据获取器210可通过将预处理操作中的一部分应用于原始雷达数据来生成中间输入数据，并且使用分辨率增加模型220根据中间输入数据来生成高分辨率的中间输出数据。在该示例中，雷达数据处理器230可以通过将预处理操作中的剩余部分应用于中间输出数据来生成输出雷达扫描图像。

图3示出了根据一个或多个实施例的雷达传感器的示例。

参考图3，雷达传感器310通过天线313发射信号并通过天线313接收信号。由雷达传感器310发射的信号和由雷达传感器310接收的信号也可以被称为雷达信号。雷达传感器310可以是例如毫米波(mm)雷达，并且可以通过分析飞行时间(ToF)来估计到对象的间距，其中该ToF是发射的电波在碰到对象后之后返回所使用的时间量，并且雷达传感器310还可以估计信号波形的改变。雷达传感器310可以被实施为例如调频连续波(FMCW)雷达传感器，但不限于FMCW传感器。

例如，雷达传感器310的啁啾发送器311可以生成频率随时间改变的调频(FM)信号302。例如，啁啾发送器311通过对啁啾信号301执行频率调制来生成FM信号302。啁啾信号301是幅度随时间线性增大或减小的信号。啁啾发送器311生成具有与啁啾信号301的幅度相对应的频率的FM信号302。例如，如图3所示，FM信号302的波形的频率在啁啾信号301的幅度增大的区间中逐渐增大，并且FM信号302的波形的频率在啁啾信号301的幅度减小的区间中逐渐减小。然而，啁啾信号301的形式不限于所示示例。啁啾发送器311将FM信号302发送到雷达传感器310的双工器312。

双工器312确定通过天线313的信号的发送路径和接收路径。例如，当雷达传感器310正在发射FM信号302时，双工器312形成从啁啾发送器311到天线313的信号路径，并且通过所形成的信号路径将FM信号302发送到天线313，然后向外部发射信号。

当雷达传感器310正在接收从对象反射的信号时，双工器312形成从天线313到频谱分析器316的信号路径。天线313接收反射信号，该反射信号在从天线313发送的发射信号FM信号302到达对象之后从对象反射，然后返回到天线313。雷达传感器310通过从天线313到频谱分析器316形成的信号路径将反射信号308发送到频谱分析器316。

混频器314在频率调制之前从接收的反射信号308解调线性信号，例如，原始啁啾信号301。放大器315放大解调的线性信号的幅度。

频谱分析器316可以分析发射的啁啾信号301和接收的反射信号308。例如，频谱分析器316将发射的啁啾信号301与接收的反射信号308进行比较。频谱分析器316检测发射的啁啾信号301与接收的反射信号308之间的频率差。参考图3中所示的曲线图309，发射的啁啾信号301与接收的反射信号308之间的频率差在发射的啁啾信号301的幅度沿着时间轴线性地增加的区间期间可以是恒定的，并且与雷达传感器310和对象之间的间距成比例。因此，可以从发射的啁啾信号301与接收的反射信号308之间的频率差导出雷达传感器310与对象之间的间距。频谱分析器316可以将通过该分析而获得的信息发送到雷达数据处理设备的处理器。可以通过雷达信号来生成要发送到处理器的信息，并且在本文中将该信息称为原始雷达数据。

例如，频谱分析器316可以如下面的式1所示计算雷达传感器310与对象之间的间距。

式1

在式1中，R为雷达传感器310与对象之间的间距，并且c为光速。T为发射的啁啾信号301在上升区间中的时间长度。f_b为在上升区间中的时间点处，发射的啁啾信号301与反射信号308之间的频率差，并还被称为“拍频”。B为调制带宽。可以如下面的式2所示的那样得出拍频f_b。

式2

在式2中，f_b为拍频。t_d为发射啁啾信号301的时间点与接收到反射信号308的时间点之间的时间差，例如，延迟时间。

由雷达数据计算出的间距由以上式1表示，并且根据雷达传感器310所获得的雷达数据计算出的间距或距离分辨力可以由下面的式3表示。

式3

在式3中，d_res为间距或距离分辨力，并且c为光速。B为雷达传感器310的可允许带宽。可允许带宽B可以是每个国家的相关规则或法规中所规定的带宽。例如，欧洲电信标准协会(ETSI)和联邦通信委员会(FCC)允许将77千兆赫(GHz)的频带用于汽车雷达。如上面的式3所示，d_res的值可以随带宽增加而减小。因此，可以提高距离分辨力。然而，可用带宽受到相关规则或法规的限制，因此每个雷达传感器可能具有在计算从传感器到对象的间距或距离方面受到限制的有限分辨力。

相对速度可以是多普勒速度，即从目标点朝雷达传感器310的径向速度。根据雷达传感器310所获得的雷达数据计算出的多普勒速度分辨力可以由下面的式4表示。

式4

在式4中，v_res为多普勒速度分辨力，并且λ为雷达传感器310使用的频带的波长。T_f表示与单扫描相对应的雷达信号的时间长度，作为针对一系列啁啾信号给出的帧时间。当每个啁啾的周期为T，并且在单扫描期间发送和接收n个啁啾信号时，帧时间T_f可以为nT。如式4所示，当帧时间T_f增加时，多普勒速度分辨力v_res可以减小并从而得到改善。然而，当针对每个啁啾信号给出的周期增大时，可测量的最大速度可能会降低，因此可能会超出实时操作中的单扫描的可允许时间。也就是说，通过增加用于单扫描的啁啾信号的数量，可能会出现折中问题，因此要发送的数据量和操作时间可能增加。因此，在计算多普勒速度方面，每个雷达传感器可能仅具有有限的分辨力。

图4示出了根据实施例的分辨率增加模型的示例。

在示例中，分辨率增加模型可以被设计为增加雷达数据(例如，雷达扫描图像)的分辨率，并且具有用于机器学习的架构并包括神经网络400。分辨率增加模型可以被设计为根据具有第一分辨率的输入数据来输出具有第二分辨率的数据。第二分辨率可以大于第一分辨率。因此，第二分辨率在本文中也可以被称为高分辨率，并且第一分辨率在本文中也可以被称为低分辨率。另外，第一分辨率的输入数据可以指示低分辨率的输入数据，第二分辨率的输出数据可以指示高分辨率的输出数据。

作为非限制性示例，神经网络400可以是深度神经网络(DNN)。在这样的示例中，DNN可以是完全连接网络、深度卷积网络(DCN)和/或递归神经网络(RNN)中的一种或多种，或者可以包括分别具有这样的完全、卷积或递归连接的不同或重叠的神经网络部分。神经网络400可以通过基于深度学习映射处于非线性关系的输入数据与输出数据来增加图像的分辨率。深度学习是处理来自大数据集的图像的机器学习方法中的一种。可以通过监督或无监督的学习或训练来映射输入数据与输出数据而实现深度学习，使得在训练所得的机器学习模型、引擎或示例神经网络时，可以直观地将其他输入数据映射到具有期望的准确性或可靠性的输出数据。

参考图4，示例神经网络400包括输入层410、隐藏层420和输出层430。输入层410、隐藏层420和输出层430中的每一个可以分别包括多个人工节点。

尽管为了便于描述，在图4中将隐藏层420示出为包括三层，但是隐藏层420可以包括各种数量的层另外，尽管神经网络400在图4中被示为包括单独的输入层(例如，输入层410)以接收输入数据，但是可以将输入数据直接输入到隐藏层420。除了输出层430之外，神经网络400的每层的人工节点可以通过链路连接到后续层的人工节点以发送输出信号。链接的数量可以对应于包括在后续层中的人工节点的数量。该链接可以被称为连接或连接权重。

与包括在先前层中的人工节点的加权输入相关联的激活函数的输出可以被输入到包括在隐藏层420中的人工节点中的每一个。在此，加权输入是包括在先前层中的人工节点的输入与权重之间的乘积。该权重也可以被称为神经网络400的参数，并且作为非限制性示例，神经网络400中的部分或全部的层或层之间的连接权重可以被称为神经网络400的参数。作为非限制性示例，激活函数可以是例如Sigmoid、双曲正切(tanh)和整流线性单元(ReLU)中的任何一种，并且这种激活函数可以用于形成或赋予神经网络400的非线性。包括在先前层(例如，最终隐藏层)中的人工节点的加权输入可以被输出到包括在输出层430中的每个人工节点，或由包括在输出层430中的每个人工节点输入。在此，将加权数据从层输入到该层后续的层的过程可以被称为传播。神经网络400可以包括被配置为用于卷积滤波的卷积层。例如，设备(例如，雷达数据处理设备)可以将信息从先前层传播到卷积层，并且可以对传播信息执行卷积滤波，然后将卷积滤波的结果传播到下一层。

尽管上面将神经网络400描述为分辨率增加模型的示例，但是分辨率增加模型不限于神经网络400。

图5和图6示出了根据实施例的生成式对抗网络(GAN)架构的分辨率增加模型的示例。

GAN可以由于其结构特性和对抗性损失而输出真实的图像。然而，这种GAN架构的分辨率增加模型可以从可以输出的流形(manifold)中选择一个，并且生成可以蒙蔽鉴别器的输出。因此，这种GAN架构的分辨率增加模型可以仅生成合理的高分辨率输出。在示例中，分辨率增加模型可以是这种GAN架构的，并且可以包括生成器模型和鉴别器模型。生成器模型可以生成候选，而鉴别器模型可以评估或区分由生成器模型产生的候选。图5示出了用于GAN架构的分辨率增加模型的训练过程的示例，并且图6示出了在训练过程完成之后使用分辨率增加模型来输出高分辨率数据的示例。

参考图5，在操作511中，训练设备从初始的原始雷达数据501中选择数据。例如，训练设备可以从原始雷达数据501中选择关于将用于每次迭代的维度(例如，角维度)的高分辨率数据和低分辨率数据。例如，训练设备可以通过从原始雷达数据501中提取数据来生成低分辨率数据，并且通过从原始雷达数据501中提取更多数据来生成高分辨率数据。原始雷达数据501可以是通过雷达传感器收集的数据，该雷达传感器具有比实际安装在雷达数据处理设备中的雷达传感器更高的性能。

训练设备对所选的高分辨率数据执行高分辨率预处理操作513。作为非限制性示例，对间距-角度图执行的高分辨率预处理操作513可以包括间距快速傅里叶变换(FFT)、多信号分类(MUSIC)、DBF和非相干积分。作为非限制性示例，对间距-速度图执行的高分辨率预处理操作513可以包括间距FFT、速度FFT和非相干积分。类似地，作为非限制性示例，对速度-角度图执行的高分辨率预处理操作513可以包括速度FFT、MUSIC、DBF和非相干积分。可以执行高分辨率预处理操作513以针对间距、角度和速度中的一个维度或间距、角度和速度中的两个或更多个来增加分辨率。另外，训练设备对所选择的低分辨率数据执行低分辨率预处理操作512。作为非限制性示例，低分辨率预处理操作512可以包括间距FFT和DBF。

作为高分辨率预处理操作513的结果，训练设备生成地面真实(GT)数据作为高分辨率训练GT 561。作为低分辨率预处理操作512的结果，训练设备生成低分辨率训练输入562。另外，训练设备生成MUSIC结果580作为附加输入。然而，附加输入不限于MUSIC结果580，并且可以是其他雷达DoA估计方法的结果。高分辨率训练GT 561和低分辨率训练输入562可以是间距-角度图格式的雷达扫描图像。

在示例中，训练设备基于临时高分辨率、或者超分辨率(SR)、输出570、高分辨率训练GT 561以及由鉴别器模型550输出的结果，来训练生成器模型540和鉴别器模型550，其中鉴别器模型550从根据基于子空间类型的估计方法估计的DoA信息而输出所述结果。例如，基于子空间类型的估计方法可以是MUSIC算法，并且DoA信息可以是MUSIC结果值。可以如上面参考图4所描述地实施生成器模型540和鉴别器模型550，但是不限于这些实施。

例如，训练设备使用生成器模型540根据低分辨率(LR)训练输入562和参考DB 590来生成临时高分辨率输出570。例如，训练设备通过将低分辨率训练输入562和参考DB 590输入到生成器模型540的输入层和/或中间层、并将该输入顺序地传播到包括在生成器模型540中包括的节点的层，来生成临时高分辨率输出570。生成器模型540中的这种数据传播过程可以类似于上面参考图4所描述的那样来执行。训练设备将生成器模型540输出的临时高分辨率输出570、高分辨率训练GT 561以及根据基于子空间类型的估计方法而估计的DoA信息输入到鉴别器模型550。

训练设备使用鉴别器模型550，基于临时高分辨率输出570、高分辨率训练GT 561以及根据基于子空间类型的估计方法而估计的DoA信息，来输出真实性确定信息。真实性确定信息可以是指示由生成器模型540输出的临时高分辨率输出570相较于作为参考GT的高分辨率训练GT 561是真实还是伪造的信息。训练设备基于真实性确定信息来计算对抗损失，并且基于计算出的对抗损失来训练生成器模型540和鉴别器模型550。训练设备可以单独训练生成器模型540和鉴别器模型550中的一个，或者可以同时或顺序地训练生成器模型540和鉴别器模型550。

在训练完成时，训练设备从分辨率增加模型中移除鉴别器模型550。

作为在训练过程中使用的附加输入的MUSIC结果580可以指示主导信号的位置。因此，当生成器模型540不考虑主导信号的位置如何而生成临时高分辨率输出570时，鉴别器模型550可以容易地确定这种输出是伪造的。因此，为了蒙蔽鉴别器模型550，训练后的生成器模型540可以生成表示DoA信息和充分信息的输出数据，其中该DoA信息在MUSIC中被准确地预测，并且该充分信息可以由更大的天线数据的DBF表示。

参考图6，在GAN架构中完成训练之后，可以从分辨率增加模型中移除鉴别器模型。

如图6中所示，雷达数据处理设备通过雷达传感器基于雷达信号的发送和接收来生成原始雷达数据601。雷达数据处理设备对所生成的原始雷达数据601执行预处理操作612。预处理操作612可以包括间距FFT和DBF，但是不限于此。雷达数据处理设备生成输入雷达数据662作为预处理操作612的结果。例如，输入雷达数据662可以是间距-角度图格式的雷达扫描图像。如图6中所示，雷达数据处理设备使用包括训练后的生成器模型640的分辨率增加模型，根据参考DB690的参考数据以及通过预处理原始雷达数据601而生成的输入雷达数据662来生成高分辨率输出雷达数据670。所生成的高分辨率输出雷达数据670可以具有比输入雷达数据660更高的分辨率。参考数据可以是具有比输入雷达数据660的分辨率更高的分辨率的数据，但是不限于此。参考数据的分辨率可以与输出雷达数据的分辨率相同，但是不限于此。因此，参考数据的分辨率可以高于或低于输出雷达数据的分辨率。

图7和图8示出了根据实施例的通过雷达数据处理设备将参考数据应用于分辨率增加模型的示例。

图7和图8示出了雷达数据处理设备如何根据输入雷达数据来生成输入雷达图像的示例。然而，本公开不限于所示示例，并且雷达数据处理设备可以通过输入雷达数据本身或通过转换输入雷达数据而获得的另一数据格式来提供分辨率增加模型。在图7的示例中，输入雷达图像和参考雷达图像可以是间距-角度图，并且可以指示对象以某一间距和某一角度存在的概率。

在图7的示例中，雷达数据处理设备通过将作为参考数据的参考雷达图像791级联到输入雷达图像701来生成输入数据710。参考雷达图像791的分辨率可以比输入雷达图像701的分辨率高，但是不限于比输入雷达图像701的分辨率高。另外，尽管在本文中将输入数据710描述为通过简单地将输入雷达图像701与参考雷达图像791进行级联而获得的数据，但是本公开不限于这样的示例。例如，作为非限制性示例，输入数据710可以是通过其他合并操作生成的矩阵格式或矢量格式的单个数据。

雷达数据处理设备使用分辨率增加模型740根据输入数据710来生成输出雷达图像作为输出雷达数据。尽管在图7中将分辨率增加模型740示出为包括一个或多个卷积层(例如，卷积层1和卷积层2)、以及一个或多个池化层(例如，池1和池2)，但是本公开不限于所示示例。

在图8的示例中，雷达数据处理设备使用参考特征数据895作为参考数据。例如，参考特征数据895可以是使用特征提取模型从参考雷达图像中提取的特征数据。特征提取模型可以是被配置为提取数据(例如，图像)的特征的模型(例如，神经网络)。在示例中，雷达数据处理设备使用作为分辨率增加模型840的一部分的层841从输入雷达数据801中提取输入特征数据805。尽管在图8中将层841示出为包括至少一个卷积层(例如，卷积层1)、以及至少一个池化层(例如，池1)，但是本公开不限于所示示例。

雷达数据处理设备使用作为分辨率增加模型840的另一部分的层842根据输入特征数据805和参考特征数据895来生成输出雷达数据。例如，雷达数据处理设备可以将在获得输入雷达数据801之前存储的参考特征数据895级联到输入特征数据805。雷达数据处理设备可以使用分辨率增加模型840的层842根据通过将参考特征数据895与输入特征数据805进行级联而获得的数据来生成输出雷达数据。尽管在图8中将层842示出为包括至少一个池化层(例如，池2)，但是本公开不限于所示示例。另外，参考特征数据895和输入特征数据805在抽象级别上可以相同，但是不限于此。例如，应用于参考扫描图像以提取参考特征数据895的卷积层的数量可以与应用于输入雷达扫描图像以提取输入特征数据805的卷积层的数量相同或不同。

因此，雷达数据处理设备可以维持可以代表高级细节或纹理的特征数据，而不是维持原始的参考雷达扫描图像作为参考DB。特征数据可以是例如图像的数据的抽象数据，并且可以是例如特征向量格式。可以减小包括特征数据在内的参考DB的存储器的大小。参考特征数据895可以在获得输入雷达数据801之前被存储在参考DB中。

图9示出了根据实施例的使用高性能雷达传感器来收集参考数据的示例。

在示例中，参考数据可以是在获得输入雷达数据之前由具有比雷达传感器的分辨率高的分辨率的另一雷达传感器获得的雷达数据。

参考图9，参考数据收集设备920包括例如高分辨率数据获取器921和参考数据选择器922。高分辨率数据获取器921可以包括可以生成高分辨率雷达数据的高性能雷达传感器。高性能雷达传感器可能是高端硬件。参考数据选择器922可以通过处理和选择通过高分辨率数据获取器921收集的高分辨率雷达数据来生成参考DB 990。例如，参考数据选择器922可以基于周围环境对高分辨率雷达数据进行分类，并且将分类后的雷达数据存储为参考数据。对于另一示例，参考数据选择器922可以基于雷达传感器的移动方向对高分辨率雷达数据进行分类。

雷达数据处理设备910包括例如雷达数据获取器911、分辨率增加模型912和雷达数据处理器913。分辨率增加模型912和雷达数据处理器913与上面描述的分辨率增加模型和雷达数据处理器相似，因此这里为了简洁将省略对分辨率增加模型912和雷达数据处理器913的更详细和重复的描述。雷达数据获取器911可以包括具有比高分辨率数据获取器921的性能低的性能的雷达传感器。由参考数据收集设备920生成的参考DB 990可以被植入雷达数据处理设备910的存储器中。因此，除了相对低价的雷达传感器之外，雷达数据处理设备910还可以包括与高分辨率雷达数据相关联的参考DB 990。雷达数据处理设备910可以使用分辨率增加模型912根据通过雷达数据获取器911获得的除低分辨率雷达数据之外的高分辨率参考DB 990来生成高分辨率输出雷达数据。雷达数据处理设备910可以基于参考数据的高频分量从低分辨率输入雷达数据中恢复高频分量。参考数据可以由另一雷达传感器获得，该另一雷达传感器的视场(FOV)与雷达传感器的FOV的至少一部分重叠。例如，高分辨率数据获取器921的FOV和雷达数据获取器911的FOV可以相同，但是不限于此。

在示例中，雷达数据处理设备910可以识别雷达数据处理设备910周围的周围环境。在此使用的周围环境可以指与雷达数据处理设备910周围的环境相关联的信息。例如，当雷达数据处理设备910由移动应用或车辆实施时，周围环境可以是例如移动环境信息。例如，当雷达数据处理设备910设置在车辆中时，雷达数据处理设备910可以将车辆行驶的行驶环境识别为移动环境信息。雷达数据处理设备910可以例如识别高速公路行驶状态、城市道路行驶状态、高架道路行驶状态和隧道行驶状态。雷达数据处理设备910可以使用雷达数据来识别移动环境信息。然而，本公开不限于前述示例。例如，雷达数据处理设备910可以基于定位信息(例如，全球定位系统(GPS)信息和加速度信息)和地形图数据来识别车辆的行驶环境。

如上所述，参考数据选择器922可以通过针对每组移动环境信息对参考数据进行分类来生成参考DB 990。雷达数据处理设备910可以在参考DB 990中搜索与所识别的周围环境相对应的参考数据。雷达数据处理设备910可以从参考DB 990中获得与所识别的周围环境相对应的参考数据。例如，当车辆被识别为当前正在高速公路上行驶时，雷达数据处理设备910可以加载被选择为高速公路行驶状态的参考数据，并且将所加载的参考数据与输入雷达数据一起提供给分辨率增加模型912。

图10示出了根据实施例的使用多个雷达传感器来收集参考数据的示例。

参考图10，多个雷达传感器(例如，第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013)被安装在车辆的各个部分中。雷达数据处理设备1000可以基于由第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013感测到的信息，相对于车辆的所有方向、方向(例如，转向角)和相对速度如下计算到目标点的间距。雷达数据处理设备1000可以例如设置在车辆中。车辆可以使用基于第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013收集的信息而获得的信息，来提供有助于车辆行驶的各种功能，例如ACC、BSD和车道变更辅助(LCA)。

如图10中所示，设置在同一移动对象中的第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013可以感测相同或相似的上下文场景。例如，即使第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013的各个FOV不重叠，第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013中的每一个也可以感测连续外部场景1090的一部分。例如，第一雷达传感器1011可以在第一FOV间距1091中感测外部场景1090，第二雷达传感器1012可以在第二FOV间距1092中感测外部场景1090，并且第三雷达传感器1013可以在第三FOV间距1093中感测外部场景1090。在该示例中，即使第一FOV间距1091、第二FOV间距1092和第三FOV间距1093彼此不重叠，第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013也可以取决于移动对象的移动。也就是说，由设置在移动对象(例如，移动终端或车辆)中的第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013感测到的雷达数据可以取决于场景的上下文。如上所述，可以使用由具有不重叠的FOV的其他雷达传感器获得的雷达数据来提高所使用的雷达传感器的雷达数据的分辨率。

例如，第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013中的一个可以获得输入雷达数据，而第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013中的另一个可以获得附加雷达数据。雷达数据处理设备1000可以根据附加雷达数据来生成参考数据。第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013中的一个和第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013中的另一个可以设置在同一移动对象中。

例如，第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013中的每一个可以包括处理器和参考DB，并且第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013可以彼此交换数据。第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013中的一个可以将通过预处理雷达数据和/或从雷达数据中提取的雷达特征数据而获得的结果传输到第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013中的另一个。当生成雷达数据时，第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013可以立即交换数据而没有延迟。然而，本公开不限于前述示例，并且第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013可以按时间间隔交换数据。

另外，雷达数据处理设备1000可以通过中央处理器1020处理由第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013中的每一个收集的雷达数据。例如，可以以使用各种类型的传感器的平台(例如，自动驾驶车辆)来实现雷达数据处理设备1000。在该示例中，中央处理器1020可以对来自第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013的数据进行整理，并且基于整理的结果来控制车辆。中央处理器1020可以使用分辨率增加模型，根据由第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013中的每一个收集的雷达数据并根据参考数据来生成关于每个雷达传感器的FOV的高分辨率输出雷达数据。由于第一雷达传感器1011、第二雷达传感器1012和第三雷达传感器1013中的每一个的雷达数据由中央处理器1020进行处理，因此可以减少数据传输中的开销并可以提高准确性。在此，雷达传感器可以从雷达数据中提取雷达特征数据并将提取到的雷达特征数据传输到中央处理器1020，因此有助于提高数据传输速度。

雷达数据处理设备1000可以使用与单独的雷达传感器相对应的参考DB并使用由另一雷达传感器获得的参考数据，来生成更真实的高分辨率输出雷达数据。

图10的示例示出了传感器级别的单雷达传感器包括参考DB、雷达传感器操作以增加分辨率，因此输出高分辨率雷达数据。在下文中，将详细描述将由具有类似性能的另一雷达传感器获得的雷达数据作为参考数据的示例。例如，将参考图11来描述用于不同用途的雷达传感器之间的数据交换的示例。将参考图12来描述在相邻时间帧中感测同一场景或对象的雷达传感器之间的数据交换的示例。另外，将参考图13来描述从外部服务器检索参考数据的示例。

图11示出了根据实施例的共享FOV的多个雷达传感器中的一些雷达传感器的参考数据的示例。

在示例中，包括与雷达数据的内容相似的内容的另一雷达数据可以用作参考数据，以增加雷达数据的分辨率。

参考图11，雷达数据处理设备可以设置在车辆中，并且包括多个雷达传感器。这些雷达传感器可以被布置为覆盖宽感测区域，例如360度(°)的所有方向。在图11的示例中，第一雷达传感器1111和第二雷达传感器1112可以分别覆盖前感测区域1191和1192。第三雷达传感器1113、第四雷达传感器1114、第六雷达传感器1116和第七雷达传感器1117可以分别覆盖侧感测区域1193、1194、1196和1197。第五雷达传感器1115可以覆盖后感测区域1195。

第一雷达传感器1111至第七雷达传感器1117可以具有各种FOV和感测距离。可以基于雷达传感器设置在移动对象(例如，车辆)中的位置来确定雷达传感器的规格。例如，安装在移动对象前侧的第一雷达传感器1111可以是长距离雷达(LRR)传感器，其具有窄视场、低间距(距离)分辨率(例如，大间距分辨力单位)和低角度分辨率(例如，大角度分辨力单位)。然而，第一雷达传感器1111可以具有长检测间距(距离)且最大可检测速度高。例如，另一种类型的雷达传感器的最大可检测速度为每小时-100公里(km/h)至100km/h，而这种LRR类型的雷达传感器可以具有-300km/h至200km/h的最大可检测速度。这种LRR类型可以用于ACC。安装在移动对象的侧面上的第三雷达传感器1113、第四雷达传感器1114、第六雷达传感器1116和第七雷达传感器1117可以是中等距离雷达(MRR)传感器，其具有中等分辨率和FOV。分别安装在移动对象的前侧和移动对象的后侧的第二雷达传感器1112和第五雷达传感器1115可以是短距离雷达(SRR)传感器，其具有短检测间距(距离)但具有宽FOV、高间距(距离)分辨率和高角度分辨率。MRR和SRR可以用于车辆的停走、ACC、LCA和BSD，并且可以用作备用雷达。

在示例中，雷达数据处理设备可以交换由不同规格的第一雷达传感器1111至第七雷达传感器1117获得的雷达数据，以与由其他雷达传感器获得的雷达数据进行交换，或者雷达数据处理设备的中央处理器可以收集多组雷达数据，从而增加每个雷达数据的分辨率。如图11中所示，被布置为能够进行360°全向感测的第一雷达传感器1111至第七雷达传感器1117中的每一个可以与第一雷达传感器1111至第七雷达传感器1117之中的另一雷达传感器共享部分感测区域和/或FOV。在图11的示例中，第一雷达传感器1111和第二雷达传感器1112可以共享第一重叠感测区域1181。第二雷达传感器1112和第三雷达传感器1113可以共享第二重叠感测区域1182。第三雷达传感器1113和第四雷达传感器1114可以共享第三重叠感测区域1183。类似地，第六雷达传感器1116和第七雷达传感器1117可以共享第四感测区域1184。第七雷达传感器1117和第二雷达传感器1112可以共享第五重叠感测区域1185。

例如，雷达传感器处理设备的第一雷达传感器1111至第七雷达传感器1117之中的另一雷达传感器可以获得附加雷达数据，其中该另一雷达传感器的FOV中的至少一部分与第一雷达传感器1111至第七雷达传感器1117之中雷达传感器的FOV中的至少一部分重叠。雷达数据处理设备可以根据第一雷达传感器1111至第七雷达传感器1117之中的具有重叠FOV的该另一雷达传感器所获得的附加雷达数据来生成参考数据。由第一雷达传感器1111至第七雷达传感器1117之中的具有重叠FOV的该另一雷达传感器感测到的附加雷达数据可以与连续场景的同一局部场景相关联，因此作为参考数据可以具有重要价值，以增加雷达数据的分辨率。图10的示例示出了第一雷达传感器1111至第七雷达传感器1117之中的每个雷达传感器包括参考DB，但是本公开不限于所示示例。例如，第一雷达传感器1111至第七雷达传感器1117之中的每个雷达传感器可以使用从第一雷达传感器1111至第七雷达传感器1117之中的另一雷达传感器传输的雷达数据作为参考数据，而无需预先存储参考数据库。由第一雷达数据库1111至第七雷达传感器1117之中的该另一雷达传感器获得的参考数据可以以原始雷达数据的格式存储和/或传输，但是不限于此。例如，可以从原始雷达数据中以高级特征数据的形式提取参考数据，然后可以进行传输。

图12示出了根据实施例的感测同一对象的多个雷达传感器中的一些雷达传感器的参考数据的示例。

在示例中，为了增加由雷达传感器获得的输入雷达数据的分辨率，雷达数据处理设备可以使用由另一雷达传感器在先前时间帧中获得的先前雷达数据中的、共享雷达传感器的FOV和当前时间帧中的场景中的至少一部分的数据来生成参考数据。也就是说，雷达数据处理设备可以基于移动对象(例如，车辆)的位置信息、雷达传感器的布置信息、移动信息、以及与雷达传感器的感测区域相关联的信息中的一个、或者移动对象(例如，车辆)的位置信息、雷达传感器的布置信息、移动信息、以及与雷达传感器的感测区域相关联的信息中的两个或更多个的组合，来针对当前时间帧中的每个雷达传感器确定在先前时间帧中感测到同一局部场景的另一雷达传感器。雷达数据处理设备可以将由另一雷达传感器在先前时间帧中感测到的雷达数据用作参考数据，以增加由雷达传感器在当前时间帧中获得的输入雷达数据的分辨率。

在图12的示例中，在如图所示地设置有雷达传感器的车辆中，由雷达传感器感测的区域可以由另一雷达传感器基于车辆正在行驶时的移动和经过的时间来感测。例如，当车辆直行时，在第一时间点1201之后的第二时间点1202，第二雷达传感器1212可以感测第一雷达传感器1211在第一时间点1201感测到的场景。在该示例中，第一雷达传感器1211在第一时间点1201获得的雷达数据可以用作参考数据，以增加第二雷达传感器1212在第二时间点1202获得的输入雷达数据的分辨率。在车辆行驶经过一定时间量(例如，短时间)之后，由第一雷达传感器1211感测的局部场景可以与将由第二雷达传感器1212感测的局部场景重叠。

另外，雷达数据处理设备可以使用由另一雷达传感器在先前时间帧中获得的先前雷达数据中的、包括通过雷达传感器在当前时间帧中检测到的对象在内的数据来生成参考数据。在图12的示例中，当在车辆周围检测到目标1290时，雷达数据处理设备可以基于车辆的位置信息、车辆的移动信息、雷达传感器的布置信息、与雷达传感器的感测区域相关联的信息和目标1290的移动信息中的一个、或者它们中的两个或更多个的组合来确定在先前时间帧中感测到目标1290的另一雷达传感器。例如，当车辆直行时，在第一时间点1201之后的第二时间点1202，第二雷达传感器1212可以感测第一雷达传感器1211在第一时间点1201感测到的对象。雷达数据处理设备可以将由另一雷达传感器在先前时间帧中获得的雷达数据作为参考数据，以增加由雷达传感器在当前时间帧中获得的输入雷达数据的分辨率。因此，雷达数据处理设备可以使用相对于同一目标1290在不同时间点感测到的多视点信息作为参考数据。

尽管图12的示例示出了车辆直行的情况，但是本公开不限于所示示例。例如，当车辆右转、左转或掉头时，设置在车辆的前侧、侧面和后侧的雷达传感器可以在不同的时间点从不同的视角感测同一目标1290和/或场景。

图13示出了根据实施例的由雷达数据处理设备1300从外部服务器检索并接收参考数据的示例。

参考图13，雷达数据处理设备1300接收与从雷达数据处理设备1300的外部DB识别出的周围环境相对应的参考数据1331。对于周围环境的更详细的示例描述，可以参考上面参考图9所提供的相关描述。雷达数据处理设备1300可以通过通信器1340与外部服务器1390建立有线或无线的通信，并且可以通过通信器1340访问互联网。例如，雷达数据处理设备1300的处理器1320可以请求与所识别的周围环境(例如，桥梁、隧道和市区)相对应的数据(例如，雷达扫描数据、特征数据等)和/或在外部服务器1390中搜索所述数据。雷达数据处理设备1300将从外部服务器1390接收的参考数据1331存储在存储器1330的参考DB中。因此，雷达数据处理设备1300可以响应于周围环境而自适应地通过Web检索，建立合适或必要的参考DB以升频雷达数据(例如，雷达扫描图像)。另外，雷达数据处理设备1300可以通过与外部服务器1390的通信来更新参考数据1331和分辨率增加模型1332。

除雷达传感器之外，传感器1310还可以包括其他类型的附加传感器。将参考图14来详细描述其他类型的传感器的示例。

图14示出了根据实施例的使用通过各种传感器收集的附加信息作为附加参考数据的示例。

除雷达传感器之外，雷达数据处理设备还可以通过各种传感器收集附加信息，并且将收集到的附加信息用作参考数据。例如，雷达数据处理设备可以基于根据与雷达传感器通用的参考坐标系所布置的红外传感器、图像传感器和激光雷达传感器中的任意一个或它们中的任意两个或更多个的任意组合来获得参考数据。在图14的示例中，可以获得与激光雷达数据相对应的激光雷达图像图1491和与相机数据相对应的相机图像1492作为参考数据。雷达数据处理设备可以校准雷达传感器、激光雷达传感器和相机传感器，因此可以将传感器的坐标系统一为参考坐标系。除了输入雷达数据1410之外，雷达数据处理设备还可以通过将激光雷达图像图1491和相机图像1492应用于分辨率增加模型1420来生成输出雷达数据1480。

图15示出了基于图14的所收集的附加信息将检测对象的结果用作附加参考数据的示例。

雷达数据处理设备可以从上面参考图14所描述的各种附加传感器获得的数据中提取附加信息，并且使用所提取的附加信息。

例如，雷达数据处理设备可以从参考数据中检测对象并对该对象进行分类。在图15的示例中，雷达数据处理设备可以获得相机图像1590作为参考数据，并且从相机图像1590中检测对象并对该对象进行分类。例如，雷达数据处理设备可以计算存在于车辆周围的对象的坐标，并且识别对象(例如，车辆、行人、交通信号灯、障碍物等)的类型。

使用分辨率增加模型1520，除了对对象进行检测和分类的结果1591之外，雷达数据处理设备还可以根据输入雷达数据1510和参考数据来生成输出雷达数据1580。如上面参考图14所描述的，可以基于参考坐标系来布置传感器，因此雷达数据处理设备可以使用目标检测和分类的结果1591，根据除雷达数据以外的信息来生成更高分辨率的输出雷达数据1580。这是因为在输入雷达数据1510中给出了从特定目标点反射的信号所指示的对象类型，例如车辆、自行车和人。例如，通过分辨率增加模型1520，雷达数据处理设备可以生成输出雷达数据1580，同时将基于对象分类的增益赋予输入雷达数据1510中检测到对象的点。

图16示出了根据实施例的被实现为移动应用的雷达数据处理设备1600的示例。

参考图16，可以在移动终端中实施雷达数据处理设备1600。雷达数据处理设备1600可以通过雷达传感器1610感测与用户的身体的至少一部分相关联的雷达数据作为输入雷达数据。

雷达数据处理设备1600的数据预处理器1621可以通过将预处理应用于输入雷达数据来生成输入雷达扫描图像。雷达数据处理设备1600可以使用分辨率增加模型1622，通过参照参考DB 1690根据输入雷达扫描图像来生成输出雷达扫描图像。

雷达数据处理设备1600的应用执行器1623可以基于输出雷达数据来识别用户的手势、身体部位和身份中的一个、或者它们中的两个或更多个的组合，并且指示识别的结果。例如，应用执行器1623可以执行与识别结果相对应的操作(例如，对设备进行解锁)，或者通过显示器使识别结果可视化。

雷达数据处理设备1600可以通过设置在移动终端中的雷达传感器1610获得雷达数据，并且还可以使用相机传感器或红外传感器来获得图像数据。

图17示出了根据实施例的雷达数据处理方法的示例。

参考图17，在操作1710中，雷达数据处理设备通过雷达传感器来获得输入雷达数据。雷达数据处理设备还可以通过除雷达传感器以外的其他传感器收集其他类型的信息。

在操作1720中，雷达数据处理设备使用分辨率增加模型根据输入雷达数据和参考数据来生成具有相较于输入雷达数据的分辨率增加的分辨率的输出雷达数据。

在示例中，雷达数据处理设备可以通过将参考数据与输入雷达数据一起应用于分辨率增加模型来生成具有恢复的精细细节的高分辨率输出雷达数据。雷达数据处理设备可以通过参考存在于参考数据中的丰富纹理和精细细节来恢复更真实的输出雷达数据。如上所述，雷达数据处理设备可以通过参考数据自适应地应用高分辨率纹理以恢复高分辨率输出数据。因此，可以减少增加分辨率时的不适的问题。

然而，雷达数据处理方法可以不限于上面参考图17所描述的方法，并且可以与上面参考图1至图16所描述的操作中的一个或多个并行或顺序地执行。

图18示出了根据实施例的训练设备1800的示例。

参考图18，训练设备1800包括例如处理器1810和存储器1820。

处理器1810可以基于与形成原始雷达数据的多个维度中的一个维度相关联的信息根据原始原始雷达数据来生成高分辨率训练GT 1842和低分辨率训练输入1841。例如，处理器1810可以从原始雷达数据中选择要用于训练的数据，并且通过预处理所选择的数据来生成高分辨率训练GT 1842和低分辨率训练输入1841。处理器1810可以训练分辨率增加模型1830，使得根据低分辨率训练输入1841和参考数据来输出高分辨率训练GT 1842。

例如，训练设备1800的处理器1810可以基于低分辨率训练输入1841、高分辨率训练GT 1842和参考数据来训练分辨率增加模型1830。在该示例中，训练设备1800可以基于临时分辨率增加模型1830根据低分辨率培训输入1841和参考数据来生成临时高分辨率输出。在此，临时分辨率增加模型1830可以指示训练完成之前的分辨率增加模型1830，并且临时高分辨率输出可以指示训练完成之前的分辨率增加模型1830的输出。训练设备1800可以基于预定义的损失函数来计算临时高分辨率输出与高分辨率训练GT 1842之间的损失。训练设备1800可以基于通过计算获得的损失来训练分辨率增加模型1830。例如，训练设备1800可以通过例如反向传播来更新分辨率增加模型1830的参数，使得损失最小化。然而，训练的方法不限于前述示例，并且可以基于神经网络的架构来应用各种训练方法。例如，可以将上面参考图18描述的训练应用于分别在图4、图7和图8中所示的分辨率增加模型400、740和840，并且可以将上面参考图5所描述的训练应用于图6中所示的分辨率增加模型。

存储器1820可以存储分辨率增加模型1830。另外，存储器1820可以暂时或半永久地存储参考DB、训练数据1840和训练分辨率增加模型1830所需的数据。例如，存储器1820可以存储基于分辨率增加模型1830根据训练输入1841和参考数据计算出的临时高分辨率输出。训练数据1840可以包括由训练输入1841和训练GT 1842构成的对。例如，当训练完成时，用于训练的参考数据也可以用于生成输出雷达数据。

图19示出了根据实施例的雷达数据处理设备1900的示例。

参考图19，雷达数据处理设备1900可以是被配置为使用上述雷达数据处理方法来处理雷达数据的计算设备。在示例中，计算设备1900可以对应于上面参考图2所描述的雷达数据处理设备200。计算设备1900可以是例如图像处理设备、智能电话、可穿戴设备、平板计算机、上网本、膝上型计算机、台式计算机、个人数字助理(PDA)、头戴式显示器(HMD)、无人机、自动驾驶汽车等。

参考图19，计算设备1900包括处理器1910、存储设备1920、传感器1930、输入设备1940、输出设备1950和网络接口1960。处理器1910、存储设备1920、传感器1930、输入设备1940、输出设备1950和网络接口1960可以通过通信总线1970彼此通信。

处理器1910可以执行计算设备1900中的功能和指令。例如，处理器1910可以处理存储在存储设备1920中的指令。处理器1910可以执行上面参考图1至图18所描述的操作中的一个或多个或全部。

存储设备1920可以存储处理器1910所需的信息或数据以进行处理。存储设备1920可以包括非暂时性计算机可读存储介质，例如随机存取存储器(RAM)、动态RAM(DRAM)、静态RAM(SRAM)、磁硬盘、光盘、闪存、电可擦可编程只读存储器(EPROM)、软盘以及在相关技术领域中公知的其他类型的计算机可读存储介质。存储设备1920可以存储要由处理器1910执行的指令，并且可以当计算设备1900正在执行软件或应用程序的同时存储相关信息。

除雷达传感器以外，传感器1930还可以包括其他各种类型的传感器，包括例如激光雷达传感器、相机传感器和红外传感器。

输入设备1940可以通过触觉输入、视频输入、音频输入或触摸输入来接收来自用户的输入。输入设备1940可以包括例如键盘、鼠标、触摸屏、麦克风和/或可以检测来自用户的输入并发送检测到的输入的其他设备。

输出设备1950可以通过视觉、听觉或触觉通道将计算设备1900的输出提供给用户。输出设备1950可以包括例如显示器、触摸屏、扬声器、振动生成器和/或可以向用户提供输出的其他设备。

网络设备1960可以通过有线或无线网络与外部设备通信。

在示例中，输出设备1950可以使用视觉信息、听觉信息和触觉信息中的任意一个或任意两个或更多个的任意组合向用户提供处理雷达数据的结果。例如，当计算设备1900设置在车辆中时，计算设备1900可以生成结果数据，该结果数据包括以下项中的任意一个或它们中的任意两个或更多个的任意组合：检测存在于雷达数据处理设备周围的对象的结果、跟踪对象的结果、识别对象的结果、附近图和输出扫描图像。输出设备1950可以通过显示器使结果数据可视化。对于另一示例，计算设备1900可以基于从输出雷达数据中获得的结果数据来改变设置有计算设备1900的车辆的速度、加速度和转向中的任意一个或它们中任意两个或更多个的任意组合。

尽管在本文中将传感器(例如，传感器1930)主要描述为雷达传感器，但是也可以通过激光雷达传感器来实施该传感器。在这种情况下，上面参考图1至图18所描述的雷达数据可以被激光雷达数据代替。例如，数据处理设备可以通过激光雷达传感器获得输入激光雷达数据，将向分辨率增加模型提供输入激光雷达数据以及参考数据，并且生成输出激光雷达数据。

通过被配置为执行本申请中所描述的操作(这些操作由该硬件组件执行)的硬件组件来实现雷达数据获取器210和911、分辨率增加模型220、740、840、912、1420、1520、1622和1830、雷达数据处理器230和913、啁啾发射器311、频谱分析器316、神经网络400、生成器模型540和640、鉴别器模型550、高分辨率数据获取器921、参考数据选择器922、中央处理器1020、处理器1320、1810和1910、存储器1330和1820、通信器1340、外部服务器1390、数据处理器1621、应用执行器1623、存储设备1920、网络接口1960、通信总线1970、以及图1至图19中的执行本申请中所描述的操作的其他处理器、其他存储器、其他组件和设备。在适当的情况下可用于执行本申请中所描述的操作的硬件组件的示例包括控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器、以及被配置为执行本申请所述的操作的任何其他电子组件。在其他示例中，用于执行本申请中所描述的操作的一个或多个硬件组件由计算硬件(例如，由一个或多个处理器或计算机)实现。处理器或计算机可以由一个或多个处理元件(例如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器、或被配置为以定义的方式响应并执行指令以实现期望的结果的任何其他设备或设备的组合)来实现。在一个示例中，处理器或计算机包括(或连接到)存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可以执行指令或软件，例如，操作系统(OS)和在OS上运行的一个或多个软件应用，以执行本申请中描述的操作。硬件组件还可以响应于指令或软件的执行来访问、操纵、处理、创建和存储数据。为了简洁起见，在本申请中描述的示例的描述中可以使用单数术语“处理器”或“计算机”，但是在其他示例中可以使用多个处理器或计算机，或者处理器或计算机可以包括多个处理元件、或多种类型的处理元件、或两者兼有。例如，单个硬件组件或者两个或更多个硬件组件可以由单个处理器、或两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可以由一个或多个处理器、或处理器和控制器来实现，并且一个或多个其他硬件组件可以由一个或多个其他处理器或另一处理器和另一控制器来实现。一个或多个处理器或者处理器和控制器可以实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可以具有不同的处理配置中的任一种或多种，所述处理配置的示例包括单处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理、和多指令多数据(MIMD)多处理。

执行本申请中所描述的操作的图1至图19中所示出的方法由计算硬件执行，例如由一个或多个处理器或计算机执行，其中计算硬件如上所述地实现为执行指令或软件以执行本申请中所描述的由这些方法执行的操作。例如，单个操作或者两个或更多个操作可以由单个处理器、或者两个或更多个处理器、或者处理器和控制器执行。一个或多个操作可以由一个或多个处理器或者处理器和控制器执行，并且一个或多个其他操作可以由一个或多个其它处理器或者另一处理器和另一控制器执行。一个或多个处理器或者处理器和控制器可以执行单个操作或者两个或更多个操作。

用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件可以被编写为计算机程序、代码段、指令或其任何组合，用于单独或共同指示或配置一个或多个处理器或计算机以作为机器或专用计算机操作，从而执行由上述硬件组件和方法执行的操作。在一个示例中，指令或软件包括由一个或多个处理器或计算机直接执行的机器代码，例如由编译器产生的机器代码。在另一个示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的更高级的代码。可以基于附图中所示的框图和流程图以及说明书中的对应描述来容易地编写指令或软件，其中公开了用于执行由硬件组件和如上所述的方法执行的操作的算法。

用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构可以被记录、存储或固定在一个或多个非暂时性计算机可读存储介质之中或之上。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘、以及被如下配置的任何其它装置：以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构，并且向一个或多个处理器或计算机提供指令或软件以及任何相关联的数据、数据文件和数据结构，使得一个或多个处理器或计算机可以执行该指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得一个或多个处理器或计算机以分布方式存储、访问和执行所述指令和软件以及任何相关联的数据、数据文件和数据结构。

尽管本公开包括特定示例，但是在理解了本申请的公开内容之后将显而易见的是，在不脱离权利要求及其等同物的精神和范围的情况下，可以对这些示例进行形式和细节上的各种改变。本文中所描述的示例应仅被认为是描述性的，而不是为了限制的目的。每个示例中的特征或方面的描述被认为适用于其他示例中的类似特征或方面。如果所描述的技术以不同的顺序执行和/或如果所描述的系统、架构、设备或电路中的组件以不同的方式组合和/或被其他组件或其等同物替换或补充，则可以实现合适的结果。

因此，本公开的范围不是由具体实施方式限定，而是由权利要求书及其等同物限定，并且在权利书要求及其等同物的范围内的所有变化都被解读为包括在本公开中。