具体实施方式

在下面对所示实施方案的详细描述中，参考形成其一部分的附图，并且其中仅通过说明而非限制方式来示出可实践本发明的具体实施方案。应当理解，可利用其他实施方案，并且可在不脱离本发明的各种实施方案的实质和范围的情况下进行改变。

根据本公开的原理的实施方案涉及在由于成本和RF暴露问题而不能在产品中嵌入无线电或RFID标签的至少一些情况下监测相对低成本的消费产品的使用。如下所解释，如果可通过非视频手段识别涉及这些类型的产品的活动，则可推断出有用信息(例如，用于补货的使用数据)。此类产品的示例包括牙刷、毛发刷和容器，诸如容纳衣物洗涤剂、洗发剂、牙膏等等的那些容器。

一般来讲，室内雷达已在研究和商业应用中用来分析人和对象。对于人，可使用被称为微多普勒效应(由于反射雷达信号的对象的运动而引起的非常小的频率偏移)的现象来推断活动，诸如行走、跑步、跌倒、心跳、呼吸等。然而，可能难以准确地测量和解读来自这些活动的信号，尤其是对于雷达可能看起来相同的活动。术语“微运动”通常用于指相对于较大对象(例如，人的躯干)移动的肢体(例如，腿、手臂、手)的运动。微运动特征可用于推断被监测的人员可能正在进行的活动。

谐波标签可以制作得很小，并且通常仅由一段弯曲的线材和非线性电元件(比如二极管)组成。在某些情况下，谐波标签已被用于检测存在。谐波标签是接收一个频率(例如，基频)的电磁能量但随后以第二频率重新发射电磁能量的标签。通常，重新发射或重新辐射的能量的第二频率是基频的谐波。

由于谐波标签以不同频率重新发射，因此其存在性可与处于基频的雷达回波清楚地区分开，该雷达回波可由反射、相长干涉和相消干涉等组成。如下所述，谐波标签可与特定对象相关联或附接到特定对象。因此，来自标签的返回雷达数据中的对象的存在或运动可用于细化对涉及该对象的活动的估计。

另外，谐波标签可被制成以不同频率谐振。通过以不同频率发射并监测不同的标签何时“出现”或“消失”，可识别唯一的对象。

现在参考附图并且具体地参考图1A，示出了根据本公开的原理的可实施谐波标签和多普勒雷达的一般环境。

消费者104在第一区域100(诸如厨房、洗衣房、浴室等)中使用产品102。在以下描述中，以使用牙刷作为用户可能进行的活动的示例。仅通过示例方式提供牙刷，并且在本发明的范围内，预期使用许多不同的产品。

产品102(例如，牙刷)可包括谐波标签103。通常，谐波标签103以不显眼的方式附接到产品102。术语“不显眼”旨在表示标签103不妨碍或不影响产品103的正常使用。谐波标签103可在产品102被出售给消费者之前由制造商附接，或者谐波标签103可为在产品102已由消费者104获得之后附接到产品102的单独物品。

第一区域100可包括不具有附接或相关联的谐波标签的其他对象和家具106。如下所述，雷达108用于以一个频率将能量作为连续波或脉冲波进行辐射，并且可检测所得的返回信号。返回信号可包括具有发射信号的频率的信号，并且由于谐波标签的缘故，返回信号可包括具有一定频率的信号，该信号为发射信号的谐波。另外，雷达108可例如通过扫过离散频率而以多个频率辐射信号，从而产生各自处于不同频率的多个返回信号。

雷达108可包括处理返回信号并分析返回信号的处理器或计算机110。还预期处理器或计算机110可与雷达108分开但耦接到雷达108，以便从雷达108接收信号。如下所解释，对返回信号的分析可用于推断涉及具有相关联的谐波标签103的产品102的活动或移动事件。

图1B示出了关于所示实施方案的雷达108的更多细节。具体而言，雷达108具有以一个或多个不同的基频辐射或发射电磁能量的发射器区段122。如图1B所示，通过示例方式示出了四个不同的基频130A至130D。因此，出于示例目的，还示出了四个不同的谐波标签128A至128D。在雷达108中，针对每个基频可包括单独的发射器，或者作为替代方案，可使用扫过不同基频的单个多频发射器区段。扫过频率意味着单独地发射每个基频持续预定时间段(例如，0.5秒或2.0秒等)，并且然后重复基频信号的发射。

雷达108具有用于接收由基频信号产生的返回信号的接收区段。一个接收器区段124将可能被调谐为接收处于基频且由发射的基频信号130A至130D的反射引起的返回信号132A至132D。不同的接收器区段126将被调谐为接收作为发射的基频信号130A至130D的谐波的返回信号134A至134D。第一区域100内存在谐波标签将产生可由雷达108检测到的返回谐波信号。如果第一区域100中不存在谐波标签，则不会重新辐射处于谐波频率的返回信号来被雷达108检测到。标签128A至128D中的每一者可与基频130A至130D中的一者相关联，使得标签128A至128D能够生成作为发射的基频信号130A至130D的谐波的相应返回信号134A至134D。根据这些返回信号134A至134D，雷达108可检测到不同的多个产品的存在。另外，下文提供了使用带有附接的谐波标签的对象来推断人的活动的示例。将不同的谐波标签用于不同的对象允许推断与每个不同对象的使用相关的相应活动。不同的活动可同时发生或可彼此在不同的时间单独发生。

图1C示出了根据本公开的原理的关于示例雷达108A的细节。与图1B的示例不同，图1C的雷达108A被示出为发射单个基频。发射器150发射具有基频的第一信号160，以此方式使得天线122A将该信号引导至产品102所在的第一区域。谐波标签103与对象102相关联，并且对象102正在运动中，如图1C中的“V”向量所指示。因此，雷达108A检测到两个返回信号。一个返回信号162是反射的基频信号并且被天线124A检测到。在所示的示例电路中，返回信号162可由滤波器156滤波，以消除不需要的频率分量，诸如高于或低于基频的频率。换句话讲，返回信号可穿过以基频为中心的带通滤波器。然后，经滤波的信号可在混频器154中与发射的第一基频信号160混合。以这种方式将这两个信号组合去除了基频分量，从而得到以0Hz为中心的基带时域信号。

众所周知，人104和对象102的移动使得基波返回信号162包括指示由于该运动而引起的轻微多普勒频移的分量。虽然对象102和人104的运动均可促成基波返回信号162，但是人104的移动更多地促成了基波返回信号162。因此，对基波返回信号162的分析允许确定人104如何移动。经过多普勒频移的基波返回信号162包括对应于基频的分量以及对应于由人104的运动引起的多普勒频移的分量。经过多普勒频移的基波返回信号具有频率f_RS＝f(1+2v/c)，其中f是以Hz为单位的基频，c是以m/s为单位的光速，并且v是以m/s为单位的人的速度。如上所述，经过多普勒频移的基波返回信号162由滤波器156滤波，然后在混频器154中与发射的第一基频信号160混合。同样如上所述，以这种方式将两个信号组合去除了基频分量，从而得到以0Hz为中心的基带时域信号。

可使用众所周知的短时傅立叶变换(STFT)166来处理该基带时域信号。这样，可处理基波返回信号162的一系列单独的时间片段(例如，两秒)并将其转换为频域信号。结果获得基波功率谱图178，该基波功率谱图包括由于使用对象102的人104的运动而产生的基波返回信号162中的频率分量及其对应振幅。人104朝向天线158的移动产生一个方向上的多普勒频移(例如，正号)，并且人104远离天线158的移动产生第二方向上的多普勒频移(例如，负号)。在基波功率谱图178中，频率值提供关于人104的移动速度的信息，并且频率振幅值提供关于频率值的“确定性”的信息。例如，功率谱图178可指示具有非常高振幅的约20Hz的频率分量和具有相对较低振幅的约10Hz的频率分量的存在。对该振幅信息的自动化分析可确定由于较高振幅，该20Hz频率分量不是由于噪声、干扰或雷达的信号检测电路的一些其他伪影所造成的。然而，关于10Hz频率分量可能存在一些不确定性，因为其振幅较低，使得自动化分析过程可确定10Hz频率分量实际上可能不存在于基波功率谱图177中。如上所述，基波功率谱图中存在频率分量指示人的移动，并且更具体地，指示该移动的速度。移动的持续时间(即，速度随时间的积分)可提供对人的移动的量或大小的粗略估计值(例如，6cm)。

图1C的雷达还包括从谐波标签103接收谐波返回信号176的天线126A，该返回信号176包括指示由于对象102的运动而引起的轻微多普勒频移的分量。虽然是提供谐波返回信号的标签，但标签附接到对象102。因此，谐波返回信号176指示对象102的移动。经过多普勒频移的谐波返回信号176包括对应于谐波频率的分量以及对应于由对象102的运动引起的多普勒频移的分量。谐波返回信号176具有频率f_HRS＝nf(1+2v/c)，其中n是谐波的数量(例如，2)，f是以Hz为单位的基频，c是以m/s为单位的光速，并且v是以m/s为单位的人的速度。该谐波返回信号176也可诸如使用带通滤波器进行滤波170，并且与作为基频的对应谐波的信号混合。如果标签103以第二谐波重新辐射能量，则使用频率倍增器164来生成第二谐波并且将其馈送到混频器168中。类似于上述操作，谐波返回信号176被转换为在约0Hz波动的基带信号，该基带信号可通过众所周知的短时傅立叶变换STFT 174进行转换以产生谐波功率谱图180，该谐波功率谱图包括由于对象102的运动而产生的谐波返回信号176中的频率分量及其对应振幅。对象102朝向天线172的移动产生一个方向上的多普勒频移(例如，正号)，并且对象102远离天线172的移动产生第二方向上的多普勒频移(例如，负号)。

图1D示出了根据本公开的原理的谐波标签103的一个示例几何形状。具体而言，图1D示出了可构建在层压基板上的双频带缝隙偶极天线，该层压基板是诸如可从RogersCorporation(罗杰斯公司)以RO3003商购获得的厚度为1.52mm的高频电路材料。天线可由17μm厚的铜层压件构造。基板的总尺寸可为9.7cm×2.8cm。如图1D所示，顶部水平支腿可具有2mm的高度和19.5mm的长度。竖直连接区段可具有11mm的长度和3.8mm的高度。底部水平支腿可具有1mm的高度和31mm的长度。底部竖直元件可具有11.2mm的高度和1mm的长度。

因此，该示例谐波标签103包括天线105和与天线105耦接的基板184。天线105分别包括顶部部分180和底部部分182。底部部分182被设计为接收发射信号(例如，2.5GHz)，并且顶部部分180被设计为发射或重新辐射具有发射信号的谐波频率(例如，5GHz)的信号。在该示例中，二极管184连接在限定天线105的底部部分182的两个支腿182A和182B之间。天线105可由如上所述的铜层压件或由允许接收和发射电磁能的导电材料(诸如铜、镍、锡、银、铝、锌和/或它们的合金)构造。基板184使得标签103能够方便且不显眼地附接到多种对象。如上所述，基板184可由RO3003材料构造或可包括聚酯、聚酰亚胺或类似材料，并且天线105可使用粘合剂(诸如丙烯酸压敏粘合剂)耦接到基板184。

如上所述，参考图1A至图1C描述的雷达和谐波标签的一个用途是确定移动事件和/或消费者正在使用具有相关联或附接的谐波标签的产品的活动。例如，关于图1C的实施方案，通过确定由雷达天线124A接收到的基波返回信号162中的多普勒频移信息来检测人104的运动。通过确定由雷达天线126A接收到的谐波返回信号176中的多普勒频移信息来检测对象102的运动。返回信号(任一个)可被分成时间片段(例如，约2秒)，并且每个时间片段将包括多普勒相关信息。可使用众所周知的STFT来处理每个时间片段以产生功率谱图的对应部分。STFT是一系列(可能重叠的)傅立叶变换还有窗口函数(例如汉明窗口函数)，以减小将信号的有限区段从一系列中拉出的开始/结束效应。STFT提供活动的时间线。STFT将必须具有适合活动的时间片段。术语“适合”取决于可检测到的活动。例如，当人在刷牙时，可每1秒发生一对牙刷行程(即，各自在相反方向上的一个行程)。适合的时间片段将为约0.5秒至1秒。各自具有该持续时间的一系列时间片段将允许捕获多对牙刷行程作为单独的移动事件。与STFT相比，更常规的傅立叶变换将捕获所有频率信息，但可能隐藏单个“事件”。各个STFT时间片段可按顺序排列以显示对象或人在较长的时间段(例如，5至45秒)内如何移动。如上所述，基波功率谱图涉及人104的移动，而谐波功率谱图涉及对象102的移动。该多普勒信息包括人或对象经历的运动量的信息。例如，存在于返回信号中的多普勒频移频率可对应于对象(或人)移动的速度，存在于返回信号中的各种频率的振幅可指示实际上存在特定频率的置信度或确定性，并且返回信号的周期性(如果有的话)可以指示特定频率分量的连续出现之间的时间间隔。例如，当消费者使用具有附接的标签的牙刷时，谐波返回信号的一系列时间片段可指示谐波标签以2Hz来回移动，其中最大速度为约1m/s。单个时间片段可提供关于单个刷行程或一对刷行程的信息，但可能未反映关于连续刷行程的周期性或多个刷行程中的峰值速度的信息。然而，可分析多个STFT时间片段以确定多个刷行程中的峰值速度以及在由一系列STFT时间片段构成的功率谱图内是否存在与任何频率分量相关联的周期性。时间片段的序列可被排列为指示每2秒重复一次来回运动。可从返回信号中提取的该信息可被视为定义刷牙的“特征”。每当在稍后的时间捕获具有与刷牙特征类似的特性的返回信号时，计算机可推断正在发生人类相关的刷牙活动。

通过推断涉及产品的人类相关活动(即，产品活动)，那么可确定产品的使用。刷牙、梳头发、整理头发、刮胡子、提起容器、使用纸巾等都是涉及可附接谐波标签的产品的人类相关活动的示例。该信息可用于确定何时可能需要补充或替换产品。

图2A至图2C各自是根据本公开的原理的结合消费产品使用谐波标签的高级视图的示例流程图。后面的附图提供了在图2A至图2C的流程图中列出的一般步骤的进一步细节。

从图2A的步骤202开始，提供具有附接的谐波标签的第一产品，使得产品供人使用。在步骤204中，在产品所在的第一区域处引导发射信号。由于期望检测到消费者正在使用的对象的运动，因此发射信号的指向可在与可能如何使用产品相称的方向和高度上。发射信号具有可方便地标记为基频的第一频率。发射信号可为始终在发射的连续波(CW)信号或周期性地发射持续限定时间段(例如，每1.0秒发射0.2秒或每0.1秒发射0.02秒)的脉冲波信号。另选地，发射信号可由在通电以发射该发射信号之前也检测到第一区域中的人的存在(例如，被动红外检测)的系统提供。

诸如图1D所示的谐波标签被设计为接收基频信号并且辐射具有第二频率的返回信号，该第二频率为基频的谐波。因此，在步骤206中，从谐波标签接收返回信号，该谐波标签在接收到发射信号后辐射返回信号。步骤204和206可由常规的雷达电路执行。

处理器、计算机或其他类型的处理设备(诸如，微处理器，诸如可得自TexasInstruments(德州仪器)的Sitara^TM系列中的一种，或应用处理器，诸如也可得自TexasInstruments的OMAP^TM系列中的一种，或数字信号处理器，诸如也可得自Texas Instruments的C6000系列，或微控制器，诸如可得自STMicroelectronics(意法半导体公司)的STM32^TM系列中的一种)可以结合到雷达中，或者可以是单独的处理器、计算机或其他处理设备，使得雷达向单独的处理器、计算机或其他处理设备提供返回信号。如上所讨论，随着谐波标签移动，辐射的谐波返回信号可以发生多普勒频移(正向和负向)，而不是简单地为基频的纯谐波。通过从谐波返回信号中消除谐波频率，产生将随着标签正在移动随时间变化的基带信号。信号中存在变化指示标签和对象正在移动。静止标签的返回信号将不包括由于多普勒频移到辐射信号而引起的变化。如上所述，可使用STFT从谐波返回信号来构建谐波谱图。使用处理器、计算机或其他处理设备的自动化过程可通过分析谐波谱图中存在的像素值来确定谐波标签(或其所附接的对象)是否在移动。如果不存在对象的移动，则谐波谱图中高于或低于0Hz的任何频率分量的振幅将基本上为零。然而，如果存在对象的移动，则谐波谱图的一个或多个频率分量将具有非零振幅。普通技术人员将认识到，可应用预定阈值，使得振幅值(即，谐波谱图中的像素值)低于预定阈值的频率分量仍然被认为不存在，即使该振幅值不精确为0。接收和处理电路的噪声、干扰和其他非预期伪影可能无意中导致谐波谱图的频率分量具有非零但非常小的振幅值，即使该频率分量实际上不是由对象移动产生的。可相对于基波谱图的像素数据执行类似的分析，以确定或检测是否存在与人相关联的移动。

如上所讨论，标签和对象的移动可例如通过谐波谱图来表征，该谐波谱图包括谐波返回信号的基带型式中的不同频率以及它们的振幅的时间线。可捕获活动(例如刷牙)的多个样本以及它们相应的谱图。不同的样本可涉及不同年龄和体型的多个人。可将对应于样本活动的这些谱图中的一个或多个与最近捕获和产生的谐波谱图进行比较，以看看最近捕获的谐波谱图是否与对应于样本活动的一个或多个谱图中的一个类似。可针对多种不同的样本活动(诸如刮胡子、刷牙等)生成不同的谱图，并且因此可将最近捕获和产生的谱图与对应于样本活动的不同谱图进行比较，以确定与最近捕获的谱图类似的谱图。因此，在步骤208中，计算机或处理器可基于涉及关于谐波标签的移动的信息的谐波返回信号和所得的谐波谱图来推断正在使用附接有谐波标签的产品的活动。

关于将一个谱图与另一个谱图进行比较或将最近捕获的谱图的一部分与对应于样本活动的一个或多个其他谱图进行比较，可利用常规的图像分析技术，诸如例如互相关。对于图像和模板的亮度可由于光照和曝光条件而变化的图像处理应用，可首先将图像归一化。这通常在每个步骤中通过减去平均值并除以标准偏差来完成。也就是，模板t(x,y)与子图像f(x,y)的互相关为

其中n为t(x,y)和f(x,y)中的像素的数量，μ_t为t(x,y)的平均值，μ_f为f(x,y)的平均值，σ_t为t(x,y)的标准偏差，并且σ_f为f(x,y)的标准偏差。普通技术人员将容易认识到，也可在不明确减去上述公式中的平均值μ_t和μ_f的情况下计算互相关。归一化相关是用于模板匹配的方法之一，是用于发现图像内的图案或对象的发生率的过程。将模板移动到已知活动的谱图的不同位置，并在每个不同位置计算互相关值。根据本公开的原理，电流谱图或电流谱图的一部分(基波或谐波)可被认为是与已知活动的谱图进行比较的模板。高于预定阈值的互相关分数指示电流谱图或电流谱图的一部分的图像特征与已知活动的谱图中的特征类似。这样，可从用于产生电流谱图的谐波标签的返回信号推断使用具有附接的谐波标签的对象的人的活动。

图2B的流程图描绘了用于推断关于附接谐波标签的产品的使用量的信息的方法。“使用量”的含义将根据产品的类型而变化。剃刀的使用量可涉及其被使用多少次，其中每次“使用”对应于剃刀从原始位置移动并返回到原始位置，或者可涉及剃刀已经行进多远，即，距离。牙膏容器的使用量可涉及其从原始位置移动并返回到原始位置的频率。牙刷的使用量可涉及检测到多少次不同的刷行程。使用量也可涉及特定时间段。对于空气清新器，相关的时间段(和使用量)可为更换盒罐之后的固定时间段(例如，3个月)。牙刷的相关时间段可为开放式的，但将在首次使用产品时开始测量。

类似于图2A的流程图，图2B的流程图从步骤230开始，其中第一频率或基频的发射信号被引导至具有附接的谐波标签的产品所在的第一区域。如前所述，谐波标签被设计为接收基频信号并且辐射具有第二频率的谐波返回信号，该第二频率为基频的谐波。因此，在步骤232中，从谐波标签接收谐波返回信号，该谐波标签在接收到发射信号后辐射谐波返回信号。步骤230和232可由常规的雷达电路执行。

在步骤234中，计算机可基于谐波返回信号和其中包含的多普勒信息来确定谐波标签的一个或多个移动事件。类似于上面关于“使用量”的讨论，术语“移动事件”可根据附接有谐波标签的产品而变化。将封盖拧到容器上或从容器拧下(即，封盖移动经过预定角度)可定义移动事件。确定容器(例如，用于衣物洗涤剂)已从原始位置移动和/或回到原始位置可包括该类型产品的一个或多个移动事件，即，容器从原始位置移动到诸如在洗衣机上或附近的另外位置可包括一个移动事件，并且容器从洗衣机上或附近移动回到原始位置可包括另一个移动事件。还预期一个或多个移动事件可包括活动，例如其中衣物洗涤剂容器的两个移动事件可包括消费者对衣物洗涤剂容器的一次使用的单一活动。剃刀的移动事件可为在一个或多个方向上的一个或多个不同行程中的每一个。可在特定时间段内确定移动事件。通常，该时间段将在消费者首次使用产品时开始并且将持续到产品被更换或补充为止。首次检测到谐波标签的存在可为计算机或处理器自动确定该时间段应开始的一种方式。另选地，设想一种系统，其中消费者可使用用户界面来指示产品的用于检测移动事件的时间段应开始。例如，图形用户界面屏幕可列出在第一区域中检测到的产品，并且允许消费者选择适当的产品并选择重置或开始要检测移动事件的时间段。

本文提供了描述可如何从谐波返回信号或谐波返回信号与基波返回信号的组合推断活动的示例。相对于“移动事件”，并且如上所述，活动可包括一个或多个移动事件。如上所讨论，在一个示例中，用户的活动可为在两个位置之间移动洗涤剂容器。在这种情况下，第一移动事件也可被定义为将洗涤剂容器从原始位置移动到另一位置，并且第二移动事件可通过将洗涤剂容器从另一位置移动回到原始位置来定义。因此，本文所述的与推断活动有关的技术和方法同样适用于推断或确定移动事件。在其他情况下，活动可被定义为“刷牙”。该活动可由多于一个移动事件构成。例如，单个移动事件可被定义为在一个方向上的刷行程，单个移动事件可被定义为在每个方向上具有一个行程的一对相继发生的刷行程，或者两个移动事件可被定义为在每个方向上具有一个行程的一对相继发生的刷行程。如上所述，可用已知活动的功率谱图，以便与最近捕获和生成的功率谱图进行比较来推断活动。以类似的方式，已知的功率谱图可提供更精细的粒度，使得可用与对应的已知或定义的移动事件相关联的功率谱图。因此，本文所述的与推断活动有关的技术和方法同样适用于基于返回信号(例如，谐波返回信号)来推断或确定移动事件。

基于在对应于使用具有谐波标签的产品的时间段内所确定的移动事件，在步骤236中，计算机可推断与该谐波标签相关联的产品在该时间段期间的累计使用量。此类信息可被显示给消费者(使用上述GUI)，该信息可被收集并发送到无线设备，或者该信息可被收集并传输到商店、分销商、制造商或其他数据收集器，以便可能在适当情况下自动化购买补货产品。

图2C是建立在图2B的流程图的许多概念上的方法的流程图。首先，在步骤250中，将值存储在计算机中，该值指示或表示什么被认为是附接有谐波标签的产品的定义的有用生命周期。

类似于图2A的流程图，图2C的流程图包括步骤252，其中第一频率或基频的发射信号被引导至具有附接的谐波标签的产品所在的第一区域。如前所述，谐波标签被设计为接收基频信号并且辐射具有第二频率的返回信号，该第二频率为基频的谐波。因此，在步骤254中，从谐波标签接收谐波返回信号，该谐波标签在接收到发射信号后辐射谐波返回信号。步骤252和254可由常规的雷达电路执行。

在步骤256中，处理器或计算机可基于谐波返回信号和其中包含的多普勒信息来确定谐波标签的一个或多个移动事件，类似于上文关于图2B的讨论。然而，在步骤256中，确定移动事件的时间段被定义为从产品的当前生命周期中的最早确定的移动事件开始的时间段。在步骤258中，通过累加在该时间段期间发生的不同移动事件的计数来表示在该时间段期间发生的移动事件的数量。最后，在步骤260中，累加计数并存储指示所定义的有用生命周期的值的计算机可使用这两个数据元素来确定产品的所定义的有用生命周期是否已到期。

图3描绘了幅度谱图(诸如图1C的谐波谱图180或图1C的基波谱图178)的简化示意表示302。一旦基波返回信号162或谐波返回信号176已经下变频，任一谱图178、180就将具有与示意表示302中所示的类似的结构。

纵轴304表示以Hz为单位的频率，并且横轴306表示时间。如上所述，可对返回信号(基波或谐波)进行滤波和下变频以产生时域基带信号。时域基带信号的短部分可通过短时傅立叶变换进行操作，以产生以图3的谱图表示302排列的一系列频域样本。谱图信号300表示返回信号中的微多普勒频移信息。在底部部分310中，多普勒频移频率为负，这对应于远离发射器的移动。在顶部部分308中，多普勒频移频率为正，这对应于朝向发射器的移动。

图4A和图4B描绘了根据本发明的原理的实际移动相关谱图。尽管本文以灰度示出，但谱图通常被着色，使得颜色表示与特定频率相关的振幅。图4A表示绘制与人的移动相关的信息的基频谱图。图4B表示绘制与谐波标签的移动相关的信息的谐频谱图。

进一步根据本公开，雷达回波数据可用于通过谱图预处理和机器学习分类的过程将活动(特别是人类相关活动)分类为有限数量的类别。谱图的预处理可包括计算时间序列雷达信号的短时傅立叶变换。该预处理还可包括对比增强步骤，其中应用滤波器来放大被认为与分类相关的频率特征并使被认为可归因于噪声的那些频率特征衰减。当图像的像素值彼此靠近聚集时，对比增强可能是有益的。如在图像处理领域中已知，自动化过程可分析存在于图像中的一定范围的像素值，并且通过将实际像素值散布在整个范围的潜在像素值上来增加对比。

一种类型的机器学习分类器是支持向量机(SVM)。利用这种类型的分类器，谱图的预处理将包括一个或多个特征提取或识别步骤，其中识别出频谱图中的能量的存在或周期性。可使用由模型架构提供的规则来提取一个或多个特征。例如，将频率波动划分为区间(例如，分量)，并且查看特定区间中的能量相对于其他区间的大小。或者选择一个区间或频率分量，并且随时间进行观察以估计周期性。用于自动确定周期性的另一种技术是将二维傅立叶变换应用于最近收集的谱图中的一些或全部。所得的变换图像将表明功率谱图中的一个或多个频率分量的周期性。换句话讲，应用STFT以创建初始功率谱图可表明如功率谱图中的像素值所指示的返回信号中存在20Hz频率分量，而功率谱图的2D傅立叶变换可表明每2秒出现20Hz频率分量。

例如，在人行走的多普勒回波的谱图中，躯干可随着人远离雷达行走而提供小的频移，但摆动的手臂和腿将提供在频移的负值到正值之间变化的振荡迹线。一旦已提取SVM模型推断所需的所有提取或识别的特征，就可将它们馈送至SVM模型作为用于分类的向量。

如普通技术人员将认识到，SVM模型由计算机或类似处理设备使用已知的测试数据生成。例如，可针对不同活动收集大量(例如，数百或数千个)谱图，并且针对每个谱图，识别相关特征。在与谱图相关联的活动为已知的并且识别出谱图的相关特征的情况下，机器学习算法可在没有附加人类协助的情况下自动构建SVM模型。

图5示出了使用SVM来识别人类活动并进行分类的过程概览。如参考先前附图所述，生成基带时域信号数据502。接下来，可应用短时傅立叶变换504来产生谱图数据506。该谱图506可为基波谱图(诸如图1C的178)或谐波谱图(诸如图1C的180)。

在图5所示的过程之前，主题专家已识别可能在谱图中的与将该谱图分类为与特定活动相关联所相关的特征。特征的一个示例可以是特定频率分量(例如，20Hz)以约1秒的周期发生。另一个特征可以是在每对相邻的20Hz分量之间出现不同的频率分量(例如，-20Hz)。这样，可执行基于规则的特征提取步骤508。换句话讲，可(自动地或手动地)应用一组分析和计算步骤来评估谱图506，以确定某些特征在谱图506中存在的程度。通常，特征向量包括每个所提取特征的元素和对应值。特征值中的一些可以是二进制值，诸如如果存在特征则该值为“1”，或者如果不存在特征则为“0”。特征值可涉及百分比，诸如“50％的谱图像素是绿色的”。特征值可以是谱图中的每个频率分量的振幅。一个示例特征和对应值可以是特定时间片段处的频率能量的标准偏差(或某个其他矩)。另一个示例特征和对应值可以是由其他频率值归一化的特定频率值的大小。普通技术人员将认识到，许多可能的特征和值可由主题专家确定，使得可执行基于规则的特征提取508。

还在图5的其他步骤之前生成支持向量机模型514。如上所述，通过向机器学习算法提供训练数据以便自动产生SVM模型514来生成SVM模型514，该SVM模型用作活动识别模型512以评估从经由谱图506提取的特征得到的特征向量510。结果是活动识别模型将谱图分类516为与特定活动相关联。定义SVM模型514的活动识别模型512可能在具有足够资源的计算机或处理设备上实施，以在系统设计者所需的时间帧内产生分类516。该时间帧可根据系统是否为实时系统而变化。

其他类型的机器学习分类器(诸如卷积神经网络(CNN)和递归神经网络(RNN))可采用来自预处理步骤的频率数据作为输入。在这种情况下，谱图的短时间段被馈送到分类器模型中，该分类器模型可包括基于训练数据来强调特征或使其衰减的卷积函数，以及根据时间序列数据中的时间相关性来推断活动的递归函数，诸如长短期记忆(LSTM)单元。给予模型以用于分类的时间序列数据的持续时间将基于活动而变化，但可在0.1s至2s的范围内。这些模型使用大量标记数据进行训练，使得特征提取和时间相关性权重将被充分一般化，而不仅限于一人或两人如何进行活动。

如普通技术人员将认识到，CNN模型由计算机或类似处理设备使用已知的测试或训练数据生成。例如，可针对不同活动收集大量(例如，数百或数千个)训练谱图。然后可开始过程，其中机器学习算法将一系列卷积内核应用于每个谱图的图像。该系列通常可为在内核的每个单元中的不同大小和不同权重的随机选择的卷积内核。不同内核可趋于强调谱图的不同图形特征，诸如边缘、颜色、对象尺寸、不同对象的接近度。机器学习算法的结果是自动地识别可对与谱图相关的活动进行有效分类的一个或多个卷积内核。除了人类协助收集训练谱图、标记与每个谱图相关联的活动以及将标记的训练谱图提供给机器学习算法之外，由计算机或类似处理设备自动地执行CNN模型的生成。

如上所述，RNN可识别不同谱图的时间序列。换句话讲，具有第一组特征的第一谱图在时间上后面可为具有第二组特征的第二谱图。因此，单独的谱图不仅提供有助于对活动进行分类的信息，而且彼此相关的谱图的序列也可提供相关信息。RNN的训练与CNN的训练的类似之处在于，训练数据(即，谱图)被提供给自动构建RNN模型的计算机或类似处理设备。当根据本公开的实施方案收集用户的非训练谱图时，该谱图可具有应用于从该谱图提取特征的CNN模型的所学习的卷积内核。然后可将这些谱图的按时间排序的序列馈送到推断用户活动的RNN模型中。

图6示出了使用CNN和RNN来识别人类活动并进行分类的过程概览。如参考先前附图所述，生成基带雷达数据602。接下来，可应用短时傅立叶变换604来产生谱图数据606。该谱图606可以是基波谱图(诸如图1C的178)或谐波谱图(诸如图1C的180)。

如上所述，收集与期望识别的活动相关的多种训练数据。该训练数据包括许多谱图，每个谱图已被标记为与特定活动相关联。此外，训练数据“元素”中的每一个可包括按时间排序的谱图序列，而不是仅包括单个谱图。训练数据可首先用于深度学习算法以自动地生成多层卷积神经网络(CNN)。CNN的生成方式使得其学习哪些卷积内核提取(或识别)似乎可有效地正确分类训练数据的谱图特征。对于按时间排序的谱图序列，来自每个谱图的特征可按顺序排列并且用作递归神经网络(RNN)的训练数据。

CNN 610和RNN 612用作活动识别模型608以评估谱图606。谱图606被视为图像，CNN 610可对该图像进行操作以提取一个或多个特征(即，检测它们在图像中的存在)。图6的过程不一定是一次性计算，而是可包括由活动识别模型608接收到的一系列单独的谱图606，其中每个谱图由CNN610处理。然后可将所得的一系列特征提取数据提供给RNN 612，以便对该一系列谱图进行分类614。

有关深度学习算法(诸如CNN和RNN)的更多详细信息在Li等人的“A Survey ofDeep Learning-Based Human Activity Recognition in Radar”，Remote Sensing 2019,11,1068中提供，其公开内容全文以引用方式并入本文。关于SVM机器学习模型特征提取的更多详细信息可见于Kim等人的“Human Activity Classification Based on Micro-Doppler Signatures Using a Support Vector Machine”，IEEE Trans.Geosci.RemoteSens.2009,47,1328至1337，其公开内容全文以引用方式并入本文。

如图1C所示，基波返回信号162和谐波返回信号176均可由雷达108接收和处理。为了提高感测到的活动的分类的准确性，可能有利的是同时分析基波雷达回波和谐波雷达回波。图7描绘了组合的机器学习模型，来自两个接收器的回波可被传递到单独的卷积层，其中可基于学习的数据来提取特征。可将组合数据传递到进行活动识别的递归层。

因此，在图7中，通过STFT 166对基波基带雷达数据702进行操作以产生谱图178。该谱图178是基频谱图并且捕获由人104的移动引起的多普勒频移相关信息。CNN 716与图6的CNN 610的类似之处在于，收集并标记训练数据以便提供给生成CNN 716的卷积层的机器学习算法。每个卷积层包括卷积内核，该卷积内核通过机器学习算法被发现以识别或强调训练数据中对将活动分类有效的特征。因此，每个卷积内核可应用于基波谱图178，以有效地提取或强调基波谱图178的有助于将该谱图178分类为对应于特定活动的特征。可使用CNN 716在基波谱图178中提取或识别特征，然后可将这些特征提供给RNN 720。

另外，通过STFT 174对谐波频带雷达数据704进行操作以产生谱图180。该谱图180是谐频谱图并且捕获由谐波标签103的移动引起的多普勒频移相关信息。CNN 718与图6的CNN 610的类似之处在于，收集并标记训练数据以便提供给生成CNN 718的卷积层的机器学习算法。每个卷积层包括卷积内核，该卷积内核通过机器学习算法被发现以识别或强调训练数据中对将活动分类有效的特征。因此，每个卷积内核可应用于谐波谱图180，以有效地提取或强调谐波谱图180的有助于将该谱图180分类为对应于特定活动的特征。可使用CNN718在谐波谱图180中提取或识别特征，然后可将这些特征提供给RNN 720。

RNN 720与RNN 612的类似之处在于，收集训练数据并将其提供给机器学习算法以生成RNN 720。然而，在这种情况下，训练数据可包括从一对谱图类型(即，基波谱图和谐波谱图)提取的特征。在一些情况下，谱图可与大约同时发生的运动的数据相关联。在其他情况下，提取的特征可来自在不同时间发生的基波谱图数据和谐波谱图数据。最终，RNN 720执行对由雷达捕获并由活动识别模型714分析的活动进行的分类722。

图8是依赖基波谱图和谐波谱图两者来推断关于用户可能参与的移动的信息的示例方法或过程的流程图。步骤802和804类似于图2A的步骤202和204。具有谐波标签的产品所在的第一区域用具有第一频率(例如，基频)的发射信号照亮。接下来，在步骤806和808中，由于该发射信号而接收到返回信号。一个返回信号是与使用带有谐波标签的产品的人的移动相关的基波返回信号。移动可包括像在行走时做到的移动腿和手臂，或者移动可包括在使用产品时移动手臂、手、脚和其他身体部位。基波返回信号的频率与发射信号的频率基本上相同。

另一个返回信号是谐波返回信号，并且由谐波标签生成，该谐波标签在接收到发射信号时辐射谐波返回信号。谐波返回信号的频率为基频的谐波。在步骤810中，计算机基于基波返回信号来确定使用产品的人的移动。如上所解释，CNN可用于提取或识别谱图中指示人及其身体的特定类型的移动的特征。可通过检测基波谱图中的微多普勒频移频率来确定移动的存在。

在步骤812中，谐波标签的移动也可由计算机确定。如上所解释，CNN可用于提取或识别谱图中指示谐波标签的特定移动类型的特征。可通过检测谐波谱图中的微多普勒频移频率来确定移动的存在。

本文所公开的量纲和值不应理解为严格限于所引用的精确数值。相反，除非另外指明，否则每个此类量纲旨在表示所述值以及围绕该值功能上等同的范围。例如，公开为“40mm”的量纲旨在表示“约40mm”。

除非明确排除或以其他方式限制，本文中引用的每一篇文献，包括任何交叉引用或相关专利或专利申请以及本申请对其要求优先权或其有益效果的任何专利申请或专利，均据此全文以引用方式并入本文。对任何文献的引用不是对其作为与本发明的任何所公开或本文受权利要求书保护的现有技术的认可，或不是对其自身或与任何一个或多个参考文献的组合提出、建议或公开任何此类发明的认可。此外，当本发明中术语的任何含义或定义与以引用方式并入的文献中相同术语的任何含义或定义矛盾时，应当服从在本发明中赋予该术语的含义或定义。

虽然已举例说明和描述了本发明的具体实施方案，但是对于本领域技术人员来说显而易见的是，在不脱离本发明的实质和范围的情况下可作出各种其他变化和修改。因此，本文旨在于所附权利要求中涵盖属于本发明范围内的所有此类变化和修改。