阅读说明：本技术 处理环境射频数据以用于活动识别的方法 (Method of processing ambient radio frequency data for activity identification ) 是由 林均仰 贾真 奚杰 T.陈 Y.孙 于 2019-01-11 设计创作，主要内容包括：一种操作活动识别系统的方法,包括由射频(RF)嗅探器捕获环境RF数据。然后由处理器接收所述环境RF数据。所述处理器降低所述环境RF数据的噪声含量。然后由所述处理器从所述环境RF数据中减去背景。然后由所述处理器将经处理的环境RF数据转换成图像。所述系统为多个时间间隔中的每一个生成连续图像。将存储在存储介质中并由所述处理器执行的图像处理算法应用于所述多个连续图像以确定活动识别。(A method of operating an activity recognition system includes capturing environmental Radio Frequency (RF) data by an RF sniffer. The ambient RF data is then received by the processor. The processor reduces noise content of the ambient RF data. Background is then subtracted from the ambient RF data by the processor. The processed ambient RF data is then converted into an image by the processor. The system generates successive images for each of a plurality of time intervals. Applying an image processing algorithm stored in a storage medium and executed by the processor to the plurality of consecutive images to determine activity recognition.)

处理环境射频数据以用于活动识别的方法

背景技术

本公开涉及一种活动识别系统，并且更具体地，涉及一种由系统处理环境射频数据以用于活动识别的方法。

存在检测、入侵检测和其他活动识别通常由运动检测器执行，运动检测器有多种形式，包括光学和热/红外相机、被动/主动红外运动检测器、声传感器、振动传感器、窗口磁性传感器和/或玻璃破碎传感器。用于入侵检测的最常见的运动传感器是被动红外传感器(PIR)，其依赖于感测人体辐射的热量。PIR可以部署在建筑物中的入口或过渡点处，入侵者可以通过所述入口或过渡点进入。

最近，研究和进步已经开发出运动和/或存在感测技术，其利用由无线装置生成的射频电磁场(即，通常称为RF场)的变化。一些系统包括多个无线节点/收发器，其中每个节点可以确定从其他节点接收的特定编码或通用RF信号的信号强度和/或链路质量的变化。然后，决策逻辑确定运动/存在。其他系统基于单个发射器和接收器，以使用单向测量或双向测量来确定区域中的运动和/或存在。令人遗憾的是，这些系统依赖于部署特定装置以生成和采样RF场。此类部署可能导致部署成本。此外，期望改进射频数据流的预处理以增加检测置信度。

发明内容

根据本公开的一个非限制性示例性实施方案的一种操作活动识别系统的方法包括：由射频(RF)嗅探器捕获环境RF数据；由处理器接收环境RF数据；由处理器降低环境RF数据的噪声含量；由处理器从环境RF数据中减去背景；由处理器将降低了噪声和减去了背景的环境RF数据转换成图像；由处理器为多个时间间隔中的每一个生成连续图像；以及将存储在存储介质中并由处理器执行的图像处理算法应用于每个连续图像以确定活动识别。

除了前述实施方案之外，通过在相同时间索引处去除多信道状态信息(CSI)子载波的平均值以减去共模噪声来降低环境RF数据的噪声含量。

替代地或除此之外，在前述实施方案中，减去背景包括将环境RF数据转换成时间的一阶导数。

替代地或除此之外，在前述实施方案中，减去背景包括将环境RF数据转换成时间的一阶导数。

替代地或除此之外，在前述实施方案中，转换成图像包括组合来自多个天线信道的RF数据。

替代地或除此之外，在前述实施方案中，转换成图像包括组合来自多个天线信道的RF数据。

替代地或除此之外，在前述实施方案中，多个时间间隔与包含RF嗅探器的建筑物区域的特征相关联。

替代地或除此之外，在前述实施方案中，图像处理算法应用深度学习网络。

替代地或除此之外，在前述实施方案中，深度学习网络是卷积神经网络(CNN)。

替代地或除此之外，在前述实施方案中，环境RF数据是环境WiFi数据。

替代地或除此之外，在前述实施方案中，环境WiFi数据是信道状态信息(CSI)数据。

根据另一个非限制性实施方案的一种建筑物系统包括：无线电装置，所述无线电装置包括被配置成传输射频(RF)的传输部件和被配置成接收RF以完成主要任务的接收部件；以及被配置成执行活动识别任务的活动识别系统，所述活动识别系统包括：嗅探器，所述嗅探器被配置成随时间采样和测量环境RF信号；控制电路，所述控制电路包括一个或多个处理器和一个或多个存储介质；RF背景数据，所述RF背景数据存储在一个或多个存储介质中的至少一个中并且指示无活动；计算机指令，所述计算机指令存储在一个或多个存储介质中的至少一个中并且由所述一个或多个处理器中的至少一个执行，其中所述计算机指令被配置成处理所测量的环境RF信号、将经处理的环境RF信号转换成多个连续图像并应用基于图像的算法以将多个连续图像与RF背景数据进行比较，从而确定活动识别。

除了前述实施方案之外，传输装置、接收装置和嗅探器位于建筑物中。

替代地或除此之外，在前述实施方案中，嗅探器是各自位于建筑物的多个区域中的相应区域中的多个嗅探器中的一个。

替代地或除此之外，在前述实施方案中，无线电装置是各自传输由嗅探器采样的相应RF信号的多个无线电装置中的一个。

替代地或除此之外，在前述实施方案中，无线电装置是WiFi装置。

替代地或除此之外，在前述实施方案中，活动识别系统是入侵者警报系统。

除非另有明确说明，否则前述特征和元件可以各种配置进行组合，而无排他性。根据以下描述和附图，这些特征和元件及其操作将变得更为明显。然而，应理解，以下描述和附图意图在本质上是示例性的而并非限制性的。

附图说明

根据以下对所公开的非限制性实施方案进行的详细描述，各种特征对于本领域技术人员来说将变得明显。附有详细描述的附图可简要描述如下：

图1是作为本公开的一个非限制性示例性实施方案的利用活动识别系统的建筑物系统的示意图；

图2是活动识别系统的示意图；

图3是操作活动识别系统的方法的流程图；并且

图4是由系统预处理环境RF信号的方法的流程图。

具体实施方式

在本公开中，活动识别检测依赖于先前部署在建筑物中的现有无线传感器。由于无线IoT装置的渗透，特别是在室内建筑物自动化中，射频(RF)信号越来越可用，因此本公开提出利用先前部署且不是专门用于入侵检测目的的装置生成的环境RF场。提出了一种决策系统，其确定适于运动、入侵和/或活动识别检测目的的装置。该系统还被配置成促进RF场(例如，WiFi)的新颖预处理，以提高检测置信度。

另外，更传统的系统可能需要在感兴趣的区域(例如，房间或房屋周边)周围部署无线节点。然而，这些系统可能无法解决由感兴趣区域外的移动引起的误报问题。在本公开中，通过明确确定任何任意部署中的感兴趣区域的方法来解决此类问题。此外，本公开包括机器学习和/或神经网络例程，其学习与感兴趣区域内的移动相对应的RF场的变化。因此，机器学习和/或神经网络例程可以拒绝由感兴趣区域外的移动引起的误报。

参考图1，建筑物系统20(例如，无线通信系统)的示例性实施方案包括一个或多个商品无线电装置或链路22(即，图1中示出的两个)和应用射频感测的一个或多个活动识别系统24(即，图1中示出的两个)。商品无线电装置22和活动识别系统24通常位于建筑物26中或附近。每个商品无线电装置22通常是固定的，并且可以包括被配置成传输射频(RF)信号的传输部件28(参见箭头30)和被配置成接收RF信号30的接收部件32。无线电装置22和相关联RF信号30的非限制性示例包括WiFi装置、Zigbee装置、iBeacon等等。商品无线电装置22的非限制性应用可以包括无线电话、娱乐系统、电视系统以及通常在建筑物26中或附近使用的任何其他类型的无线RF系统。活动识别系统24的一个非限制性示例可以是活动识别系统。

每个相应的商品无线电装置22被构造成执行相应的主要任务，并且相应的RF信号30使得能够完成此类主要任务。例如，无线电视系统可以从传输部件28(例如，路由器)以及向接收部件32(例如，智能电视)流式传输电影。在另一示例中，电话系统可以将口头通信作为RF信号30传输，并且从传输部件28(例如，电源充电器基座)以及向接收部件32(例如，手持式电话)传输。在给定空间中一起采集的所有RF信号30构成具有各种特征的环境RF信号33，所述特征诸如信号强度、信道状态信息(CSI)等等。CSI通常表示例如随距离散射、衰落和功率衰减组合效应。在一个实施方案中，多个商品无线电装置22是被配置成以网状拓扑和星形拓扑中的一种进行通信的网络。

活动识别系统24被配置成通过一般地检测环境RF信号的规定特征中指示例如移动存在34的变化来利用环境RF信号33。也就是说，环境RF信号33通常被利用以用于双重目的：当应用于一个或多个无线电装置22时(如先前关于信号32所述)的主要任务以及当应用于活动识别系统24时的活动识别警报任务。在一个非限制性示例中，存在34可以是人类入侵者，并且活动识别系统24可以是入侵检测系统。

参见图1和图2，活动识别系统24包括一个或多个RF嗅探器36(即，图中所示的两个)、控制电路38、RF数据40(例如，RF背景数据)和规定的指令42(即，软件程序)。RF嗅探器36可以是测量所接收RF信号的物理特征的RF装置，所述物理特征诸如信号强度、CSI等等。RF嗅探器36的非限制性示例是Wi-Fi网络接口卡、CSI监视器等等。每个RF嗅探器36位于建筑物26的相应区域44中。例如，区域44可以是单独的房间，或者第一区域可以是靠近第一入口门的区域，并且第二区域可以是靠近同一建筑物26的第二入口门的区域。每个RF嗅探器36被配置成采样和测量相应区域44中的环境RF信号33的特征。

应理解，由于例如衰减(即，穿过物体如墙壁)和/或距传输部件28的距离，相同RF信号32的RF信号强度可能从一个区域44到下一个区域而有所不同。在系统调试期间定义和配置区域44。在一个实施方案中，安装者可穿过该区域的拐角并使RF嗅探器36收集环境RF信号33的特征的测量结果。这可以存储在特定于站点的数据库中，并且机器学习算法推断环境RF信号33的特征的变化是否指示配置区域44内的活动和/或移动存在34。随时间推移进一步测量环境RF信号32的特征，因为此类测量可能随时间而不同，这取决于例如无线电装置22的使用。

在一个实施方案中并且如图1所示，控制电路38可以作为单个独立的单元位于每个嗅探器36中。在另一个实施方案中，每个嗅探器36可以与单个控制电路38通信，控制电路38可以位于建筑物26中，或者位于远处。在检测到移动存在时，控制电路38可以将通知信号(参见图1中的箭头46)输出到通知装置48，以通知用户、政府机构和/或其他等等。

控制电路38可以包括一个或多个处理器50(例如，微处理器)和可以是计算机可写和可读的一个或多个存储介质52(例如，非暂时性存储介质)。RF数据40和指令42存储在存储介质52中。在操作中，RF数据40与输入信号(参见图2中的箭头54)一起由处理器50使用，该输入信号指示在执行指令42时测量的环境RF信号33以确定感兴趣区域44内的移动存在34的存在。在一个实施方案中，RF数据40可以包括指示没有移动存在的RF背景数据。RF背景数据可以由处理器50经由例如机器学习算法作为指令42的一部分来学习。RF数据可以包括允许通过匹配MAC地址或通过查看RF数据40的时间变化或两者来确定环境RF信号33是否由固定的传输部件28生成的特征。RF数据40还可以包括与归因于存在34的运动的信号特征相关联的提取的特征，所述提取的特征对于RF背景变化(即，归因于运动的环境RF信号33的时间变化)可不变。

参考图3，并且在操作中，活动识别系统24在初始化时可以在框100处处于自动配置。在框102处，控制电路38可确定系统是否启动。如果否，则系统24循环回再次应用框102。如果系统启动，并且在框104处，控制电路38应用自动校准，该自动校准需要自学习先前描述的RF背景数据和提取的特征。在框106处，系统24可以通过将测量的环境RF信号33与作为RF数据40的一部分存储的RF背景数据和/或提取的特征进行比较来连续地监视感兴趣区域44内的移动存在34。在框108处，并且基于该比较，控制电路38确定是否检测到活动(例如，移动存在34)。如果否，则系统循环回到框106。如果检测到移动存在34，则在框110处，控制电路38可以通过通知装置48实现警报的触发。

参考图4，示出了在应用机器学习或其他数据分析算法之前预处理环境RF信号或数据33的方法。在框200处，环境RF数据33由活动识别系统24的RF嗅探器36捕获并且作为输入信号54发送到控制电路38(参见图2)。在一个示例中，捕获的环境RF数据可以是WiFi CSI数据，并且RF嗅探器36可以是CSI监视器。在框202处，降低作为环境RF数据33的一部分的噪声。在一个示例中，通过在相同时间索引处去除多个CSI子载波的平均值以减去共模噪声来促进数据33的这种降噪。框200和202的操作可以是存储在控制电路38的存储介质52中的规定指令42的一部分，并且由处理器50执行。

在框204处，减去背景。在一个示例中，通过将降低了噪声的环境RF数据33转换成数据的一阶时间导数来促进减去背景。该步骤“平坦化”环境背景数据以帮助检测可直接归因于活动识别的信号。在框206处，将减去了背景的环境RF数据33转换成可以存储在存储介质52中的图像60(参见图2)。在一个示例中，通过组合来自多个天线信道的数据，然后将其转换成图像格式，来促进转换成图像60。作为图像，经处理的环境RF数据33可以由图像处理算法62作为指令42的一部分分析。以这种方式，算法62可以利用相邻RF信号子载波之间的相干性，相邻RF信号子载波通常不被其他更传统的算法考虑。框204和206的操作可以是存储在控制电路38的存储介质52中的规定指令42的一部分，并且由处理器50执行。

在框208处，针对预编程并存储在存储介质52中的多个时间间隔64中的每一个，为多个连续图像中的每一个生成连续图像60。每个时间间隔64的持续时间由其中检测到环境RF数据33的特定建筑物区域44的特征来确立并与所述特征相关联。多个连续图像60促进使用深度学习网络来训练移位不变性。网络的一个示例是卷积神经网络(CNN)。框208的操作可以是存储在控制电路38的存储介质52中的规定指令42的一部分，并且由处理器50执行。在框210处，图像处理算法62应用于多个连续图像60。

用于预处理环境RF信号33的方法的优点和益处是降低环境信号的噪声水平，并且仅通过减去背景保持活动信息。此外，该方法将不同的信道组合成图像数据格式，这丰富了训练数据中的信息水平以实现最佳识别结果。

上述各种功能可以由计算机程序实现或支持，该计算机程序由计算机可读程序代码形成并且体现在计算机可读介质中。计算机可读程序代码可以包括源代码、目标代码、可执行代码等等。计算机可读介质可以是能够被计算机访问的任何类型的介质，并且可以包括只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频盘(DVD)或其他形式。

本文所使用的诸如部件、模块、系统等术语旨在指代与计算机相关的实体，或为硬件、硬件和软件的组合或为软件执行。举例来说，部件可以是但不限于在处理器上运行的过程、处理器、对象、可执行程序、执行线程、程序和/或计算机。应理解，在服务器上运行的应用和服务器可以是部件。一个或多个部件可驻留在过程和/或执行线程内，并且部件可以位于一台计算机上和/或分布在两台或更多台计算机之间。

本公开的优点和益处包括RF活动识别系统，其被配置成感测和利用预先存在的RF信号。另一个优点是系统的即插即用功能，用户只需很少的努力。另一个优点能够通过利用用于数据/语音通信的传输提供整个建筑物覆盖来补充已安装的入侵检测系统。

虽然参考示例性实施方案描述了本公开，但是本领域技术人员应理解，在不脱离本公开的精神和范围的情况下，可以做出各种改变并且可以进行等效物替换。另外，在不脱离本公开的基本范围的情况下，可应用各种修改来使本公开的教导内容适于特定情况、应用和/或材料。因此，本公开并不受限于本文所公开的特定示例，而是包括落入所附权利要求书的范围内的所有实施方案。