基于无线信号来识别姿势
阅读说明：本技术 基于无线信号来识别姿势 (Recognizing gestures based on wireless signals ) 是由 M·奥默尔 A·塞尔瓦库曼阿辛加 C·斯奈德 S·A·丹维森 于 2019-06-14 设计创作，主要内容包括：在一般方面中,运动检测系统检测姿势(例如,人类姿势)并响应于所检测到的姿势而启动动作。在一些方面中,基于由一个或多个无线通信装置发送通过空间的无线信号来获得信道信息。姿势识别引擎分析信道信息以检测空间中的姿势(例如,预定姿势序列)。识别响应于所检测到的姿势而要启动的动作。向与空间相关联的网络连接装置发送用以进行动作的指令。(In a general aspect, a motion detection system detects a gesture (e.g., a human gesture) and initiates an action in response to the detected gesture. In some aspects, channel information is obtained based on wireless signals transmitted through a space by one or more wireless communication devices. The gesture recognition engine analyzes the channel information to detect gestures (e.g., a predetermined sequence of gestures) in space. An action to be initiated in response to the detected gesture is identified. Instructions to perform the action are sent to a network connection device associated with the space.)
具体实施方式
在这里描述的一些方面中，运动检测系统检测姿势(例如，人类姿势)并响应于姿势而启动动作。例如，可以利用过程姿势事件在无线信道谱上产生的时间和频率信息来启动动作。在一些情况下，状态机可用于检测以特定方式干扰了无线信道的姿势事件序列。无线信道的这些干扰可能在从无线信号中收集到的信道信息中变得明显，这些信道信息可以在时域和/或频域中进行分析以区分并识别不同的姿势。在一些实现中，在姿势序列结束时，状态机触发到连接装置(例如，IoT装置)的动作命令以进行指定动作。
在一些实例中，这里描述的系统和技术的方面提供了相对于现有方法的技术改进和优势。例如，这里描述的系统和技术可以(例如，通过无触摸交互)向基于姿势的接口提供IoT装置或其它网络连接装置，以启用或禁用存在无线覆盖的任何位置处的服务。这可以提供相对于利用音频信号并需要到音频传感器(例如，麦克风)的可听接近度的技术(例如，语音助手)的替代或改进。由于射频信号和其它无线信号可以传播通过壁并在更大的距离上传播，因此可以通过收集信道信息的装置来获得和分析由宽范围的位置中的姿势印记的时间和频率签名。因此，这里描述的系统和技术可以提供与网络连接装置和其它类型的网络接入服务间的改进用户交互。
在一些实例中，可以分析在无线通信网络中的各无线通信装置处接收到的无线信号，以确定信道信息。信道信息可以表示对穿过空间的无线信号应用传递函数的物理介质。在一些实例中，信道信息包括信道响应。信道响应可以表征物理通信路径，从而表示例如发送器和接收器之间的空间内的散射、衰落和功率衰减的组合效应。在一些实例中，信道信息包括波束形成系统所提供的波束形成状态信息(例如，反馈矩阵、导向矩阵、信道状态信息(CSI)等)。波束形成是通常在多天线(多输入/多输出(MIMO))无线电系统中使用以进行定向信号发送或接收的信号处理技术。波束形成可以通过以特定角度的信号经历相长干涉、而其它信号经历相消干涉的这样一种方式操作天线阵列中的元件来实现。
可以(例如，通过无线通信网络中的集线器装置或其它装置或者可通信地耦接至网络的远程装置)分析各通信链路的信道信息，以检测空间中是否发生了运动(例如，姿势或其它类型的运行)、确定所检测到的运动的相对位置或两者兼有。在一些方面中，可以分析各通信链路的信道信息以检测姿势或姿势序列，并且可以基于所检测到的姿势或姿势序列而启动辅助动作。
可用于基于无线信号来检测运动的示例性运动检测系统和定位处理包括标题为“Detecting Motion Based on Repeated Wireless Transmissions”的美国专利9,523,760、标题为“Detecting Motion Based on Reference Signal Transmissions”的美国专利9,584,974、标题为“Detecting Motion Based On Decompositions Of ChannelResponse Variations”的美国专利10,051,414、标题为“Motion Detection Based onGroupings of Statistical Parameters of Wireless Signals”的美国专利10,048,350、标题为“Motion Detection Based on Machine Learning of Wireless SignalProperties”的美国专利10,108,903、标题为“Motion Localization in a Wireless MeshNetwork Based on Motion Indicator Values”的美国专利10,109,167、标题为“MotionLocalization Based on Channel Response Characteristics”的美国专利10,109,168中所描述的技术以及其它技术。
图1示出示例性无线通信系统100。示例性无线通信系统100包括三个无线通信装置102A、102B、102C和两个物联网(IoT)装置120A、120B。示例性无线通信系统100可以包括附加装置和/或其它组件(例如，一个或多个网络服务器、网络路由器、网络交换机、线缆或其它通信链路等)。
在一些情况下，无线通信系统100可以部署在诸如家、办公室或其它类型的空间等的物理环境中，并且无线通信系统100的一个或多个组件可以与运动检测系统协调地操作或作为运动检测系统的组件而操作。例如，可以在一个或多个无线通信装置102A、102B、102C上、或者在物理环境中的其它计算机装置上、在远程服务器上、在基于云的计算机系统等上安装并执行与运动检测系统相关联的软件。
在一些实例中，运动检测系统进行姿势识别，并且响应于检测到指定的人类姿势或人类姿势序列而启动预定动作。因此，运动检测系统可以在家或办公室空间内提供基于Wi-Fi的姿势识别，这可以使得用户能够通过预编程或训练的姿势以无线方式激活或停用任何类型的事件。姿势可以是单姿势或多姿势事件。单个姿势可以例如是单个连续运动，而多姿势事件可以例如是按顺序进行的(相似或不同类型的)多于一个姿势。多姿势事件中的姿势可以以姿势之间的可变停顿分开，以例如形成不同的姿势序列。作为示例，挥动、长停顿(例如，2秒)和挥动的序列可以是与挥动、短停顿(例如，1秒)、挥动不同的姿势。其它类型的姿势事件可以由运动检测系统检测。
在一些实现中，姿势可以与(例如，来自任何源的)定位信息相结合，以根据用户的位置来进行不同的动作。作为示例，在客厅中进行展开的手掌垂直上升的单个姿势的用户可以触发客厅电视的音量增加，并且客厅中的水平划动运动可以触发客厅电视的频道改变；而厨房中的相同姿势可以触发厨房电视的类似调整。作为另一示例，在卧室内进行按顺序的两次手挥动的多姿势的用户可以例如解除卧室闹钟的闹钟发声，并且例如按顺序的三次手挥动可以打开或关闭卧室灯；而在另一间卧室内，相同的姿势可以触发该卧室内的相同或不同的动作。
在一些实现中，姿势识别引擎从一个或多个无线通信装置102A、102B、102C接收信道信息，该无线通信装置102A、102B、102C基于被发送通过无线通信网络100的物理环境的无线信号来收集信道信息。姿势识别引擎进行随时间的推移的信道信息的频率内容的深度检查。在一些情况下，当姿势识别引擎识别姿势时，可以调用状态机。在已检测到姿势或姿势序列的完成之后，可以根据状态机的结束状态(例如，通过向IoT装置120A、120B其中之一发送命令)来启动动作。
示例性无线通信装置102A、102B、102C和IoT装置120A、120B可以例如根据无线网络标准或其它类型的无线通信协议而在无线网络中进行操作。例如，无线网络可被配置为作为无线局域网(WLAN)、个人局域网(PAN)、城域网(MAN)、或其它类型的无线网络而进行操作。WLAN的示例包括被配置为根据IEEE所开发的802.11标准家族中的一个或多个标准而进行操作的网络(例如，Wi-Fi网络)等。PAN的示例包括根据短距离通信标准(例如，BLUETOOTH(注册商标)、近场通信(NFC)、ZigBee)以及毫米波通信等而进行操作的网络。
在一些实现中，无线通信装置102A、102B、102C可被配置为例如根据蜂窝网络标准而在蜂窝网络中进行通信。蜂窝网络的示例包括根据如下标准进行配置的网络：诸如全球移动系统(GSM)和GSM演进的增强数据率(EDGE)或EGPRS等的2G标准；诸如码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)和时分同步码分多址(TD-SCDMA)等的3G标准；诸如长期演进(LTE)和高级LTE(LTE-A)等的4G标准；以及5G标准等。
在一些情况下，一个或多个无线通信装置102是Wi-Fi接入点或其它类型的无线接入点(WAP)。在一些情况下，一个或多个无线通信装置102是诸如商业可用的网状网络系统(例如，GOOGLE Wi-Fi、EERO mesh等)等的无线网状网络的接入点。在一些情况下，一个或多个无线通信装置102是移动装置(例如，智能手机、智能手表、平板电脑、膝上型计算机等)、IoT装置(例如，启用Wi-Fi的恒温器、启用Wi-Fi的照明控制、启用Wi-Fi的照相机、智能TV、启用Wi-Fi的门铃)、或者在无线网络中通信的其它类型的装置。
IoT装置120A、120B是可以与一个或多个无线通信装置102通信的网络连接装置的示例。IoT装置120A、120B可以例如包括网络连接恒温器、网络连接照明控制件、网络连接照相机、网络连接TV、网络连接门铃等。一般地，网络连接装置可以使用有线连接(例如，以太网线缆)、无线连接(例如，局域网连接)或这两者通过通信网络来与其它装置进行通信。
在图1所示的示例中，IoT装置120A、120B通过Wi-Fi网络进行通信，但是IoT装置可以通过其它类型的无线网络(包括自组织网络、个人区域网络、蜂窝网络和卫星网络等)进行通信。如图1所示，示例性IoT装置120A与无线通信装置102A进行通信，并且示例性IoT装置120B与无线通信装置102B进行通信。例如，无线通信装置102A、102B可以是无线网络中的无线路由器(例如，无线网状路由器)或无线接入点(例如，Wi-Fi接入点)，并且IoT装置120A、120B可以通过其与无线通信装置102A、102B间的相应通信链路来接入无线网络。
在图1所示的示例中，无线通信装置102通过无线通信链路来向彼此发送无线信号，并且装置之间所通信的无线信号可以用作运动探测器以检测装置之间的信号路径中的对象运动和姿势(例如，人类姿势)。在一些实现中，标准信号(例如，信道探测信号、信标信号)、非标准参考信号或其它类型的无线信号可以用作运动探测器。
在图1所示的示例中，无线通信装置102A、102C之间的无线通信链路可用于探测第一运动检测区110A，无线通信装置102B、102C之间的无线通信链路可用于探测第二运动检测区110B，并且无线通信装置102A、102B之间的无线通信链路可用于探测第三运动检测区110C。在一些实例中，运动检测区110可以包括例如空气、固体材料、液体或无线电磁信号可以传播通过的其它介质。
在图1所示的示例中，当对象移动时或者当人在任何运动检测区110中作动作时，运动检测系统可以基于被发送通过相关运动检测区110的信号来检测运动或姿势。一般地，对象可以是任何类型的静态或可移动对象，并且可以是有生命的或无生命的。例如，对象可以是人类(例如，图1所示的人106)、动物、无机对象、或其它装置、设备或组装件、用于限定空间的全部或部分边界的对象(例如，壁、门、窗等)、或其它类型的对象。
在一些示例中，无线信号可以在与移动对象交互之前或之后传播通过结构(例如，壁)，这可以使得能够在移动对象与发送或接收硬件之间没有光学视线的情况下检测到移动对象的移动。在一些实例中，运动检测系统可以将运动或姿势检测事件通信至诸如安全系统或控制中心等的其它装置或系统。
在一些情况下，无线通信装置102自身被配置为例如通过在无线通信装置上执行计算机可读指令(例如，软件或固件)来进行运动检测系统的一个或多个操作。例如，各装置可以处理接收到的无线信号以基于在通信信道中检测到的变化来检测运动。在一些情况下，其它装置(例如，远程服务器、网络附接装置等)被配置为进行运动检测系统的一个或多个操作。例如，各无线通信装置102可以向进行运动检测系统的操作的中央装置或系统发送信道信息。
在操作的示例性方面中，无线通信装置102A、102B可以向其它无线通信装置102C广播无线信号或寻址无线信号，并且无线通信装置102C(和可能的其它装置)接收无线通信装置102A、102B所发送的无线信号。然后，无线通信装置102C(或其它系统或装置)处理接收到的无线信号，以检测无线信号所接入的空间中(例如，区110A、110B中)的对象的运动、人类姿势或人类姿势序列。在一些实例中，无线通信装置102C(或其它系统或装置)可以进行针对图3和4所描述的示例性处理300、400的一个或多个操作。
在操作的一些方面中，基于由一个或多个无线通信装置102A、102B、102C发送通过空间(例如，通过家、办公室、室外区域等的全部或部分)的无线信号来获得信道信息。姿势识别引擎分析信道信息以检测空间中的姿势。姿势可以包括例如手挥动、手划动、臂移动、腿移动、头移动、或其它类型的人类姿势。在一些情况下，姿势识别引擎检测这种姿势序列。例如，如针对图3所述，状态机可用于检测姿势序列。
在操作的一些方面中，(例如，基于姿势或姿势序列的类型或者基于状态机的状态等来)识别响应于所检测到的姿势或姿势序列而要启动的动作。动作可以例如是打开或关闭灯、打开或关闭电视或其它装置、调节扬声器或其它装置的音量、调节恒温器设置等。用以进行动作的指令(例如，命令)然后可被发送到将进行该动作的网络连接装置(例如，IoT装置120A、120B其中之一或这两者)。作为示例，IoT装置102A可以是接收信道变化命令的网络连接TV、接收温度调节命令的网络连接恒温器、接收音量调节命令的网络连接扬声器、接收光切换命令的网络连接照明系统、接收对安全系统进行武装或解除武装的命令的网络连接装置等。然后，网络连接装置可以响应于接收到指令而进行相应动作。
在一些情况下，可以检测姿势的位置，并且可以基于姿势的位置来确定要启动的动作。例如，姿势的位置(例如，家或办公室环境中的指定房间或区)可以与要进行的动作的类型(例如，对安全装置进行武装/解除武装)、要进行的动作的位置(例如，打开/关闭灯的房间)、或用以进行动作的装置(例如，特定TV)相关联。姿势的位置可以由运动检测系统(例如，基于信道信息)或以其它方式检测。例如，可以使用其它类型的传感器来检测作出姿势的用户的位置。
在一些情况下，通过使用时频滤波器检测姿势的时频签名来检测姿势。例如，信道信息可以包括信道响应的时间系列，并且时频滤波器可以对信道响应的频率分量(子载波)应用加权系数。时频滤波器可以包括自适应时频滤波器，该自适应时频滤波器(例如，根据优化算法或以其它方式来)调谐加权系数以检测多种姿势类型的时频签名。例如，自适应时频滤波器可以调谐加权系数以检测在与人类姿势相对应的频率范围(例如，0至4赫兹、0.25至0.75赫兹、或其它频率范围)处调制信道响应的姿势。针对图4描述自适应时频滤波器的示例。
图2A和2B是示出在无线通信装置204A、204B、204C之间通信的示例性无线信号的图。无线通信装置204A、204B、204C可以是例如图1所示的无线通信装置102A、102B、102C，或者可以是其它类型的无线通信装置。如图2A和2B所示，无线通信装置204A、204B、204C可以存在于具有网络连接装置220的空间200中。网络连接装置220可以例如是图1所示的IoT装置120A、120B其中之一、或其它类型的网络连接装置。
示例性无线通信装置204A、204B、204C可以将无线信号发送通过空间200。示例性空间200可以在该空间200的一个或多个边界处完全或部分地封闭或开放。空间200可以是或可以包括房间的内部、多个房间、建筑物、室内区域或室外区域等。在所示的示例中，第一壁202A、第二壁202B和第三壁202C使空间200至少部分地封闭。
如图所示，在图2A中，人在初始时间(t0)处作出第一姿势214A，并且在图2B中，人在后续时间(t1)处作出第二姿势214B。在图2A和2B中，姿势是臂移动——人通过向下挥动臂来作出第一姿势214A，并且人通过向上挥动臂来作出第二姿势214B。在所示的实例中，在第一姿势214A和第二姿势214B之间存在停顿。例如，人可以在姿势214A、214B之间等待1秒或2秒。第一姿势214A和第二姿势214B提供可用于通过网络连接装置220来启动动作的姿势序列的一个示例。这些和其它类型的姿势和姿势序列可以基于无线通信装置204A所发送的运动探测信号来检测。
一个或多个无线通信装置204A、204B、204C可以是运动检测系统的一部分或者可以由运动检测系统使用。在图2A和2B所示的示例中，第一无线通信装置204A重复地(例如，周期性地，间歇性地，以预定、非预定或随机的间隔等)发送无线运动探测信号。第二无线通信装置204B和第三无线通信装置204C接收基于无线通信装置204A所发送的运动探测信号的信号。
图2A和2B所示的示例性无线信号可以通过其各自的路径经历衰减、频移、相移或其它影响，并且可以具有在其它方向上传播(例如通过壁202A、202B和202C)的部分。发送信号可以在频率带宽中具有多个频率分量。发送信号可以以全向方式、以定向方式或以其它方式从第一无线通信装置204A发送。在所示的示例中，无线信号穿过空间200中的多个相应路径，并且沿各路径的信号可能由于路径损耗、散射或反射等而变得衰减，并且可能具有相移或频移。
如图2A和2B所示，用虚线示出从第一无线通信装置204A发送的无线信号的多个示例性路径。沿着第一信号路径216，无线信号从第一无线通信装置204A发送并且被第一壁202A反射朝向第二无线通信装置204B。沿着第二信号路径218，无线信号从第一无线通信装置204A发送并且被第二壁202B和第一壁202A反射朝向第三无线通信装置204C。沿着第三信号路径220，无线信号从第一无线通信装置204A发送并且被第二壁202B反射朝向第三无线通信装置204C。沿着第四信号路径222，无线信号从第一无线通信装置204A发送并且被第三壁202C反射朝向第二无线通信装置204B。
如图2A所示，无线信号沿着第一无线通信装置204A和第三无线通信装置204C之间的第五信号路径224A与人进行交互。如图2B所示，无线信号沿着第一无线通信装置204A和第三无线通信装置204C之间的第六信号路径224B与人进行交互。第五信号路径224A和第六信号路径224B至少部分地通过不同姿势214A、214B随时间的推移进行不同地调制。例如，第一姿势214A可以具有可由姿势识别引擎检测到的第一时频签名，而第二姿势214B可以具有可由姿势识别引擎检测到的第二(不同)时频签名。
如图2A和2B所示，来自各种路径216、218、220、222、224A和224B的信号在第三无线通信装置204C和第二无线通信装置204B处组合以形成接收信号。由于空间200中的多个路径对发送信号的影响，因此空间200可被表示为输入发送信号并且输出接收信号的传递函数(例如，滤波器)。当对象在空间200中移动时，对信号路径中的信号产生影响的衰减或相位偏移可能改变，因此空间200的传递函数可能改变。在从第一无线通信装置204A发送相同的无线信号的情况下，如果空间200的传递函数改变，则该传递函数的输出(例如，接收信号)也将改变。接收信号的改变可用于检测对象的移动。相反，在一些情况下，如果空间的传递函数不改变，则传递函数的输出(接收信号)将不改变。
在数学上，可以根据式(1)来描述从第一无线通信装置204A发送的发送信号f(t)：
其中，ωn表示发送信号的第n个频率分量的频率，cn表示第n个频率分量的复系数，以及t表示时间。在从第一无线通信装置204A发送了发送信号f(t)的情况下，可以根据式(2)来描述来自路径k的输出信号rk(t)：
其中，αn,k表示针对沿路径k的第n个频率分量的衰减因子(或信道响应；例如，由于散射、反射和路径损耗引起)，以及φn,k表示针对沿路径k的第n个频率分量的信号的相位。然后，无线通信装置处的接收信号R可被描述为来自到该无线通信装置的所有路径的所有输出信号rk(t)的总和，即如式(3)所示：
将式(2)代入式(3)得到下式(4)：
然后，可以分析无线通信装置处的接收信号R，以例如检测运动或识别如下所述的姿势。可以例如使用快速傅立叶变换(FFT)或其它类型的算法来将无线通信装置处的接收信号R变换到频域。变换后的信号可以将接收信号R表示为一系列n个复值，其中(n个频率ωn的)相应频率分量各自对应一个复值。对于频率ωn的频率分量，复值Yn可被表示为下式(5)：
针对给定频率分量ωn的复值Yn指示该频率分量ωn处的接收信号的相对大小和相位偏移。当对象在空间中移动时，复值Yn由于空间的信道响应αn,k的变化而变化。因此，信道响应(以及因此复值Yn)中所检测到的变化可以指示通信信道内的对象的移动。相反，稳定信道响应可以指示没有移动。因此，在一些实现中，可以处理针对无线网络中的多个装置中的各装置的复值Yn以检测在发送信号f(t)所穿过的空间中是否发生了运动。
在图2A和2B的另一方面中，可以基于通信信道的一些知识(例如，通过接收器所生成的反馈属性)来在装置之间进行波束形成，其中知识可用于生成一个或多个导向属性(例如，导向矩阵)，该一个或多个导向属性由发送器装置应用以在特定方向上对发送波束/信号进行成形。因此，在波束形成处理中使用的导向或反馈属性的变化指示无线通信系统所接入的空间中的可能由移动对象引起的变化。例如，可以通过某一时间段内的通信信道的明显变化(例如，如信道响应、或导向或反馈属性、或其任何组合所指示)来检测运动。
例如，在一些实现中，可以根据由接收器装置(波束形成接收端)基于信道探测所提供的反馈矩阵来在发送器装置(波束形成发送端)处生成导向矩阵。由于导向矩阵和反馈矩阵与信道的传播特性有关，因此这些矩阵随着对象在信道内移动而变化。在这些矩阵中相应地反映了信道特性的变化，并且通过分析这些矩阵，可以检测运动，并且可以确定检测到的运动的不同特性。在一些实现中，可以基于一个或多个波束形成矩阵来生成空间映射。空间映射可以指示空间中的对象相对于无线通信装置的一般方向。在一些情况下，可以使用波束形成矩阵(例如，反馈矩阵或导向矩阵)的“模式”来生成空间映射。空间映射可用于检测空间中的运动的存在或检测所检测到的运动的位置。
在操作的一些方面中，运动检测系统可以检测某些姿势(例如，图2A、2B所示的第一姿势214A和第二姿势214B、或其它类型的姿势)。例如，运动检测系统可以区分空间中的某些类型的姿势(例如，臂挥动或呼吸)与其它类型的运动(例如，行走或跑步)。可以通过分析在无线通信网络上通信的节点(例如，无线通信装置204A、204B、204C)所收集到的信道信息来检测姿势。信道信息可以通过信道探测过程(例如，根据Wi-Fi协议)或其它类型的处理来收集。在一些情况下，网络可以向启动信道探测的节点提供反馈，并且反馈可以包括信道的测量。启动信道探测的节点可以在该节点处分析信道信息，或者将信道信息提供给其它节点(例如，中央集线器)以确定移动和移动类型(例如，识别姿势或其它类型的运动)。在一些情况下，测量信道的节点可以分析信道信息，并且确定移动和移动类型。在一些实例中，姿势可以包括显著的移动或微小的移动。例如，可以通过所分析的信道响应中的具有两个不同峰的信道响应来检测显著的移动(诸如挥动姿势等)。作为另一示例，可以通过具有较小变化或平稳周期振荡的信道响应来检测微小的移动(诸如呼吸活动或心率等)。
在一些情况下，姿势或姿势系列可能与装置220所要采取的动作相关联。例如，网络连接装置220可以通过姿势214A、214B来控制。作为示例，装置220可以是启用Wi-Fi的闹钟或其它类型的Wi-Fi装置(例如，运行闹钟应用的智能手机)。在该示例中，姿势系列214A、214B(诸如挥动臂一定次数)可以与停用Wi-Fi装置上的闹钟相关联。在另一示例中，特定呼吸率和/或心率的姿势可能指示人醒着或不再睡觉，并且这些姿势可能与停用闹钟相关联。因此，姿势或姿势系列可能与网络连接装置220的任何动作相关联，该网络连接装置220可以经由无线通信网络来控制。一些示例包括打开和关闭灯、激活和停用家用安全系统等。在一些示例中，用户应用可被提供有Wi-Fi连接装置或者被提供在Wi-Fi连接装置上，该Wi-Fi连接装置提供允许用户选择姿势并将姿势与用于控制装置的动作相关联的接口。在其它情况下，姿势可以由运动检测系统、其它装置等选择和管理。
图3是示出示例性状态机例如在运动检测系统中所进行的处理300的流程图。运动检测系统可以处理基于被发送通过空间的无线信号的信息(例如，信道信息)，以检测姿势(例如，人类姿势)。处理300的操作可以由远程计算机系统(例如，云中的服务器)、无线通信装置(例如，一个或多个无线通信装置)或其它类型的系统进行。例如，示例性处理300中的操作可以由图1中的一个或多个示例性无线通信装置102A、102B、102C进行。
示例性处理300可以包括附加的或不同的操作，并且这些操作可以以所示的顺序或其它顺序进行。在一些情况下，图3所示的一个或多个操作可被实现为包括多个操作、子处理或其它类型的例程的处理。在一些情况下，操作可以组合、以其它顺序进行、并行进行、迭代或以其它方式重复或者以其它方式进行。
在高级别处，图3示出进入三种不同状态的示例性状态机。在310处，状态机进入“状态1”；在320处，状态机进入“状态N-1”；并且在330处，状态机进入“无效状态”。状态机一般可以定义任意数量的状态；例如，状态机可以在“状态1”和“状态N-1”之间转变通过多个其它状态。状态之间的转变由检测姿势的姿势识别引擎和测量检测到的姿势之间的时间的姿势超时计数器控制。姿势识别引擎基于无线通信装置(例如，图1所示的无线通信装置102A、102B、102C)所发送的无线信号来检测姿势。姿势超时计数器用于判断在空间中发生的两个不同姿势(例如，图2A中的时间t＝0处的第一姿势214A和图2B中的时间t＝1处的第二姿势214B)是否在彼此的姿势超时时间段内。例如，状态机可以定义1秒、2秒或其它持续时间的姿势超时时间段。
在图3所示的示例中，各有效状态与如果在状态机处于该状态时检测到姿势超时则要启动的动作相关联。例如，“状态1”与“动作1”相关联，如果在状态机处于“状态1”时检测到姿势超时，则启动“动作1”；类似地，“状态N-1”与“动作N-1”相关联，如果在状态机处于“状态N-1”时检测到姿势超时，则启动“动作N-1”。与状态机的状态相关联的动作可以是不同类型的动作、要由不同类型的装置进行的动作等。动作可以包括上述的任何示例性动作类型。例如，动作可以包括针对网络连接装置的任何类型的命令(例如，针对图1中的IoT装置120A或120B的命令)。在一些情况下，一个或多个有效状态不与动作相关联。例如，状态机可被配置为仅在检测到多个特定姿势之后才启动动作。
在310处，(例如，由姿势识别引擎或运动检测系统的其它组件)进行信道检查。信道检测处理分析信道信息以判断是否发生了姿势。例如，信道检查处理可以包括图4所示的示例性处理400或其它类型的姿势识别处理。信道检查可以产生指示是否检测到姿势、检测到的姿势的类型、检测到的姿势的位置等的输出数据(例如，图4所示的姿势数据416)。如果未检测到姿势，则在310处基于新信道数据继续信道检查。
如果在310处检测到姿势，则状态机被初始化为“状态1”，并且姿势超时计数器被初始化。姿势超时计数器可被初始化为表示状态机在发生姿势超时之前将维持处于“状态1”的最大时间量的超时值。在示例中，状态机可以每秒处理10个信道响应，并且姿势超时计数器对于1秒的姿势超时时间段可被初始化为10，对于2秒的姿势超时时间段可被初始化为20，等等。
在310处初始化姿势超时计数器之后，处理300进入320，并且基于新信道数据进行信道检查。如果在320处基于新信道数据的信道检查未检测到姿势，则姿势超时计数器递减，并且处理300返回到310。如果姿势超时计数器达到零，则在310处检测到姿势超时，并启动“动作1”。
因此，在一些实例中，状态机判断为在310处的信道检查所检测到的第一姿势的姿势超时时间段内未检测到第二姿势，并且状态机响应于在310处检测到姿势超时而启动“动作1”。
如果在320处基于新信道数据的信道检查检测到姿势，则状态机递增至“状态N-1”，并且姿势超时计数器被重新初始化(例如，为在310处被初始化为的相同值或其它值)。
在320处重新初始化姿势超时计数器之后，处理300进入330，并且基于新信道数据进行信道检查。如果在330处基于新信道数据的信道检查未检测到姿势，则姿势超时计数器递减，并且处理300返回到310。如果姿势超时计数器达到零，则在320处检测到姿势超时，并启动“动作N-1”。
因此，在一些实例中，状态机判断为在310和320处通过信道检查检测到姿势序列、并且在320处重新启动姿势超时计数器之后发生了姿势超时，然后，状态机可以响应于在320处检测到姿势超时而启动“动作N-1”。
在图3所示的示例中，“状态N-1”是状态机的最终有效状态。因此，如果在330处基于新信道数据的信道检查检测到姿势，则状态机转变为“无效”状态，处理300返回到310，并且基于新信道数据进行信道检查。因此，在图3所示的示例中，当状态机达到“无效”状态时，不启动动作。只要运动检测系统处于活动状态，状态机就可以继续操作并且持续预定时间量或迭代次数，或者直到达到终止条件为止。
图4是示出示例性姿势识别引擎例如在运动检测系统中所进行的处理的流程图。运动检测系统可以处理基于被发送通过空间的无线信号的信息，以检测姿势(例如，人类姿势)。处理400的操作可以由远程计算机系统(例如，云中的服务器)、无线通信装置(例如，一个或多个无线通信装置)或其它类型的系统进行。例如，示例性处理400中的操作可以由图1中的一个或多个示例性无线通信装置102A、102B、102C进行。
示例性处理400可以包括附加的或不同的操作，并且这些操作可以按所示的顺序或其它顺序进行。在一些情况下，图4所示的一个或多个操作可被实现为包括多个操作、子处理或其它类型的例程的处理。在一些情况下，操作可以组合、以其它顺序进行、并行进行、迭代或以其它方式重复或者以其它方式进行。
在高级别处，处理400如下进行。在404处，对信道响应402应用加权系数412。在406处，对加权信道响应数据应用姿势频率带通滤波器。然后使用姿势频率带通滤波器406所产生的滤波器输出408来调谐加权系数412。然后在404处对信道响应再应用修改后加权系数412。处理可以持续调整加权系数412直到达到优化条件为止。一般地，加权系数412可以是正值或负值。在414处，例如基于调谐后加权系数412对加权信道响应数据应用姿势频率检测。姿势频率检测414可以分析加权信道响应数据以检测空间中发生的姿势。当检测到姿势时，姿势频率检测处理可以生成指示检测到姿势的姿势数据416。在一些情况下，姿势数据416指示姿势的类型、姿势的位置或与姿势有关的其它信息。
无线信号所穿过的空间中的姿势将调制接收器处的无线信号的强度。因此，处理400针对该强度变化的模式来分析频域信道响应402的时间系列(由无线信号导出)。例如，手快速挥动两次可能呈现为频率约为0.5赫兹的正弦波。这种模式可以利用作用于频域信道数据的时间系列的频率选择滤波器(姿势频率带通滤波器406)来检测。由于在一些实例中，姿势可能只影响信号的一个特定路径(例如，一个射线)，因此可以跨信道响应的频率区间鉴别强度。调制多径信号的一个特定路径可以将某些频率上推并将其它频率下推，从而设置不同频率区间在时间上的负相关系数。因此，无线信号的不同频率分量基于在空间中发生姿势的位置而受到不同的影响。因此，示例性处理400可以通过检查随时间的推移的信道响应402的所有频率来进行姿势识别。
在图4所示的示例中，在404处应用加权系数412产生用于姿势识别的频率组合。接收器处的无线信号强度的调制可以是姿势的速度/动力学的函数。因此，姿势识别引擎可被配置为检测这种强度调制，其可以表现为时频签名。由于姿势的物理动力学，因此强度调制出现在信道响应402的时域中，并且由于姿势的物理位置仅影响信号的多径动力学的一部分，因此强度调制也出现在信道响应402的频域中。例如，可以利用如图4所部署的时频滤波器或其它方式来检测该时频签名。时频滤波器可以包括(可由姿势可以产生的时间足迹范围确定的)时间中的特定脉冲(例如，Nyquist或Mexican-hat等)以及跨频率的不同增益(例如，以对不同频率子载波进行不同地加权)。与传统频域滤波器类似，时频可以定义通带。因此，特定的一组时频签名将通过，而其它时频签名将被衰减。
在一些实现中，时频滤波器(或其它类型的姿势鉴别滤波器)通过运动检测系统在其操作期间被自适应地调谐，使得它能够拾取发生在空间任何位置的姿势。(例如，通过在410处调谐加权系数412来)自适应地调谐时频滤波器的能力例如由于时频签名在不同环境中的可变性以及可以进行姿势的不同位置因而可能是重要的。为了包含不同人和不同环境中的变化，可以设计一组具有稍有不同的时频足迹的这种滤波器。因此，可以形成(与不同频率区间相对应的)信道响应频率分量的线性组合并(例如，在406处)将其馈送到线谱估计块，该线谱估计块寻找与人类姿势相关联的特征频率。一旦处理400检测到该签名，就可以检测到(形成完整姿势的)序列中的其它成员。在没有检测到其它姿势的情况下，可以解释姿势序列。
因此，图4中的处理400示出可以如何对信道响应应用自适应姿势滤波器的示例。在一些情况下，确定用于姿势的频带(例如，0至4赫兹；0.25至0.75赫兹；或其它频带)。然后在404处生成不同子载波的线性组合，使得各子载波与复指数相乘以在时间系列中对其进行相位提前或延迟。在410处自适应地调谐与各子载波有关的权重。在一些示例中，410处的调谐处理的目标是将子载波最相干地组合，以检测具有最佳可能信噪比(SNR)的姿势时间模式。例如，如果姿势创建了异相地振动的两个频率区间，则相干组合可以使它们对准。在一些情况下，可以利用使与人类姿势相关联的通带中的能量最大化的标准来设计对权重进行调谐的自适应滤波器。一旦滤波器权重已被调谐，数据就可以再次通过调谐滤波器，然后414处被馈送到频率鉴别器，以识别各姿势的时频签名。
图5是示出示例性无线通信装置500的框图。如图5所示，示例性无线通信装置500包括接口530、处理器510、存储器520和电源单元540。无线通信装置(例如，图1中的任何无线通信装置102A、102B、102C)可以包括附加的或不同的组件，并且无线通信装置500可被配置为如针对以上示例所述地进行操作。在一些实现中，无线通信装置的接口530、处理器510、存储器520和电源单元540一起容纳在共同的壳体或其它组装件中。在一些实现中，无线通信装置的一个或多个组件可被单独容纳在例如单独的壳体或其它组装件中。
示例性接口530可以通信(接收、发送或两者兼有)无线信号。例如，接口530可被配置为通信根据无线通信标准(例如，Wi-Fi、4G、5G或蓝牙等)格式化的射频(RF)信号。在一些实现中，示例性接口530包括无线电子系统和基带子系统。无线电子系统可以例如包括一个或多个天线以及射频电路。无线电子系统可被配置为在无线通信信道上通信射频无线信号。作为示例，无线电子系统可以包括无线电芯片、RF前端以及一个或多个天线。基带子系统可以例如包括被配置为处理数字基带数据的数字电子器件。在一些情况下，基带子系统可以包括数字信号处理器(DSP)装置或其它类型的处理器装置。在一些其情况下，基带系统包括数字处理逻辑，以操作无线电子系统、通过无线电子系统来通信无线网络业务、或进行其它类型的处理。
示例性处理器510可以例如执行指令，以基于数据输入来生成输出数据。指令可以包括存储器520中所存储的程序、代码、脚本、模块或其它类型的数据。另外或可选地，指令可被编码为预编程或可重新编程的逻辑电路、逻辑门或其它类型的硬件或固件组件或模块。处理器510可以是或包括通用微处理器，作为专用协处理器或其它类型的数据处理设备。在一些情况下，处理器510进行无线通信装置500的高级操作。例如，处理器510可被配置为执行或解释存储器520中所存储的软件、脚本、程序、功能、可执行指令或其它指令。在一些实现中，处理器510可被包括在无线通信装置500的接口530或其它组件中。
示例性存储器520可以包括计算机可读存储介质，例如易失性存储器装置、非易失性存储器装置或这两者。存储器520可以包括一个或多个只读存储器装置、随机存取存储器装置、缓冲存储器装置、或这些和其它类型的存储器装置的组合。在一些实例中，存储器的一个或多个组件可以与无线通信装置500的其它组件集成或以其它方式关联。存储器520可以存储处理器510可执行的指令。例如，指令可以包括用以进行图3和4所示的示例性处理300、400中的一个或多个操作的指令。
在图5所示的示例中，存储器520存储指令，该指令在由处理器510执行时进行运动检测系统550的操作。示例性运动检测系统550包括姿势识别引擎552、状态机554、姿势数据库556和其它组件。在一些情况下，运动检测系统550被配置为进行以上针对图1、2A、2B、3和4所述的一个或多个操作。另外，运动检测系统550包括用以检测空间中的对象的运动的不同运动检测引擎，并且姿势识别引擎552使用用以检测空间中的姿势的不同处理。
示例性姿势识别引擎552包括指令，该指令在由处理器510执行时可以基于从无线信号获得的信道信息来检测姿势(例如，人类姿势)。例如，姿势识别引擎552可以进行图4所示的示例性处理400的一个或多个操作。在一些实例中，姿势识别引擎552检测姿势序列并向状态机554提供姿势数据。
示例性状态机554包括指令，该指令在由处理器510执行时可以启动与检测到的姿势或姿势序列相关联的动作。例如，状态机554可以进行图3所示的示例性处理300的一个或多个操作。在一些实例中，状态机554访问姿势数据库556以识别与状态机556的状态或检测到的姿势或姿势序列相关联的动作。
示例性姿势数据库556包括数据，该数据将姿势(例如，单个姿势、姿势序列等)与运动检测系统550响应于姿势而要启动的相应动作相关联。在一些情况下，姿势数据库556包括直接将特定姿势或姿势序列与要启动的相应动作相关联的数据条目。在一些情况下，姿势数据库556包括直接将状态机554的特定状态与运动检测系统550所要启动的相应动作相关联的数据条目。姿势数据库556可以以其它方式配置。
示例性电源单元540向无线通信装置500的其它组件提供电力。例如，其它组件可以基于由电源单元540通过电压总线或其它连接提供的电力来进行操作。在一些实现中，电源单元540包括电池或电池系统，例如可再充电电池。在一些实现中，电源单元540包括适配器(例如，AC适配器)，该适配器接收(来自外部源的)外部电力信号并将该外部电力信号转换为被调节用于无线通信装置500的组件的内部电力信号。电源单元520可以包括其它组件或以其它方式进行操作。
本说明书中所描述的一些主题和操作可以在数字电子电路中、或者在计算机软件、固件或硬件中实现，包括本说明书中所公开的结构及其结构等同物、或者结构中的一个或多个的组合。本说明书中所描述的一些主题可以被实现为一个或多个计算机程序(即计算机程序指令的一个或多个模块)，编码在计算机存储介质上以供数据处理设备执行或用于控制数据处理设备的操作。计算机存储介质可以是计算机可读存储装置、计算机可读存储基板、随机或串行存取存储器阵列或装置、或者它们中的一个或多个的组合，或者可被包括在其中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质也可以是一个或多个单独的物理组件或介质(例如，多个CD、盘或其它存储装置)，或者被包括在其中。
本说明书中所描述的一些操作可以被实现为数据处理设备对一个或多个计算机可读存储装置上所存储的或者从其它源接收到的数据所进行的操作。
术语“数据处理设备”包含用于处理数据的所有种类的设备、装置和机器，举例而言包括可编程处理器、计算机、片上系统或者前述的多个或组合。设备可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除硬件以外，设备还可以包括为所考虑的计算机程序创建执行环境的代码，例如用于构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们中的一个或多个的组合的代码。
计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以包括编译语言或解释语言、声明语言或过程语言等的任何形式的编程语言来编写，并且其可以以任何形式进行部署，包括被部署为独立程序或者被部署为模块、组件、子例程、对象或者适合在计算环境中使用的其它单元。计算机程序可以但不必与文件系统中的文件相对应。程序可以存储在文件的一部分中，其中该文件将其它程序或数据(例如，标记语言文件中所存储的一个或多个脚本)保存在专用于程序的单个文件中、或者保存在多个协调文件(例如，用于存储一个或多个模块、子程序或代码的一部分的文件)中。计算机程序可以被部署为在一个计算机上、或者在位于一个站点处或跨多个站点分布并且通过通信网络互连的多个计算机上执行。
本说明书中所描述的处理和逻辑流中的一些可以利用一个或多个可编程处理器来进行，其中这些一个或多个可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来进行动作。这些处理和逻辑流还可以由专用逻辑电路进行并且设备也可被实现为专用逻辑电路，其中所述专用逻辑电路例如是FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
为了提供与用户的交互，操作可以在计算机上实现，其中该计算机具有用于向用户显示信息的显示装置(例如，监视器或其它类型的显示装置)、以及用户可以向计算机提供输入的键盘和指点装置(例如，鼠标、追踪球、平板电脑、触敏屏幕或其它类型的指点装置)。其它种类的装置也可以用于提供与用户的交互；例如，被提供至用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入可以以任何形式接收，包括声音、语音或触觉输入。另外，计算机可以通过相对于用户所使用的装置发送和接收文档(例如通过响应于从用户的客户端装置上的web浏览器接收到的请求而向web浏览器发送web页面)来与该用户进行交互。
在一般方面中，运动检测系统检测姿势(例如，人类姿势)并响应于所检测到的姿势而启动动作。
在第一示例中，基于由一个或多个无线通信装置发送通过空间的无线信号来获得信道信息。姿势识别引擎分析信道信息以检测空间中的姿势(例如，预定姿势或预定姿势序列)。识别响应于所检测到的姿势而要启动的动作。向与空间相关联的网络连接装置发送用以进行动作的指令。
第一示例的实现可以包括以下特征中的一个或多个。可以检测姿势的位置，并且可以基于姿势的位置来确定要启动的动作(例如，动作的类型、动作的位置、或进行动作的装置)。检测姿势可以包括检测姿势序列。检测姿势序列可以包括判断为在姿势超时时间段内在空间中发生了第一姿势和第二姿势。检测姿势序列可以包括：响应于检测到第一姿势，启动状态机的状态并且启动姿势超时计数器；响应于在姿势超时时间段内检测到第二姿势，推进状态机的状态并且启动姿势超时计数器；在重新启动姿势超时计数器之后，基于姿势超时计数器来检测姿势超时；以及基于状态机在姿势超时时的状态来识别动作。
第一示例的实现可以包括以下特征中的一个或多个。检测姿势可以包括使用时频滤波器来检测姿势的时频签名。信道信息可以包括信道响应的时间系列，并且使用时频滤波器可以包括对信道响应的频率分量应用加权系数。时频滤波器可以包括自适应时频滤波器，该自适应时频滤波器调谐加权系数以检测姿势的时频签名。自适应时频滤波器可以调谐加权系数以检测在与人类姿势相对应的频率范围(例如，0至4赫兹、0.25至0.75赫兹或其它频率范围)内调制信道响应的强度的姿势。
在第二示例中，非暂时性计算机可读介质存储指令，该指令在由数据处理设备执行时能够运行以进行第一示例的一个或多个操作。在第三示例中，系统包括无线通信装置、无线连接装置、以及被配置为进行第一示例的一个或多个操作的计算机装置。
第三示例的实现可以包括以下特征中的一个或多个。无线通信装置其中之一可以是或包括计算机装置。无线通信装置其中之一可以是或包括网络连接装置。计算机装置可以位于无线通信装置和/或网络连接装置的远处。
虽然本说明书包含很多细节，但这些细节不应被理解为对所要求保护的范围的限制，而应被解释为特定于特定示例的特征描述。还可以组合在单独实现的上下文中在本说明书中描述或在附图中示出的某些特征。相反，在单个实现的上下文中描述或示出的各种特征还可以在多个实施例中单独实现或者以任何合适的子组合实现。
同样，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为要求以所示的特定顺序或者以序列顺序来进行这些操作、或者进行所有所示操作以实现期望结果。在某些情形中，多任务和并行处理可以是有利的。此外，上述实现中的各种系统组件的分离不应被理解为在所有实现中都要求这种分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个产品中或者封装到多个产品中。
已经描述了许多实施例。然而，应当理解，可以进行各种修改。因此，其它实施例在所附权利要求书的范围内。