阅读说明：本技术 电磁传感器和包括其的移动设备 (Electromagnetic sensor and mobile device including the same ) 是由 李昇宰 金秀容 洪善珠 于 2019-05-24 设计创作，主要内容包括：一种电磁(EM)传感器包括：使用从外部源发送的电磁波生成EM信号的前端模块,存储用于识别所述EM信号的多个机器学习模型的一部分的传感器存储器,以及用于通过将从所述EM信号提取的特征值输入到机器学习模型来识别发射电磁波的外部电子设备的微控制器单元。如果存储在所述传感器存储器中的机器学习模型不能识别外部设备,则可以将所述特征值发送到主处理器,并且所述主处理器可以将特征值与另一组机器学习模型进行比较。(An Electromagnetic (EM) sensor comprising: the apparatus includes a front-end module generating an EM signal using an electromagnetic wave transmitted from an external source, a sensor memory storing a portion of a plurality of machine learning models for identifying the EM signal, and a microcontroller unit identifying an external electronic device emitting the electromagnetic wave by inputting a feature value extracted from the EM signal to the machine learning models. If the machine learning model stored in the sensor memory is unable to identify an external device, the feature values may be sent to a host processor, and the host processor may compare the feature values to another set of machine learning models.)

电磁传感器和包括其的移动设备

相关申请的交叉引用

本申请要求分别于2018年5月28日、2018年5月29日和2018年11月8日在韩国知识产权局提交的韩国专利申请10-2018-0060485、10-2018-0060911和10-2018-0136742的优先权，其公开内容通过引用整体并入本文。

技术领域

本发明构思涉及EM传感器和包括该EM传感器的移动设备。

背景技术

不同的电子设备可以在设备的操作期间基于各种内部电路和时钟信号发射不同的电磁(EM)波。EM传感器可以接收由电子设备发射的电磁波，生成EM信号，并从EM信号中提取特征值。基于这些特征值，EM传感器可以基于它们发射的EM辐射识别和/或分类外部电子设备。

在一些情况下，EM传感器可以与单独的处理器通信以基于所提取的特征来识别电子设备。例如，EM传感器可以将提取的特征发送到中央处理单元(CPU)或应用处理器(AP)，以便识别外部设备。但是，这可能会导致处理器的功耗和负担增加。

发明内容

本发明构思的一个方面是提供一种EM传感器和包括该EM传感器的移动设备，并且EM传感器使用存储在EM传感器中的机器学习模型执行用于识别和/或分类对应于EM信号的电子设备的过程，以降低主处理器的功耗和操作负担。

根据本发明构思的一个方面，一种电磁(EM)传感器包括：被配置为基于从外部电子设备接收的电磁波来生成EM信号前端模块，被配置为存储多个机器学习模型的一部分作为第一机器学习模型的传感器存储器，以及被配置为通过将从EM信号提取的特征值输入到第一机器学习模型来识别发射电磁波的外部电子设备的微控制器单元。

根据本发明构思的一个方面，EM传感器包括：被配置为接收第一电磁波的第一天线，被配置为接收第二电磁波的第二天线，被配置为分别使用第一电磁波和第二电磁波来生成第一EM信号和第二EM信号的前端模块，被配置成存储多个机器学习模型的传感器存储器，以及被配置为计算第一EM信号和第二EM信号之间的差获得第三EM信号，以及将从第三EM信号中提取的特征值输入到多个机器学习模型以识别外部电子设备的微控制器单元。

根据本发明构思的一个方面，EM传感器包括：被配置为接收第一电磁波的第一天线，被配置为接收第二电磁波的第二天线，被配置为分别使用第一电磁波和第二电磁波来生成第一EM信号和第二EM信号的前端模块，以及被配置为计算第一EM信号和第二EM信号之间的差值以获得第三EM信号，以及输出从第三EM信号中提取的特征值的微控制器单元。

根据本发明构思的一方面，一种移动设备包括：EM传感器，被配置为提取对应于从外部电子设备发送的电磁波的EM信号的特征值，将特征值输入到包括在EM传感器中的传感器存储器中存储的多个第一机器学习模型，以及基于多个第一机器学习模型来识别外部电子设备；主存储器，被配置为存储多个第二机器学习模型，其中多个第二机器学习模型中的至少一个不被包括在多个第一机器学习模型中；以及主处理器，被配置为从EM传感器接收EM信号的特征值，将特征值输入到存储在主存储器中的多个第二机器学习模型，以及在EM传感器无法基于多个第一机器学习模型来识别外部电子设备时识别外部电子设备。

附图说明

通过以下结合附图的详细描述，将更清楚地理解本公开的上述和其他方面、特征和其他优点，其中：

图1是示出根据示例实施例的移动设备的示意性透视图；

图2是示出根据示例实施例的移动设备的操作的图；

图3是示出根据示例实施例的移动设备的示意性框图；

图4是示出根据示例实施例的EM传感器的示意性框图。

图5和图6是示出根据示例实施例的EM传感器和移动设备的操作的流程图；

图7是示出根据示例实施例的EM传感器的操作的图；

图8是示出根据示例实施例的移动设备的操作的图；

图9至图11是示出根据示例实施例的EM传感器的示意性框图；

图12是示出根据示例实施例的EM传感器和移动设备的操作的图；

图13是示出根据示例实施例的EM传感器的操作的图；

图14和图15是示出根据示例实施例的移动设备的操作的图；

图16是示出根据示例实施例的移动设备的示意性框图；以及

图17至图20是示出根据示例实施例的使用移动设备的服务的图。

具体实施方式

在下文中，将参考附图详细描述本发明构思的示例实施例。本公开的实施例涉及包括EM传感器存储器的电磁(EM)传感器。存储器可以存储经常使用的一个或多个机器学习模型。EM传感器可以提取EM信号的特征值并使用EM传感器存储器中的机器学习模型来处理这些特征值。

当EM传感器未能基于该初始处理来识别电子设备时，EM传感器可以将特征值发送到可以使用第二组机器学习模型(其可以存储在主存储器中)以识别EM信号的来源的主处理器。在将特征值发送到主处理器之前依赖EM传感器存储器内的机器学习模型可以使得降低主处理器上的功耗和负担。

在一些示例中，设备可以利用位于设备上的不同位置处的多个天线来捕获EM信号。可以组合在不同天线处接收的信号以便生成更好的信号(例如，可以把一个信号从另一个信号中减去)。例如，组合信号可以增加信噪比，这可以提高EM传感器识别信号源的能力。

图1是示出根据示例实施例的移动设备10的示意性透视图。

参考图1，移动设备10可以包括外壳11、显示器12、相机模块13、输入单元14和EM传感器15。根据示例实施例的移动设备10被示为图1中的智能手机，并且可以在概念上包括诸如平板电脑和膝上型电脑的各种移动设备，诸如智能手表的可穿戴设备，以及通用电子设备。

EM传感器15可以被安装在移动设备10中。EM传感器15可以包括包括被配置为接收特定频带中的电磁波并将电磁波转换成数字信号的电路的模拟前端(AFE)模块。EM传感器15还可以包括被配置为使用数字信号来识别外部电子设备(即，发射电磁波的设备)的微控制器单元。EM传感器15还可以包括被配置为接收电磁波并将电磁波转换为模拟信号的天线。在一些情况下，EM传感器15和无线通信模块(例如，在智能手机中)可以共享一个或多个天线。

图2是示出根据示例实施例的移动设备10的操作的图。

参考图2，其上安装有EM传感器的移动设备10的用户可以接近发射电磁波的电子设备20。在一些示例中，移动设备10可以与电子设备20接触。许多电子设备20发射在某些组件电子电路的操作期间生成的电磁波。例如，电子设备20可以发射由诸如内部电路的组件所使用的时钟信号的电信号所确定的唯一电磁波。

当两个设备接近或彼此接触时，移动设备10的EM传感器可以检测由电子设备20所发射的电磁波。当移动设备10接收由电子设备20所发射的电磁波时，移动设备10的EM传感器可以提取电磁波的特征并将特征输入到预定的机器学习模型。预定的学习模型可以被配置为基于所发射的辐射来识别和/或分类电子设备20。例如，EM传感器可以识别电子设备20的类型或型号(model)名称等。

图3是示出根据示例实施例的移动设备100的示意框图。

参考图3，移动设备100可以包括显示器110、EM传感器120、存储器130、主处理器140和端口150。此外，移动设备100还可以包括有线/无线通信设备、电源供应设备等。在图3中所示的组件中，端口150可以是被提供以允许移动设备100与外部设备通信的设备，诸如视频卡、声卡、存储卡、USB设备、计算机等。移动设备100可以在概念上包括智能电话、平板电脑、可穿戴设备、膝上型计算机和各种其他电子设备。

主处理器140可以执行特定操作、命令、任务等。主处理器140可以以中央处理单元(CPU)或片上系统(SoC)的形式提供，并且可以与包括在移动设备100中的其他组件通信，诸如显示器110、EM传感器120、存储器130以及经由系统总线160连接到端口150的其他设备。在示例实施例中，主处理器140和EM传感器120可以以主从方式操作。

EM传感器120可以包括被配置为接收从外部源发送的电磁波并将电磁波转换为信号的模拟前端模块。EM传感器120还可以包括传感器存储器和用于处理信号的微控制器单元。传感器存储器可以被安装在EM传感器120中，可以与移动设备100的存储器130分开。EM传感器120的微控制器单元可以提取通过在模拟前端模块接收电磁波而生成的信号的特征值。移动设备100的EM传感器120(例如，使用微控制器单元)和主处理器140都可以被配置为将特征值输入到预定的机器学习模型以识别发射电磁波的电子设备。

在一种操作模式中，EM传感器120可以从通过接收电磁波所生成的信号中提取特征，并且主处理器140可以将特征应用于机器学习模型。也就是说，在该模式中，无论何时从外部源检测到电磁波，都可以操作主处理器140。在一个实施例中，无论主处理器140的操作模式如何，EM传感器120都可以保持开启状态达预定时段，以及在所述预定时段中使用电磁波来生成EM信号。

为了有效地管理向移动设备100供电的电池，主处理器140可以在睡眠模式和唤醒模式之间交替。在一些情况下，当EM传感器120检测到电磁波并提取特征值时，主处理器140可以被转换为唤醒模式。然而，利用主处理器140来处理特征值可以增加移动设备100的总功耗，这会缩短移动设备100可以在电池充电上操作的时间长度。

如果移动设备100的用户能够直接控制EM传感器120的开启/关闭状态，则用户可以选择性地开启EM传感器120以便检测外部设备(即，通过处理由外部设备发出的电磁波)。当EM传感器120开启并且检测到电磁波时，主处理器140可以被转换为唤醒模式，并且机器学习模型可以应用于从电磁波提取的特征值。

使得能够直接控制EM传感器120的开/关状态可以降低总功耗。然而，如果主处理器140被用于应用机器学习模型以基于从电磁波提取的特征值来识别设备，则当EM传感器120接收电磁波时，主处理器140仍将消耗功率。另外，无论何时将其用于此目的，应用机器学习模型都还将在主处理器140上造成操作负担。

因此，根据本公开的实施例，机器学习模型可以与EM传感器120本身(例如，使用微处理器)一起应用。也就是说，在接收电磁波并提取特征值之后，EM传感器可以应用机器学习过程来识别发射电磁波的电子设备。

EM传感器120可以将某些机器学习模型存储在传感器存储器中。例如，EM传感器120可以存储用于识别发射电磁波的电子设备的多个机器学习模型中相对频繁使用的那些模型。在示例中，可以保存使用计数，并且可以将使用超过阈值次数的模型存储在EM传感器120的存储器中。存储在EM传感器120内的机器学习模型在本文中可以称为第一机器学习模型。

因此，当接收到电磁波时，EM传感器120的微控制器单元可以将从电磁波提取的特征值应用于存储在传感器存储器中的第一机器学习模型，而无需主处理器140的介入。因此，可以减少主处理器140的功耗和操作负担。在一些情况下，当EM传感器120使用第一机器学习模型基于发射的电磁波识别电子设备时，主处理器140可以基于关于电子设备提供的服务实现操作进行介入。

图4是示出根据示例实施例的EM传感器200的示意性框图。

参考图4，EM传感器200可以包括模拟前端(AFE)模块210、微控制器单元220和传感器存储器230。传感器存储器230可以是封装在EM传感器200内部的存储器设备，并且可以包括静态随机存取存储器(SRAM)、闪存等。

模拟前端模块210可以是用于将从外部源发送的电磁波转换为信号的电路，并且可以包括天线、混频器、滤波器、信号放大器、模数转换器等。例如，模拟前端模块210可以被配置为接收预定频带(例如，低于3MHz的频带)中的电磁波，并且可以基于在该频带内所接收的电磁波来生成EM信号。由模拟前端模块210生成的信号可以被发送到微控制器单元220。

微控制器单元220可以提取EM信号的特征值以识别和/或分类发射电磁波的电子设备。由微控制器单元220用于识别和/或分类电子设备的机器学习模型可以被存储在传感器存储器230中。因此，没有主处理器(即，安装在与EM传感器200相同的设备上并且作为EM传感器200的主设备操作的主处理器)的介入，EM传感器200的微控制器单元220可以识别发射电磁波的电子设备的类型、型号等。

在一些情况下(即，由于传感器存储器230的存储空间的限制)，用于识别和分类电子设备的一些机器学习模型可能不被存储在传感器存储器230中。在示例实施例中，确定具有相对高的累积使用次数、使用可用性或使用频率的一组第一机器学习模型可以被存储在EM传感器200的传感器存储器230中。

在一些情况下，第一机器学习模型可以是存储在其上安装有EM传感器200的移动设备的主存储器中的机器学习模型的子集。在一些情况下，微控制器单元220可以基于将使用模型的可能性(例如，基于使用计数，或者诸如考虑到机器学习模型的效率的算法的另一选择算法)来选择存储在传感器存储器230中的第一机器学习模型。然后，微控制器单元220可以将第一机器学习模型应用于从电磁波生成的EM信号的特征值。

在示例实施例中，机器学习模型可以包括高斯混合模型(GMM)。然而，可以使用适合于基于特征值识别外部设备的任何机器学习模型。在一些示例中，用于识别外部设备的算法可以基于静态模型，并且可以不包含机器学习。

在一些情况下，微控制器单元220可能无法使用存储在传感器存储器230中的第一机器学习模型来识别或分类电子设备。因此，在示例实施例中，当EM传感器200不识别电子设备时，EM信号的特征值可以被传送到主处理器(即，到作为EM传感器200的主设备操作的处理器)。

换言之，当EM传感器200未能识别电子设备时，主处理器可以从主存储器应用一个或多个机器学习模型。因此，可以有效地管理主处理器的操作负担和功耗。

图5和图6是示出根据示例实施例的EM传感器和移动设备的操作的流程图。

首先，将参考图5描述EM传感器的操作。可以通过接收电磁波并生成EM信号来开始EM传感器的操作(S10)。EM传感器接收的电磁波可以是由外部电子设备发射的电磁波(即，不是包括EM传感器本身的移动设备的电磁波)。不同的电子设备可以发射不同的电磁波，因为电路组件和时钟信号可能不同。因此，EM传感器可以接收由外部电子设备发射的电磁波，以生成指示信号来源的EM信号。

然后，具有EM传感器的移动设备可以使用在S10中所接收的EM信号来识别发射电磁波的电子设备(S11)。如上所述，电子设备可以根据其类型、型号、组件等发射不同的电磁波，因此EM传感器可以使用EM信号对电子设备进行分类或识别。为了识别电子设备，EM传感器可以提取EM信号的特征值，并且可以将特征值输入到一个或多个预定的机器学习模型中。例如，机器学习模型可以包括高斯混合模型。

在某些系统中，当EM传感器提取EM信号的特征值时，主处理器(即，安装在与EM传感器相同的移动设备上并且作为EM传感器的主设备操作的处理器)可以将一个或多个机器学习模型应用于EM信号的特征值。然而，如果仅主处理器被配置为执行识别操作，则每当EM传感器检测到来自外部电子设备的电磁波时，都可能要求主处理器进入唤醒模式。因此，可能增加主处理器上的功耗和操作负担。

在示例实施例中，为了减少主处理器的功耗和操作负担，具有相对高的使用可用性或累积使用数量的某些机器学习模型可以被存储在安装在EM传感器中的传感器存储器中。因此，可以基于包括基于EM信号的识别结果的历史信息来存储和更新第一机器学习模型。然后，EM传感器可以将这些机器学习模型应用于从外部设备接收的电磁信号中提取的特征值。

换言之，当接收到EM信号时，EM传感器可以从EM信号中提取特征值，然后将特征值输入到存储在EM传感器内的传感器存储器中的一个或多个机器学习模型。因此，在没有主处理器介入的情况下，EM传感器可以识别发射对应于EM信号的电磁波的电子设备。

当完成电子设备识别时，可以根据识别结果向用户执行或提供服务(S12)。在S12中提供的服务可以是由包括EM传感器的移动设备提供的服务。在一些情况下，S12可以由移动设备的主处理器执行。例如，当基于EM信号识别的外部电子设备是空气净化器、空调等时，可以在移动设备的屏幕上显示与外部设备相对应的图像(例如，细粉尘或超细粉尘的浓度、过滤器更换周期或当前的温度和湿度)。

在另一示例中，如果识别的电子设备是TV，则移动设备可以向TV提供视频的URL信息，使得TV可以访问相应的URL并播放视频。在又一示例中，移动设备可以在识别IoT设备时发起提供物联网(IoT)环境的初始设置的服务。可以根据所识别的电子设备的特性提供各种其他服务。

接下来，将参考图6描述根据示例实施例的EM传感器和移动设备的操作。参考图6，可以通过检测电磁波并在EM传感器处生成EM信号来开始操作(S20)。S20的操作可以类似于先前参考图5描述的S10的操作。

当生成EM信号时，EM传感器可以从EM信号中提取特征值(S21)。例如，EM传感器可以包括被配置为接收电磁波并将电磁波转换为EM信号的模拟前端模块。EM传感器还可以包括被配置为使用EM信号执行信号处理操作的微控制器单元，以及传感器存储器。微控制器单元可以从EM信号中提取特征值，例如频域或时域中的EM信号的模型的样本。传感器存储器可以存储一个或多个机器学习模型以使用EM信号的特征值来识别电子设备。存储在传感器存储器中的机器学习模型可以被称为第一机器学习模型。

EM传感器的微控制器单元可以将EM信号的特征值输入到存储在传感器存储器中的第一机器学习模型，以计算一个或多个特征分数(S22)，其可以用于确定是否适合将特征值发送到主处理器。在S22中使用的第一机器学习模型可以被存储在EM传感器内的传感器存储器中，因此可以在没有主处理器介入的情况下执行S22。

在S22中计算的一个或多个特征分数可以代表第一机器学习模型成功识别外部设备的概率。换言之，特征分数可以表示从一个或多个第一机器学习模型正确识别从EM信号提取的特征值的可能性。

EM传感器的微控制器单元可以将一个或多个特征分数与对应于第一机器学习模型的一个或多个参考分数进行比较(S23)。在S23中所应用的一个或多个参考分数可以对应于与第一机器学习模型一起被存储在传感器存储器中的一个或多个值，并且可以根据哪些机器学习模型被存储在传感器存储器中而变化。

当一个或多个特征分数小于分配给第一机器学习模型中的每一个的参考分数时，可以确定第一机器学习模型将不识别发射电磁信号的外部设备。因此，EM传感器可以将EM信号的特征值传送到EM传感器的主设备，例如，移动设备的主处理器(S24)。主处理器可以将EM信号的特征值输入到存储在移动设备的主存储器中的第二组机器学习模型，以识别发射与EM信号对应的电磁波的电子设备(S25)。例如，第二机器学习模型可以包括与第一机器学习模型不同的机器学习模型。

因此，当确定一个或多个特征分数低于S22中的一个或多个参考分数时，可以在可以是EM传感器的主设备的主处理器中执行识别和/或分类电子设备的操作。例如，主处理器可以将由EM传感器提取的特征值输入到存储在主存储器中的第二机器学习模型。

然而，如果有其中作为S23的比较结果，对应的特征分数高于参考分数的第一机器学习模型，则EM传感器可以成功识别和/或分类电子设备。因此，用于识别发射对应于EM信号的电磁波的电子设备的操作S25可以由EM传感器而不是主处理器执行。

当电子设备的识别和/或分类完成时(通过EM传感器或通过主处理器)，可以由移动设备提供与电子设备相对应的各种服务(S26)。

此外，当电子设备的识别和/或分类完成时，可以更新一个或多个机器学习模型(S27)。例如，EM传感器的微控制器单元可以参考在S25中成功识别电子设备的第一机器学习模型的使用数量来更新存储在传感器存储器中的第一机器学习模型。

当在S23中没有获得高于参考分数的特征分数的第一机器学习模型时，主处理器可以使用存储在主存储器中的第二机器学习模型来识别电子设备。在这种情况下，EM传感器可以将用于识别电子设备的第二机器学习模型的使用数量与存储在传感器存储器中的第一机器学习模型中的每一个的使用数量进行比较，以确定第二机器学习模型是否应该是存储在传感器存储器中。此外，当一个或多个第一机器学习模型在S23中获得高于相应参考分数的特征分数时，可以参考第一机器学习模型中的每一个的更新的使用数量来改变第一机器学习模型的排序顺序。

图7是示出根据示例实施例的EM传感器的操作的图。

参考图7，根据示例实施例的EM传感器310可以被安装在移动设备300上，并且可以与移动设备300的主处理器的应用处理器320一起操作。例如，EM传感器310和应用处理器320可以通过移动设备300的系统总线来交换数据。此外，EM传感器310可以作为应用处理器320的从设备操作，并且应用处理器320可以作为EM传感器310的主设备操作。

EM传感器310可以包括模拟前端模块(AFE)311、微控制器单元(MCU)312、传感器存储器313等。传感器存储器313可以是封装在EM传感器310内部的存储器，并且可以与可以由应用处理器320管理的主存储器330区分开。

应用处理器320可以被连接以与提供云服务的外部服务器350通信，并且外部服务器350可以存储用于使用EM信号的特征值来识别和/或分类电子设备的多个机器学习模型。例如，多个机器学习模型可以包括概率模型。应用处理器320可以在每个预定时段期间或者响应于用户的操作，周期性地检查存储在外部服务器350中的新存储的机器学习模型中的更新的机器学习模型。如果是这样的话，则应用处理器320可以下载新机器学习模型并将其存储在主存储器330中。

在示例实施例中，为了降低应用处理器320的功耗和操作负担，可以将具有相对高的使用可用性或相对大的累积使用数量的某些机器学习模型存储在传感器存储器313中(即，第一机器学习模型)。微控制器单元312可以将EM信号的特征值输入到存储在传感器存储器313中的第一机器学习模型以识别外部设备。换言之，当模拟前端模块311接收电磁波以生成EM信号时，微控制器单元312可以提取EM信号的特征值，然后使用存储在传感器存储器313中的第一机器学习模型来识别和/或分类发射电磁波的电子设备。

在图7中所示的示例实施例中，三个第一机器学习模型被存储在传感器存储器313中，但是这不应被视为限制性示例。换言之，可以改变存储在EM传感器310内的传感器存储器313中的第一机器学习模型的数量。传感器存储器313可以存储附加的相关信息，例如参考分数，作为将EM信号的特征值输入到第一机器学习模型中的每一个的结果，是用于确定电子设备的识别和/或分类的成功的标准。传感器存储器313还可以存储识别次数，其可以代表第一机器学习模型中的每一个的使用数量，以及将使用第一机器学习模型中的每一个识别的设备的类型。

例如，微控制器单元312可以从模拟前端模块311生成的EM信号中提取特征值。此外，微控制器单元312可以将EM信号的特征值输入到存储在传感器存储器中的第一机器学习模型中的每一个。微控制器单元312可以基于哪个识别次数更高来按顺序应用第一机器学习模型。在图7中所示的示例实施例中，微控制器单元312可以首先将从EM信号提取的特征值应用于机器学习模型A，并且可以将结果与90％的参考分数进行比较以确定发射电磁波的电子设备是否是设备A。在将从EM信号提取的特征值输入到机器学习模型A后，当得分小于90％时，微控制器单元312可以将特征值输入到机器学习模型B。

存储在传感器存储器313中的数据可以由微控制器单元312管理。例如，在图7所示的示例实施例中，当机器学习模型D(其可以被存储在主存储器330而不是传感器存储器313中)被使用两次或更多次时，微控制器单元312可以在第一机器学习模型中替换机器学习模型C(即，因为机器学习模型C仅被使用过一次)。与机器学习模型D相对应的信息也可以被写入传感器存储器313。这种选择将要存储在传感器存储器313中的机器学习模型的方法可以用于有效地管理传感器存储器313的存储空间。

当存储在传感器存储器313中的第一机器学习模型(即，机器学习模型A至C)未识别电子设备时，微控制器单元312可以将EM信号的特征值传送到应用处理器320。应用处理器320可以将EM信号的特征值输入到存储在主存储器330中的第二机器学习模型，使得应用处理器可以识别发射电磁波的电子设备。应用处理器320所使用的第二机器学习模型可以与存储在传感器存储器313中的第一机器学习模型不同。

图8是示出根据示例实施例的移动设备的操作的图。

图8是示例示出使用移动设备30的环境的图。移动设备30可以包括被配置为接收电磁波以生成EM信号并检测EM信号的特征值的EM传感器。在图8中所示的示例实施例中，用户可以使用移动设备30来收集关于电视40的信息并使用预定的服务。

包括在移动设备30中的EM传感器可以包括：被配置为将电磁波转换为如上所述的EM信号的模拟前端模块，被配置为提取EM信号的特征值的微控制器单元，以及被配置为存储使用EM信号的特征值来识别和/或分类发射电磁波的电子设备所需的机器学习模型的传感器存储器。模拟前端模块可以连接到被配置为接收电磁波的天线。在图8中所示的示例实施例中，移动设备30可包括布置在不同位置的第一天线31和第二天线32。

如果移动设备30是智能手机，则第一天线31和第二天线32可以被布置为与智能手机的不同端相邻。例如，第一天线31可以被安装在智能手机的显示器的上端附近，而第二天线32可以与显示器的下端相邻。第一天线31和第二天线32中的至少一个可以由智能电话和无线通信设备中包括的EM传感器共享。

用户可以允许移动设备30紧密接近或接触电视40，例如，以便使用由移动设备30的EM传感器提供的预定服务。当第一天线31接近电视40时，第二天线32可以位于比第一天线31相对更远离电视40的位置。因此，虽然来自电视40的发射可以形成由第一天线31检测到的大部分电磁辐射，但在第二天线32处，由电视40发射的电磁辐射的比例可能相对较弱。例如，诸如从诸如冰箱50之类的***电子设备发出的辐射之类的噪声在由第二天线32检测到的电磁辐射中可能是显着的。

在示例实施例中，从由第一天线31检测到的电磁波生成第一EM信号，并且从由第二天线32检测到的电磁波生成第二EM信号。EM传感器计算对应于第一EM信号和第二EM信号之间的差的第三EM信号以去除包括除电视40之外的电子设备发射的电磁波的噪声的影响。然后，移动设备30可以提取第三EM信号的特征值并将该特征值输入机器学习模型，从而准确地识别和/或分类电视40(即目标电子设备)，以便向用户提供相关服务。

图9至图11是示出根据示例实施例的EM传感器的示意性框图。

首先，参考图9，EM传感器400可包括第一天线401、第二天线402、第一前端模块410、第二前端模块420、微控制器单元430等。第一天线401和第二天线402可以被布置在移动设备中的不同位置以彼此分离。在一些情况下，第一天线和第二天线可以在移动设备中尽可能远地放置。

第一前端模块410可以基于由第一天线401检测到的电磁波来生成第一EM信号，并且第二前端模块420可以使用由第二天线402检测到的电磁波来生成第二EM信号。在一些示例中，第一前端模块410和第二前端模块420可以具有相同的结构。因此，可以类似地在第一EM信号和第二EM信号中生成由前端模块410和420的操作所生成的噪声分量。

例如，由于在任何给定点处接收到的电磁辐射的幅度由平方反比定律确定，相对较远的辐射源将导致前端模块410和420的辐射量相似，而前端模块410和420从附近的源接收的辐射量的差将大得多。

微控制器单元430可以包括数字信号处理器(DSP)等。微控制器单元430可以计算第一EM信号和第二EM信号之间的差以获得第三EM信号。例如，微控制器单元430可以通过其中从具有相对较高强度的信号中减去具有较小强度(即，在第一EM信号和第二EM信号之间)的信号的操作来获得第三EM信号。

用户可以使用具有EM传感器400的移动设备来与预定服务进行交互，预定服务与发射电磁波的目标电子设备相关联。首先，用户可以使移动设备接近或接触目标电子设备。当发生这种情况时，第一天线401和第二天线402中的一个可以在比另一个在更近的距离处接近目标电子设备。例如，当第一天线401以更近的距离接近目标电子设备时，第一EM信号可以包括比形成第二EM信号的电磁波更强的电磁波。另一方面，第二EM信号可以包括由目标电子设备发射的相对弱的电磁波。两个信号可以包括由除目标电子设备之外的电子设备发射的大致相等大小的电磁辐射。因此，可以计算第一EM信号和第二EM信号之间的差，并且可以获得包括甚至比第一EM信号或第二EM信号更高的信噪比的第三EM信号。

然后，微控制器单元430可以将第三EM信号的特征值输入到预定的机器学习模型，以识别和/或分类目标电子设备。由于在第三EM信号中，除了目标电子设备之外的电子设备发射的电磁波的比例会相对较小，因此可以提高EM传感器400在识别目标电子设备时的性能。

接下来，参考图10，EM传感器400可包括第一天线401、第二天线402、第一前端模块410、第二前端模块420、微控制器单元430等。第一前端模块410可以包括匹配网络411、混合器412、滤波器413、放大器414和模数转换器(ADC)415。第一前端模块410的配置不受限制于图10中所示的，并且可以变化。

第二前端模块420可以具有与第一前端模块410相同或相似的结构。第一前端模块410和第二前端模块420可以分别使用由第一天线401和第二天线402接收的电磁波来生成第一EM信号和第二EM信号。由前端模块410和420的操作生成的噪声可以类似地反映在第一EM信号和第二EM信号中的每一个中。因此，在微控制器单元430计算第一EM信号和第二EM信号之间的差以获得第三EM信号的过程中，由前端模块410和420的操作生成的噪声的至少一部分可以被去除。

在第一天线401接收电磁波并将电磁波转换为模拟信号之后，模拟信号的频率可以由匹配网络411和混合器412转换。作为示例，滤波器413可以是用于移除噪声分量的电路，并且可以包括高通滤波器或带通滤波器。放大器414可以是能够调节增益的可变增益放大器，并且可以放大滤波器413的输出以生成EM信号。模数转换器415可以将EM信号转换为数字信号。第二前端模块420的操作可以类似于上面描述的操作。

微控制器单元430可以接收第一EM信号和第二EM信号，并计算第一EM信号和第二EM信号之间的差以获得第三EM信号。在示例实施例中，微控制器单元430可以提取第三EM信号的特征值。当传感器存储器被包括在EM传感器400内并且机器学习模型被存储在传感器存储器中时，微控制器单元430可以将第三EM信号的特征值输入到传感器存储器中的机器学习模型以识别发射电磁波的电子设备。或者，微控制器单元430可以提取第三EM信号的特征值以将特征值传送到EM传感器400的主设备。主设备可以是安装在与EM传感器400相同的移动设备上的主处理器。主处理器可以将第三EM信号的特征值输入到存储在主存储器中的一个或多个机器学习模型，以识别发射电磁波的电子设备。

由微控制器单元430或主处理器识别的目标电子设备可以是发射由第一天线401或第二天线402检测到的电磁波的设备。例如，当第一EM信号的强度强于由微控制器单元430或主处理器识别的第二EM信号的强度时，由微控制器单元430或主处理器识别的电子设备可以是发射对应于第一EM信号的电磁波的设备。另一方面，当第一EM信号的强度弱于第二EM信号的强度时，由微控制器单元430或主处理器识别的电子设备可以是发射与第二EM信号相对应的电磁波的设备。

接下来，参考图11，EM传感器500可以包括第一天线501、第二天线502、前端模块510、微控制器单元520等。第一天线501和第二天线502可以被布置在移动设备中的不同位置以彼此分离。

在图11中所示的示例实施例中，由第一天线501或第二天线502检测到的电磁波可以由选择器503交替地选择并传送到前端模块510。前端模块510可以将在选择器503中发送的电磁波转换为模拟信号。可以对模拟信号进行信号处理，然后将其转换为数字信号。然后可以将数字信号传送到微控制器单元520。前端模块510的配置可以类似于参考图10描述的。

选择器503可以将由第一天线501检测到的电磁波和由第二天线502检测到的电磁波顺序地传送到前端模块510。因此，选择器503可以将第一天线501和第二天线502二者检测到的电磁波以很短时间差传送到前端模块510。在示例实施例中，选择器503可以被提供为开关电路或多路复用器。

图12是示出根据示例实施例的EM传感器和移动设备的操作的图。

参考图12，在EM传感器和移动设备的操作中，EM传感器可以使用第一电磁波来生成第一EM信号(S30)，并且可以使用第二电磁波来生成第二EM信号(S31)。S30和S31的方面可以类似于参考图9和图10描述的相对应的过程。第一天线401和第一前端模块410可以使用第一电磁波来生成第一EM信号，第二天线402和第二前端模块420可以使用第二电磁波来生成第二EM信号。

如在参考图11描述的示例实施例中那样，由第一天线501和第二天线502中的每一个检测到的第一电磁波和第二电磁波可以通过选择器503以预定时间差传送到前端模块510，使得前端模块510可以生成第一EM信号和第二EM信号。

微控制器单元可计算第一EM信号与第二EM信号之间的差以获得第三EM信号(S32)。如在参考图9和图10描述的示例实施例中那样，移动设备可以包括具有相同结构的第一前端模块410和第二前端模块420，或者第一EM信号和第二EM信号可以由如图11中的单个前端模块510生成。因此，计算第一EM信号和第二EM信号之间的差，以便可以去除包括诸如由前端模块生成的来自内部电路的噪声的噪声。

微控制器单元可以从第三EM信号中提取特征值(S33)，并且可以使用特征值和一个或多个机器学习模型来计算一个或多个特征分数(S34)。在一些示例中，计算特征分数的操作可以由包括EM传感器的移动设备的主处理器(即不是微控制器单元)来执行。然而，当微控制器单元执行S34的操作以计算特征分数时，可以减少主处理器的操作负担和功耗。

微控制器单元或主处理器可以将在S34中计算的一个或多个特征分数与一个或多个参考分数进行比较(S35)。参考分数可以是分配给每个机器学习模型的分数，并且可以用于计算特征分数。在一些示例中，分配给不同机器学习模型的参考分数可以彼此不同。

如果在S35中存在具有等于或大于相对应的参考分数的特征分数的机器学习模型，则微控制器单元或主处理器可以识别电子设备并确定其类型、型号名称等(S36)。然后，主处理器可以执行至少一个应用以提供适合于在S36中所确定的电子设备类型、模型等的服务(S37)。同时，如果在S35中没有具有大于对应参考分数的特征分数的机器学习模型，则可以确定电子设备尚未被识别。在某些情况下，当无法识别外部设备时，可能无法启动操作，或者可能在不提供任何其他服务的情况下终止操作。或者，主处理器可以连接到云服务，并且可以搜索和下载一个或多个新的机器学习模型。

图13是示出根据示例实施例的EM传感器的操作的图。

参考图13A，EM传感器使用由第一天线检测的电磁波来生成第一EM信号EM1，并且可以使用由第二天线检测的电磁波来生成第二EM信号EM2。通常，在具有EM传感器的移动设备周围可能存在许多电磁辐射源(例如，多个电子设备)。因此，由多个电子设备发射的电磁波可以混合并且可以由第一天线和第二天线接收。

当移动设备接近目标电子设备(即，因此用户可以使用由EM传感器提供的服务)时，第一天线和第二天线中的一个可以更接近目标电子设备。在图13中所示的示例实施例中，假设第一天线比第二天线更靠近目标电子设备。因此，第一EM信号EM1的强度可以大于第二EM信号EM2的强度。

因此，第一EM信号EM1可以包括由目标电子设备发射的电磁波生成的信号分量和(例如，由其他电子设备发射)噪声分量两者。同时，第二EM信号EM2还可以包括目标电子设备的信号分量和噪声分量。第一EM信号EM1的信号分量的强度可以相对强于第二EM信号EM2中的强度。

如图13B中所示，EM传感器可以计算第一EM信号EM1和第二EM信号EM2之间的差，以获得第三EM信号EM3。第一EM信号EM1和第二EM信号EM2都可以包括类似的噪声分量。因此，在第三EM信号EM3中，可以以在比噪声分量(例如，相对应由其他电子设备发射的电磁波)大得多的比例包括与目标电子设备发射的电磁波相对应的信号分量。此外，如上所述，生成第一EM信号EM1和第二EM信号EM2的前端模块可以具有相同的结构，因此也可以去除电路本身的噪声(即，由前端模块的操作生成的)。因此，与第一EM信号EM1和第二EM信号EM2相比，第三EM信号EM3可以具有相对高的信噪比。

图14和图15是示出根据示例实施例的移动设备的操作的图。

首先，参考图14，用于选择性地控制移动设备600的各种传感器和通信模块的控制窗口可以被布置在显示器620上。例如，多个控制图标601到612可以被显示在控制窗口上，用户可以触摸多个控制图标601至612中的一个或多个以选择性地开启或关闭各种传感器和通信模块。在图14中所示的示例实施例中，开启Wi-Fi模块601并关闭振动警报模块602。还可以开启能够经由移动网络发送和接收数据的移动通信模块609，同时可以关闭EM传感器608。

接下来，参考图15，当EM传感器608开启时(例如，通过用户的操作)，移动设备600可以与另一电子设备700接触和/或接近。已经开启的EM传感器608从电子设备700发射的电磁波生成EM信号，并且可以使用存储在EM传感器中嵌入的传感器存储器608中的一个或多个机器学习模型来识别和分类电子设备700。

如果EM传感器608成功识别电子设备700，则移动设备600的主处理器可以基于识别结果运行适合于电子设备700的服务应用。然而，如果EM传感器608未能识别电子设备700，则EM传感器608可以将EM信号的特征值发送到主处理器。主处理器可以将特征值输入到存储在主存储器中的机器学习模型。换言之，基于EM信号的电子设备700的识别操作主要在EM传感器608中执行，因此可以减少主处理器的操作负担和功耗。

图16是示出根据示例实施例的移动设备的示意框图。

参考图16，移动设备800可以包括传感器单元810和主处理器820。传感器单元810和主处理器820可以通过系统总线830交换数据。

传感器单元810可以包括EM传感器811、运动传感器812和传感器集线器813，并且还可以包括各种传感器，诸如加速度传感器、照度传感器、重力传感器等。包括在传感器单元810中的各种传感器811和812可以通过传感器集线器813直接交换数据。换言之，由于传感器811和812通过传感器集线器813而不是数据总线830交换数据，因此可以是在没有主处理器820介入的情况下在传感器811和812之间交换数据。

在图16中所示的示例实施例中，关于移动设备800的移动的信息可以由运动传感器812收集，可以被用于启用或改善EM传感器811的操作。例如，可以提前注册将移动设备800置于其他电子设备附近的移动。例如，EM传感器811可以通过传感器集线器813从运动传感器812接收子信号。子信号可以包括关于由运动传感器812检测到的移动设备800的移动是否是使移动设备800与发射电磁波的电子设备接触和/或接近的移动的信息。然后，EM传感器811提取EM信号的特征值，并将特征值输入到存储在EM传感器811内的传感器存储器中的机器学习模型，以识别电子设备。

例如，EM传感器811可以仅在将移动设备800置于与电子设备接触和/或接近电子设备的移动发生时生成EM信号并提取EM信号的特征值。换言之，可以基于移动设备800的移动来推断用户是否实际上具有识别电子设备的意图。因此，EM传感器811的操作准确性得到改善，并且可以有效地管理移动设备800的功耗。

图17至图20是示出根据示例实施例的使用移动设备的服务的图。

首先，参考图17，当移动设备900与电视1000接触和/或接近时，移动设备900的EM传感器可以使用由电视发射的电磁波来识别电视1000的制造商、型号或标识号。当移动设备900接近电视1000时，移动设备900的EM传感器可以自动转换到开启模式，或者可以由用户手动打开。

如果移动设备900成功识别电视1000，则可以提供各种服务(例如，在使用分配给电视1000和移动设备900中的每一个的账户信息的相互认证过程之后)。例如，如图17中所示，电视1000接收在移动设备900中播放的视频的URL地址并播放视频。或者，可以在移动设备900上显示关于电视1000在特定时间段内消耗的电力的信息。或者，移动设备900可以接收电视1000的标识信息并使用该标识信息来设置物联网(IoT)环境。

接下来，在图18中所示的示例实施例中，移动设备900可以使用由空气净化器1100发射的电磁波来识别空气净化器1100。然后，移动设备900可以显示由嵌入在空气净化器1100中的灰尘传感器检测到的细尘和/或超细灰尘的值。或者，以类似于图17中所示的示例实施例的方式，移动设备可以接收空气净化器1100的识别信息，并使用识别信息来设置IoT环境，或者，例如为空气净化器1100订购过滤器更换。

参考图19，移动设备900可以使用由空调1200发射的电磁波来识别空调1200。随后，移动设备900可以启动包括在空调1200中的过滤器的更换周期或清洁周期，或者可以收集并显示空调1200的功耗。

参考图20，由移动设备900使用电磁波来识别的电子设备可以是冰箱1300。当移动设备900的EM传感器将来自冰箱1300的电磁波转换为EM信号时，主处理器或EM传感器的微控制器可以使用EM信号的特征值来识别冰箱1300。然后，移动设备900可以接收冰箱1300的标识信息，以便运行应用程序或设置IoT环境。

如上所述，根据本发明构思的示例实施例，EM传感器接收电磁波以生成EM信号，之后EM传感器可以执行用于识别和/或分类发射电磁波的电子设备的过程。可以使用存储在EM传感器内的存储器中的机器学习模型和EM信号的特征值来识别电子设备。只有当EM传感器未能识别和/或分类电子设备时，EM传感器才可以将EM信号的特征值发送到主处理器，并且所述主处理器可将特征值输入到主存储器中的机器学习模型。因此，可以降低主处理器的功耗和操作负担。

虽然上面已经示出和描述了示例实施例，但是对于本领域技术人员来说显而易见的是，在不脱离由所附权利要求限定的本公开的范围的情况下，可以进行修改和变化。