阅读说明：本技术 一种基于特征融合的室内定位方法、系统及终端 (indoor positioning method, system and terminal based on feature fusion ) 是由 闫高峰 何维 黄健军 彭湘阳 罗旸泽 牛群 何涛 于 2019-10-18 设计创作，主要内容包括：本申请公开了一种基于特征融合的室内定位方法、系统及终端,移动设备上第一应用程序在室内中的路线上收集第一数据,并存储到服务器的数据库中,服务器根据第一数据训练预测神经网络,预测神经网络用于为客户端的查询提供预测结果；客户端上的第二应用程序启动后将收集到的第二数据发送给所述服务器；服务器根据接收到的第二数据和预测神经网络确定定位导航结果。采用移动设备对室内的数据进行收集,根据收集的数据实现对预测神经网络的训练。当用户通过向服务器上报数据请求定位时,由于预测神经网络在训练数据上来学习多个具有差异的模型,然后将它们组合在一起,得到更加准确的估计结果。(The application discloses indoor positioning methods, systems and terminals based on feature fusion, wherein a application program on a mobile device collects data on an indoor route and stores the data in a database of a server, the server trains a prediction neural network according to the data, the prediction neural network is used for providing a prediction result for query of a client, a second application program on the client starts and then sends the collected second data to the server, the server determines a positioning navigation result according to the received second data and the prediction neural network, the mobile device is adopted to collect indoor data and train the prediction neural network according to the collected data, when a user requests positioning by reporting data to the server, the prediction neural network learns a plurality of models with differences on the training data and then combines the models with the models on , and a more accurate estimation result is obtained.)

一种基于特征融合的室内定位方法、系统及终端

技术领域

本申请涉及室内定位导航领域技术领域，具体涉及一种基于特征融合的室内定位方法、系统及终端。

背景技术

近年来，随着信息技术的飞速发展与智能手机的广泛普及，人们愈加依赖手机应用程序去获取信息，面向用户提供室内定位服务有着巨大需求，室内定位在公共安全、室内定位导航、社交分析、市场推广等方面都有着广阔的应用前景。例如，帮助用户在大型商场内定位、导航到目的地，根据用户的室内位置实现用户洞察、精准营销、公共安全监控等具有重要价值的应用等。为了提供高质量的服务，定位导航需要有足够的准确性，现有的方法会从各种信号(如图像，Wi-Fi等)中推断相机的位置或朝向。因此，从信号中提取稳定且具有区分度的特征对室内导航来说至关重要。

根据导航模式的不同，可以分为基于单点和基于序列的方法。基于单点的方法是通过瞬时输入来预测该时间点的相机姿势，即位置和朝向。基于序列的方法处理的是连续的输入，分析输入信号的时间关联性，以此来推断当前的相机姿势或者对应时间内的相机姿势变化情况。

但是复杂的场景中，环境因素会给导航定位带来巨大的影响。对于基于图像的室内导航方法来说，购物中心和食品广场等具有丰富的视觉信息的场地会带来足够的视觉信息以获得精确的定位结果。反之，医院和办公室等重复性装修较多的，视觉纹理稀疏的场地定位效果会有所下降。同理，对于基于地磁信号的定位方法，空旷的场地比刚体结构复杂的建筑内部更难取得精确的定位结果。因此减小外界环境因素对室内定位精确度的影响是本领域技术人员亟待解决的问题。

发明内容

本申请为了解决上述技术问题，提出了如下技术方案：

第一方面，本申请实施例提供了一种基于特征融合的室内定位方法，所述方法包括：移动设备上第一应用程序在室内中的路线上收集第一数据，并存储到服务器的数据库中，所述第一数据包括序列信号数据和图像数据；所述服务器根据所述第一数据训练预测神经网络，所述预测神经网络用于为客户端的查询提供预测结果；所述客户端上的第二应用程序启动后将收集到的第二数据发送给所述服务器；所述服务器根据接收到的第二数据和所述预测神经网络确定定位导航结果。

采用上述实现方式，采用移动设备对室内的数据进行收集，根据收集的数据实现对预测神经网络的训练。当用户通过向服务器上报数据请求定位时，由于预测神经网络在训练数据上来学习多个具有差异的模型，然后将它们组合在一起，得到更加准确的估计结果。

结合第一方面，在第一方面第一种可能的实现方式中，所述服务器根据所述第一数据训练预测神经网络，包括：将所述序列信号数据进行预处理，获得所述序列信号数据的初步特征；在特征水平上对不同序列信号数据的初步特征进行融合；使用融合特征进行位置和方向的预测。

结合第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述将所述序列信号数据进行预处理，获得所述序列信号数据的初步特征包括：通过全连接层和非线性激活层对所述序列信号数据进行初始处理；利用RNN循环神经网络对初始处理后的序列信号数据提取时间相关性；采用CNN卷积神经网络对图像数据进行特征提取，替代所述全连接层和非线性激活层；从RNN循环神经网络得到所述序列信号数据的初步特征。

结合第一方面第一种可能的实现方式，在第一方面第三种可能的实现方式中，所述在特征水平上对不同序列信号数据的初步特征进行融合，包括：在得到各个信号的初步特征以后，使用全连接层和非线性激活层将特征映射到融合特征空间，在融合特征空间中实现对不同信号的融合，以得到更加具有区分度的融合特征。

结合第一方面第三种可能的实现方式，在第一方面第四种可能的实现方式中，所述使用融合特征进行位置和方向的预测，包括：对得到的融合特征使用全连接层和非线性激活层来回归出预测的位置和方向；将预测的位置和方向提供给用户，以对用户进行导航。

结合第一方面，在第一方面第五种可能的实现方式中，还包括：使用同一批训练数据，随机初始化网络参数来得到多个具有不同误差的网络，然后采用求平均值的方式将这些网络的预测结果结合起来得到了更加准确的结果。

结合第一方面，在第一方面第六种可能的实现方式中，还包括：采用混合密度网络进行定位导航结果的不确定性估计。

结合第一方面第六种可能的实现，在第一方面第七种可能的实现方式中，所述采用混合密度网络进行定位导航结果的不确定性估计包括：利用预测神经网络的学习能力让高斯混合模型来拟合训练数据的分布；使用分布结果来对所述预测神经网络的预测结果进行评估，以实现对定位导航结果的不确定性估计。

第二方面，本申请实施例提供了一种基于特征融合的室内定位系统，所述系统包括：第一获取模块，用于移动设备上第一应用程序在室内中的路线上收集第一数据，并存储到服务器的数据库中，所述第一数据包括序列信号数据和图像数据；训练模块，用于所述服务器根据所述第一数据训练预测神经网络，所述预测神经网络用于为客户端的查询提供预测结果；第二获取模块，用于所述客户端上的第二应用程序启动后将收集到的第二数据发送给所述服务器；确定模块，用于所述服务器根据接收到的第二数据和所述预测神经网络确定定位导航结果。

第三方面，本申请实施例提供了一种终端，包括：处理器；存储器，用于存储计算机可执行指令；当所述处理器执行所述计算机可执行指令时，所述处理器执行第一方面或第一方面任一实现方式所述的基于特征融合的室内定位方法。

附图说明

图1为本申请实施例提供的一种基于特征融合的室内定位方法的流程示意图；

图2为本申请实施例提供的一种基于特征融合的室内定位方法的流程示意图；

图3为本申请实施例提供的核心网络模型示意图；

图4为本申请实施例提供的集成学习的示意图；

图5为本申请实施例提供的混合密度网络与一般的神经网络的区别示意图；

图6为本申请实施例提供的混合密度网络在测试阶段时的使用流程示意图；

图7为本申请实施例提供的一种基于特征融合的室内定位系统的示意图；

图8为本申请实施例提供的一种终端的结构示意图。

具体实施方式

下面结合附图与具体实施方式对本方案进行阐述。

本申请提供的基于特征融合的室内定位方法包含两个阶段，分别是离线阶段和在线阶段。研究人员使用移动设备上应用程序在试点中的路线上收集数据，并存储到服务器的数据库中。然后在服务器训练好网络，为客户端的查询提供预测结果。在线阶段，用户启动客户端应用程序并拍摄图像，记录地磁信号，Wi-Fi信号等。应用程序将收集到的数据发送至服务器并等待导航结果的返回。获得导航预测结果后，根据不确定性估计进一步为用户进行合适的导航说明。

图1为本申请实施例提供的一种基于特征融合的室内定位方法，参见图1，所述方法包括：

S101，移动设备上第一应用程序在室内中的路线上收集第一数据，并存储到服务器的数据库中。本申请实施例中的所述第一数据包括序列信号数据和图像数据，例如如Wi-Fi，地磁信号和图像。

S102，所述服务器根据所述第一数据训练预测神经网络。

如图2所示本申请实施例中的核心网络模型，本实施例中的所述预测神经网络用于为客户端的查询提供预测结果。具体地，将所述序列信号数据进行预处理，获得所述序列信号数据的初步特征。如图3为提取信号的初步特征的循环神经网络结构图，通过全连接层和非线性激活层对所述序列信号数据进行初始处理，利用RNN循环神经网络对初始处理后的序列信号数据提取时间相关性，采用CNN卷积神经网络对图像数据进行特征提取，替代所述全连接层和非线性激活层，从RNN循环神经网络得到所述序列信号数据的初步特征。

在特征水平上对不同序列信号数据的初步特征进行融合。在得到各个信号的初步特征以后，使用全连接层和非线性激活层将特征映射到融合特征空间，在融合特征空间中实现对不同信号的融合，以得到更加具有区分度的融合特征。

使用融合特征进行位置和方向的预测。对得到的融合特征使用全连接层和非线性激活层来回归出预测的位置和方向，将预测的位置和方向提供给用户，以对用户进行导航。

由于环境和用户因素，一般用户收集的信号通常会带有明显的噪声。在导航过程中拍摄的图像或视频很容易会出现动态模糊现象，这使得提取的特征变得不可靠。为此，本申请在导航系统中加入集成学***均值)，能够有效地减少误差并获得足够的准确性。集成学***均操作能够抵消基础模型之间的误差得到离真实值更加近的预测值。

本实施例中为了使用集成学***均值的方式将这些网络的预测结果结合起来得到了更加准确的结果。

为了实现预测结果的不确定性估计，本实施例中还采用混合密度网络进行定位导航结果的不确定性估计，包括：利用预测神经网络的学习能力让高斯混合模型来拟合训练数据的分布；使用分布结果来对所述预测神经网络的预测结果进行评估，以实现对定位导航结果的不确定性估计。图5为混合密度网络与一般的神经网络的区别示意图，图6为混合密度网络在测试阶段时的使用流程示意图。为了使用本网络的学习能力，保留了除了最后一层回归层以外的网络结果，只将最后一层改成回归出高斯混合模型的参数，包括各个单高斯模型的权重，均值以及方差，使用负对数似然作为损失函数来作为网络训练时的评判标准。

S103，所述客户端上的第二应用程序启动后将收集到的第二数据发送给所述服务器。

S104，所述服务器根据接收到的第二数据和所述预测神经网络确定定位导航结果。

由上述实施例可知，本申请实施例提供了一种基于特征融合的室内定位方法，基于循环神经网络架构，无论是基于单点还是基于序列的导航模式，系统的网络模型都是通用的。根据不同输入信号，使用卷积神经网络或循环神经网络来提取初步的信号特征，再通过完全连接层和激活函数层将它们映射到共同的特征空间以进行特征融合，得到更有区分度的特征，以进行更稳定的更精确的定位导航。为了减少信号的噪声对相机姿势预测的影响，本申请利用集成学习，在训练数据上来学习多个具有差异的模型，然后将它们组合在一起，得到更加准确的估计结果。

可处理各种信号输入，包括Wi-Fi，蓝牙，可见光，还可以用于基于单点或基于序列的室内导航模式。本申请使用两种不同的信号组合(图像和地磁序列，图像和Wi-Fi指纹)进行使用研究室内导航的精度。

与上述实施例提供的一种基于特征融合的室内定位方法相对应，本申请还提供了一种基于特征融合的室内定位系统的实施例。参见图7，

基于特征融合的室内定位系统20包括第一获取模块201、训练模块202、第二获取模块203和确定模块204。

所述第一获取模块201，用于移动设备上第一应用程序在室内中的路线上收集第一数据，并存储到服务器的数据库中，所述第一数据包括序列信号数据和图像数据。所述训练模块202，用于所述服务器根据所述第一数据训练预测神经网络，所述预测神经网络用于为客户端的查询提供预测结果。所述第二获取模块203，用于所述客户端上的第二应用程序启动后将收集到的第二数据发送给所述服务器。所述确定模块204，用于所述服务器根据接收到的第二数据和所述预测神经网络确定定位导航结果。

进一步地，所述训练模块202包括：获取单元、融合单元和预测单元。

所述获取单元用于将所述序列信号数据进行预处理，获得所述序列信号数据的初步特征。

所述获取单元包括：处理子单元、第一提取子单元、第二提取子单元和获取单元。所述处理子单元用于通过全连接层和非线性激活层对所述序列信号数据进行初始处理。所述第一提取子单元用于利用RNN循环神经网络对初始处理后的序列信号数据提取时间相关性。所述第二提取子单元用于采用CNN卷积神经网络对图像数据进行特征提取，替代所述全连接层和非线性激活层。所述获取单元用于从RNN循环神经网络得到所述序列信号数据的初步特征。

所述融合单元用于在特征水平上对不同序列信号数据的初步特征进行融合。具体包括：在得到各个信号的初步特征以后，使用全连接层和非线性激活层将特征映射到融合特征空间，在融合特征空间中实现对不同信号的融合，以得到更加具有区分度的融合特征。

所述预测单元用于使用融合特征进行位置和方向的预测。具体地，所述预测单元包括：预测子单元和导航子单元。所述预测子单元用于对得到的融合特征使用全连接层和非线性激活层来回归出预测的位置和方向。所述导航子单元用于将预测的位置和方向提供给用户，以对用户进行导航。

本申请实施例提供的基于特征融合的室内定位系统20还包括：使用同一批训练数据，随机初始化网络参数来得到多个具有不同误差的网络，然后采用求平均值的方式将这些网络的预测结果结合起来得到了更加准确的结果。

采用混合密度网络进行定位导航结果的不确定性估计。具体地，利用预测神经网络的学习能力让高斯混合模型来拟合训练数据的分布。使用分布结果来对所述预测神经网络的预测结果进行评估，以实现对定位导航结果的不确定性估计。

本申请实施例还提供了一种终端，参见图8，所述终端30包括：处理器301、存储器302和通信接口303。

在图8中，处理器301、存储器302和通信接口303可以通过总线相互连接；总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器301通常是控制终端30的整体功能，例如终端的启动、以及终端启动后对室内定位导航的预测。此外，处理器301可以是通用处理器，例如，中央处理器(英文：centralprocessing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。处理器也可以是微处理器(MCU)。处理器还可以包括硬件芯片。上述硬件芯片可以是专用集成电路(ASIC)，可编程逻辑器件(PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(CPLD)，现场可编程逻辑门阵列(FPGA)等。

存储器302被配置为存储计算机可执行指令以支持终端30数据的操作。存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

启动终端30后，处理器301和存储器302上电，处理器301读取并执行存储在存储器302内的计算机可执行指令，以完成上述的基于特征融合的室内定位方法实施例中的全部或部分步骤。

通信接口303用于终端30传输数据，例如实现与用户设备、服务器等之间的数据通信。通信接口303包括有线通信接口，还可以包括无线通信接口。其中，有线通信接口包括USB接口、Micro USB接口，还可以包括以太网接口。无线通信接口可以为WLAN接口，蜂窝网络通信接口或其组合等。

在一个示意性实施例中，本申请实施例提供的终端30还包括电源组件，电源组件为终端30的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为终端30生成、管理和分配电力相关联的组件。

通信组件，通信组件被配置为便于终端30和其他设备之间有线或无线方式的通信。终端30可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在一个示意性实施例中，终端30可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、终端、微终端、处理器或其他电子元件实现。

本申请说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于系统及终端实施例而言，由于其中的方法基本相似于方法的实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

当然，上述说明也并不仅限于上述举例，本申请未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本申请的技术方案并非是对本申请的限制，如来替代，本申请仅结合并参照优选的实施方式进行了详细说明，本领域的普通技术人员应当理解，本技术领域的普通技术人员在本申请的实质范围内所做出的变化、改型、添加或替换都不脱离本申请的宗旨，也应属于本申请的权利要求保护范围。