阅读说明：本技术 一种解析智能手机按键信息的方法 (Method for analyzing key information of smart phone ) 是由 蔡俊辉 李千目 邱天 于 2019-05-23 设计创作，主要内容包括：本发明公开了一种解析智能手机按键信息的方法,根据两个麦克风获取的智能手机触摸屏敲击声音、手机的几何形状,以及触摸屏键盘布局,确定所敲击的按键；根据识别的按键序列,解析输入的文本信息。本发明不需要外界麦克风,即可提取输入的文本信息,并且提高了信息解析的准确性。(The invention discloses a method for analyzing key information of a smart phone, which is characterized in that a knocked key is determined according to the knocking sound of a touch screen of the smart phone, the geometric shape of the smart phone and the layout of a keyboard of the touch screen, which are acquired by two microphones; and analyzing the input text information according to the identified key sequence. The invention can extract the input text information without an external microphone, and improves the accuracy of information analysis.)

一种解析智能手机按键信息的方法

技术领域

本发明涉及数字信号处理技术，具体涉及一种解析智能手机按键信息的方法。

背景技术

智能手机至少配有两个麦克风。这些麦克风与手机机身相连，即使是手机表面产生的最轻微的声音，包括触摸屏，这些麦克风都能接收到。当用户在触摸屏上点击输入信息时，会产生一种声音，由于环境噪声的存在，人们的耳朵通常听不到这种声音，因此被忽略了。然而，使用智能手机本身的麦克风就可以很容易地捕捉到这些敲击的声音。目前使用机械键盘发出的声音来恢复文本的研究工作已经出现，通常使用外部麦克风来捕捉声音，然后训练分类器来区分不同按键发出的声音。然而，很少有对于利用内置麦克风捕捉到的音频信号提取键入文本的研究。

发明内容

本发明的目的在于提供一种解析智能手机按键信息的方法。

实现本发明专利的技术解决方案为：一种解析智能手机按键信息的系统方法，包括如下步骤：

根据两个麦克风获取的智能手机触摸屏敲击声音、手机的几何形状，以及触摸屏键盘布局，确定所敲击的按键；

根据识别的按键序列，解析输入的文本信息。

作为一种

具体实施方式

，获取智能手机触摸屏敲击声音后，先进行噪声滤波，再进行按键识别。

作为一种更具体实施方式，使用频域带通滤波器来去除杂散频率对应的噪声信号，带通滤波器截止频率分别设置为600-800HZ和11-13KHZ。

作为一种具体实施方式，根据捕获的键敲击声，计算两个麦克风中的音频峰值的到达时间差，结合敲击点与两个麦克风具有恒定差异的距离的特性形成双曲线轨迹，确定按键位置。

作为一种具体实施方式，利用自然语言处理技术，从识别的按键序列中推理输入的单词和句子。

本发明与现有技术相比，其显著优点为：本发明不需要外界麦克风，即可提取输入的文本信息，并且提高了信息解析的准确性。

附图说明

图1为本发明解析智能手机按键信息的方法的流程图。

图2为TDoA计算建模的示意图。

具体实施方式

下面结合附图和具体实施例，进一步说明本发明方案。

如图1所示，解析智能手机按键信息的方法，包括如下步骤：

步骤1、根据智能手机两个麦克风中捕捉的音频信号，结合麦克风接收到两个信号的性质，以及手机的几何形状和触摸屏键盘布局，确定所触摸按键的位置；

该阶段可分为两个过程，即噪声滤波和按键识别。

(1)噪声滤波

分析纯净音频相对于噪声信号的频谱，能够确定手机敲击声大致的频率范围，使用频域带通滤波器来去除杂散频率对应的噪声信号，可以显著提高提取文本信息的准确性。根据实验仿真，带通滤波器截止频率分别设置为600-800HZ和11-13KHZ，使用这样范围的带通滤波器恢复的音频信号与原始信号非常接近。

(2)按键识别方法

轻触触摸屏键时，声音到达两个麦克风所经过的距离会存在有限差异。根据捕获的键敲击声，计算两个麦克风中的音频峰值的到达时间差(TDoA)，结合敲击点与两个麦克风具有恒定差异的距离的特性形成双曲线轨迹，进而确定按键位置，即识别按键。

接下来计算这两个信号的相互关系，其峰值是它们的TDoA的估计值。如果麦克风1峰出现在麦克风2峰之前，那么点击一定是在距离1更近的那一半键盘上产生的。接下来使用TDoA大小确定点击出现的可能触屏区域，提取可能的字符，计算建模如图2所示。

a、建立手机坐标系；

b、计算

其中Δs为采样偏移，f_s为采样频率，采样偏移是一个音频信号需要移位的值，以使两个信号之间的相关性最大。

c、计算Δd＝v_sound*T DoA，Δd＝|d₁-d₂|，d_i是第i个麦克风与被点击的触摸屏点的距离，其中i∈{1,2}。

d、根据TdoA确定的双曲线，表示如下：

其中(x₀,y₀)为顶点，x₀＝c,y₀＝min(p,q)，p，q分别是第1个麦克风在建模坐标系中的位置m₁和第2个麦克风在建模坐标系中的位置m₂与手机底座的距离，

l表示手机较长边的长度，用y表示x，求出x＝x₀±

即其中y属于[0，w]，w是手机的宽度；

e、手机建模后各个字母的坐标是确定的，将手机坐标系中各个字母的坐标代入双曲线方程，则判定为实际触摸的按键，至此完成最终的按键识别。

步骤2、使用自然语言处理(NLP)技术，根据识别的按键序列，解析可能输入的单词、句子；该阶段可以在手机上进行，也可以发送到远程服务器上进行。

本发明解析方法可以在手机上进行，也可以在远程服务器上进行。

实施例

为了验证本发明方案的有效性，提供了一种应用场景。在警方案件侦破过程中，例如通过锁定目标嫌疑人手机号之后，使用本发明方法进行目标手机按键信息提取，获得潜在的重要案件线索，从而提高案件侦查效率。

手机触摸屏敲击声音传送到服务器，由于原始音频文件包含环境噪声，服务器端先运行噪声过滤步骤去除环境噪声。下一步进行峰值检测，生成包含峰值的时间间隔列表(通过点击触摸屏)。接下来计算这两个信号的相互关系，其峰值是它们的TDoA的估计值。如果麦克风1峰出现在麦克风2峰之前，那么点击一定是在距离1更近的那一半键盘上产生的。接下来使用TDoA大小确定点击出现的可能触屏区域，提取可能的字符。最后使用NLP技术以进行单词、句子推理。