动态音频感知追踪系统和方法、存储介质、耳机

文档序号:1955211 发布日期:2021-12-10 浏览:13次 >En<

阅读说明:本技术 动态音频感知追踪系统和方法、存储介质、耳机 (Dynamic audio perception tracking system and method, storage medium, and earphone ) 是由 宋立玮 罗海彬 王丽 于 2021-09-15 设计创作,主要内容包括:本发明公开了一种动态音频感知追踪系统和方法、存储介质、耳机,动态音频感知追踪系统包括音频感知模块、脑电波检测模块、音频分析模块和音频追踪模块;音频感知模块用于采集环境中的不同声源所分别对应的第一音频信号,并对第一音频信号进行滤波和放大处理后,传输至耳朵;脑电波检测模块用于检测人脑对于每个第一音频信号的脑电波变化,以获取人脑感兴趣的第二音频信号;音频分析模块用于对第二音频信号的波形进行切片和特征提取,并进行标记,以及判断每个第二音频信号的优先级别;音频追踪模块用于按照优先级别分别对每个第二音频信号所对应的声源进行定位追踪。根据本发明的动态音频感知追踪系统,能够对感兴趣的声音进行定位追踪。(The invention discloses a dynamic audio perception tracking system and a method, a storage medium and an earphone, wherein the dynamic audio perception tracking system comprises an audio perception module, a brain wave detection module, an audio analysis module and an audio tracking module; the audio sensing module is used for acquiring first audio signals corresponding to different sound sources in the environment respectively, filtering and amplifying the first audio signals and transmitting the first audio signals to ears; the brain wave detection module is used for detecting brain wave change of the human brain on each first audio signal so as to acquire a second audio signal which is interesting to the human brain; the audio analysis module is used for carrying out slicing and feature extraction on the waveform of the second audio signal, marking the waveform and judging the priority level of each second audio signal; and the audio tracking module is used for respectively positioning and tracking the sound source corresponding to each second audio signal according to the priority level. According to the dynamic audio perception tracking system, the interested sound can be located and tracked.)

动态音频感知追踪系统和方法、存储介质、耳机

技术领域

本发明涉及声源定位技术领域,尤其是涉及一种动态音频感知追踪系统和方法、存储介质、耳机。

背景技术

用户在佩戴耳机时,无论是否在听音乐,耳机都会屏蔽掉一些环境音源;所以当用户遇到紧急情况,或者对某一音源感兴趣时,就不得不摘掉耳机才可以仔细听清楚并进行判断,这样也就造成了不小心把耳机掉到地上或者丢失的情况。此外,由于音源方向、音源种类、音源距离、对音源的感知优先级别等的不确定性,会影响佩戴耳机的用户对紧急情况的判断能力,尤其是对于听力有障碍或者听觉较弱的用户,其在使用耳机时,更容易忽略环境音源中对自己有用的信息,也许错过了车站、错过了重要的指示、或忽视报警音等等。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出了一种动态音频感知追踪系统,能够在用户佩戴耳机的情况下,实时检测外界环境中的声音,并对这些声音的距离、方向、种类和重要程度等进行准确地判别。

本发明还提出了一种动态音频感知追踪方法。

本发明还提出了一种计算机可读存储介质。

本发明还提出了一种耳机。

第一方面,根据本发明实施例的动态音频感知追踪系统,包括音频感知模块、脑电波检测模块、音频分析模块和音频追踪模块;所述音频感知模块用于采集环境中的不同声源所分别对应的第一音频信号,并对所述第一音频信号进行滤波和放大处理后,传输至耳朵;所述脑电波检测模块用于检测人脑对于每个所述第一音频信号的脑电波变化,以获取人脑感兴趣的第二音频信号;所述音频分析模块用于对所述第二音频信号的波形进行切片和特征提取,并进行标记,以及判断每个所述第二音频信号的优先级别;所述音频追踪模块用于按照优先级别分别对每个所述第二音频信号所对应的所述声源进行定位追踪。

根据本发明实施例的动态音频感知追踪系统,至少具有如下有益效果:能够帮助那些佩戴耳机听音乐的用户,实时检测外界环境中的声音,并对这些声音的距离、方向、种类和重要程度等进行准确地判别,从而帮助用户对自己感兴趣的声源进行动态定位追踪,以及帮助用户对这些声音的内容进行准确的判断和采取相应的行动,避免错过重要信息。

根据本发明的一些实施例,还包括音频缓存模块,所述音频缓存模块用于存储所述第一音频信号,并将出现频率高于阈值的所述第一音频信号传输至所述音频分析模块。

根据本发明的一些实施例,所述音频感知模块包括依次电性连接的第一音频信号滤波器、音频信号采集器和音频信号放大器。

根据本发明的一些实施例,所述脑电波检测模块包括依次电性连接的检测电极、电流计时器、脑电信号放大器、脑电频率计数器、控制器和第二音频信号滤波器。

根据本发明的一些实施例,所述音频追踪模块包括六轴惯性传感器。

第二方面,根据本发明实施例的动态音频感知追踪方法,包括以下步骤:采集环境中的不同声源所分别对应的第一音频信号,并对所述第一音频信号进行滤波和放大后,传输至耳朵;检测人脑对于每个所述第一音频信号的脑电波的变化,以获得人脑感兴趣的第二音频信号;对所述第二音频信号进行切片和特征提取,并进行标记,以及判断每个所述第二音频信号的优先级别;按照优先级别,分别对每个所述第二音频信号所对应的所述声源进行定位追踪。

根据本发明实施例的动态音频感知追踪方法,至少具有如下有益效果:能够帮助那些佩戴耳机听音乐的用户,实时监测外界环境中的声音,并对这些声音的距离、方向、种类和重要程度进行准确地判别,从而帮助用户对自己感兴趣的声源进行动态定位追踪,以及帮助用户对这些声音的内容进行准确的判断和采取相应的行动,避免错过重要信息。

根据本发明的一些实施例,还包括以下步骤:音频感知模块将所述第一音频信号传输至音频缓存模块;若所述第一音频信号出现的频率超过阈值,则所述音频缓存模块将所述第一音频信号传输至音频分析模块。

第三方面,根据本发明实施例的耳机,包括如本发明上述第一方面实施例所述的动态音频感知追踪系统。

根据本发明实施例的耳机,至少具有如下有益效果:通过采取上述的动态音频感知追踪系统,能够在不影响用户佩戴耳机听音乐的情况下,实时监测外界环境中的声音,并对这些声音的距离、方向、种类和重要程度进行准确地判别,从而帮助用户对自己感兴趣的声源进行动态定位追踪,以及帮助用户对这些声音的内容进行准确的判断和采取相应的行动,避免错过重要信息。

第四方面,根据本发明实施例的计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如本发明上述第二方面实施例所述的动态音频感知追踪方法。

本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:

图1为本发明实施例的动态音频感知追踪系统的模块框图;

图2为本发明实施例的脑电波检测模块的结构示意图;

图3为本发明实施例的动态音频感知追踪方法的步骤流程图。

具体实施方式

本部分将详细描述本发明的具体实施例,本发明之较佳实施例在附图中示出,附图的作用在于用图形补充说明书文字部分的描述,使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案,但其不能理解为对本发明保护范围的限制。

在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。

在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

第一方面,如图1所示,根据本发明实施例的动态音频感知追踪系统,包括音频感知模块、脑电波检测模块、音频分析模块和音频追踪模块;其中,音频感知模块用于采集环境中的不同声源所分别对应的第一音频信号,并对第一音频信号进行滤波和放大处理后,传输至耳朵;脑电波检测模块用于检测人脑对于每个第一音频信号的脑电波变化,以获取人脑感兴趣的第二音频信号;音频分析模块用于对第二音频信号的波形进行切片和特征提取,并进行标记,以及判断每个第二音频信号的优先级别;音频追踪模块用于按照优先级别分别对每个第二音频信号所对应的声源进行定位追踪。

具体地,音频感知模块包括依次电性连接的第一音频信号滤波器、音频信号采集器和音频信号放大器。第一音频信号过滤器用于过滤掉一些距离较远的声源,而音频信号采集器则用于采集距离用户较近的一些声源(如:离得较近的人员的交谈声、鸣笛声、广播声、提示音、警报音等),再通过音频信号放大器对这些声源所对应的第一音频信号进行放大,并传输给耳朵,通过耳朵传输给大脑。也就是说,音源感知模块用于感知环境中来自于不同方向的声源,并过滤掉距离较远的声音,而采集距离较近的声源,并将这些声源所对应的第一音频信号进行放大后,传输到耳朵里。

如图2所示,在本发明的一些实施例中,脑电波检测模块包括依次电性连接的检测电极、电流计时器、脑电信号放大器、脑电频率计数器、控制器和第二音频信号滤波器。检测电极用于采集人脑的脑电波,电流计时器和脑电频率计数器则用于获取这些脑电波的时域和频域的变化情况,脑电信号放大器用于将采集到的脑电波信号进行放大,检测电极、电流计时器、脑电信号放大器和脑电频率计数器用于实时检测脑电波的变化情况,并传输给控制器;当用户对自己听到的声音感兴趣时,由于应激反应,脑电波会产生较大的波动,因此通过检测脑电波的变化情况即可知道用户对哪些音频感兴趣;这时控制器便会调动第二音频信号过滤器,将用户不感兴趣的音频波段过滤掉,只保留感兴趣的音频信号(即第二音频信号),并将这些第二音频信号传输给音频分析模块。其中,控制器可以采用常见的MCU等处理器。

音频分析模块在接收到第二音频信号后,对这些第二音频信号的波形进行切片和特征提取,并对这些信号进行标记,以便利用相应的自学习算法,对这些第二音频信号分别进行聚类;同时,音频分析模块还会根据用户感兴趣的程度对这些第二音频信号进行优先级别的判断,并将这些第二音频信号发送至音频追踪模块。

音频追踪模块可以采用MEMS六轴惯性传感器,该传感器利用三维异构集成技术,将MEMS加速度计、陀螺仪、压力传感器、磁传感器和信号处理电路等功能零件集成在硅芯片内,并内置算法,实现芯片级制导、导航、定位等功能。音频追踪模块利用MEMS六轴惯性传感器对用户的物理运动做出反应,将用户感兴趣的声源作为固定参照物,将用户的线性位移与角速度旋转的反应转换成电信号,实现对感兴趣的声源的空间动态定位追踪功能。

因此,根据本发明实施例的动态音频感知追踪系统,能够帮助那些佩戴耳机听音乐的用户,实时检测外界环境中的声音,并对这些声音的距离、种类、方向和重要程度进行准确地判别,从而帮助用户对自己感兴趣的声源进行动态定位追踪,以及帮助用户对这些声音的内容进行准确的判断和采取相应的行动,避免错过重要信息。

如图1所示,在本发明的一些实施例中,还包括音频缓存模块,音频缓存模块用于缓存第一音频信号,并将出现频率高于阈值的第一音频信号传输至音频分析模块。其中,阈值的取值可以是自定义的。

具体地,在音频感知模块采集了环境中的声源后,还会将这些声源所对应的第一音频信号发送至音频缓存模块,以供音频缓存模块判断是否有些声音是经常出现的。如果音频缓存模块发现某个第一音频信号的出现频率较高,则将该第一音频信号发送至音频分析模块进行分析。这是因为,当某个声音经常出现时,大脑会对此声音产生疲劳,脑电波不会发生明显波动;因此,需要借助音频缓存模块来识别该声音,以便于音频追踪模块对该声音进行定位追踪。若脑电波检测模块没有检测到脑电波波动,同时音频缓存模块没有发现高频出现的音频,则音频感知模块进入待机状态,节省电源的消耗。

第二方面,如图3所示,根据本发明实施例的动态音频感知追踪方法,包括以下步骤:

S100:采集环境中的不同声源所分别对应的第一音频信号,并对第一音频信号进行滤波和放大后,传输至耳朵。

具体地,在实际应用中,先通过音频感知模块中的第一音频信号过滤器来过滤掉一些距离较远的声源,然后利用音频信号采集器来采集距离用户较近的一些声源(如:离得较近的人员的交谈声、鸣笛声、广播声、提示音、警报音等),再通过音频信号放大器对这些声源所对应的第一音频信号进行放大,传输给耳朵,通过人耳传输给大脑。

S200:检测人脑对于每个第一音频信号的脑电波的变化,以获得人脑感兴趣的第二音频信号。

具体地,在实际应用中,通过脑电波检测模块中的检测电极、电流计时器、脑电信号放大器、脑电频率计数器来实时检测脑电波的变化情况,获取脑电波对于每个第一音频信号的反应情况。当检测到脑电波发生较大的波动变化时,说明人脑对该第一音频信号较为感兴趣,此时控制器便会调动第二音频信号过滤器,将用户不感兴趣的音频波段过滤掉,只保留感兴趣的音频信号(即第二音频信号),并将这些第二音频信号传输给音频分析模块。

S300:对第二音频信号进行切片和特征提取,并进行标记,以及判断每个第二音频信号的优先级别。

具体地,音频分析模块在接收到第二音频信号后,对这些第二音频信号的波形进行切片和特征提取,并对这些信号进行标记,以便利用相应的自学习算法,对这些第二音频信号分别进行聚类;同时,音频分析模块还会根据用户感兴趣的程度对这些第二音频信号进行优先级别的判断,从而判断哪些声音对于用户更为重要,并将这些第二音频信号发送至音频追踪模块。

S400:按照优先级别,分别对每个第二音频信号所对应的声源进行定位追踪。

音频追踪模块采用MEMS六轴惯性传感器,对用户感兴趣的声源进行定位追踪。在定位追踪的过程中,将用户感兴趣的声源作为固定参照物,而MEMS六轴惯性传感器则对用户的物理运动做出反应,将用户的线性位移与角速度旋转的反应转换成电信号,实现对感兴趣的声源的空间动态定位追踪功能。

根据本发明实施例的动态音频感知追踪方法,能够帮助那些佩戴耳机听音乐的用户,实时监测外界环境中的声音,并对这些声音的距离、方向、种类和重要程度进行准确地判别,从而帮助用户对自己感兴趣的声源进行动态定位追踪,以及帮助用户对这些声音的内容进行准确的判断和采取相应的行动,避免错过重要信息。

在本发明的一些实施例中,上述的动态音频感知追踪方法,还包括以下步骤:音频感知模块将采集到的第一音频信号传输至音频缓存模块,若第一音频信号出现的频率超过阈值,则将第一音频信号传输至音频分析模块。其中,阈值的取值可以是自定义的。

具体地,在音频感知模块采集了环境中的声源后,还会将这些声源所对应的第一音频信号发送至音频缓存模块,以供音频缓存模块判断是否有些声音是经常出现的。如果音频缓存模块发现某个声音的出现频率较高,则将该声音对应的第一音频信号发送至音频分析模块。这是因为,当某个声音经常出现时,大脑会对此声音产生疲劳,脑电波不会发生明显波动;因此,需要借助音频缓存模块来识别该声音,以便于音频追踪模块对该声音进行定位追踪。若脑电波检测模块没有检测到脑电波波动,同时音频缓存模块没有发现高频出现的声音,则音频感知模块进入待机状态,节省电源的消耗。

第三方面,根据本发明实施例的耳机,通过采取上述的动态音频追踪系统,能够在不影响用户佩戴耳机听音乐的情况下,实时监测外界环境中的声音,并对这些声音的距离、方向、种类和重要程度进行准确地判别,从而帮助用户对自己感兴趣的声源进行动态定位追踪,以及帮助用户对这些声音的内容进行准确的判断和采取相应的行动,避免错过重要信息。

第四方面,应当认识到,本发明实施例中的上述动态音频感知追踪方法的步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。

此外,可按任何合适的顺序来执行本文描述的过程的操作,除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中,转换的数据表示物理和有形的对象,包括显示器上产生的物理和有形对象的特定视觉描绘。

在本说明书的描述中,参考术语“一个实施例”、“进一步实施例”、“一些具体实施例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

11页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:乐器音频评测方法及装置、非瞬时性存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!