适用于移动终端的数字音量扩增方法、装置及存储介质

文档序号:1800745 发布日期:2021-11-05 浏览:37次 >En<

阅读说明:本技术 适用于移动终端的数字音量扩增方法、装置及存储介质 (Digital volume amplification method and device suitable for mobile terminal and storage medium ) 是由 李好博 王国腾 陈华 于 2021-07-08 设计创作,主要内容包括:本发明提供一种适用于移动终端的数字音量扩增方法、装置及存储介质,包括:获取移动终端的声反馈回路特征,基于所述声反馈回路特征生成防啸叫策略;基于麦克风获取歌声得到歌声信息,将所述歌声信息与伴奏信息进行音频混合得到音频信息;基于麦克风获取环境噪声得到噪声信息,得到环境噪声的时频特征;根据所述防啸叫策略和环境噪声的时频特征对所述音频信息处理得到能量重分配后的外放音频。本发明提供的技术方案,能够在不改变原有扬声器功率的前提下,对音频进行扩音的效果。并且,在进行扩音效果添加的过程中,会引入声反馈回路特征,使得本发明在尽量提高音量的同时避免啸叫的发声,提供了一种稳定的数字音量扩增方法、扩音方法。(The invention provides a digital volume amplification method, a device and a storage medium suitable for a mobile terminal, wherein the method comprises the following steps: the method comprises the steps of obtaining acoustic feedback loop characteristics of the mobile terminal, and generating a howling prevention strategy based on the acoustic feedback loop characteristics; acquiring singing voice based on a microphone to obtain singing voice information, and carrying out audio mixing on the singing voice information and the accompaniment information to obtain audio information; acquiring environmental noise based on a microphone to obtain noise information and obtain time-frequency characteristics of the environmental noise; and processing the audio information according to the howling prevention strategy and the time-frequency characteristics of the environmental noise to obtain the external audio after energy redistribution. The technical scheme provided by the invention can realize the effect of amplifying the audio without changing the power of the original loudspeaker. In addition, in the process of adding the sound amplification effect, the characteristic of an acoustic feedback loop is introduced, so that the sound volume is improved as much as possible, the sound production of howling is avoided, and a stable digital sound volume amplification method and a sound amplification method are provided.)

适用于移动终端的数字音量扩增方法、装置及存储介质

技术领域

本发明涉及音频数据处理技术领域,尤其涉及一种适用于移动终端的数字音量扩增方法、装置及存储介质。

背景技术

随着科学技术和音乐文化的迅速发展,K歌(唱歌)的方式越来越多样化。基于移动终端进行K歌的方式具有方便、易操作的优点,最受大家青睐,在当前基于移动终端进行K歌的方案中,决定K歌音量上限的往往是扬声器功率,所以人们会在扬声器功率一定的情况下对音频进行处理,已达到音量扩大的目的,在现有技术中,存在至少以下几种方式,包括:

1)手动使用压缩效果器进行压缩处理:通常用于录音棚中的人工后期制作场合,具体方法是通过使用某种压缩效果器,将数字音频中按某种非线性的映射曲线(例如采样点幅值越大,缩小的比例越大,但维持各个采样点之间的大小关系),将波型中每一个采样点的幅值缩小到某个较小的上下限之内,随后再将缩小之后到波型等比例的放大,从而实现了一种使听感音量增加的压缩处理;

2)动态增益控制:在语音通话、录音棚中人工后期制作等场景均有应用,其处理目标是将同一音频中,采样点幅值较小的部分进行不等比例放大、采样点幅值较大的部分进行不等比例缩小,从而使整个音频中的听感音量趋于一致,在此基础上,也可以再将波型整体等比例的放大,从而实现了一种使听感音量增加的效果;

3)能量重分配技术:目标声音在空间中传播时,假如空间中存在其他干扰声(噪声),会掩盖住目标声音的一部分。能量重分配技术将扬声器的功率更多的分配给没有被掩盖住的部分,减弱被掩盖或者接近被掩盖部分的功率,从而获得听感上明显的音量放大感。具体的做法为:实时采集目标音频、噪声音频,然后将二者分别通过时频变换进行变换后,获得各自的时频特征,时频特征是一个二维特征,随后通过在时频特征上的对比确定掩盖情况,最后根据掩盖情况调整目标音频的能量分配,并将调整后的音频转换回波型的形式进行播放。

现有的几种数字音量扩增方式中,在扩大音量时均需保持移动终端的麦克风处于关闭的状态下,在麦克风开启时则无法进行数字音量的扩增,使得现有技术中的数字音量扩增方案都具有一定的局限性。并且,在已有的能量重分配技术中,仅参考了噪声信息,难以避免某些时频点被小幅度放大后即超过声反馈的不啸叫临界值,从而产生啸叫,实用性较差。

发明内容

本发明实施例提供一种适用于移动终端的数字音量扩增方法、装置及存储介质,能够在扬声器功率不变、并且麦克风和扬声器同时开启的情况下,,通过改变数字音频的内容,让听感上音量变大、超过或相当于自己听自己说话的音量,且不会产生啸叫的情况,实用性较强。

本发明实施例的第一方面,提供一种适用于移动终端的数字音量扩增方法,包括:

获取移动终端的声反馈回路特征,基于所述声反馈回路特征生成防啸叫策略;

基于麦克风获取歌声得到歌声信息,将所述歌声信息与伴奏信息进行音频混合得到音频信息;

基于麦克风获取环境噪声得到噪声信息,得到环境噪声的时频特征;

根据所述防啸叫策略和环境噪声的时频特征对所述音频信息处理得到能量重分配后的外放音频。

可选地,在第一方面的一种可能实现方式中,基于麦克风获取歌声得到歌声信息,将所述歌声信息与伴奏信息进行音频混合得到音频信息包括:

对所述歌声信息进行混响处理以延长基于该歌声信息所播放的声音能够被感知到的时间。

可选地,在第一方面的一种可能实现方式中,所述根据所述防啸叫策略和环境噪声的时频特征对所述音频信息处理得到能量重分配后的外放音频包括:

基于所述防啸叫策略得到多个频点的啸叫门限;

获取环境噪声的听觉掩蔽门限;

基于所述多个频点的啸叫门限和听觉掩蔽门限计算每个频点可分配能量的上限值;

基于所述每个频点可分配能量的上限值对音频信息处理得到能量重分配后的外放音频。

可选地,在第一方面的一种可能实现方式中,获取环境噪声的听觉掩蔽门限包括:

对所述环境噪声的时频特征进行时频变换处理,得到该环境噪声的听觉掩蔽门限。

可选地,在第一方面的一种可能实现方式中,所述基于所述多个频点的啸叫门限和听觉掩蔽门限计算每个频点可分配能量的上限值包括:

获取每个频点的啸叫门限和听觉掩蔽门限;

若频点的啸叫门限低于掩蔽门限,则将该频点可分配能量上限值设置为接近零;

若啸叫门限高于掩蔽门限,则将该频点可分配能量上限值设置为啸叫门限。

可选地,在第一方面的一种可能实现方式中,获取音频信息中任意相邻的预设帧数,将所述相邻的预设帧数的能量值调整至其啸叫门限。

可选地,在第一方面的一种可能实现方式中,基于所述每个频点可分配能量的上限值对音频信息处理得到能量重分配后的外放音频包括:

将音频信息中每个频点可分配能量的值调整为其上限值;

基于调整后的频点的上限值对音频信息进行能量重分配;

对能量重分配后的音频信息进行时频反变换以得到能够通过扬声器播放的外放音频。

可选地,在第一方面的一种可能实现方式中,

获取移动终端的声反馈回路特征,基于所述声反馈回路特征生成防啸叫策略包括:

通过移动终端的扬声器向其所处空间发送预设音频信号;

通过所述麦克风接收空间的反馈音频信号;

将所述预设音频信号和反馈音频信号进行比对获取当前空间的声反馈回路特征。

本发明实施例的第二方面,提供一种适用于移动终端的数字音量扩增装置,包括:

获取模块,用于获取移动终端的声反馈回路特征,基于所述声反馈回路特征生成防啸叫策略;

混合模块,用于基于麦克风获取歌声得到歌声信息,将所述歌声信息与伴奏信息进行音频混合得到音频信息;

得到模块,用于基于麦克风获取环境噪声得到噪声信息,得到环境噪声的时频特征;

处理模块,用于根据所述防啸叫策略和环境噪声的时频特征对所述音频信息处理得到能量重分配后的外放音频。

本发明实施例的第三方面,提供一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述方法。

本发明提供的一种适用于移动终端的数字音量扩增方法、装置及存储介质,能够在不改变原有扬声器功率的前提下,对音频进行扩音的效果。并且,在进行扩音效果添加的过程中,会引入声反馈回路特征,使得本发明在尽量提高音量的同时避免啸叫的发声,提供了一种稳定的扩音方法。

附图说明

图1为适用于移动终端的数字音量扩增方法的第一种实施方式的流程图;

图2为数字音量扩增的信息处理的第一种实施方式示意图;

图3为数字音量扩增的信息处理的第二种实施方式示意图;

图4为声反馈回路特征的测量阶段的示意图;

图5为声反馈回路特征的跟踪阶段的示意图;

图6为适用于移动终端的数字音量扩增装置的第一种实施方式的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

应当理解,在本发明的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。

应当理解,在本发明中,“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解,在本发明中,“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含,“包含A、B或C”是指包含A、B、C三者之一,“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。

应当理解,在本发明中,“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”,表示B与A相关联,根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。A与B的匹配,是A与B的相似度大于或等于预设的阈值。

取决于语境,如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。

本发明提供一种适用于移动终端的数字音量扩增方法,如图1所示其流程图,包括:

步骤S110、获取移动终端的声反馈回路特征,基于所述声反馈回路特征生成防啸叫策略。每个移动终端在不同环境下可能会具有不同的声反馈回路特征,所本发明在进行数字音量扩增之前会获得当前场景下、当前移动终端的声反馈回路特征。

步骤S120、基于麦克风获取歌声得到歌声信息,将所述歌声信息与伴奏信息进行音频混合得到音频信息。因为本发明的目的是对歌声和伴奏声进行融合后的声音进行数字音量扩增,所以本发明会先将歌声信息与伴奏信息进行音频混合得到音频信息。

步骤S130、基于麦克风获取环境噪声得到噪声信息,得到环境噪声的时频特征。

步骤S140、根据所述防啸叫策略和环境噪声的时频特征对所述音频信息处理得到能量重分配后的外放音频。本发明在进行数字音量扩增时会根据防啸叫策略和环境噪声而对音频进行处理,在保障处理后的音频不会出现啸叫的前提下将数字音量扩增至最大。

在一个可能的实施方式中,如图2所示,步骤S120包括:

对所述歌声信息进行混响处理以延长基于该歌声信息所播放的声音能够被感知到的时间。

在一个可能的实施方式中,如图3所示,步骤S140包括:

基于所述防啸叫策略得到多个频点的啸叫门限。通过声反馈回路的避让信息得到多个频点的啸叫门限。

获取环境噪声的听觉掩蔽门限。听觉掩蔽门限是噪音对纯音的掩蔽,并且噪音的强度愈大,掩蔽效果愈明显,所以本发明需要确认听觉掩蔽门限来判断什么情况下回产生掩蔽的情况。

基于所述多个频点的啸叫门限和听觉掩蔽门限计算每个频点可分配能量的上限值。在确定每个频点的上限值时,会根据每个频点的啸叫门限和听觉掩蔽门限进行计算,使得每个频点在进行数值调整时既不会产生啸叫也会出现掩蔽的情况。

基于所述每个频点可分配能量的上限值对音频信息处理得到能量重分配后的外放音频。

在一个可能的实施方式中,获取环境噪声的听觉掩蔽门限包括:

对所述环境噪声的时频特征进行时频变换处理,得到该环境噪声的听觉掩蔽门限。在一个可能的实施方式中,在计算啸叫门限的过程中,首先获取歌声和声反馈回路特征,将歌声各频点的能量与声反馈回路特征中的频率响应逐点相除,得到空间中歌声的各频点的能量估计值。将各频点的能量估计值分别相加,得到空间中歌声的总能量估计值E1。然后获取扩音后的预期能量估计E2,根据E2/E1的不同范围确定一个系数,将该系数乘以空间中歌声的各频点的能量估计就得到了各频点的啸叫门限。

在一个可能的实施方式中,所述基于所述多个频点的啸叫门限和听觉掩蔽门限计算每个频点可分配能量的上限值包括:

获取每个频点的啸叫门限和听觉掩蔽门限;

若频点的啸叫门限低于掩蔽门限,则将该频点可分配能量上限值设置为接近零。当该频点的能量高于啸叫门限时,这个频点就可能会在后续帧引起啸叫,但此时这个频点的声音被别的声音盖住了,并不能被听到。可以理解为这个频点已经开始积攒啸叫,但啸叫还不明显。所以既然这个频点的声音被盖住了听不见,本发明直接将其置为0,既可以把它的能量分给其他频点,也可以有效避免积攒啸叫而导致后续时间点的啸叫产生。

若啸叫门限高于掩蔽门限,则将该频点可分配能量上限值设置为啸叫门限。此时设置相应的啸叫门限,以防止后期超过该啸叫门限而产生啸叫的情况。

通过上述的判断步骤,可以根据不同频点的啸叫门限和听觉掩蔽门限的不同对能量上限值进行分配。

获取音频信息中任意相邻的预设帧数,将所述相邻的预设帧数的能量值调整至其啸叫门限。在一个可能的情景下,可以把声音的能量理解成一幅二维图像,横轴是帧编号、纵轴是频点编号。能量重分配可以在每帧之内独立进行,也可以在相邻的几帧之间进行。在相邻几帧内进行能量重分配的好处是:可以把某些帧的能量置零,从而把节省能量分配给其他帧。通过以上方式,可以快速的调整预设帧数的能量,在保障帧的能量被调大的同时也会避免出现啸叫的情况。

在一个可能的实施方式中,基于所述每个频点可分配能量的上限值对音频信息处理得到能量重分配后的外放音频包括:

将音频信息中每个频点可分配能量的值调整为其上限值;

基于调整后的频点的上限值对音频信息进行能量重分配;

对能量重分配后的音频信息进行时频反变换以得到能够通过扬声器播放的外放音频。

在一种可能的实施方式中,如图4所示,在未进行扬声/K歌时,需要先对移动终端进行配置,此时移动终端的扬声器没有播放歌声或者音乐。首先,使用移动终端扬声器主动播放多种声反馈探测信号、记录移动终端麦克风记录这些信号,通过分析计算得到回声功率、频率响应、环境混音脉冲响应。将所获得的计算结果保存为声反馈回路特征。

在一种可能的实施方式中,如图5所示,在扬声/K歌的过程中,移动终端所处的环境可能会发生变化,本发明能够根据移动终端所处的环境变化进而改变声反馈回路特征,使得移动终端能够自动的适应环境环境变化而改变声反馈回路特征,即在移动终端所处的环境信息、位置信息发生改变时,其中环境信息、位置信息包括移动终端的姿态、位置以及移动速度,基于环境信息、位置信息改变回声功率、频率响应以及环境混音的脉冲响应。

本发明的技术方案还提供一种适用于移动终端的数字音量扩增装置,如图6所示,包括:

获取模块,用于获取移动终端的声反馈回路特征,基于所述声反馈回路特征生成防啸叫策略;

混合模块,用于基于麦克风获取歌声得到歌声信息,将所述歌声信息与伴奏信息进行音频混合得到音频信息;

得到模块,用于基于麦克风获取环境噪声得到噪声信息,得到环境噪声的时频特征;

处理模块,用于根据所述防啸叫策略和环境噪声的时频特征对所述音频信息处理得到能量重分配后的外放音频。

其中,可读存储介质可以是计算机存储介质,也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如,可读存储介质耦合至处理器,从而使处理器能够从该可读存储介质读取信息,且可向该可读存储介质写入信息。当然,可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits,简称:ASIC)中。另外,该ASIC可以位于用户设备中。当然,处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本发明还提供一种程序产品,该程序产品包括执行指令,该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令,至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。

在上述终端或者服务器的实施例中,应理解,处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application SpecificIntegrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。

最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

12页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:基于多移动终端的扬声方法、装置及存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!