具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

其中一个实施例中，针对频率成分复杂、低音区频率丢失、八度问题混叠的乐音信号，本实施例提出了一种可利用于实时、非实时的多重相关性计算的基频提取方法。

如图1所示，本实施例的基于多重相关性计算的乐音基频提取方法，包括：

步骤1、对实时获取的音频帧进行傅里叶变换得到原始频谱图。

对实时获取的音频帧进行傅里叶变换后得到原始频谱图(Spectrum)F′＝{(f′_i,e′_i)|i＝1,2,...,N}∈R^N，即为F′＝{(f′₁,e′₁),(f′₂,e′₂),...,(f′_N,e′_N)}∈R^N，其中，N为原始频谱图中的频点数，f′_i为原始频谱图中第i个频点的频率，e′_i为频率f′_i处的能量值。

步骤2、对所述原始频谱图进行预处理得到标准频谱图。

本实施例提出了一种基于均值平滑和标准化缩放的预处理方式，一方面利用能量筛选，滤除噪声；另一方面均衡并归一化频谱能量，可拔高能量不显著的频率分量。具体包括以下步骤：

步骤21、取原始频谱图F′＝{(f′_i,e′_i)|i＝1,2,...,N}∈R^N，根据其数据记载方式原始频谱图F′可视为序列F′。

步骤22、遍历序列F′标记能量极大值点，将序列中的非极值点以及能量值低于能量阈值的能量极大值点处的能量值置零，并在置零后按照总能量为100对各能量值进行统一比例的缩放，得到极大值序列F′_peak。

步骤23、根据预设的理想模板计算得到均值序列F′_mean。这里的理想模板相当于音高模板，取多个理想模板，将多个理想模板中对应位置的频点的能量值相加后取平均值作为均值序列中的能量值。

步骤24、取序列F′_peak、F′_peak/F′_mean、F′_peak/(F′_mean)²中频点对应的能量最大值替代极大值序列F′_peak中对应位置频点的能量值，得到最终的极大值序列作为标准频谱图F_peak＝{(f_i,e_i)|i＝1,2,...,N}∈R^N，其中，f_i为标准频谱图中第i个频点的频率，e_i为频率f_i处的能量值。

如图2和图3所示，图2、图3分别为音高F4、A3预处理前后的频谱图。上部分为预处理前的原始频谱图，下部分为预处理后的标准频谱图。可以看出，通过预处理，过滤了部分能量较小的噪声干扰。并且均衡了谱图能量。原始谱图中能量较小的频率分量处被拔高(如虚线框内所示)。

步骤3、基于标准数据频谱图根据音高和频率的固有关系得到音高模板。

根据音高模板与频率的对应关系找到基频f_1r直至k倍频f_kr。预先选定模板音高的标准数据频谱图共p段，计算频率点f_1r,f_2r,...,f_kr处平均能量值，经过归一化处理后得到能量值模板e_1r,e_2r,...,e_kr。记音高模板为F_r＝{(f_jr,e_jr)|j＝1,2,...,K}∈R^K，K＜N，即F_r＝{(f_1r,e_1r),(f_2r,e_2r),...,(f_Kr,e_Kr)}∈R^K，K为音高模板中的频点数，f_jr为音高模板中第j个频点的频率，e_jr为频率f_jr处的能量值。

标注4、根据标准频谱图和音高模板得到低维频谱图。

步骤41、获取标准频谱图F_peak＝{(f_i,e_i)|i＝1,2,...,N}∈R^N和音高模板F_r＝{(f_jr,e_jr)|j＝1,2,...,K}∈R^K，K＜N。

步骤42、遍历音高模板，对于音高模板中的频率f_jr如果能在标准频谱图内找到频率f_i满足f_jr-ε_r＜f_i＜f_jr+ε_r，ε_r为预设的条件参数，则将(f_i,e_i)作为第j个元素加入序列F中；若不能找到满足条件的频率f_i，则将(0,0)作为第j个元素加入序列F中，遍历完成后得到序列F＝{(f_j,e_j)|j＝1,2,...,K}∈R^K作为低维频谱图。

步骤5、基于多重相关性计算低维频谱图和音高模板之间的综合匹配度。

步骤51、计算低维频谱图和音高模板之间的综合频率匹配度。

本实施例提出了一种综合频率匹配度计算方式，用于计算被测序列(即低维频谱图)与音高模板序列的频率匹配程度。一方面计算频率匹配度用于判断与音高模板的匹配程度；另一方面计算奇偶八度匹配度，提高八度准确率。具体计算步骤如下：

步骤511、计算频率匹配度如下：

式中，β_fr为频率匹配度，F为低维频谱图F＝{(f_j,e_j)|j＝1,2,...,K}∈R^K，其中，K为低维频谱图中的频点数，f_j为低维频谱图中第j个频点的频率，e_j为频率f_j处的能量值，F_peak为标准频谱图F_peak＝{(f_i,e_i)|i＝1,2,...,N}∈R^N，其中，N为标准频谱图中的频点数，f_i为标准频谱图中第i个频点的频率，e_i为频率f_i处的能量值。

步骤512、计算奇偶八度匹配度如下：

一个基频对应一个音高。若两个基频呈现偶数倍关系，则这两个音高互为偶数八度音；若两个基频呈现奇数倍关系，则这两个音高互为奇数八度音。

取音高模板的任一奇偶数八度音模板为其中，为奇偶数八度音模板中第j个频点的频率，为频率处的能量值。

奇偶八度匹配度计算方式为：被测序列中所有与八度音高频率差值小于ε_r、且不属于理想音高频率序列的极值点处的能量和，与被测序列中所有与理想频率差值小于等于ε_r的极值点处的能量和的比值，即：

式中，为奇偶八度匹配度，F_r为音高模板F_r＝{(f_jr,e_jr)|j＝1,2,...,K}∈R^K，K＜N，其中，f_jr为音高模板中第j个频点的频率，e_jr为频率f_jr处的能量值。

步骤513、根据频率匹配度和奇偶八度匹配度计算低维频谱图和音高模板之间的综合频率匹配度如下：

式中，β为综合频率匹配度，C_fr为常量，α₁为第一可调参数，本实施例中的可调参数为预设的常量，可根据实际需求进行调整，其作为限定的“第一”、“第二”等仅为了区别不同计算下所取的可调参数，不作为对可调参数本身取值的限定。

步骤52、计算低维频谱图和音高模板之间的能量匹配度向量。

本实施例提出了一种能量匹配度计算方式，用于计算被测序列与音高模板序列的能量匹配程度。计算所得的能量匹配度作为被测序列各个元素的权重。

式中，η_j为能量匹配度向量的第j个元素，记能量匹配度向量为η＝{η₁,η₂,...,η_K}∈R^K，e_j为低维频谱图中第j个频点的频率f_j处的能量值，e_jr为音高模板中第j个频点的频率f_jr处的能量值，α₂为第二可调参数，α₃为第三可调参数，1＜α₃＜α₂。

步骤53、计算低维频谱图和音高模板之间的频率置信度向量。

式中，θ_j为频率置信度向量的第j个元素，记频率置信度向量为θ＝[θ₁,θ₂,...,θ_k]∈R^K，e_j-1为低维频谱图中第j-1个频点的频率f_j-1处的能量值，e_j+1为低维频谱图中第j+1个频点的频率f_j+1处的能量值，e_max为低维频谱图中的能量最大值，α₄为第四可调参数，α₅为第五可调参数，α₆为第六可调参数，α₇为第七可调参数，sgn(·)为符号函数。其中，当j取1时公式中对应的e₀以及当j取K时公式对应的e_K+1低维频谱图中不存在的元素，本实施例中将这两个元素的值置为1。

步骤54、计算低维频谱图和音高模板之间的奇偶谐波比。

本实施例提出的奇偶谐波比用于计算被测序列中奇数倍频能量和及偶数倍频能量和之比。若比值越均衡，则说明被测序列与模板音高序列越相似。

式中，λ为奇偶谐波比，e_j′为低维频谱图中偶数倍频能量值，即j′为j中的偶数项，e_j″为低维频谱图中奇数倍频能量值，即j″为j中的奇数项，j＝1,2,...,K。

步骤55、根据计算所得的综合频率匹配度、能量匹配度向量、频率置信度向量和奇偶谐波比得到综合匹配度如下：

式中，ξ为综合匹配度，β为综合频率匹配度，λ为奇偶谐波比，η_j为能量匹配度向量的第j个元素，θ_j为频率置信度向量的第j个元素，e_jr为音高模板中第j个频点对应的能量值，K为音高模板中的频点数。

需要说明的是，本实施例中例如N，其所表示的含义为原始频谱图中的频点数，或标准频谱图中的频点数等，这里并不存在矛盾，其表示N本身为一个数量词，而原始频谱图和标准频谱图中元素的个数均为N，因此N对应表述为不同描述。

步骤6、若综合匹配度ξ大于阈值τ，则判定低维频谱图与音高模板一致，则该音高模板对应的基频值作为针对实时获取的音频帧所提取的基频；否则返回步骤3继续执行。

本实施例的乐音基频提取方法利用预处理均衡频率能量并减小干扰，对频率成分进行提纯；再通过与已构建音高模板进行频率、能量方面的多重相关性计算，判断被测信号基频是否与期望基频一致。该方法能够凸显信号频率特征，提高八度准确率，且适用于频率间隔密集、谐波丢失较多的低音区基频提取任务中，更有利于提高频率成分复杂的乐音基频提取准确性。

需要说明的是，本实施例以实时基频提取为例进行说明，对于非实时基频提取只需对整曲进行分帧，即可基于相同的步骤实现基频提取。本实施例的提取方法不仅适用于普通乐音信号的基频提取，针对频率成分复杂、低音区频率丢失、八度问题混叠的乐音信号同样具有优异的提取效果。

实验：

为了验证本实施例的乐音基频提取方法的有效性，以频率成分相对复杂的古筝曲目为例，设置实验组为本申请的乐音提取方法，对照组为现有的NNLS方法和PYIN方法，测试结果如下：

表1提取结果对照表

表1中，所有曲目均为D调曲目，以四分音符为一拍。《找朋友》为儿童入门曲目，音符数量少、音区跨度小、节奏均匀缓慢。《春江花月夜》《沧海一声笑》为成人曲目，相对儿童入门曲目而言，音符数量多、音区跨度大、音符时值长短不一。

对照组中的算法NNLS(非负最小二乘法)及PYIN算法(概率YIN算法)是基频提取领域中一种较为成熟且应用广泛的方法，为非实时基频提取中颇具代表性的算法。从表1可以看出，在简单的儿童入门曲目上，本发明方法和对比方法都体现出了极高的正确率；而在相对难度提升的成人曲目上，本发明方法有效提高了准确率，降低了误检率和漏检率。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。