具体实施方式

以下结合附图阐述的详细描述旨在作为对各种配置的描述且不旨在表示其中可实践本文所描述的概念的唯一配置。详细说明包括用于提供各种概念的透彻理解的特定细节。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节的情况下实践这些概念。在某些情况下，众所周知的结构及组件以框图形式来显示，以避免混淆这些概念。

现将参考各种设备及方法来呈现音频错误消除的一些方面。这些设备及方法将在以下详细说明中加以描述，并且通过各种方框、组件、电路、过程、算法等(统称为“元件”)例示在附图中。这些元件可使用电子硬件、计算机软件或其任何组合来实现。这些元件是作为硬件还是软件来实现取决于特定应用以及对整个系统所施加的设计约束。

举例来说，元件或元件的任何部分，或者元件的任何组合可被实现为包括一个或多个处理器的“处理系统”。处理器的示例包括微处理器、微控制器、图形处理单元(GPU)、中央处理单元(CPU)、应用处理器、数字信号处理器(DSP)、精简指令集计算(RISC)处理器、片上系统(SoC)、基带处理器、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门控逻辑、分立硬件电路，以及配置为执行本公开通篇所描述的各种功能的其他合适的硬件。处理系统中的一个或多个处理器可执行软件。软件应广泛地解释为指令、指令集、代码、代码片段、程序代码、程序、子程序、软件组件、应用程序、软件应用程序、软件包、例程、子例程、对象、可执行文件、执行线程、程序、函数等，无论是指软件、固件、中间件、微代码、硬件描述语言或其他。

因此，在一个或多个示例实施例中，所描述的功能可以以硬件、软件，或其任何组合来实现。如果以软件来实现，则这些功能可以储存在计算机可读介质上或编码为计算机可读介质上的一个或多个指令或代码。计算机可读介质包括计算机存储介质。存储介质可以是可由计算机访问的任何可用介质。作为示例且非限制，此类计算机可读介质可包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、光盘存储器、磁盘存储器、其他磁存储装置、前述类型的计算机可读介质的组合，或可以被用于存储可由计算机访问的指令或数据结构形式的计算机可执行代码的任何其他介质。

本公开的一些实施例实现了一种有效搜索方法，其利用递增搜索序列从过去的历史中找到相似波形，并使用音频信号的短期周期性特性来重建/重新创建丢失的音频数据。图2图示出长期及短期视图中的音频波形的示例。图200示出了当查看长期间隔时的具有随机周期的多音调频率。图220示出了当查看短期间隔时的具有周期性间隔的多音调频率。图220中的音频信号可以是图200中的音频信号的小片段。

图3为图示出正在无线音频应用中以帧传输的音频数据的示例的图300。在该示例中，发射器302将音频数据以帧(例如，F(n-2)、F(n-1)、F(n)、F(n+1)、F(n+2)依此类推)发送至接收器304。因为音频数据本质上是按顺序的，所以帧是根据音频数据的顺序传输的。

在一些实施例中，帧是无线通信中的数字数据传输单元。在一些实施例中，帧可以是用于单个网络封包的简单容器。在一些实施例中，帧可以是支持分时多任务的重复结构。在一些实施例中，帧可以具有预定时间长度。

在一些实施例中，所有音频帧可以以帧序列号(FSN)来加标签。在这样的实施例中，可以通过检查所接收的帧序列号的序列来检测丢失的帧。

在一些实施例中，出于模式匹配的目的，所接收的音频数据可以存储在先进先出(FIFO)队列中。图4图示出音频数据FIFO队列400的示例。在该示例中，音频数据FIFO队列400可以已经存储有若干音频数据帧，例如，从F(n-5)至F(n)。可以选择例如从F(n-5)至F(n)的搜索窗口402，以从最近所接收的音频数据帧中找到相似波形。

图5为音频错误消除方法的流程图500。该方法可以由设备(例如，以下参考图14或图15所描述的设备1402/设备1402′)来执行。在一些实施例中，设备可以是无线扬声器或无线头戴耳机。

在步骤502中，设备可以接收音频帧。在步骤504中，设备可以确定所接收的音频帧是否为自先前所接收的音频帧的延续。先前所接收的音频帧是在当前所接收的音频帧之前被接收的，并且在先前所接收的音频帧与当前所接收的音频帧之间不存在任何接收到的音频帧。在一些实施例中，帧的帧序列号可以指示帧是否是连续的。如果所接收的音频帧为自先前所接收的音频帧的延续，则设备可以前进至步骤506及步骤512。如果所接收的音频帧并非自先前所接收的音频帧的延续，则对丢失的音频帧进行检测且设备可以前进至步骤508。

在步骤506处，设备可以将所接收的音频帧存储在FIFO队列中。FIFO队列可以存储历史音频数据。在一些实施例中，存储在FIFO队列中的历史音频数据可以是最近所接收的音频帧。

在步骤508处，设备可以从FIFO队列寻找最佳地匹配于丢失的音频帧的音频数据。在步骤510处，设备可以用最佳匹配的音频数据替换丢失的音频帧。最佳匹配的音频数据可以被放置在当前所接收的音频帧之前(在时间方面)。在步骤512处，设备可以重放所重建的音频数据。

在一些实施例中，当帧丢失时，可将最后所接收的音频帧的最后片段(例如，n ms)用作参考音频模式，以搜索最佳匹配的音频数据。图6为图示出当音频帧丢失时选择参考音频模式以搜索最佳匹配的音频数据的示例的图600。在该示例中，当检测到丢失的帧602时，选择最后所接收的音频帧的最后片段作为参考模式604。参考模式604可用来搜索FIFO608中的最佳匹配的音频数据。

在一些实施例中，通过以下方法中的至少一种来确定最佳匹配片段：

·参考片段r(n)与候选片段s(n)之间的音频波形差异为最小

·参考片段r(n)与候选片段s(n)之间的相关性最大

在一些实施例中，可基于参考片段r(n)与候选片段s(n)之间的差异或相关性中的至少一种来确定相似度值，并且可基于所有相似度值来确定最佳匹配片段。一旦获得最佳匹配片段，就可以选择最佳匹配片段的随后的音频数据作为用于丢失的帧的替换数据。

图7图示出基于最佳匹配片段重建丢失的音频帧的示例。图700示出具有丢失的帧702的原始所接收的音频的波形。图750图示了重建的所接收的音频的波形。在该示例中，选择在丢失的帧702之前接收的最后的音频帧的最后片段758作为参考模式r(n)。参考模式r(n)可用来在搜索持续时间752内搜索最佳匹配的音频片段754。一旦识别出最佳匹配的音频片段754，可选择最佳匹配片段754的随后的音频数据作为用于丢失的帧702的替换候选者756。在一些实施例中，替换候选者756可以具有与丢失的帧702相同的长度(在时间上)。替换候选者756可以用作替换数据760以替换丢失的帧702。因此，可以缓和由丢失的帧702引起的间隙。在一些实施例中，替换数据760可以是替换候选者756的副本。在一些实施例中，替换数据760可以从替换候选者756导出。

在一些实施例中，为了基于参考模式来搜索最佳匹配的音频片段，可以执行线性搜索。线性搜索可以从音频缓冲器(例如，FIFO队列)中的第一音频样本至最后音频样本中搜索相似波形。总操作数目为

T＝n*m，

n＝音频样本的数目，

m＝搜索窗口的大小。

在一些实施例中，可以实现最佳匹配音频片段的两阶段搜索。第一阶段可以使用递增搜索序列来执行针对相似波形的递增搜索(即，粗略搜索)。在一些实施例中，递增搜索序列可以是：

线性递增序列，诸如1、1、2、3、4、5、6、7、8，

线性递增重复序列，诸如1、1、2、2、3、3、4、4，或

斐波那契序列，诸如1、1、2、3、5、8。

第二阶段可以使用线性搜索序列来执行针对最佳匹配波形的线性搜索(即，细化搜索)。递增搜索从音频缓冲器中的最旧音频片段开始且逐渐前进至缓冲器中的较新音频片段。递增搜索的搜索索引基于递增搜索序列而增加。例如，如果递增搜索序列中的当前编号为n，则搜索索引将增加n。因而，待在缓冲器中搜索的下一音频片段将是当前搜索到的音频片段之后的n个音频片段。线性搜索从搜索窗口中最旧音频片段开始且逐渐前进至搜索窗口中较新音频片段。对于使用线性搜索序列的线性搜索，待搜索的下一音频片段将是搜索窗口中当前搜索到的音频片段随后紧挨着的音频片段。即，在线性搜索中，搜索索引每次递增一。

图8为图示出最佳匹配音频片段的两阶段搜索的示例的图800。在该示例中，在第一阶段中，递增搜索序列1、1、2、3、4、5、6、7、8用来在缓冲器802中搜索最佳匹配音频片段或样本。作为递增搜索的结果，在第一阶段处将音频片段804识别为最佳匹配音频片段。用于音频片段804的搜索索引对应于递增搜索序列中的编号‘6’。

基于音频片段804来识别搜索窗口806。搜索窗口806可以以音频片段804为中心。在一些实施例中，搜索窗口806可以从对应于递增搜索序列中的先前编号(即，‘5’)的搜索索引开始，直至对应于递增搜索序列中的下一编号(即，‘7’)的搜索索引。

在第二阶段中，可在搜索窗口806中执行线性搜索。即，可将搜索窗口806中的每个音频片段与参考模式进行比较，以找到最佳匹配音频片段。

图9为音频错误消除方法的第一阶段的流程图900。该方法可以通过设备(例如，以下参考图14或图15所描述的设备1402/设备1402′)来执行。在一些实施例中，设备可以是无线扬声器或无线头戴耳机。在一些实施例中，该方法中执行的操作可以对应于以上参考图4至图8所描述的操作。

在步骤902处，设备可以获取递增搜索序列的下一搜索索引，且将该下一搜索索引设定为当前搜索索引。在步骤904处，设备可以基于当前搜索索引来确定是否到达搜索缓冲器的末尾。如果到达搜索缓冲器的末尾，则设备可前进至910。如果未到达搜索缓冲器的末尾，则设备可前进至步骤906。

在步骤906处，设备可以确定参考模式与对应于当前搜索索引的音频片段之间的相似性。在步骤908处，设备可以存储所确定的相似度值。

在步骤910处，设备可以在所有存储的相似度值中找到最高相似度值。在步骤912处，设备可以找到对应于最高相似度值的搜索索引。

在步骤914处，设备可以在递增搜索中找到最高相似度值的搜索索引之前及之后的先前搜索索引及下一搜索索引，以构造较小的搜索窗口。设备然后可以前进至连接点B。

图10为音频错误消除方法的第二阶段的流程图1000。流程图1000的操作接续以上参考图9所描述的操作。该方法可以由设备(例如，以下参考图14或15所描述的设备1402/设备1402′)来执行。在一些实施例中，该设备可以是无线扬声器或无线头戴耳机。在一些实施例中，该方法中执行的操作可以对应于以上参考图4至图8所描述的操作。

自连接点B继续，在步骤1002处，设备可以获取线性搜索的下一搜索索引，且将该下一搜索索引设定为当前搜索索引。在步骤1004处，设备可以基于当前搜索索引来确定是否到达搜索窗口的末尾。如果到达搜索窗口的末尾，则设备可前进至步骤1010。如果未到达搜索窗口的末尾，则设备可前进至步骤1006。在一些实施例中，可以通过以上在图9的步骤914处所描述的操作来构建搜索窗口。

在步骤1006处，设备可以确定参考模式与对应于当前搜索索引的音频片段之间的相似度。在步骤1008处，设备可以存储所确定的相似度值。在步骤1010处，设备可以在所有存储的相似度值中找到最高相似度值。

在步骤1012处，设备可以确定最高相似度值是否大于临界值。如果最高相似度值大于临界值，则设备可前进至步骤1014。如果最高相似度值不大于临界值，则设备可前进至步骤1018。在一些实施例中，临界值可为用以指示所找到的波形的置信度的值。

在步骤1014处，设备可以找到对应于最高相似度值的搜索索引。在步骤1016处，设备可以基于最高相似度值的搜索索引来替换丢失的帧。在一些实施例中，可以选择紧接在具有最高相似度值的音频片段之后的音频数据来替换/重建丢失的帧。在步骤1018中，设备可以切换至用于方法的第一阶段的下一搜索序列。

在一些实施例中，对于使用斐波那契序列1、1、2、3、5、8的递增搜索，总操作数目

n＝音频样本的数目，

m＝搜索窗口的大小。

图11为图示出使用递增搜索序列以对音频缓冲器1102执行递增搜索的示例的图1100。在一些实施例中，此示例中的递增搜索可在以上参考图8及图9所描述的两阶段搜索的第一阶段执行。

在该示例中，斐波那契序列用来执行递增搜索。斐波那契序列中的每个编号对应于音频缓冲器1102中的音频片段。例如，序列中的第一‘1’对应于S[1]；序列中的第二‘1’对应于S[2]；序列中的‘2’对应于S[4]，S[4]为S[2]之后的两个片段；序列中的‘3’对应于S[7]，S[7]为S[4]之后的三个片段，依此类推。

对于递增搜索的每个迭代，搜索序列中的当前编号作为音频缓冲器1102的起始点。例如，当当前编号为序列中的第一‘1’时，可将参考音频片段1104与自S[1]开始的音频数据进行比较，以确定该参考音频片段与该音频数据之间的相似度值；当当前编号为序列中的‘2’时，可将参考音频片段1104与自S[4]开始的音频数据进行比较，以确定该参考音频片段与该音频数据之间的相似度值，依此类推。

在一些实施例中，如果将以上所描述的斐波那契序列使用在递增搜索中，则操作的数目以的比率减少。通过执行音频错误消除，保持了音频波形的连续性，且减少了来自音频重放的跳音或爆音。

图12为音频错误消除方法的流程图1200。该方法可以由设备(例如，以下参考图14或图15所描述的设备1402/设备1402′)来执行。在一些实施例中，该设备可以是无线扬声器或无线头戴耳机。在一些实施例中，该方法中执行的操作可以对应于以上参考图4至图11所描述的操作。

在步骤1202处，设备可以接收多个音频帧。在一些实施例中，多个音频帧可以是以上在图4中所描述的搜索窗口402中的音频帧或以上在图6中所描述的FIFO 608中的音频数据。在一些实施例中，音频帧可以包括预定时段内的音频信号的振幅信息。在一些实施例中，每个音频帧可以分配有帧序列号以指示传输顺序。

在步骤1204处，设备可以接收第一音频帧作为在多个音频帧之后接收的下一音频帧。在步骤1206处，设备可以检测传输中丢失的第二音频帧。第二音频帧在多个音频帧之后且在第一音频帧之前被传输。

在步骤1208处，设备可以识别多个音频帧内最佳匹配于多个音频帧的参考音频模型的音频片段。经识别的音频片段可以在多个音频帧中的最后音频帧之前被接收。在一些实施例中，参考音频模型可以是多个音频帧中的最后音频帧的最后音频片段。

在一些实施例中，为识别音频片段，设备可以针对每个候选音频片段执行以下至少之一：比较候选音频片段的音频波形及参考音频模型的音频波形；或确定候选音频片段与参考音频模型之间的相关性。在一些实施例中，经识别的音频片段可以具有以下至少一项：与参考音频模型相比的最小音频波形差异；或与参考音频模型之间的最大相关性。

在步骤1210处，设备可以基于在经识别的音频片段之后接收的音频数据来重建第二音频帧。在一些实施例中，设备可以进一步在多个音频帧之后且在第一音频帧之前重放所重建的第二音频帧。

图13为识别多个音频帧内最佳匹配于多个音频帧的参考音频模型的音频片段的方法的流程图1300。该方法可以由设备(例如，以下参考图14或图15所描述的设备1402/设备1402′)来执行。在一些实施例中，该设备可以是无线扬声器或无线头戴耳机。在一些实施例中，该方法中执行的操作可以对应于以上参考图12中的步骤1208所描述的操作。

在步骤1302处，设备可以基于递增搜索序列来执行多个音频帧内的音频片段的递增搜索。在一些实施例中，递增搜索序列可以是线性递增序列、线性递增重复序列，或斐波那契序列中的一种。

在步骤1304处，设备可以基于递增搜索的搜索结果识别多个音频帧内的搜索窗口。

在步骤1306处，设备可以执行在搜索窗口内的线性搜索以识别音频片段。在一些实施例中，在递增搜索或线性搜索期间，设备可以针对每个候选音频片段执行以下中的至少一项：比较候选音频片段的音频波形及参考音频模型的音频波形；或确定候选音频片段与参考音频模型之间的相关性。在一些实施例中，经识别的音频片段可具有以下中的至少一个：与参考音频模型相比的最小音频波形差异；或与参考音频模型之间的最大相关性。

图14为图示出示范性设备1402中的不同构件/组件之间的数据流的概念数据流程图1400。在一些实施例中，设备1402可以是无线扬声器或无线头戴耳机。设备1402可以包括接收组件1404，该接收组件接收来自包括发射器的装置1450的音频帧。在一个实施例中，接收组件1404可以执行以上参考图12中的步骤1202或步骤1204所描述的操作。

设备1402可以包括传输组件1410，该传输组件1410将关于所接收的音频帧的确认(ACK)传输至装置1450。接收组件1404及传输组件1410可以协作以协调设备1402的通信。

设备1402可以包括丢失检测组件1406，该丢失检测组件配置为检测所接收的音频帧内的丢失的帧。在一个实施例中，丢失检测组件1406可以执行以上参考图12中的步骤1206所描述的操作。

设备1402可以包括匹配识别组件1408，该匹配识别组件配置为识别最佳匹配于丢失的帧的音频数据。在一个实施例中，匹配识别组件1408可以执行以上参考图12中的步骤1208或图13的描述的操作。

设备1402可以包括重建组件1412，该重建组件配置为基于所识别的最佳匹配音频数据来重建丢失的帧。在一个实施例中，重建组件1412可以执行以上参考图12中的步骤1210所描述的操作。

设备1402可以包括附加组件，该附加组件执行图5、图9、图10、图12及图13的前述的流程图中的算法的方框中的每个。因而，图5、图9、图10、图12及图13的前述流程图中的每个方框可以由组件执行且该设备可以包括那些组件中的一个或多个。组件可以是一个或多个硬件组件或其一些组合，该一个或多个硬件组件具体配置为实现所述过程/算法，由配置为执行所述过程/算法的处理器来执行，存储在计算机可读介质中以供处理器实施。

图15为图示出用于采用处理系统1514的设备1402′的硬件实现的示例的图1500。在一个实施例中，设备1402′可以是以上参考图14所描述的设备1402。处理系统1514可以用总线架构来实现，总线架构总体由总线1524表示。取决于处理系统1514的特定应用及总体设计约束，总线1524可以包括任意数目的互连总线及网桥。总线1524将各种电路链接在一起，各种电路包括由处理器1504、接收组件1404、丢失检测组件1406、匹配识别组件1408、传输组件1410、重建组件1412及计算机可读介质/存储器1506表示的一个或多个处理器和/或硬件组件。总线1524还可以链接各种其他电路，诸如定时源、接口设备、电压调节器及功率管理电路，这些其他电路是本领域众所周知的，且因此将不进一步加以描述。

处理系统1514可以耦接至收发机1510。收发机1510耦接至一个或多个天线1520。收发机1510提供用于经由传输介质与各种其他设备通信的装置。收发机1510接收来自一个或多个天线1520的信号，从所接收的信号提取信息，并将所提取的信息提供至处理系统1514，特别地是接收组件1404。另外，收发机1510接收来自处理系统1514，特别地是传输组件1410的信息，且基于所接收的信息生成待施加至一个或多个天线1520的信号。

处理系统1514包括耦接至计算机可读介质/存储器1506的处理器1504。处理器1504负责一般处理，包括由设备自身通过其自有的传感器收集的数据的分析及存储在计算机可读介质/存储器1506上的软件的执行。软件当由处理器1504执行时使处理系统1514执行上文针对任意特定设备所描述的各种功能。计算机可读介质/存储器1506还可用于存储在执行软件时由处理器1504操纵的数据。处理系统1514进一步包括接收组件1404、丢失检测组件1406、匹配识别组件1408、传输组件1410、重建组件1412中的至少一个。这些组件可以是在处理器1504中运行、驻留在/存储在计算器可读介质/存储器1506中的软件组件、耦接至处理器1504的一个或多个硬件组件，或其一些组合。

在下文中，将例示本公开的各个方面：

示例1为一种用于音频错误消除的方法或设备。该设备可以接收多个音频帧。该设备可以在接收到多个音频帧之后立即接收第一音频帧。该设备可以检测传输中丢失的第二音频帧。第二音频帧是在多个音频帧之后且在第一音频帧之前被传输。该设备可以识别多个音频帧内最佳匹配于多个音频帧的参考音频模型的音频片段。经识别的音频片段可以在多个音频帧中的最后音频帧之前被接收。该设备可以基于紧接在经识别的音频片段之后所接收的音频数据重建第二音频帧。

在示例2中，示例1的主题可以可选地包括，为了识别音频片段，该设备可以基于递增搜索序列来执行多个音频帧中的音频片段的递增搜索。

在示例3中，示例2的主题可以可选地包括递增搜索序列可以是线性递增序列、线性递增重复序列或斐波那契序列之一。

在示例4中，示例2或3的主题可以可选地包括，为了识别音频片段，该设备可以进一步：基于递增搜索的搜索结果识别多个音频帧内的搜索窗口；以及执行在搜索窗口内的线性搜索以识别音频片段。

在示例5中，示例1至4中的任一示例的主题可以可选地包括音频帧可以包括预定时段内的音频信号的振幅信息。

在示例6中，示例1至5中的任一示例的主题可以可选地包括每个音频帧可以分配有帧序列号以指示传输顺序。

在示例7中，示例1至6中的任一示例的主题可以可选地包括，为了识别音频片段，该设备可以针对每个候选音频片段执行以下中的至少一项：比较候选音频片段的音频波形及参考音频模式的音频波形；或者确定候选音频片段与参考音频模型之间的相关性。

在示例8中，示例7的主题可以可选地包括经识别的音频片段可以具有以下中的至少一项：与参考音频模式相比的最小音频波形差异；或与参考音频模式之间的最大相关性。

在示例9中，示例1至8中的任一示例的主题可以可选地包括该设备可以在多个音频帧之后且在第一音频帧之前重放重建的第二音频帧。

在示例10中，示例1至9中的任一示例的主题可以可选地包括参考音频模式为多个音频帧中的最后音频帧的最后音频片段。

应理解，所公开的过程/流程图中的方框的特定次序或层次结构是示范性方法的说明。基于设计偏好，应理解可以重新配置过程/流程图中的方框的特定次序或层次结构。此外，可以组合或省略一些方框。随附的方法权利要求以样本次序呈现了各方框的元件，并不意味着限于所呈现的特定次序或层次结构。

提供先前描述以使本领域技术人员能够实践本文所描述的各种方面。本领域技术人员将容易地显而易见对这些方面进行各种修改，且本文所限定的一般原理可应用于其他方面。因而，权利要求不旨在限于本文所示出的方面，而是应被赋予与语言权利要求一致的全部范围，其中除非特别说明，否则以单数形式提及的元素并不意味着“一个且仅一个”，而相反意味着“一个或多个”。词“示范性”在本文中用来意味着“充当一示例、例子，或说明”。本文描述为“示范性”的任何方面不一定理解为相对于其他方面较佳的或有利的。除非另外特别说明，否则术语“一些”是指一个或多个。组合，诸如“A、B或C中的至少一个”、“A、B或C中的一个或多个”、“A、B及C中的至少一个”、“A、B及C中的一个或多个”以及“A、B、C或其任何组合”包括A、B和/或C的任何组合，且可以包括A中的多个、B中的多个或C中的多个。具体而言，组合，诸如“A、B或C中的至少一个”、“A、B或C中的一个或多个”、“A、B和C中的至少一个”、“A、B和C中的一个或多个”以及“A、B、C或其任何组合”可以是仅A、仅B、仅C、A和B、A和C、B和C，或者A和B和C，其中任何这样的组合可以包含A、B或C中的一个或多个部件，或者多个部件。本领域普通技术人员已知或以后将知道的本公开通篇所描述的各种方面的元件的所有结构及功能等效物以引用方式明确并入本文中且旨在由权利要求所涵盖。此外，无论此公开内容是否明确地记载在权利要求中，本文所公开的任何内容均不旨在专供公众使用。“模块”、“机构”、“元件”、“装置”等词语可并非用于词“手段”的替代。因而，任何权利要求的元素均不应被理解为手段加功能，除非该元素是使用短语“用于……的手段”来明确地加以叙述。