具体实施方式

在下面的描述中，参考了构成描述一部分的附图，其中通过中示出的方式示出了可以实施的特定实施例。这些实施例被足够详细地描述，以使本领域技术人员能够实践本发明，并且应理解，可以利用其他实施例，并且可在不脱离本发明的范围的情况下进行结构、逻辑和电气改变。因此，以下对示例性实施例的描述不是限制性的，并且本发明的范围由所附权利要求限定。

在一个实施例中，本文所描述的功能或算法可在软件中实现。软件可由存储在计算机可读介质或计算机可读存储装置(诸如一个或多个非暂时性存储器或其他类型的基于硬件的本地或网络的存储装置)上的计算机可执行指令组成。此外，这些功能对应于模块，模块可以是软件、硬件、固件或其任意组合。根据需要，可在一个或多个模块中执行多个功能，并且所描述的实施例仅是示例。所述软件可在数字信号处理器、ASIC、微处理器或在计算机系统上操作的其他类型的处理器上执行，诸如个人计算机、服务器或其他计算机系统，从而将此类计算机系统变成专门编程的机器。

所述功能可以被配置为使用例如软件、硬件、固件等来执行操作。例如，短语“被配置为”可以指实现相关联功能的硬件元件的逻辑电路结构。短语“被配置为”还可以指硬件元件的逻辑电路结构，所述逻辑电路结构将实现固件或软件的相关联功能的编码设计。术语“模块”是指可以使用任何合适的硬件(例如，处理器等)、软件(例如，应用等)、固件或硬件、软件和固件的任何组合来实现的结构元件。术语“逻辑”包括用于执行任务的任何功能。例如，流程图中所示的每个操作对应于用于执行所述操作的逻辑。可以使用软件、硬件、固件等来执行操作。术语“部件”、“系统”等可以指计算机相关的实体、硬件和执行中的软件、固件或其组合。部件可以是在处理器上运行的进程、对象、可执行文件、程序、函数、子例程、计算机或软件和硬件的组合。术语“处理器”可以指硬件部件，诸如计算机系统的处理单元。

此外，所要求保护的主题可以被实现为使用标准编程和工程技术来产生软件、固件、硬件或其任意组合以控制计算设备来实现所公开的主题的方法、设备或制品。本文使用的术语“制品”意图包括可以从任何计算机可读存储装置或介质访问的计算机程序。计算机可读存储介质可以包括但不限于磁存储装置，例如硬盘、软盘、磁条、光盘、光盘(CD)、数字通用磁盘(DVD)、智能卡、快闪存储器装置等。相比之下，计算机可读介质，即非存储介质，可以另外包括通信介质，诸如用于无线信号等的传输介质。

自动语音识别(ASR)显著增加了与智能手机、平板电脑、游戏机等装置的免提通信。ASR技术在过去十年中非常成功，并且从实验室环境快速部署到现实生活中。

尽管人们期望从ASR获得完美的识别，但实际解码的话语总是有错误的。在这种情况下，针对识别出的话语的置信度度量提供对ASR解码的可靠性的定量表示。对于支持ASR的装置始终处于在应用受限的语法中的主动监听模式的应用，这种置信度度量尤其重要。在一个示例应用中的应用约束语法可以包括游戏媒体命令，如播放/暂停等。有时背景OOG语音(不包含播放命令)可以触发IG命令中的一个，并且置信度度量可以用于评估其正确性。在那种情况，一些语法外(OOG)话语可能仍然被认为是语法内(IG)话语。

置信度分类器被训练用于提供经解码的话语的可靠性的度量，以帮助拒绝OOG话语。置信度度量也用于在存在背景噪声、混响和其他不匹配声学条件的情况下验证ASR解码。置信度度量可以被训练用于基于单词的置信度和基于话语的置信度。

ASR置信度有很多应用。置信度是帮助语音应用更好地处理对可能不正确的ASR假设的响应的关键指标。置信度分类器用于手机等即按即说装置，但也用于如Xbox的持续监听装置，在这些装置中，语音引擎始终在后台运行。因此，ASR系统正在收听为其准备的语音以及副语音、背景噪声和其他环境声音中的非预期语音。在那里，ASR可以对非预期的或语法错误的(OOG)话语产生语法内(IG)识别。ASR系统利用置信度分类器来检测可能的错误识别并且避免系统响应。

多层感知器(MLP)或深度学习模型可以用于训练来自一组限定的特征的置信度得分。许多置信度特征和训练方法已经被开发并且用于预测置信度。可以计算针对单词和话语的置信度得分。为了提高置信度得分，可以得到单词嵌入置信度特征并且将其添加到该组特征中。

图1是示出增强语音识别系统100的框流程图。在语音输入110处接收语音话语。输入序列可以是单词级或话语级的。在特征提取120处以已知的方式提取特征。提取到的特征被提供给ASR引擎130，所述ASR引擎130解码语音，并且产生假设以及一组特征，诸如基于格(lattice)的置信度特征140。格是对特定话语来说足够可能的备选单词序列的表示。引擎130提供基于声学模型(AM)和语言模型(LM)的得分。得分根据话语长度进行归一化。在一个实施例中，基于格的置信度特征140是由16个预测器组成的基线特征集(表示为通用特征)。

特征140用于得到单词嵌入置信度特征150。特征140和单词嵌入置信度特征150被连接并且被提供给置信度分类器160，所述置信度分类器160已经在两组特征上被训练。置信度分类器160确定输入110序列是语法内(IG)还是语法外(OOG)。多层感知器(MLP)可以用于IG对(versus)OOG的决策。MLP被训练用于单词级分类和话语级分类。MLP的输出是针对输入话语的置信度得分。

在一些实施例中，置信度分类器160产生提供给应用180的置信度得分170。应用180可以接受或拒绝假设。换句话说，应用180可以基于置信度得分来选择接受或忽略由引擎130假设的单词或单词序列。

语音应用180使用这些得分，并且通过将得分与设定的阈值(诸如0.8([0,1]范围，其中较大的得分意味着假设正确的概率较高))或其他可能依赖于应用的阈值进行比较，来做出接受识别事件的决定。置信度得分有助于减轻应用对背景噪音或电视声音等任务的不必要响应。

单词嵌入置信度特征150用于改进置信度分类器。单词字符和音素发音嵌入用于专门表示和分解(factorize)声学置信度特征。

置信度分类可以表示为二元分类问题，其中有两类：(1)正确的SR识别，(2)不正确的识别，其包括对IG话语的错误识别以及来自OOG话语或背景音频的识别。示例置信度特征可以包括：

1.声学模型得分

2.背景模型得分

3.无声(silence)模型和噪音模型得分

4.语言模型得分

5.持续时间特征

在一个实施例中的基线置信度特征140包括在解码期间从ASR格获得的21个特征。置信度特征可以从背景、静音和噪声模型得分获得。可以获得一组语言模型(LM)特征来表示LM得分、困惑度和扇出(fanout)。可以包括基于持续时间的特征来模拟语速和绝对语音持续时间。这些特征可以被归一化以对具有不同持续时间和强度的语音具有鲁棒性。

可以添加新的置信度特征，诸如单词嵌入置信度特征150，以进一步提高置信度性能。个体单词的声学得分在ASR假设中作为对应特定单词的帧级声学得分的集合而获得。更强的声学得分指示组成语音帧与声学模型的更大匹配，因此单词正确的概率更大。ASR系统使用上下文相关的绑定三音素，即senones，作为表示单词的状态。在解码期间，在语言模型约束下，沿着状态找到最佳路径，以预测最佳假设。

每帧声学得分表示语音帧和特定声学状态之间的匹配。注意，基线置信度特征140包括持续时间，所述持续时间隐含地有助于解译较小单词与较长单词的声学得分。此外，在基线置信度特征上执行引擎得分的许多归一化。基于基线置信度特征的声学得分仍然对基础的声学状态具有显著的依赖性。通过用声学状态表示声学得分，用单词嵌入来考虑声学得分对基础声学状态的依赖性。

声学得分通常是ASR置信度分类器的重要特征。然而，声学得分和基础的ASR状态之间存在依赖性。置信度分类器向具有更强声学得分的单词分配更高的置信度得分，但是此类对声学得分的依赖意味着聚集的声学得分不足以精确地表示声学匹配而不表示基础的声学状态。假设一个大规模的ASR任务由跨声学条件、扬声器和音频管道的数据组成，即使是正确识别的单词，声学得分也会发生相当大的变化。

在一个实施例中，若干个单词和相关联的声学得分之间的依赖性在图2中以图形形式在200处示出。针对3个单词“The”、“Play”和“Game”的声学得分的分布相应地在210、220和230处示出。较低的声学得分指示更强的匹配。所述分布是从被ASR系统正确识别的单词获得的。假设其余的置信度特征相同，声学得分的差异将影响置信度得分。置信度得分指示单词正确的概率，因此如210、220和230所示的不同声学得分分布将导致针对任何给定置信度得分对“The”和“Play”单词的不同解译。例如，置信度为0.9的识别单词“The”可能比置信度为0.9的单词“Play”具有更高或更低的正确概率。

单词嵌入特征用于表示声学状态中的声学得分并且使其合理化。可以使用两种不同类型的单词嵌入特征，单词字符嵌入和音素发音嵌入。不同类型的单词嵌入特征可以单独使用或组合使用，并且被添加到上述基线置信度特征140。

单词字符嵌入可以用于表示和分解声学得分。在一个实施例中，单词字符嵌入仅是语言中字母的计数。对于enUS(美式英语)，构建了对应于每个字母的26维字符嵌入。其他语言可能有不同数目的字母和对应的不同数目的维字符嵌入。enUS是基于罗马字母的。其他常见的字母数目不同的字母包括阿拉伯语、西里尔语和拉丁语。在再一个实施例中，少于全部的字母可以用于单词字符嵌入。一些应用可以选择对应语言的字母子集用于单词字符嵌入，以最小程度地增加模型的复杂性或大小。例如，可以使用来自元音的五个嵌入。

参考如图3中所示的表1，表300，在310处的“cortana”的字符嵌入是在{‘a’,‘c’,‘n’,‘o’,‘r’,‘t’}的相应位置具有{2,1,1,1,1,1}的向量。其余向量元素为0。向量中的“2”说明字母“a”在“cortana”中出现了两次。

字符嵌入提供若干优点：(a)它们是更小维度的特征，(b)它们需要很少的计算资源，(c)很容易在运行(on the fly)中计算，并且不需要任何内存或存储，因为单词的字符计数可在需要时轻松计算，而不需要存储字符嵌入。如图1中100处中所示，通过从ASR格(特征140)提取基线置信度特征来扩展现有的置信度机制。特定单词用于字符嵌入。功能性被嵌入到格生成或格后处理步骤中，以计算与特征140一起的所包括的ASR假设中的单词的字符嵌入。ASR系统本质上对音素建模，并且字符嵌入充其量是很好的近似。此外，以不同方式发音的“Cortana”将具有相同的字符嵌入，尽管声学得分不同。鉴于此，下文描述的音素嵌入也可以或替代地用于扩展提供给置信度分类器160的特征。

ASR系统本质上是语言模型约束下的语音帧和声学状态之间的匹配。在一些示例中，9000个依赖于上下文的三音素可以用于表示声学状态。9000维向量可以用于表示一个单词中的每个三音素的计数，但是所述计数明显大于基线置信度特征140的一个示例集合中的21个置信度特征，并且很可能会过度拟合任务。由于稀疏性问题，这样大的向量也使得训练和维护置信度分类器变得困难，因为单词中仅少数状态是非零的。

在一个实施例中，单音素单元用于单词发音嵌入。“cortana”的音素嵌入如表300中的320处示出的。在一个实施例中，enUS ASR模型由40个单音素组成，手工制作的单音素字典用于以单音素单位表示单词。一个单词的发音可以用一系列符号来表示，这些符号对应于组成单词的各个声音单位。这些被称为“音位”或“音素”。单音素是指单个音素。例如，单词“translate”可能对应于以下单音素单词：t [email protected] s l e t。单音素是语音识别中众所周知的结构。与单词字符嵌入一样，在一些实施例中可以使用少于40个单音素。

音素嵌入保留了字符嵌入的全部优点。利用字符嵌入，对于单词的不同发音，存在相同的字符嵌入问题。音素嵌入通过允许单词在字典中有多种发音来解决这个问题。除了嵌入单位是音素之外，音素嵌入的计算类似于字符嵌入。一个单词的多个发音的嵌入可以被计算为来自单个发音的嵌入的平均值。此计算仅使用ASR解码已经可以访问的特定单词和单音素字典。

在一个示例中，OOG话语可以从电影或会议任务中准备。通过对照不匹配的语法来解码IG话语，可以模拟OOG数据。置信度分类器的性能可以根据训练和验证任务的均方误差(MSE)以及CA＝#AllCorrects超过阈值#AllCorrects和FA＝#AllIncorrects超过阈值#AllIncorrects来表征，这里#指示计数。

为了训练置信度分类器160，可以使用一个或多个应用(诸如Xbox和服务器)的超过1000小时语音的标记置信度训练数据。在再一个实施例中，可以使用明显更小或更大的量或训练数据。声学和字符嵌入的结合可以将MSE提高到0:199。此外，将嵌入与全部基线特征相结合将MSE从0:188提高到0:183。

在一个实施例中，置信度分类器是MLP分类器。可以通过在DNNs和K-DCN中使用深度架构来增强MLP分类器。深度神经网络(DNN)被广泛用于最先进的学习系统。DNN在更大数目的隐藏层方面扩展了ML。不同的隐藏层可以建模和学习数据中的局部和高阶结构。

核深度凸网络(K-DCN)是深度凸网络(DCN)的核版本。DCN和K-DCN的架构将全部先前图层的输出和原始输入数据连接起来，作为当前图层的输入。K-DCN由核岭回归模块组成，其可以表示为：

其中样本x相对于全部训练样本被评估α是回归系数，并且向量k(x)具有元素k_n(x)＝k(x_n；x)。回归系数α有一个封闭形式的解:

α＝(λI+K)^-1Y (2)

其中λ是正则化参数，是核

带元素的矩阵K_mn＝k(x_m，x_n)，来自训练集，并且是用于训练的M类标签向量。

在再一个实施例中，除了一个或多个单词嵌入置信度特征之外，GLOVE嵌入可以被添加到基线特征。GLOVE嵌入对上下文单词信息进行编码。此类嵌入不同于字符和音素嵌入。

图4是示出利用单词嵌入置信度特征增强语音识别置信度分类器的计算机实现方法400的流程图。方法400开始于在操作410接收来自一个或多个解码单词的一组基线置信度特征。在操作420处，从基线置信度特征得到单词嵌入置信度特征。单词嵌入置信度特征包括字符嵌入。字符嵌入包括26个嵌入，所述26个嵌入包括英语字母表中的字母。单词的字符嵌入可以是向量的形式，所述向量具有由单词中每个字母的计数组成的每个字母的值。对应于不在单词或其他话语中的字母的向量中的值可以被设置为零。

单词嵌入置信度也可以是或包括包含音素嵌入的特征。音素嵌入可以是从包含40个单音素的字典中选择的单音素。单词嵌入置信度特征可以包括字符嵌入和音素嵌入。在再一个示例中，

在操作430处，将基线置信度特征与单词嵌入置信度特征结合(join)，以创建特征向量。在操作430处，执行置信度分类器以生成置信度得分。用一组具有对应于特征向量的标记特征的训练示例来训练置信度分类器。特征向量还可以包括GLOVE嵌入。

置信度分类器可以针对单词级分类以及话语级分类进行训练。基线特征可以包括中的两项或更多项：声学模型得分、背景模型得分、静音模型得分、噪声模型得分、语言模型得分和持续时间特征。

图5是根据示例实施例实现改善的ASR置信度分类器算法的计算机系统500的示意框图。在各种实施例中不需要使用全部部件。

计算机500形式的一个示例计算装置可以包括处理单元502、存储器503、可移除存储装置510和不可移除存储装置512。尽管示例计算装置被示出并且描述为计算机500，但是在不同的实施例中，计算装置可以是不同的形式。例如，计算装置可以改为智能手机、平板电脑、智能手表、智能存储装置(SSD)或包括与图5所示和所描述的相同或类似元件的其他计算装置。智能手机、平板电脑和智能手表等装备通常统称为移动装置或用户装备。

尽管各种数据存储元件被示出为计算机500的一部分，但是存储也可以或替代地包括可以经由网络访问的基于云的存储，诸如基于互联网或服务器的存储。还要注意的是，SSD可能包括运行解析器的处理器，允许通过SSD和主存储器之间的I/O通道传送解析、过滤后的数据。

存储器503可以包括易失性存储器514和非易失性存储器508。计算机500可以包括——或可以访问包括——多种计算机可读介质的计算环境，诸如易失性存储器514和非易失性存储器508、可移除存储装置510和不可移除存储装置512。计算机存储器包括随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM)或电可擦可编程只读存储器(EEPROM)、快闪存储器或其他存储技术、只读光盘存储器(CDROM)、数字多功能磁盘(DVD)或其他光盘存储、磁带、磁带、磁盘存储或其他磁存储装置，或能够存储计算机可读指令的任何其他介质。

计算机500可以包括或能够访问包括输入接口506、输出接口504和通信接口516的计算环境。输出接口504可以包括也可以用作输入装置的显示装置，诸如触摸屏。输入接口506可以包括触摸屏、触摸板、鼠标、键盘、照相机、一个或多个装置专用按钮、集成在计算机500内或经由有线或无线数据耦合到计算机500的一个或多个传感器以及其他输入装置中的一者或多者。计算机可在使用通信连接来连接到一个或多个远程计算机(诸如数据库服务器)的网络化环境中操作。远程计算机可以包括个人计算机(PC)、服务器、路由器、网络PC、对等装置或其他常见的数据流网络交换机等。通信连接可以包括局域网(LAN)、广域网(WAN)、蜂窝、Wi-Fi、蓝牙或其他网络。根据一个实施例，计算机500的各种部件与系统总线520连接。

存储在计算机可读介质上的计算机可读指令(诸如程序518)可由计算机500的处理单元502执行。在一些实施例中，程序518包括实现一个或多个置信度分类器的软件。硬盘驱动器、CD-ROM和RAM是包括诸如存储装置的非暂时性计算机可读介质的物品的一些示例。术语计算机可读介质和存储装置不包括载波，因为载波被认为过于短暂。存储还可以包括网络存储，诸如存储区域网络(SAN)。计算机程序518连同工作空间管理器522可以用于使得处理单元502执行本文所描述的一个或多个方法或算法。

示例

1.一种增强自动语音识别置信度分类器的方法，其包括接收来自一个或多个解码单词的一组基线置信度特征，从基线置信度特征得到单词嵌入置信度特征，将基线置信度特征与单词嵌入置信度特征结合以创建特征向量，以及执行置信度分类器以生成置信度得分，其中置信度分类器用一组训练示例训练，所述组训练示例具有对应于特征向量的标记特征。

2.根据示例1的方法，其中单词嵌入置信度特征包括字符嵌入。

3.根据示例2的方法，其中字符嵌入包括少于26个包含字母的嵌入。

4.根据示例2至3中任一示例所述的方法，其中单词的字符嵌入包括向量，所述向量具有由单词中每个字母的数目的计数组成的每个字母的值。

5.根据示例1至4中任一示例的方法，其中单词嵌入置信度特征包括音素嵌入。

6.根据示例5的方法，其中音素嵌入包括从包含40个或更少单音素的字典中选择的单音素。

7.根据示例1至6中任一示例的方法，其中单词嵌入置信度特征包括字符嵌入和音素嵌入。

8.根据示例1至7中任一示例的方法，其中特征向量还包括GLOVE嵌入。

9.根据示例1至8中任一示例的方法，其中置信度分类器被训练用于单词级分类以及话语级分类。

10.根据示例1至9中任一示例的方法，其中基线特征包括声学模型得分、背景模型得分、无声模型得分、噪声模型得分、语言模型得分和持续时间特征中的两者或更多者。

11.一种机器可读存储装置，具有由机器的处理器执行的指令，以使得处理器执行操作来生成单词或话语的置信度得分。这些操作包括接收来自一个或多个解码的单词一组基线置信度特征，从基线置信度特征得到单词嵌入置信度特征，将基线置信度特征与单词嵌入置信度特征结合以创建特征向量，以及执行置信度分类器以生成置信度得分，其中置信度分类器用具有对应于特征向量的标记特征的一组训练示例来训练。

12.根据示例11的装置，其中单词嵌入置信度特征包括字符嵌入。

13.根据示例12的装置，其中字符嵌入包括包含字母表中的字母的26个或更少的嵌入。

14.根据示例12至13中任一示例所述的装置，其中单词的字符嵌入包括向量，所述向量具有由单词中每个字母的数目的计数组成的每个字母的值。

15.根据示例11至14中任一示例的装置，其中单词嵌入置信度特征包括音素嵌入，所述音素嵌入包括从包含40个或更少单音素的字典中选择的单音素。

16.根据示例11至15中任一示例的装置，其中单词嵌入置信度特征包括字符嵌入和音素嵌入。

17.根据示例11至16中任一示例所述的装置，其中针对单词级分类以及话语级分类来训练所述置信度分类器，并且其中所述基线特征包括声学模型得分、背景模型得分、静音模型得分、噪声模型得分、语言模型得分和持续时间特征中的两者或更多者。

18.一种装置包括处理器和存储器装置，所述存储器装置耦合到处理器并且具有存储在其上的程序，用于由处理器执行以执行操作。这些操作包括接收来自一个或多个解码单词的一组基线置信度特征，从基线置信度特征得到单词嵌入置信度特征，将基线置信度特征与单词嵌入置信度特征结合以创建特征向量，以及执行置信度分类器以生成置信度得分，其中置信度分类器用具有对应于特征向量的标记特征的一组训练示例来训练。

19.根据示例18的装置，其中单词嵌入置信度特征包括字符嵌入和包括单音素的音素嵌入中的一个或多个。

20.根据示例18至19中任一示例所述的装置，其中针对单词级分类以及话语级分类来训练所述置信度分类器，并且其中所述基线特征包括声学模型得分、背景模型得分、静音模型得分、噪声模型得分、语言模型得分和持续时间特征中的两者或更多者。

尽管上面已经详细描述了几个实施例，但是其他修改也是可能的。例如，附图中描绘的逻辑流程不需要中示出的特定顺序或顺序来实现期望的结果。可以从所描述的流程中提供其他步骤，或可以移除步骤，并且可以向所描述的系统添加其他部件，或从所描述的系统中移除其他部件。其他实施例可在以下权利要求的范围内。