具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本申请提供的一种基于语音识别纠错的管制指令信息提取方法，可应用于空中交通管制系统对管制指令的语义理解。本申请能有效处理管制指令重要信息的提取工作。

本申请实施例中提到的甚高频通信系统、管制自动化系统、管制语音识别系统均为本领域技术人员公知的系统。

本申请实施例的实现过程和步骤如下，其流程如图1所示。

步骤1：采集管制指令文本数据集，构建相似拼音替换规则库，模拟管制语音识别错误，构建管制指令带噪训练数据集。从甚高频通信系统中采集场面、塔台、进近和区域运行场景中的管制指令语音数据，通过管制语音识别系统生成管制指令文本数据。所述管制指令文本数据均匀分布在推出开车、滑行、进跑道等待、起飞、管制移交、进近、航班降落、脱离跑道、进停机位和调高调速不同子场景，形成管制指令文本数据集。

基于所采集的管制指令文本数据集，模拟管制语音识别错误，构建管制指令带噪训练数据集，包括步骤1-1：构建第一拼音表，将管制指令文本数据中的数字和英文字母按照读音替换为对应的同音汉字，统计管制指令文本数据集中出现的汉字，生成管制指令字典，对管制指令字典中的汉字标注拼音，形成第一拼音表。

步骤1-2：扩充第一拼音表，面向第一拼音表中的拼音，使用编辑距离法获取相似拼音表，定义编辑距离为相似拼音通过删除、替换或增加单个字母的总次数，具体请参见参考文献1；所述相似拼音表和第一拼音表结合，并形成第二拼音表；例如，拼音“san”通过增加字母得到新拼音“shan”，这两个拼音之间的编辑距离为1。

步骤1-3：构建同音字表，根据第二拼音表扩充同音字个数，形成同音字表，所述同音字表和第二拼音表结合，形成相似拼音替换规则库。

步骤1-4：构建训练数据集，面向管制指令文本数据集中的每一个管制指令句子，以15%的概率随机选择汉字，对于被选择的汉字，以50%的概率替换为同音字表中的同音字，50%的概率替换为相似拼音表中编辑距离为1的相似拼音对应汉字；同音字替换和相似拼音对应汉字替换，分别以平均概率从同音字表和相似拼音表中选择替换汉字。

步骤1-5：基于以上步骤，获得管制指令带噪训练数据集，包括训练数据和标签数据，所述训练数据为带有同音字替换和相似拼音对应汉字替换的文本数据，所述标签数据为对应的正确文本数据。

步骤2：构建管制语音识别纠错模型，使用管制指令带噪训练数据集训练管制语音识别纠错模型。

选择以BERT模型作为编码层，全连接网络层作为输出层构建并训练管制语音识别纠错模型。在训练时，输入因语音识别错误干扰的管制指令文本训练数据，输出正确的管制指令文本标签，实现语音识别纠错功能。具体包括以下步骤。

步骤2-1：构建管制语音识别纠错模型。基于BERT（Bidirectional EncoderRepresentations from Transformers）的管制语音识别纠错模型，具体描述如下。

针对输入序列x，基于BERT的管制语音识别纠错模型使用12层编码层，如图2和图3所示，其中每一层编码层包括注意力层，注意力层的输入为映射层输出，利用公式1~3计算得到注意力层的输入。

(1)。

(2)。

(3)。

其中，Q代表查询向量，K代表键向量，V代表目标向量，W ^Q 、W ^K 和W ^V 分别为注意力层的输入转换矩阵，所述非结构化文本数据的内容中的每一个字的语义都受到其他字的影响，而注意力值的大小表示影响程度，所述每一个字在经过注意力层之后的输出如公式4所示。

(4)。

其中，d _k 是缩放因子，缩放因子d _k 的大小与映射层的输出维度d相同，softmax函数用于对输出的注意力值进行归一化，输出结果Attention(Q,K,V)表示输入序列x经过上下文信息的影响后得到的深层语义表征。

在BERT模型中使用多头注意力机制集成更多的信息，本实施例中，通过使用多头注意力机制，能够使结果更精确，假设单头注意力定义为公式5。

(5)。

则所述多头注意力定义为公式6。

(6)。

其中，Concat()表示对多个注意力头进行拼接计算，W ^O 是转换矩阵，经过多头注意力计算后输出的表征与输入表征进行相加，得到X=X+MultiHead(Q,K,V)，然后通过全连接层进行文本语义表征数据的整合，再与全连接层输入相加，得到单个编码层输出，如公式7所示。

(7)。

其中，W ₁和W ₂是全连接层的转换矩阵，b ₁和b ₂是全连接层的偏置参数，由此得到 BERT模型一层的输出FFN(X)，每一个编码层的输出都是下一层的输入；最后得到BERT模型 的输出，构建全连接层映射输出序列，其中R表示实数集合，L表示输 入序列长度，|D|表示管制指令带噪训练数据集中不同字符的个数。

步骤2-2：训练管制语音识别纠错模型。使用带噪管制指令文本训练数据集训练管 制语音识别纠错模型，使用训练文本数据作为输入序列，标签文本数据作为输出参考。假设 输入序列定义为：x = x ₁,x ₂,…,x _L ，其中x _i 表示序列中的第i个汉字，，L表示序列长 度。通过索引序列映射得到的向量表征X，如公式8所示。

(8)。

其中，表示索引序列，R表示实数集合，表示词向量映射权重矩 阵，其中m表示词向量的维度；计算每个汉字的位置编码，以及句子片段编码，得到输入序列表征X ^E ，如公式9所示。

(9)。

将输入序列表征X ^E 输入管制语音识别纠错模型，输出Y ^E 与标签计算，得到误差并进行反向传播，使训练后的管制语音识别纠错模型实现语音识别纠错功能。以上公式中涉及的变量或矩阵的详细描述和取值，请参见参考文献2。

步骤3：构建并训练管制信息抽取模型，将管制指令文本数据输入管制信息抽取模型，生成管制信息并形成集合。

以训练后的管制语音识别纠错模型中的语音识别纠错编码层BERT模型作为编码层，条件随机场或Softmax模型作为输出层，构建管制信息抽取模型。

将管制指令文本数据集中的每一个管制指令句子中的数字和英文字母转换成相应汉字，使用BIO标注表示转换后的每一个管制指令句子，获得标注结果，BIO标注将转换后的管制指令句子中的每一个汉字表示成BIO中的一个字母和信息类型，所述信息类型为管制指令所属的类型，包括地点、动作、航班呼号、航班高度、航班速度、推出方向、机构名称和天气，所述机构名称包括塔台、地面和进近机构名称等，具体请参见参考文献3；将标注结果与管制指令文本数据集中的每一个管制指令句子形成信息抽取训练数据集；利用信息抽取训练数据集训练管制信息抽取模型，将管制指令文本数据集中的每一个管制指令句子作为管制信息抽取模型的输入序列，获得输出序列；计算输出序列与标注结果的误差，根据误差进行反向传播，获得训练后的管制信息抽取模型。

从实际管制指令文本中抽取管制信息并形成集合包括：将实际管制指令文本据输入管制信息抽取模型，获得输出信息标签序列；所述信息标签序列中的信息标签包括BIO中的一个字母和信息类型，所述信息类型为管制指令所属的类型，包括地点、动作、航班呼号、航班高度、航班速度、推出方向、机构名称和天气，所述机构名称包括塔台、地面和进近机构名称等；B表示信息类型的开头部分，I表示信息类型的中间部分，O表示无信息类型；根据信息标签序列中的BIO确定管制信息的边界，根据实际管制指令文本和信息标签序列中的信息类型组合汉字，形成结构化管制信息，所述结构化管制信息的格式如下，根据实际管制指令文本和信息标签序列中的信息类型可以追加字段。

{

航班号：东方三九八四；

动作：推出开车；

起始位置：停机位；

…

}。

步骤4：验证已抽取的管制信息是否正确，若正确，输出管制信息；若错误，执行步骤5。

构建管制术语字典，将采集的管制指令文本数据中的常用词汇包括起飞、降落、跑道、五边和地面风术语，塔台、地面和进近机构名词编写成管制术语字典；引接管制自动化系统中的航班呼号等信息，形成字符串先验知识。遍历管制术语字典和字符串先验知识，保留能匹配的正确管制信息，输出未匹配的错误管制信息。

步骤5：纠正错误管制信息，生成正确的管制信息集合，形成计算机可以理解的结构化管制指令。

考虑语音识别错误引起的管制信息内容错误问题，遍历管制术语字典中的词语，以及航班呼号字符串，计算其与错误管制信息字符串之间的编辑距离，若编辑距离越短，则相似度越高，当相似度大于设置的相似度阈值时，以被选管制术语字典中的词语或航班呼号字符串替换错误管制信息并保留。相似度阈值根据错误管制信息的文本长度，以及管制术语字典或航班呼号字符串中相似字、相同字和相同字符串的数量进行设置。

将步骤4和步骤5中保留的管制信息进行组合汇聚，形成正确的管制信息。

实施例。

为方便配图和描述，此处的实施步骤分为三个部分：一是构建并训练管制信息抽取模型；二是从管制语音数据中提取管制信息；三是判断管制信息是否错误，并纠正错误的管制信息。结合实际的管制指令进行说明。

首先给出管制指令的例子：东方3984，跑道35，立即起飞。

第一部分：构建管制信息抽取模型。

步骤1：构建拼音表，以及同音字表，即：{{dong: 东、动、洞}，{fang: 方、放、坊}，{san: 三、叁}，…}。扩充同音字表，选择编辑距离为1的相似拼音，补充相似拼音及相似音字，即：{{dong: 东、动、洞}，{fang: 方、放、坊}，{fan: 翻、帆}，{san: 三、叁}，{shan: 山、陕}…}。

步骤2：生成训练数据集，包括带噪训练数据集和信息抽取训练数据集。针对带噪训练数据集，随机替换同音或相似音字，例如：东放3984，跑到35，立即齐飞。将该句子与原始句子组成带噪训练数据集。针对信息抽取训练数据集，使用BIO标注表示原始句子，即B-FLT, I-FLT, I-FLT, I-FLT, I-FLT, I-FLT, B-RWY, I-RWY, I-RWY, I-RWY, B-ACT, I-ACT, I-ACT, I-ACT。其中，标签FLT表示航班呼号，标签RWY表示跑道，标签ACT表示动作。将上述标记与原始句子组成信息抽取训练数据集。

步骤3：构建并训练模型，首先构建管制语音识别纠错模型，使用带噪训练数据集训练语音识别纠错模型，再将训练好的管制语音识别纠错模型作为编码层，构建管制信息抽取模型，并使用信息抽取训练数据集训练管制信息抽取模型，形成鲁棒管制信息抽取模型。

第二部分：抽取管制信息。

步骤4：数据预处理，针对管制指令：东方3984，跑道35，立即起飞。使用管制语音识别系统转译管制语音数据，得到：东放3984，跑道35，立即齐飞。其中，出现错误识别结果。将数字和英文字母转成相应汉字，即：东放三九八四跑道三五立即齐飞。

步骤5：使用鲁棒管制信息抽取模型提取管制信息，因为管制信息抽取模型已经学习错误发音知识，所以可较为准确地输出信息标签序列B-FLT, I-FLT, I-FLT, I-FLT, I-FLT, I-FLT, B-RWY, I-RWY, I-RWY, I-RWY, B-ACT, I-ACT, I-ACT, I-ACT。再根据信息标签序列中的BIO确定管制信息的边界，根据实际管制指令文本和信息标签序列中的信息类型组合汉字，形成以下管制信息：东放三九八四（航班）、跑道三五（跑道）、立即齐飞（动作）。

第三部分：判断信息对错。

步骤6：构建管制术语字典，包括管制术语、航空公司、机构名称等词汇，即：{立即起飞、马上、降落、跑道、东方、春秋、四川，…}；构建管制自动化系统中的航班呼号字符串字典，即：{东方三九八四、南方幺幺洞拐，…}。

步骤7：遍历管制术语字典和航班呼号字符串字典，判断是否匹配信息，得到正确信息“跑道三五”。

步骤8：纠正错误实体，遍历管制术语字典和航班呼号字符串字典，计算不同抽取信息与字典中的词汇之间的编辑距离，例如：“东放三九八四”与“东方三九八四”的编辑距离为1，“立即齐飞”与“立即起飞”的编辑距离为1，选择航班呼号字符串字典和管制术语字典中的词语作为正确信息。

步骤9：输出正确的管制信息：东方三九八四（航班）、跑道三五（跑道）、立即起飞（动作）。

本发明提供了一种基于语音识别纠错模型的管制信息提取方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。