具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明所述数字化会话纪要的构建系统、方法及电子设备的基本原理如下：

在会中实时转写过程中，应用程序通过持续解析转写详情文件(B++类文件)构建了自动转写记录(B类文件)与音频文件(A类文件)的联系，而在会后纪要整理过程中，自动摘要算法和人工干预的加持，构建了自动转写记录(B类文件)与会议纪要(C类文件)的联系，所以，在整个会议全生命周期的过程里，自动转写记录(B类文件)作为信息的桥梁或中间产物，构建了音频文件(A类文件)与纪要文件(C类文件)的(X，Y)的联系。通过会议纪要能够快速回顾和追溯原始音频片段和转写文本段落，激活会议过程内容、赋能数据价值，帮助会议全过程，形成数字化会议内容、数字化会议档案，助力会议要点、决议、代办事项的回顾，同时为会议内容知识库和全局检索应用，奠定了内容数据的基础。

实施例一

本实施例提供一种数字化会话纪要的构建系统，包括：

音频采集模块，用于于会话过程中，采集音频数据文件；所述音频数据文件包括若干音频序列；

数据转写模块，用于将所述音频数据文件直接转写成转写记录文件，并根据每一音频序列的起始/结束时间戳，将所述音频数据文件转写成与该起始/结束时间戳一一对应的转写记录详情文件，并同时建立音频数据文件定位至转写记录详情文件的映射关系；

摘要提取模块，用于提取所述转写记录文件的文本摘要，并同时建立转写记录文件与之对应的文本摘要的映射关系；

数字化纪要构建模块，用于根据音频数据文件定位至转写记录详情文件的映射关系及转写记录文件与之对应的文本摘要的映射关系，构建数字化会话纪要。

以下将结合图示对本实施例所提供的数字化会话纪要的构建系统进行详细描述。本实施例所述数字化会话纪要的构建系统应用于会议会话环境中。

请参阅图1，显示为数字化会话纪要的构建系统于一实施例中的原理结构示意图。如图1所示，所述数字化会话纪要的构建系统1包括音频采集模块11、数据转写模块12、摘要提取模块13及数字化纪要构建模块14。

所述音频采集模块11用于于会话过程中，采集音频数据文件；所述音频数据文件包括若干音频序列。

例如，所述音频数据文件包括0秒开始-1761毫秒结束的音频序列1，1762毫秒开始-3562毫秒的音频序列2，3563毫秒开始-8142毫秒结束的音频序列3，…。

与所述音频采集模块11连接的数据转写模块12用于将所述音频数据文件直接转写成转写记录文件。在本实施例中，所述数据转写模块12可以实现实时转译文本的呈现。

所述数据转写模块12还用于记录每一音频序列的属性信息，根据每一音频序列的起始/结束时间戳，将所述音频数据文件转写成与该起始/结束时间戳一一对应的转写记录详情文件，并同时建立音频数据文件定位至转写记录详情文件的映射关系。在本实施例中，所述每一音频序列的属性信息包括每一音频序列的时长、每一音频序列的大小、每一音频序列的序列号、每一音频序列的音频格式和/或每一音频序列的文件状态。

每一音频序列的起始/结束时间戳，例如，begin＝\“8422\”end＝\“9622\”。

在本实施例中，所述音频数据文件定位至转写记录详情文件的映射关系包括音频序列对应至所述转写记录详情文件的段落/行数区间、记录编号、开始时间、音频内容、持续时长、结束时间、文本内容等等，音频数据文件定位至转写记录详情文件的映射关系如图2所示。

在本实施例中，所述数据转写模块12能够作为会议记录员的助手，减低其会议记录的工作负荷和强度，缩小和弥补人工会议记录的主观性偏差，让信息传递更高效(效率工具)，也为后续的数据、内容检索和数据挖掘提供基础。

与所述数据转写模块12连接的摘要提取模块13用于提取所述转写记录文件的文本摘要，并同时建立转写记录文件与之对应的文本摘要的映射关系。

具体地，所述摘要提取模块13通过于其中的预存摘要提取模型分析所述转写记录文件(自动文本摘要是利用计算机按照某类应用自动地将文本或文本集合转换成简短摘要的一种信息压缩技术)，识别冗余信息，再进行内容的选取和泛化，根据文摘的用途和用户需求确定文摘表示，完成文摘的转换和生成。会有几个阶段：

(1)处理非特殊场景下会议生成的会议记录文档(语音直接转写的文档，包含口语化词汇，并经过初步人工整理后的文档)

(2)文本分析处理，由编码器和解码器来原理来实现，见图3-Super AE编码解码模型；

(3)识别冗余信息

(4)自动生成会议摘要：内容选取和泛化、生成规范化会议摘要文档，见图4-会议摘要模型；

(5)定制词向量和模板：根据实际的会议场景需求摘要模式，定制词向量和模板

在本实施例中，在原有Seq2Seq模型的基础上，加入输入为摘要的自动编码器，因为摘要具有短，干扰少，且与原始文本分享关键信息的特点，所以改用摘要为输入对训练自动编码器，可以提高模型的准确性。因此，拟得到两个模型，一个是用原始文本训练得到的基于注意力的Seq2Seq模型，另一个是用摘要训练得到的自动编码器，通过监督学习最小化两个模型间的向量距离，加入对抗神经网络(辨别器)调控监督力度。用户可以在尽可能少的人工参与下，得到会议现场产生的主要议题，和议题下属主要内容，有利于管理层更高效的收集信息，节省人力，规范化会议纪要。基于LSTM的Seq2Sqeq模型和AE模型，两者都基于注意力机制。支持自定义会议场景的数据集训练。如图3和图4所示本实施例所采用的预存摘要提取模型的示例图。

与所述摘要提取模块13连接的数字化纪要构建模块14用于根据音频数据文件定位至转写记录详情文件的映射关系及转写记录文件与之对应的文本摘要的映射关系，构建数字化会话纪要。

具体地，所述数字化纪要构建模块14通过预存会话纪要模版(例如，汇报型、评审型、风暴性、讨论型等)，将所述音频数据文件定位至转写记录详情文件的映射关系及转写记录文件与之对应的文本摘要的映射关系关联至所述预存会话纪要模版上对应位置处，以形成所述数字化会话纪要。请参阅图5，显示为所形成的一数字化会话纪要的示例图。

在本实施例中，所述数字化纪要构建模块14为会议记录员在会议过程中提供了一种能够将语音转写的文本记录与会议纪要的关联、映射的辅助纪要编辑器(应用工具)。在讨论型、议事型、汇报型、风暴型/评审型的会议场景下，能够减低会议纪要整理成本，提升会议纪要质量。减小会议纪要对语音转译准确度和效果的依赖性。构建了音视频与转写文本、转写文本与会议纪要的关联和映射对照关系，转写文本作为联接会议纪要和音视频文件的桥梁(中间件)，通过会议纪要能够快速回顾和追溯原始音频片段和文本片段，激活会议内容、数据价值，赋能会议要点、决议、代办事项的回顾。

数字化纪要工具，兼容并承载不同会议形态、类型，结合企业、政府会议纪要构建方法论和模板(集中概述法-讨论型、分项叙述法-汇报型/议事型、发言摘要法-评审型/风暴性)，系统可以通过用户发起会议时选择界定的会议类型，自动推荐会议纪要模板，同时支持用户自定义会议模板功能。以流程(BPM)联动，构建会议类型与会议模板的映射联动。如图6所示，不同会议纪要模板，在数字化纪要工具中能够依据会议类型，及时推荐和调用。极大地提高了用户会议纪要的效率和规范性。

需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。

本实施例所述数字化会话纪要的构建系统基于不同垂直场景下的深度学习，主要针对会议场景下和人进行适应调整，语音转译准确率高，并支持语音回放及文本修订，从而生成高质量会议记录稿件，降低会议纪要整理成本。通过会议纪要模板快速建立会议纪要，将纪要元素与原始会议记录(录音、转写文本)之间的联系，实现会后重点可追溯，扩增了会议纪要的范围，使会议记录(音频、转写文本)发挥出更大的价值。

实施例二

本实施例提供一种数字化会话纪要的构建方法，包括：

于会话过程中，采集音频数据文件；所述音频数据文件包括若干音频序列；

将所述音频数据文件直接转写成转写记录文件，并根据每一音频序列的起始/结束时间戳，将所述音频数据文件转写成与该起始/结束时间戳一一对应的转写记录详情文件，并同时建立音频数据文件定位至转写记录详情文件的映射关系；

提取所述转写记录文件的文本摘要，并同时建立转写记录文件与之对应的文本摘要的映射关系；

根据音频数据文件定位至转写记录详情文件的映射关系及转写记录文件与之对应的文本摘要的映射关系，构建数字化会话纪要。

以下将结合图示对本实施例所提供数字化会话纪要的构建方法进行详细描述。请参阅图7，显示为数字化会话纪要的构建方法于一实施例中的流程示意图。如图7所示，所述数字化会话纪要的构建方法包括以下步骤：

S71，于会话过程中，采集音频数据文件。所述音频数据文件包括若干音频序列。

例如，所述音频数据文件包括0秒开始-1761毫秒结束的音频序列1，1762毫秒开始-3562毫秒的音频序列2，3563毫秒开始-8142毫秒结束的音频序列3，…。

S72，将所述音频数据文件直接转写成转写记录文件。在本实施例中，所述数据转写模块12可以实现实时转译文本的呈现。

具体地，所述S72还包括记录每一音频序列的属性信息，根据每一音频序列的起始/结束时间戳，将所述音频数据文件转写成与该起始/结束时间戳一一对应的转写记录详情文件，并同时建立音频数据文件定位至转写记录详情文件的映射关系。在本实施例中，所述每一音频序列的属性信息包括每一音频序列的时长、每一音频序列的大小、每一音频序列的序列号、每一音频序列的音频格式和/或每一音频序列的文件状态。

S73，提取所述转写记录文件的文本摘要，并同时建立转写记录文件与之对应的文本摘要的映射关系。

具体地，所述S73通过于其中的预存摘要提取模型分析所述转写记录文件，识别其冗余信息，进行内容选取和泛化，并根据摘要的用途和用户需求，确定所述转写记录文件的文本摘要。

S74，根据音频数据文件定位至转写记录详情文件的映射关系及转写记录文件与之对应的文本摘要的映射关系，构建数字化会话纪要。

具体地，所述S74通过预存会话纪要模版(例如，汇报型、评审型、风暴性、讨论型等)，将所述音频数据文件定位至转写记录详情文件的映射关系及转写记录文件与之对应的文本摘要的映射关系关联至所述预存会话纪要模版上对应位置处，以形成所述数字化会话纪要。

实施例三

本实施例提供的再一种电子设备，所述电子设备包括：音频采集装置和数据处理装置。

所述音频采集装置用于于会话过程中，采集音频数据文件；所述音频数据文件包括若干音频序列。

在本实施例中，所述音频采集装置采用具有8麦麦克风阵列的语音拾音器设备。实现会议过程中，说话人音频的采集，具有良好的抗噪声和鲁棒性、远场距离支持7-8米，并且采集的音频文件，能够和语音识别转写引擎无缝对接和集成。

所述数据处理装置用于根据每一音频序列的起始/结束时间戳，将所述音频数据文件转写成与该起始/结束时间戳一一对应的转写记录详情文件，并同时建立音频数据文件定位至转写记录详情文件的映射关系；提取所述转写记录详情文件的文本摘要，并同时建立转写记录详情文件与之对应的文本摘要的映射关系；根据音频数据文件定位至转写记录详情文件的映射关系及转写记录详情文件与之对应的文本摘要的映射关系，构建数字化会话纪要。

具体地，所述数据处理装置还用于在执行所述根据每一音频序列的起始/结束时间戳，将所述音频数据文件转写成与该起始/结束时间戳一一对应的转写记录详情文件，并同时建立音频数据文件定位至转写记录详情文件的映射关系的步骤的同时，所述数字化会话纪要的构建方法还包括将所述音频数据文件直接转写成转写记录文件。

所述数据处理装置提取所述转写记录文件的文本摘要的是指通过一预存摘要提取模型分析所述转写记录文件，识别其冗余信息，进行内容选取和泛化，并根据摘要的用途和用户需求，确定所述转写记录文件的文本摘要。

所述数据处理装置根据音频数据文件定位至转写记录详情文件的映射关系及转写记录文件与之对应的文本摘要的映射关系，构建数字化会话纪要是指将所述音频数据文件定位至转写记录详情文件的映射关系及转写记录文件与之对应的文本摘要的映射关系关联至所述预存会话纪要模版上对应位置处，以形成所述数字化会话纪要。

上述的数据处理装置可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明所述的数字化会话纪要的构建方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。

本发明还提供一种数字化会话纪要的构建系统，所述数字化会话纪要的构建系统可以实现本发明所述的数字化会话纪要的构建方法，但本发明所述的数字化会话纪要的构建方法的实现装置包括但不限于本实施例列举的数字化会话纪要的构建系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。

综上所述，本发明所提供的数字化会话纪要的构建系统、方法及电子设备基于不同垂直场景下的深度学习，主要针对会议场景下和人进行适应调整，语音转译准确率高，并支持语音回放及文本修订，从而生成高质量会议记录稿件，降低会议纪要整理成本。通过会议纪要模板快速建立会议纪要，将纪要元素与原始会议记录(录音、转写文本)之间的联系，实现会后重点可追溯，扩增了会议纪要的范围，使会议记录(音频、转写文本)发挥出更大的价值。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。