具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

光学字符识别(Optical Character Recognition，OCR)是指采用电子设备检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程：即针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。如何除错或利用辅助信息提高识别正确率，是OCR最重要的课题。

传统OCR识别面临着以下问题，包括：图像质量差，很多场景待识别的文本图片的质量往往都很差，他存在严重的一些干扰曲线、倾斜、暗光或者曝光扭曲；对精确度要求特别高，在某些场景，用户对于数值的精确度要求特别高。比如文本中的一些税率、金额、币种等文字的精确度要达到100％；识别内容较为复杂，文本内容具有复杂多样性，如：文本中可能会存在不同的字体和颜色，小数点近似的英文数字、特殊字符、特殊的符号连接词以及数字的内容，他的识别难度会很大，很容易被漏识；语言的种类繁多，随着全球化的发展，OCR技术应能识别多种语言和多种字符。

同时，通过OCR识别技术、信息抽取技术可以实现非结构化数据向结构化数据的转换。但在面对数量庞大的非结构化审计数据时，如何存储、查询、分析、挖掘和利用这些海量信息资源显得尤为关键。一方面，是否对非结构化数据进行处理，关系到审计内容的全面性和完整性，直接影响内部审计的质量。另一方面，能否有效对非结构化数据进行处理，关系到审计的效率和效果，直接影响到内部审计的成效。

为解决上述问题，本公开申请人提出一种非结构化数据文档处理方法及相关设备，首先采用OCR技术将被上传的非结构化数据识别为文字内容，再根据预设的规则利用信息抽取技术从文字内容中抽取出与目标文档对应的文字内容，最后从与目标文档对应的文字内容中根据预设的规则表达式抽取出关键信息，将得到的结果转化为表格输出并存储至数据库内。通过数字化手段实现非结构化数据的提取转换，可以减少手工处理数据的工作量，节省人力资源成本，进一步提高审计效能。

作为一个可选的实施例，参照图1，本公开提供的非结构化数据文档处理方法，包括：

步骤S101，利用基于深度学习的文字识别模型，对非结构化数据文档进行文字识别，以获得文字内容。

本步骤中，首先需手动上传或自动化上传各种非结构化数据文档，可进行单文档上传和批量文档上传。如：上传施工合同类文档，所述文档的格式至少为包括doc、docx、pdf等在内的多种格式之一。

本步骤中，利用OCR技术获取识别整个文档中的内容，其中，所述OCR技术包括传统OCR技术和基于深度学习的OCR技术,基于深度学习的OCR技术则利用模型算法能力，自动检测出来文本中文字所在的区域，区分文字和背景部分，获得文本的类别及位置信息。

步骤S102，采用信息抽取算法从所述文字内容中抽取关键信息。

本步骤中，需预先根据想要提取的关键信息设置相应的规则表达式或对其进行语料标注；在处理步骤S102识别出的文字内容时，首先需识别并抽取出关键信息所在的文档对应的文字内容，然后对抽取出的文字内容再进行关键信息的抽取。

仍以施工合同类文档为例，首先从识别的文字内容中抽取出施工合同类文档对应的内容，再将合同名称、工程名称、工期等信息作为关键信息，对其书写规则表达式或语料标注，并根据获得的结果对施工合同类文档的内容进行关键信息的抽取。

步骤S103，将所述关键信息转化为结构化数据予以存储或输出。

本步骤中，将抽取出的非结构化数据转化为结构化数据，可直接存储至数据库，为业务系统提供更多业务数据支撑；也可以表格形式导出，供工作人员进行线下编辑或数据分析等操作。

仍以施工合同类文档为例，将提取出的关键信息转化为表格输出至前台页面，同时将关键信息所在文档的文字内容即关键信息所属的合同正文一并输出至前台页面，由工作人员进行处理。并将抽取出的关键内容输入数据库进行存储，使工作人员能够通过查询获取指定的施工合同的关键信息。

作为一个可选的实施例，参照图2，步骤S101中提到的对非结构化数据文档进行识别，还包括：

步骤S201，采用文本检测模型检测出文字内容所在区域。

本步骤中，所述文本检测模型包括Faster R-CNN模型、FCN模型和连接CTPN模型之一。

其中，Faster R-CNN模型将候选框选择、特征提取、分类、检测框回归都整合在了一个网络中，对图像生成候选区域，提取特征，判别特征类别并修正候选框位置。能够实现文字区域分类和其位置的精确定位，利用区域特征图计算候选区域的类别，同时再次通过区域回归获得检测框最终的精确位置。

FCN模型，提出一种采用位置敏感分布的卷积网络代替ROI pooling层后的全连接网络，解决了Faster R-CNN模型由于ROI polling层后面的结构需要对每一个样本区域跑一次而耗时比较大的问题，使得特征共享在整个网络内得以实现，解决物体分类要求有平移不变性和物体检测要求有平移变化的矛盾。

CTPN模型，是目前应用最广的文本检测模型，基本假设是单个字符相较于异质化程度更高的文本行更容易被检测，因此先对单个字符进行类似R-CNN的检测，之后在检测网络种加入了双向LSTM，使检测结构形成序列提供了文本的上下文特征，便可以将多个字符进行合并得到文本行。

步骤S202，采用文字识别模型对所在区域进行识别。

本步骤中，采用的文字识别模型为CNN模型、RNN模型和CTC模型的组合；或者CNN模型、Seq2Seq模型和注意力机制的组合。二者均采用了CNN编码器提取图像的基本特征。

其中，CNN模型、RNN模型和CTC模型的组合，是目前较为流行的文字识别模型，可以之别较长的文本序列。以CNN特征作为输入，双向LSTM进行序列处理，使得文字识别的效率大大提升，也提升了模型的泛化能力。先通过分类得到特征图，再通过CTC对结果进行翻译得到输出。

CNN模型、Seq2Seq模型和注意力机制的组合，通过引入注意力机制，以CNN特征作为输入，通过注意力模型对RNN模型的状态和上一状态的注意力权重计算出新一个状态的注意力权重，之后将CNN特征和权重输入RNN模型，通过编码和解码得到结果。

作为一个可选的实施例，步骤S102中描述的采用信息抽取技术获取文字内容的关键信息，可通过多种方法实现，包括：基于字符模式的抽取、基于语法模式的抽取、基于语义模式的抽取和分别基于监督学习、远程监督学习和深度学习的抽取模型。

其中，基于字符模式的抽取是最直接的抽取方式，通过将表达特定关系的字符模式表示为一组正则表达式，随后通过对输入的文本进行匹配，即可实现数据抽取。这种方式对文本与模式的相似性有着较高的要求，因此，往往被用于抽取有着固定的描述模式的内容，以及由固定模板生成的文本。但是，待匹配模板的文本内容稍有变化，预定义的字符模式就会失效。

基于语法模式的抽取通过引入文本所包含的语法信息(包括词法和句法等)来描述抽取模式，可以显著增强模式的表达能力，进而提升抽取模式的准确率和召回率。这种方式比基于字符模式的抽取表达能力更强，同时仍能保证模式匹配的正确性。且语法模式仅仅依赖人类的语法知识，大部分人都可以轻易构造此类模式，因此语法模式的获取代价相对较低。语法模式也普遍存在于各类语言中，适用于不同类型的文本。

基于语义模式的抽取在基于语法模式的抽取基础上引入了语义元素，如概念，从而实现更精准地表达模式适配的范围，从而增强模式的描述能力。

作为一个可选的实施例，以合同类文档为例，抽取合同签订日期、合同名称、金额。首先对于待抽取的信息实体，根据在文本的表达方式构造对应的模式，由于我们分析的提取合同相关实体信息的文件文本的描述具有很强的共性，所以基于字符模式的提取的准确率和覆盖率能够满足需求。并根据构建好的字符模式对输入内容进行匹配，并存储对应的信息实体。

其中，采用基于字符模式的抽取，将输入的文本作为字符序列，构造字符模式，表达一类关系的字符模式表示为一组正则表达式。表1即为信息实体与对应的正则表达式的实例：

表1、信息实体与对应的正则表达式

作为一个可选的实施例，参照图3，本公开提供的采用基于监督学习的抽取模型进行信息抽取，流程包括：

步骤S301，数据准备。

本步骤中，归集需要分析的所有数据作为基础分析数据

步骤S302，标注语料。

本步骤中，从归集的文件中，筛选一部分具有代表性的文件，针对文件中需要提取的关键信息(如合同名称、合同编号、付款方式等)进行人工标注，为后续构建文本抽取模型提供训练数据。

步骤S303，训练文本抽取模型。

本步骤中，基于上一步标注的语料数据，利用机器学习的信息抽取技术构建信息抽取模型。

步骤S304，基于模型的信息抽取。

本步骤中，使用训练好的信息抽取模型，对归集全部文件进行信息抽取，将非结构化的文本数据转换为结构化数据，提取关键分析指标，以便后续进行分析。

作为一个可选的实施例，本公开提供的基于深度学习的抽取模型，包括基于RNN、CNN或注意力机制的抽取模型。参照图4，使用基于深度学习的抽取模型进行信息抽取，包括：

步骤S401，训练语料分词。

本步骤中，中文分词是中文文本处理的基本步骤，进行自然语言处理时，需要先进行分词，分词效果直接影响模型的效果。

步骤S402，构建特征。

本步骤中，根据步骤S401中分词的结果和其词性构建特征，包括：词的长度；词的词性；词是否是数字；词是否是英文；词前后(1或2)个词；词前后(1或2)个词的词性和词前后(1或2)个词的长度。

步骤S403，训练语料标记

本步骤中，对投标文件中的每个词采用BIEO标注法进行标记。以项目名称为例，项目名称在文本中的首词标注为B，结尾词标注为E,，中间词标注为I，其余词标注为O。

步骤S404，模型训练。

本步骤中，采用一种RNN的长短时记忆网络LSTM建模训练模型，参照图5，得到的模型包括：

输入层，输入文本分词之后产出一组词，每个词表示成一个向量，我们使用预训练好的word2vec模型，从模型中查询每个词的向量，传入下一层。

BiLSTM层，包括两个LSTM，一个正向输入序列，一个反向输入序列，使模型能够同时考虑前向过程提取的特征和后向过程提取的特征，即考虑到过去的特征和未来的特征，将输入的词向量序列(w0,w1,w2,…wn)作为双向LSTM各个时间步的输入，将正向LSTM输出的隐状态序列(h1,h2,h3,…hn)和反向LSTM的隐状态序列(r1,r2,r3.....rn)在各个位置的输出按照顺序进行拼接，得到完整的隐含状态序列。再将两个LTSM接入同一个线性层，将隐含状态序列向量进行降维，降到k维，k是语料集合的标签数，进而得到自动提取的句子特征，记为C＝(c1,c2,c3.....ck)。每一项是词分类到第j个标签的打分值，如果后面进行softmax，相当于对各个位置独立进行k分类，这样各个位置的标注无法利用已经标注过的信息，所以将该结果输入到CRF层进行标注。

CRF层，对上层结果进行句子级别的序列标注。BILSTM层学习到了上下文信息，将结果经过一个隐含层输出到CRF层。CRF层输入每个词属于每个每类的打分值，通过序列标注，选择预测得分最高的序列作为最佳答案。其中，使用BIO标注法处理输入语料。B表示实体的起始位置，I表示实体的中间或者结束位置，O表示不是实体。如果标注合同内容，合同内容起始可以标注B-CONTRACT,I-CONTRACT表示合同内容实体的中间或者结束位置，付款方式的起始可以标注B-PAY，I-PAY表示付款方式的中间或者结束位置。

步骤S405，模型预测。

本步骤中，利用建立好的模型，输入新的投标文件，进行数据标记，标记为BIE的词就是-要找的项目名称。

作为一个可选的实施例，在通过步骤S101获得非结构化数据文档的文字内容后，还可以采用预设的文字比对算法进行两篇或多篇非结构化数据文档的比对，即把通过文字识别得到的不同非结构化数据文档的文字内容输入根据文字比对算法生成的计算机程序中，执行这一程序来进行文字内容的比对并输出比对结果。

作为一个可选的实施例，在步骤S101获得非结构化数据文档的文字内容后，还可以通过预设的审核关键词对文字内容进行审核，其中审核关键词包括合同名称、合同金额或者是采用大写或小写的方式记载的合同金额数字等。在对文字内容进行审核时，除了对单个文档的文字内容根据选择的审核关键词进行审核外，也可以对多份文档中应该对应的文字内容进行审核，如审核同一个项目的合同与中标通知书分别记载的合同金额、中标单位名称是否一致；发票与合同中分别记载的金额是否一致等。根据审核关键词配置审核规则，包括对于符合审核关键词的文字内容对应的非结构化数据文档，输出通过审核的结果并导出文字内容和对应的非结构化数据文档；否则，输出未通过审核的结果。

本公开提供的非结构化数据文档处理方法，有效的对非结构化数据进行分析和应用，能够将非结构化数据全面纳入审计视野，为审计人员提供有价值的审计信息，为审计关注点提供强有力的数据支撑，提升信息化审计工作的广度和深度。同时，通过数字化手段实现非结构化数据的提取转换，可以减少手工处理数据的工作量，节省人力资源成本，进一步提高审计效能。

需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非结构化数据文档处理装置。

参考图6，所述非结构化数据文档处理装置，包括：

文字识别模块601，用于利用基于深度学习的文字识别模型对非结构化数据文档进行文字识别，以获得文字内容。

信息抽取模块602，用于采用信息抽取算法从所述文字内容中抽取关键信息。

转化模块603，用于将所述关键信息转化为结构化数据予以存储或输出。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述任一实施例中相应的非结构化数据文档处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的非结构化数据文档处理方法。

图7示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的非结构化数据文档处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的非结构化数据文档处理方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的非结构化数据文档处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

需要说明的是，本公开的实施例还可以以下方式进一步描述：

一种非结构化数据文档处理方法，包括：利用基于深度学习的文字识别模型，对非结构化数据文档进行文字识别，以获得文字内容；采用信息抽取算法从所述文字内容中抽取关键信息；将所述关键信息转化为结构化数据予以存储或输出。

可选的，利用所述文字识别模型对所述非结构化数据文档进行文字识别包括：通过文本检测模型，检测出所述非结构化数据文档中的文字区域；通过所述文字识别模型，对所述文字区域进行文字识别。

可选的，所述文本检测模型包括Faster R-CNN模型、全卷积网络FCN模型和连接文本候选网络CTPN模型之一。

可选的，所述文字识别模型包括：卷积神经网络CNN、循环神经网络RNN和连接时间分类CTC的组合；或者CNN、Seq2Seq模型和注意力机制的组合。

可选的，采用信息抽取算法从所述文字内容中抽取关键信息包括：通过基于字符模式的抽取、基于语法模式的抽取或基于语义模式的抽取，从所述文字内容中抽取信息实体作为所述关键信息。

可选的，采用信息抽取算法从所述文字内容中抽取关键信息包括：通过基于监督学习的抽取模型或基于远程监督学习的抽取模型，从所述文字内容中抽取实体关系作为所述关键信息。

可选的，采用信息抽取算法从所述文字内容中抽取关键信息包括：通过基于深度学习的抽取模型，从所述文字内容中抽取信息实体作为所述关键信息。

可选的，所述基于深度学习的抽取模型包括双向长短期记忆网络BiLSTM和条件随机场CRF的组合。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。