一种xml文件批量自动统计数据的方法
阅读说明：本技术 一种xml文件批量自动统计数据的方法 (A kind of method of xml document batch programming count data ) 是由 程永新 林小勇 段文香 于 2019-09-03 设计创作，主要内容包括：本发明公开了一种xml文件批量自动统计数据的方法,包括以下步骤：步骤S101：规范xml文件的命名和目录的放置；步骤S102：将所述xml文件批量导入数据库,根据所述XML的文件名称分类,创建对应的数据表；步骤S103：执行python导入程序,批量自动把所述xml文件导入数据库对应的表。本发明提供的xml文件批量自动统计数据的方法,每个步骤都按不同时间通过程序脚本自动化操作,减少了人为操作和统计时间,大大提高工作效率。(The invention discloses a kind of methods of xml document batch programming count data, the following steps are included: step S101: the name of specification xml document and the placement of catalogue；Step S102: the xml document batch is imported into database, is classified according to the file name of the XML, creates corresponding tables of data；Step S103: it executes python and imports program, the xml document is imported the corresponding table of database automatically by batch.The method of xml document batch programming count data provided by the invention, each step press different time by procedure script automatic operation, reduce manual operation and statistical time, greatly improve working efficiency.)
技术领域
本发明涉及一种统计数据的方法，尤其涉及一种xml文件批量自动统计数据的方法。
背景技术
xml是一种标记数据、定义数据类型，允许用户对自己的标记语言进行定义的源语言,适合互联网的传输。在大数据传输与保存处理，传输的xml文件个数都是成千上万，数据量可达到单个文件上GB级别。管理员时常会对xml文件进行读取与稽查统计，再写出报告结果来得出业务运营问题。通常会用以下两个办法:
(1)人工方式来读取和分析，把单个xml文件转成电子表格，再通过电子表格的函数来时行分析。
(2)通过传统程序来解决，先把XML数据导到内存中，然后再统计、导出统计结果，再继续读取下一个xml分析，直到处理完所有的xml文件。
现有的大规模的xml数据文件传统处理方式会存在以下缺点：
(1)效率低下：首先是人工通过转换xml格式，遇到数据量多的，转换过成时间久且会出错。如果遇到成百上千个xml文件，那将会消耗大量的时间来统计，浪费人力成本。
(2)通过传统程序来处理方式，适用于少量的xml文件，随着数据增多，处理需要花费大量的时间。
(3)需要人为操作：从xml文件的传输到整理到执行程序到结束导入电子表格，都需要人工操作，对操作人员技术要求高。
(4)消耗计算机性能：由于程序读取xml需要保存在内存，而且读取过程需要消耗大量的IO，当数据量一多，计算机的性能将到瓶颈。
(5)长时间读取失败导致回退：如果在读取xml文件时，读取失败导致程序中断，会导致之前保存到内存的数据失效，重启读取也将花费大量时间。
(6)扩容性不足：如果需要统计的规模变大，新增多个xml文件，就需要改动源代码，扩容方案也会更加困难。
因此，有必要提供一种xml文件批量自动统计数据的方法，可以提升大量xml文件处理数据的效率。
发明内容
本发明所要解决的技术问题是提供一种xml文件批量自动统计数据的方法，每个步骤都按不同时间通过程序脚本自动化操作，减少了人为操作和统计时间，大大提高工作效率。
本发明为解决上述技术问题而采用的技术方案是提供一种xml文件批量自动统计数据的方法，包括以下步骤：
步骤S101：规范xml文件的命名和目录的放置；
步骤S102：将所述xml文件批量导入数据库，根据所述XML的文件名称分类，创建对应的数据表；
步骤S103：执行python导入程序，批量自动把所述xml文件导入数据库对应的表。
优选地，在所述步骤S103之后还包括步骤S104：按要求统计所述导入数据库的xml文件，生成统计结果后导出电子表格，进行归档保存。
优选地，在所述步骤S101之前还包括建立负责统计的服务器和xml生成文件服务器之间的信任关系，将所述负责统计的服务器和所述xml生成文件服务器的帐号和密码写到脚本中的变量。
优选地，在步骤S103中，如果批量自动把所述xml文件导入数据库对应的表时出错，会及时中断所述导入程序，回滚数据表的数据，防止数据库数据冗余，并把出错原因写入日志。
优选地，所述按要求统计所述导入数据库的xml文件包括按统计要求写出sql语句，通过shell脚本调用所述sql语句，生成统计结果后导出电子表格，进行归档保存。
优选地，当统计完成后，通过所述shell脚本，将所述导出的电子表格分类放置到统计目录下。
优选地，通过所述shell脚本，按统计的日期将所述电子表格进行归档保存。
本发明对比现有技术有如下的有益效果：本发明提供的xml文件批量自动统计数据的方法，每个步骤都按不同时间通过程序脚本自动化操作，减少了人为操作和统计时间，大大提高工作效率。
附图说明
图1为本发明实施例中xml文件批量自动统计数据的方法的流程图；
图2为本发明另一实施例中xml文件批量自动统计数据的方法的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
在以下描述中，为了提供本发明的透彻理解，阐述了很多具体的细节。然而，本发明可以在没有这些具体的细节的情况下实践，这对本领域普通该技术人员来说将是显而易见的。因此，具体的细节阐述仅仅是示例性的，具体的细节可以由奔放的精神和范围而变化并且仍被认为是在本发明的精神和范围内。
本实施例提供的一种xml文件批量自动统计数据的方法，每个步骤都按不同时间通过程序脚本自动化操作，减少了人为操作和统计时间，大大提高工作效率。
现在参见图1，本实施例公开了一种xml文件批量自动统计数据的方法，包括以下步骤：步骤S101：规范xml文件的命名和目录的放置；步骤S102：将所述xml文件批量导入数据库，根据所述XML的文件名称分类，创建对应的数据表；步骤S103：执行python导入程序，批量自动把所述xml文件导入数据库对应的表。
优选地，在所述步骤S101之前还包括建立负责统计的服务器和xml生成文件服务器之间的信任关系，将所述负责统计的服务器和所述xml生成文件服务器的帐号和密码写到脚本中的变量。
优选地，在步骤S103中，如果批量自动把所述xml文件导入数据库对应的表时出错，会及时中断所述导入程序，回滚数据表的数据，防止数据库数据冗余，并把出错原因写入日志。
优选地，所述按要求统计所述导入数据库的xml文件包括按统计要求写出sql语句，通过shell脚本调用所述sql语句，生成统计结果后导出电子表格，进行归档保存。
优选地，当统计完成后，通过所述shell脚本，将所述导出的电子表格分类放置到统计目录下。
优选地，通过所述shell脚本，按统计的日期将所述电子表格进行归档保存。
现在参见图2，本实施例公开了一种xml文件批量自动统计数据的方法，包括以下步骤：步骤S101：规范xml文件的命名和目录的放置；步骤S102：将所述xml文件批量导入数据库，根据所述XML的文件名称分类，创建对应的数据表；步骤S103：执行python导入程序，批量自动把所述xml文件导入数据库对应的表；步骤S104：按要求统计所述导入数据库的xml文件，生成统计结果后导出电子表格，进行归档保存。
优选地，在所述步骤S101之前还包括建立负责统计的服务器和xml生成文件服务器之间的信任关系，将所述负责统计的服务器和所述xml生成文件服务器的帐号和密码写到脚本中的变量。
优选地，在步骤S103中，如果批量自动把所述xml文件导入数据库对应的表时出错，会及时中断所述导入程序，回滚数据表的数据，防止数据库数据冗余，并把出错原因写入日志。
优选地，所述按要求统计所述导入数据库的xml文件包括按统计要求写出sql语句，通过shell脚本调用所述sql语句，生成统计结果后导出电子表格，进行归档保存。
优选地，当统计完成后，通过所述shell脚本，将所述导出的电子表格分类放置到统计目录下。
优选地，通过所述shell脚本，按统计的日期将所述电子表格进行归档保存。
本发明对比现有技术有如下的有益效果：本发明提供的xml文件批量自动统计数据的方法，每个步骤都按不同时间通过程序脚本自动化操作，减少了人为操作和统计时间，大大提高工作效率。
进一步地，本发明提供的xml文件批量自动统计数据的方法减少了逻辑复杂性，步骤之间只需要获取执行结果，无需要关心是怎么实现的。如果有新增的XML文件，只需编写代码后，按规划加入每一步，无需修改源代码，更加快捷和规范化管理代码。
进一步地，可以用机器代码代替人工，减少人为操作上的失误，减少企业的损失。
进一步地，员工只需要通过简单的业务培训便可上任工作，无需学***等条件，节约企业人工成本。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。