一种上传加载文件并解析入库方法及系统
阅读说明：本技术 一种上传加载文件并解析入库方法及系统 (Method and system for uploading, analyzing and warehousing loaded files ) 是由 时敏 于 2020-04-21 设计创作，主要内容包括：本发明公开了一种上传加载文件并解析入库方法及系统,涉及数据采集分析领域。该方法包括：步骤1、获取上传后的数据文件,所述数据文件包括由分隔符定义的自定义文件；步骤2、对所述数据文件进行类别识别；步骤3、加载识别后的所述数据文件,并通过可视化界面将加载识别后的所述数据文件与本地数据进行比较；步骤4、根据比较的结果进行判断,并显示判断结果,若所述判断结果为无误,则入库存档。本发明适用于数据传输中,能够解决开发及运维工作量大安全性差的问题,达到保障数据安全,提高对上传文件的正确性的效果。(The invention discloses a method and a system for uploading, analyzing and warehousing a loaded file, and relates to the field of data acquisition and analysis. The method comprises the following steps: step 1, acquiring uploaded data files, wherein the data files comprise custom files defined by delimiters; step 2, identifying the category of the data file; step 3, loading the identified data file, and comparing the loaded identified data file with local data through a visual interface; and 4, judging according to the comparison result, displaying the judgment result, and warehousing and archiving if the judgment result is error-free. The method and the device are suitable for data transmission, can solve the problems of large workload and poor safety of development and operation and maintenance, and achieve the effects of ensuring data safety and improving the correctness of uploaded files.)
技术领域
本发明涉及数据采集分析领域，尤其涉及一种上传加载文件并解析入库方法及系统。
背景技术
在企业财务部门，涉及大量的手工报表文件，但基于固定的模板格式，难以支撑财务人员灵活多变或自定义的需求，并且如果全部依靠IT部门不断增加新的填报模板也十分费时费力，可视化、及时化功能较差，同时无法对上传文件的正确性进行判断。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种上传加载文件并解析入库方法。
本发明解决上述技术问题的技术方案如下：一种上传加载文件并解析入库方法，包括：
步骤1、获取上传后的数据文件，所述数据文件包括由分隔符定义的自定义文件；
步骤2、对所述数据文件进行类别识别；
步骤3、加载识别后的所述数据文件，并通过可视化界面将加载识别后的所述数据文件与本地数据进行比较；
步骤4、根据比较的结果进行判断，并显示判断结果，若所述判断结果为无误，则入库存档。
本发明的有益效果是：通过采用分隔符定义自定义文件的格式和规范，实现了无代码维护，灵活快捷的目标，同时降低开发及运维工作，减少线下数据传输，另外，由于所有的数据文件全部由用户自行上传并加载到关系型数据库中，保障数据安全，通过可视化界面可以适时的进行可视化反馈上传结果，增加可视化、及时化功能，同时提高对上传文件的正确性进行判断。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，对所述数据文件进行类别识别，具体为：
若所述数据文件为新增型，则根据所述数据文件的格式统计所述数据文件的大小及行数，根据所述数据文件的分隔符创建与之对应的第一数据库表。
采用上述进一步方案的有益效果是：通过第一数据库的建立可以对数据进行归类便于日后查找调取，同时也可以大幅度提高上传加载的效率。
进一步，对所述数据文件进行类别识别，还包括：
若所述数据文件为历史型，则选择所述数据文件已上传过的模板所对应的第二数据库表。
采用上述进一步方案的有益效果是：通过第二数据库的建立可以有效的将历史型的数据进行分类管理，同时也方便调用历史数据，便于查看，提高效率。
进一步，加载识别后的所述数据文件，具体为：
通过加载算法对所述第一数据库表或所述第二数据库表的列名或列数进行加载识别。
进一步，若所述判断结果为有误，则重新上传，其中上传次数为：有限次或无限次。
采用上述进一步方案的有益效果是：通过对上传次数的限定可以提高数据上传加载的安全性，同时也提高了灵活性。
本发明解决上述技术问题的另一种技术方案如下：一种上传加载文件并解析入库系统，包括：
获取模块、用于获取上传后的数据文件，所述数据文件包括由分隔符定义的自定义文件；
识别模块、用于对所述数据文件进行类别识别；
加载模块、用于加载识别后的所述数据文件，并通过可视化界面将加载识别后的所述数据文件与本地数据进行比较；
判断模块、用于根据比较的结果进行判断，并显示判断结果，若所述判断结果为无误，则入库存档。
采用上述方案的有益效果：通过采用分隔符定义自定义文件的格式和规范，实现了无代码维护，灵活快捷的目标，同时降低开发及运维工作，减少线下数据传输，另外，由于所有的数据文件全部由用户自行上传并加载到关系型数据库中，保障数据安全，通过可视化界面可以适时的进行可视化反馈上传结果，增加可视化、及时化功能，同时提高对上传文件的正确性进行判断。
进一步，对所述数据文件进行类别识别，具体为：
若所述数据文件为新增型，则根据所述数据文件的格式统计所述数据文件的大小及行数，根据所述数据文件的分隔符创建与之对应的第一数据库表。
采用上述进一步方案的有益效果：通过采用分隔符定义自定义文件的格式和规范，实现了无代码维护，灵活快捷的目标，同时降低开发及运维工作，减少线下数据传输，另外，由于所有的数据文件全部由用户自行上传并加载到关系型数据库中，保障数据安全，通过可视化界面可以适时的进行可视化反馈上传结果，增加可视化、及时化功能，同时提高对上传文件的正确性进行判断。
进一步，对所述数据文件进行类别识别，具体为：
若所述数据文件为新增型，则根据所述数据文件的格式统计所述数据文件的大小及行数，根据所述数据文件的分隔符创建与之对应的第一数据库表。
采用上述进一步方案的有益效果是：通过第一数据库的建立可以对数据进行归类便于日后查找调取，同时也可以大幅度提高上传加载的效率。
进一步，对所述数据文件进行类别识别，还包括：
若所述数据文件为历史型，则选择所述数据文件已上传过的模板所对应的第二数据库表。
采用上述进一步方案的有益效果：通过第二数据库的建立可以有效的将历史型的数据进行分类管理，同时也方便调用历史数据，便于查看，提高效率。
进一步，加载识别后的所述数据文件，具体为：
通过加载算法对所述第一数据库表或所述第二数据库表的列名或列数进行加载识别。
进一步，若所述判断结果为有误，则重新上传，其中上传次数为：有限次或无限次。
采用上述进一步方案的有益效果：通过对上传次数的限定可以提高数据上传加载的安全性，同时也提高了灵活性。
本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
图1为本发明一种上传加载文件并解析入库方法的实施例提供的流程示意图；
图2为本发明一种上传加载文件并解析入库方法的其他实施例提供的流程示意图；
图3为本发明一种上传加载文件并解析入库系统的实施例提供的结构框架图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，本发明一种上传加载文件并解析入库方法的实施例提供的流程示意图，包括：
步骤1、获取上传后的数据文件，数据文件包括由分隔符定义的自定义文件；步骤2、对数据文件进行类别识别；
步骤3、加载识别后的数据文件，并通过可视化界面将加载识别后的数据文件与本地数据进行比较；
步骤4、根据比较的结果进行判断，并显示判断结果，若判断结果为无误，则入库存档。
通过采用分隔符定义自定义文件的格式和规范，实现了无代码维护，灵活快捷的目标，同时降低开发及运维工作，减少线下数据传输，另外，由于所有的数据文件全部由用户自行上传并加载到关系型数据库中，保障数据安全，通过可视化界面可以适时的进行可视化反馈上传结果，增加可视化、及时化功能，同时提高对上传文件的正确性进行判断。
需要注意的是，准备数据文件，有两种操作方式：一是下载系统预置数据文件模板，填报数据上传；另一个是直接上传已准备好的数据文件，可以支持如excel，csv，txt等文件格式，唯一要求数据文件必须定义分隔符，分隔符包括常见“，”，“|”，十六进制“010x”符号等，一般根据源文件进行定义，主要目的是确保文件与数据库表结构一致，便于每个文件列与数据表字段一一映射，可以是用户任意定义的，另外，类别识别为：对文件格式后缀的识别，如：“.dat”，“.cvs”，“.xls”，“.txt”等，此外，本地数据比较这里，首先需要明确本地文件，本地文件一般是指用户存储在自己本地存储介质上的文件，区别于上传到服务器加载到可视化界面的文件数据，本地数据进行比较的目的是为了稽核加载之后的数据准确性和可靠性，本地文件与可视化数据比较一般有如下几种方法：1、文件大小一致，2、数据记录数一致，根据前两点进行判断，而判断结果的选取为：在满足前2点的基础上，样本抽查5％～10％的记录，每条记录的每个字段属性值一致，若属性值一致则为判断无误。
优选地，在上述任意实施例中，对数据文件进行类别识别，具体为：
若数据文件为新增型，则根据数据文件的格式统计数据文件的大小及行数，根据数据文件的分隔符创建与之对应的第一数据库表。
通过第一数据库的建立可以对数据进行归类便于日后查找调取，同时也可以大幅度提高上传加载的效率。
需要注意的是，如果是新增，则先判断文件格式，同时统计文件大小和行数；其次是分隔符，用以识别判断数据存储所需要的列，然后据此创建数据库表。
优选地，在上述任意实施例中，对数据文件进行类别识别，还包括：
若数据文件为历史型，则选择数据文件已上传过的模板所对应的第二数据库表。
通过第二数据库的建立可以有效的将历史型的数据进行分类管理，同时也方便调用历史数据，便于查看，提高效率。
优选地，在上述任意实施例中，加载识别后的数据文件，具体为：
通过加载算法对第一数据库表或第二数据库表的列名或列数进行加载识别。
需要注意的是，根据分列定义表的列名和列数，通过加载算法，将文件数据加载数据中，可以支持如Oracle.sqlLoad等方式加载数据，加载完毕之后反馈数据行数、大小等信息。通过可视化界面可以查看详细数据，并与本地数据进行比较，判断是否有误。
优选地，在上述任意实施例中，若判断结果为有误，则重新上传，其中上传次数为：有限次或无限次。
通过对上传次数的限定可以提高数据上传加载的安全性，同时也提高了灵活性。
需要说明的是，如图2所示一种上传加载文件并解析入库方法的其他实施例提供的流程示意图，首先用户登陆系统，进入操作界面，准备数据文件，有两种操作方式：一是下载系统预置数据文件模板，填报数据上传；一是直接上传已准备好的数据文件。可以支持如excel，csv，txt等文件格式。唯一要求数据文件必须定义分隔符，可以是用户任意定义的，判断是新增或是历史的选择，如果历史已上传过，则要选择历史已上传过的模板或者记录；如果是新增则不必操作，点击选择上传之后开始进入后台操作流程，系统首先判断新增标识，如果是新增，则先判断文件格式，同时统计文件大小和行数；其次是分隔符，用以识别判断数据存储所需要的列，然后据此创建数据库表，如果是历史，则根据选择的模板选择相应的数据库表，加载数据，根据分列定义表的列名和列数，通过加载算法，将文件数据加载数据中，可以支持如Oracle.sqlLoad等方式加载数据，加载完毕之后反馈数据行数、大小等信息，通过可视化界面可以查看详细数据，并与本地数据进行比较，判断是否有误，如果有误，支持有限次数重传。
如图3所示，一种上传加载文件并解析入库系统的实施例提供的结构框架图，包括：
获取模块100、用于获取上传后的数据文件，数据文件包括由分隔符定义的自定义文件；
识别模块200、用于对数据文件进行类别识别；
加载模块300、用于加载识别后的数据文件，并通过可视化界面将加载识别后的数据文件与本地数据进行比较；
判断模块400、用于根据比较的结果进行判断，并显示判断结果，若判断结果为无误，则入库存档。
通过采用分隔符定义自定义文件的格式和规范，实现了无代码维护，灵活快捷的目标，同时降低开发及运维工作，减少线下数据传输，另外，由于所有的数据文件全部由用户自行上传并加载到关系型数据库中，保障数据安全，通过可视化界面可以适时的进行可视化反馈上传结果，增加可视化、及时化功能，同时提高对上传文件的正确性进行判断。
优选地，在上述任意实施例中，对数据文件进行类别识别，具体为：
若数据文件为新增型，则根据数据文件的格式统计数据文件的大小及行数，根据数据文件的分隔符创建与之对应的第一数据库表。
通过第一数据库的建立可以对数据进行归类便于日后查找调取，同时也可以大幅度提高上传加载的效率。
优选地，在上述任意实施例中，对数据文件进行类别识别，还包括：
若数据文件为历史型，则选择数据文件已上传过的模板所对应的第二数据库表。
通过第二数据库的建立可以有效的将历史型的数据进行分类管理，同时也方便调用历史数据，便于查看，提高效率。
优选地，在上述任意实施例中，加载识别后的数据文件，具体为：
通过加载算法对第一数据库表或第二数据库表的列名或列数进行加载识别。
优选地，在上述任意实施例中，若判断结果为有误，则重新上传，其中上传次数为：有限次或无限次。
通过对上传次数的限定可以提高数据上传加载的安全性，同时也提高了灵活性。
可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。
需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。