阅读说明：本技术 一种高效的元数据批量配置方法 (Efficient metadata batch configuration method ) 是由 李世彬 曹新彬 肖辉 舒建 黄钰 于 2021-04-25 设计创作，主要内容包括：本发明公开了一种高效的元数据批量配置方法,包括以下步骤：S1：用户配置资源目录以及源数据信息；S2：下载配置文件模板并进行配置；S3：将配置好的模板文件上传至服务器；S4：服务器完成匹配工作,并在配置文件列表中显示匹配成功的数据表；S5：判断匹配是否异常；若异常,则返回错误信息；S6：下载匹配后的配置文件查看结果,批量选择数据表进行保存完成元数据批量配置；S7：判断配置是否完成,若未完成,则返回错误信息；S8：通过可视化界面显示元数据配置信息。本发明通过提供的配置文件进行简单的配置,然后上传回服务器,完成数据库表的自动匹配,减少了用户的操作,简化了配置的过程。(The invention discloses an efficient metadata batch configuration method, which comprises the following steps: s1: configuring a resource directory and source data information by a user; s2: downloading a configuration file template and configuring; s3: uploading the configured template file to a server; s4: the server completes the matching work and displays the data table successfully matched in the configuration file list; s5: judging whether the matching is abnormal; if the abnormal condition exists, returning error information; s6: downloading the matched configuration file to check results, and selecting a data table in batches to store to complete the batch configuration of the metadata; s7: judging whether the configuration is finished or not, and if not, returning error information; s8: and displaying the metadata configuration information through a visual interface. The invention carries out simple configuration through the provided configuration file, and then uploads the configuration file back to the server to finish the automatic matching of the database table, thereby reducing the operation of users and simplifying the configuration process.)

一种高效的元数据批量配置方法

技术领域

本发明涉及计算机数据集成领域，尤其涉及一种高效的元数据批量配置方法。

背景技术

元数据是关于数据的组织、数据域及其关系的信息，简而言之，元数据就是关于数据的数据。随着信息化的日渐发展，在数据中蕴含的价值逐渐被人们所挖掘发现，数据的采集成了目前最热门的话题之一，在数据采集之前，我们需要通过配置元数据信息来采集到相匹配的数据。目前对于元数据批量配置的方式大多数操作较为繁琐，用户无法快速高效的创建好元数据配置。例如，专利号CN201711222117.4，公开了一种广告样式元数据配置方法及装置，通过对广告样式的各元数据进行标准化定义，确定出各元数据分别对应的组件，通过对不同种类的广告样式的组件进行排列组合可得出大量的新的广告样式，从而提高了广告样式的更新效率。但是，在需要创建大量的新元数据时，需要较多的参数配置以及创建，无法适用于大量的元数据配置。

发明内容

本发明的目的在于克服现有技术的不足，为了解决元数据批量采集操作繁琐的问题，提供一种高效的元数据批量配置方法。

本发明的目的是通过以下技术方案来实现的：

一种高效的元数据批量配置方法，包括以下步骤：

S1：用户配置资源目录以及源数据信息；

S2：下载配置文件模板并进行配置；

S3：将配置好的模板文件上传至服务器；

S4：服务器完成匹配工作，并在配置文件列表中显示匹配成功的数据表；

S5：判断匹配是否异常；若异常，则返回错误信息；

S6：下载匹配后的配置文件查看结果，批量选择数据表进行保存完成元数据批量配置；

S7：判断配置是否完成，若未完成，则返回错误信息；

S8：通过可视化界面显示元数据配置信息。

进一步的，所述源数据信息包括数据库类型、数据库连接信息和对象类型，通过源数据信息生成用户所需要的配置文件模板。

进一步的，所述数据库连接信息包括IP、用户名、密码、数据库名；所述对象类型包括表和视图。

进一步的，所述步骤S2包括以下子步骤：

S201：下载服务器根据源数据信息生成的配置文件模板；

S202：在配置文件模板中输入需要匹配的数据表的表名。

进一步的，所述步骤S4包括以下子步骤：

S401：服务器解析模板文件，取出用户配置数据；

S402：服务器根据源数据信息查询数据表数据；

S403：将用户配置数据与数据表数据进行匹配，然后将源数据中符合配置的数据取出。

进一步的，所述步骤S6包括以下子步骤：

S601：用户选择需要的数据表；

S602：根据用户选择的数据表查询元数据；

S603：将元数据信息与元数据配置关联，并将元数据信息保存至数据库；

S604：将元数据配置与资源目录关联；

S605：判断用户所选择的数据表是否都创建资料集成功；若全部创建完成，则结束；若未全部创建完成，则返回步骤S602。

本发明的有益效果：本发明通过提供的配置文件进行简单的配置，然后上传回服务器，完成数据库表的自动匹配，减少了用户的操作，简化了配置的过程，只需要配置一些简单的采集配置信息，就可以实现元数据的配置。

附图说明

图1是本发明的方法流程示意图。

图2是本发明的元数据批量创建示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。

本实施例中，如图1和图2所示，一种高效的元数据批量配置方法，包括以下步骤：

S1：用户配置资源目录以及源数据信息；

S2：下载配置文件模板并进行配置；

S3：将配置好的模板文件上传至服务器；

S4：服务器完成匹配工作，并在配置文件列表中显示匹配成功的数据表；

S5：判断匹配是否异常；若异常，则返回错误信息；

S6：下载匹配后的配置文件查看结果，批量选择数据表进行保存完成元数据批量配置；

S7：判断配置是否完成，若未完成，则返回错误信息；

S8：通过可视化界面显示元数据配置信息。

进一步的，所述源数据信息包括数据库类型、数据库连接信息和对象类型，通过源数据信息生成用户所需要的配置文件模板。

进一步的，所述数据库连接信息包括IP、用户名、密码、数据库名；所述对象类型包括表和视图。

进一步的，所述步骤S2包括以下子步骤：

S201：下载服务器根据源数据信息生成的配置文件模板；

S202：在配置文件模板中输入需要匹配的数据表的表名。

进一步的，所述步骤S4包括以下子步骤：

S401：服务器解析模板文件，取出用户配置数据；

S402：服务器根据源数据信息查询数据表数据；

S403：将用户配置数据与数据表数据进行匹配，然后将源数据中符合配置的数据取出。

进一步的，所述步骤S6包括以下子步骤：

S601：用户选择需要的数据表；

S602：根据用户选择的数据表查询元数据；

S603：将元数据信息与元数据配置关联，并将元数据信息保存至数据库；

S604：将元数据配置与资源目录关联；

S605：判断用户所选择的数据表是否都创建资料集成功；若全部创建完成，则结束；若未全部创建完成，则返回步骤S602。

在本实施例中，数据加载的方式如下：

1. 配置数据源信息。

a)配置数据源的数据库类型、数据库连接信息（IP、用户名、密码、数据库名等）、对象类型（表或者视图）。

2. 下载配置模板。

a) 下载配置模板，在模板的【英文表名】列，配置需要匹配的表名（不区分大小写）。

3. 上传配置模板。

4. 服务器解析模板，并加载对应的对象列表。

a) 服务器读取第一步配置的数据源信息，加载所有数据信息。

b) 服务器解析模板文件数据，与a步骤数据信息匹配。

c) 返回匹配数据集。

5. 用户确认后服务器根据配置信息加载指定对象的元数据信息。

a) 根据确认后的表查询元数据信息。

b) 返回匹配数据集。

只需要选择一些必要的源数据配置来表示需要采集的数据库；然后通过下载并配置模板来匹配数据表，不需要关心具体的实现方式，服务器会完成解析模板文件，从配置信息中读取相关信息，与数据源的数据表信息进行匹配等一系列操作，只需要确认最后的对象列表，而不用从大量的表中选取要配置的数据表；也可以重新下载上传的模板文件查看匹配结果列表。

当批量配置元数据任务开始执行时，我们通过JDBC与SQL结合的方式对数据库进行元数据查询，完成数据的采集，然后通过同样的方式将这些元数据根据业务添加到关联表中，绑定到选择的资源目录中，完成元数据的批量配置。不需要挨个挨个的查询寻找数据表单独配置元数据信息。

本发明通过提供的配置文件进行简单的配置，然后上传回服务器，完成数据库表的自动匹配，减少了用户的操作，简化了配置的过程，只需要配置一些简单的采集配置信息，就可以实现元数据的配置。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。