阅读说明：本技术 数据迁移方法及系统 (Data migration method and system ) 是由 罗晓 王敉佳 王灵军 赵新宇 黄泽鑫 于 2019-08-30 设计创作，主要内容包括：本发明公开了一种数据迁移方法及系统,所述方法包括：对数据库服务器的数据进行迁移时,关闭数据库服务器的外部访问接口,将数据库服务器的数据从旧架构的数据存储单元迁移至新架构的数据存储单元,并设置一个临时存储区来接收外部导入的底层数据；数据库服务器的数据迁移完成后,将临时存储区的数据迁移至新架构的数据存储单元。采用本发明的技术方案,可实现数据库服务器中数据的实时迁移和无损迁移。(The invention discloses a data migration method and a system, wherein the method comprises the following steps: when data of the database server are migrated, an external access interface of the database server is closed, the data of the database server are migrated from a data storage unit of an old architecture to a data storage unit of a new architecture, and a temporary storage area is arranged to receive externally imported bottom data; and after the data migration of the database server is finished, migrating the data in the temporary storage area to a data storage unit of the new architecture. By adopting the technical scheme of the invention, the real-time migration and the lossless migration of the data in the database server can be realized.)

数据迁移方法及系统

技术领域

本发明涉及存储领域，尤其涉及一种数据迁移方法及系统。

背景技术

在能源互联网应用中，既有能源管理系统通过web、app查看整体系统发储用网数据需求，也需实时采集、存储系统能源数据、状态数据。数据存储若干年后，数据量激增，必然需要对数据存储架构进行全新设计。为保证数据存取性能无下降，原架构数据需迁移至新架构，在迁移过程中，目标要支持实时迁移、无损迁移，即迁移过程中要保证数据仍能继续采集并存储，而且迁移完成后，要把迁移过程中存储的数据也要存储至新架构。如何实现数据库服务器中数据的实时迁移和无损迁移，则是当前需要解决的技术问题。

发明内容

本发明的目的是针对上述现有技术中数据库服务器中数据迁移时需要支持实时迁移、无损迁移的技术问题，提供一种数据迁移方法及系统。

本发明实施例中，提供了一种数据迁移方法，其包括：

对数据库服务器的数据进行迁移时，关闭数据库服务器的外部访问接口，将数据库服务器的数据从旧架构的数据存储单元迁移至新架构的数据存储单元，并设置一个临时存储区来接收外部导入的底层数据；

数据库服务器的数据迁移完成后，将临时存储区的数据迁移至新架构的数据存储单元。

本发明实施例中，所述的数据迁移方法还包括：

对数据库服务器的数据进行迁移前，关闭数据库服务器的外部访问接口。

本发明实施例中，所述的数据迁移方法还包括：

将临时存储区的数据迁移至新架构的数据存储单元后，关闭临时存储区，采用新架构的数据存储单元来接收外部导入的底层数据，并开放数据库服务器的外部访问接口。

本发明实施例中，所述的数据迁移方法还包括：

在将外部导入的底层数据保存到临时存储区之前，对外部导入的底层数据进行过滤处理。

本发明实施例中，将临时存储区的数据迁移至新架构的数据存储单元的过程中，采用临时存储区接收外部导入的底层数据，并且，从临时存储区迁移数据至新架构的数据存储单元的速度大于临时存储区从外部导入底层数据的速度。

本发明实施例中，还提供了一种数据迁移系统，其包括：

逻辑处理单元，用于在对数据库服务器的数据进行迁移时，关闭数据库服务器的外部访问接口，并设置一个临时存储区来接收外部导入的底层数据；

数据迁移单元，用于将数据库服务器的数据从旧架构的数据存储单元迁移至新架构的数据存储单元，还用于在数据库服务器的数据迁移完成后，将临时存储区的数据迁移至新架构的数据存储单元。

本发明实施例中，所述数据迁移单元对数据库服务器的数据进行迁移前，所述逻辑处理单元还用于在关闭数据库服务器的外部访问接口。

本发明实施例中，所述数据迁移单元将临时存储区的数据迁移至新架构的数据存储单元后，所述逻辑处理单元关闭临时存储区，采用新架构的数据存储单元来接收外部导入的底层数据，并开放数据库服务器的外部访问接口。

本发明实施例中，在将外部导入的底层数据保存到临时存储区之前，所述逻辑处理单元对外部导入的底层数据进行过滤处理。

本发明实施例中，所述数据迁移单元从临时存储区迁移数据至新架构的数据存储单元的速度大于临时存储区从外部导入底层数据的速度。

与现有技术相比较，在本发明的数据迁移方法和系统中, 对数据库服务器的数据进行迁移时，关闭数据库服务器的外部访问接口，将数据库服务器的数据从旧架构的数据存储单元迁移至新架构的数据存储单元，并设置一个临时存储区来接收外部导入的底层数据，在数据库服务器的数据迁移完成后，将临时存储区的数据迁移至新架构的数据存储单元，将临时存储区的数据迁移至新架构的数据存储单元后，关闭临时存储区，采用新架构的数据存储单元来接收外部导入的底层数据，并开放数据库服务器的外部访问接口，从而可以实现数据库服务器内部数据的实时迁移和无损迁移。

附图说明

图1是本发明实施例的数据迁移系统的结构示意图。

图2是本发明实施例的数据迁移方法的流程示意图。

具体实施方式

本发明提供了一种数据迁移方法及系统，对数据库服务器的数据进行迁移时，关闭数据库服务器的外部访问接口，将数据库服务器的数据从旧架构的数据存储单元迁移至新架构的数据存储单元，并设置一个临时存储区来接收外部导入的底层数据；在数据库服务器的数据迁移完成后，将临时存储区的数据迁移至新架构的数据存储单元；将临时存储区的数据迁移至新架构的数据存储单元后，关闭临时存储区，采用新架构的数据存储单元来接收外部导入的底层数据，并开放数据库服务器的外部访问接口。

如图1所示，本发明施例中，所述数据迁移系统包括数据解析单元1、逻辑处理单元2、数据迁移单元3和数据存储区4。需要说明的是，所述数据解析单元1、所述逻辑处理单元2、所述数据迁移单元3可以是数据库服务器的组成部分，也可以独立于数据库服务器之外。所述数据存储区4为数据库服务器的存储空间，用于存储外部导入的底层数据，其设置了多个数据存储单元。在通常情况下，所述数据存储单元采用一种设定的数据存储架构，在数据量激增的情况下，可能需要对数据存储单元的存储架构进行重新设计，采用新的数据存储架构，以便支撑更大容量的数据存储需求。

所述数据解析单元1，用于对外部导入的底层数据进行解析，并将解析后的数据通过所述逻辑处理单元2导入到数据库服务器的数据存储区4中。需要说明的是，对于外部导入的底层数据，由于在数据传输的过程中需要进行编码、加密，因此，在导入到数据库时，需要通过所述数据解析单元1进行解码、解密等数据解析工作。所述数据解析单元1还用于将这些数据解析成对应的数据结构，以便于存储到相应数据结构的数据存储单元中。

所述逻辑处理单元2，用于将所述数据解析单元1解析后的底层数据导入到数据库存储空间的数据存储单元中，还用于响应与所述数据库服务器对应的APP或者网络页面端的请求对数据库服务器进行访问和查询。在对数据库服务器的数据进行迁移时，所述逻辑处理单元2用于关闭数据库服务器的外部访问接口，并设置一个临时存储区5来接收外部导入的底层数据。

需要说明的是，需要对数据库服务器的数据进行迁移，将原架构的数据存储单元中的数据迁移至新架构架构的数据存储单元。此时，由于正在进行数据迁移，所述逻辑处理单元2无法响应APP或者网络页面端的请求对数据库服务器内的数据存储单元进行访问和查询，因此，在对数据库服务器的数据进行迁移前，所述逻辑处理单元2将系统升级无法访问的信息公告到访问数据库服务器的接口页面上，提示用户。此时，由于正在进行数据迁移，外部底层数据无法直接导入到新架构的数据存储单元中，需要设置设置所述临时存储区5来接收外部导入的底层数据。所述临时存储区5可以设置于所述数据存储区中，也可以设置在一个外部存储设备中。

所述数据迁移单元3，用于将数据库服务器的数据从旧架构的数据存储单元迁移至新架构的数据存储单元，还用于在数据库服务器的数据迁移完成后，将所述临时存储区5中的数据迁移至新架构的数据存储单元。

所述数据迁移单元3将所述临时存储区5的数据迁移至新架构的数据存储单元后，所述逻辑处理单元2关闭所述临时存储区5，采用新架构的数据存储单元来接收外部导入的底层数据，并开放数据库服务器的外部访问接口，以便于用户可以通过APP或者网络页面端来访问数据库服务器。所述数据迁移单元3从所述临时存储区5迁移数据至新架构的数据存储单元的速度大于所述临时存储区5从外部导入底层数据的速度。本发明实施例中，所述数据迁移单元3采用多线程从所述临时存储区5迁移数据至新架构的数据存储单元，所述逻辑处理单元2采用单线程将外部导入的底层数据存储至所述临时存储区，从而保证所述数据迁移单元3从所述临时存储区5迁移数据至新架构的数据存储单元的速度大于所述临时存储区5从外部导入底层数据的速度。

如图2所示，对上述数据迁移系统对数据库服务器进行数据迁移的过程包括步骤S1-S4，下面分别进行说明。

步骤S1：数据迁移前，所述逻辑处理单元2主动关闭数据库服务器的web、app的访问接口，并主动推送“现系统升级，无法登陆”的信息至数据库服务器的web、app的接口页面上。

步骤S2：对数据库服务器的数据进行迁移时，将数据库服务器的数据从旧架构的数据存储单元迁移至新架构的数据存储单元，并设置一个临时存储区5来接收外部导入的底层数据。需要说明的是，为保障所述临时存储区5尽可能多存储数据，并且存储重要数据，所述逻辑处理单元2对该时间段的数据进行过滤处理，保留诸如统计的能源数据、更改的工程信息、账号信息等数据，过滤掉实时能源数据、状态数据等数据；

步骤S3：数据库服务器的数据迁移完成后，将所述临时存储区5的数据迁移至新架构的数据存储单元。需要说明的是，将所述临时存储区5的数据迁移至新架构的数据存储单元的过程中，采用所述临时存储区5接收外部导入的底层数据，并且，从所述临时存储区5迁移数据至新架构的数据存储单元的速度大于所述临时存储区5从外部导入底层数据的速度，用多线程从所述临时存储区5取并转存，用单线程将底层数据存储至所述临时存储区5；

步骤S4：将临时存储区的数据迁移至新架构的数据存储单元后，关闭临时存储区，采用新架构的数据存储单元来接收外部导入的底层数据，并开放数据库服务器的外部访问接口，主动推送信息至web、app，提示“系统已升级完成，已可以正常登陆使用”。

综上所述，在本发明的数据迁移方法和系统中, 对数据库服务器的数据进行迁移时，关闭数据库服务器的外部访问接口，将数据库服务器的数据从旧架构的数据存储单元迁移至新架构的数据存储单元，并设置一个临时存储区来接收外部导入的底层数据，在数据库服务器的数据迁移完成后，将临时存储区的数据迁移至新架构的数据存储单元，将临时存储区的数据迁移至新架构的数据存储单元后，关闭临时存储区，采用新架构的数据存储单元来接收外部导入的底层数据，并开放数据库服务器的外部访问接口，从而可以实现数据库服务器内部数据的实时迁移和无损迁移。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。