系统数据迁移总体设计分析

李瑞

摘 要：数据迁移目的是将原有应用程序和数据库系统架构，迁移到新系统架构中，并进行针对性的适配工作。为保证迁移过程中不对原有系统造成影响，数据迁移需在全新的系统环境中进行。

关键词：数据迁移;设计;分析

数据迁移是将原有系统中的数据，通过存储设备（如光盘、磁带、U盘等）或网络系统移动到新系统的存储过程。被迁移数据一般是需要在以后任何时间内可通过新系统进行有效访问的文档、图像、数据库等历史数据。在数据迁移过程，要结合备份与迁移的双重策略，并在迁移到新系统后，仍需要定期对数据进行备份操作。

1、迁移数据的分析

为尽量规避数据迁移时的风险，顺利完成迁移，制定数据迁移方案时必须遵循一个统一的通用迁移规范。从全局角度考虑，给出系统迁移通用的策略、规范，制定迁移方案。

规范具体内容包括迁移目标、迁移范围、迁移实施、迁移检查、风险分析等方面。

在制定迁移方案时，需要明确迁移范围。什么数据需要我们完全迁移，什么数据需要我们部分迁移，什么数据不需要我们迁移，等等。

2、熟悉系统软硬件平台

为了更好了解系统间的兼容性，有效提高数据迁移效率，必须要了解现有系统的软硬件平台。比如说，熟悉主机系统技术参数配置情况、熟悉数据库表结构、熟悉操作系统及版本号、熟悉应用服务器中间件等。

3、数据迁移措施的制定

数据迁移需要根据系统现实情况，制定不同的迁移措施。主要分为三种，一是通过专业工具进行数据迁移、二是通过人工对数据的录入进行迁移、三是通过系统功能模块进行数据生成。

（1）专业工具进行数据迁移。在新系统迁移前，使用数据迁移工具（或数据迁移程序）把原有系统中的历史数据抽取、转换，并挂载到新系统中去。采用此种迁移措施的必要条件是，原有数据不仅可以正常运行，而且可以顺利加载到新系统中。

（2）人工对数据的录入进行迁移。在新系统迁移前，要整理待迁移数据，并进行数据分割，安排有关工作人员将分割后的数据进行整理，并进行录入。由于采用人工录入，录入的准确性不易保证，并且产生较高的人工成本。采用此方法主要因为原有系统的数据无法通过工具迁移到新系统内，并且新系统在数据加载过程中，必须调用此类数据。该措施是对专业工具进行数据迁移的有效补充。

（3）系统功能模块进行数据生成。新系统上线后，可通过新系统的功能模块或定制的数据迁移支持程序自动生成相关数据。一般这种情况下，要将迁移到新系统的数据生成我们需要的信息。采用此种迁移措施的必要条件是，这些数据可以从其他数据生成。

4、数据迁移策略的选择

数据迁移策略是指采取何种模式对相应的数据进行有效迁移。根据相关迁移措施，主要分为四种策略：一次迁移，分次迁移，先录后迁、先迁后补等四种策略。要根据不同的数据迁移环境，制定针对性的迁移策略。

（1）一次迁移。一次迁移是指，采用数据迁移工具（或迁移应用程序），将原有系统中的所有历史数据，一次性的迁移到新系统当中。

优点：一次性迁移的实现过程相对较短。与分次迁移相比，迁移过程中遇到的问题较少，迁移风险相对较低。

缺点：迁移过程中劳动强度较大，相关工作人员需要实时关注数据迁移的进度。如遇迁移数据量较大时，会对数据迁移人员的身体状况造成较大的负面影响。一次迁移的必要条件是老系统与新系统的数据庫结构相近，在保证一定宕机的时间范围内，可完成所需数据的迁移工作。

（2）分次迁移。分次迁移是指，采用数据迁移工具（或迁移应用程序），将原始系统中的所有历史数据分多次迁移到新系统中。

分次迁移能够将迁移任务分开推进，合理的规避了迁移数量大以及对宕机时间要求短之间的问题。但是，由于分次迁移，数据可能会被合并多次，提高了发生错误的概率。为了能够确保迁移时数据的完整性和一致性，在分次迁移的期间，较早迁移的数据需要同步，这增加了迁移的复杂性。

在分次迁移前，要对所迁移数据信息进行研究分析，首先迁移静态数据和更改频率较低的数据，如用户信息、代码和其他相关数据。然后再对系统内的动态数据进行迁移工作，如办公业务信息等。如果迁移的静态数据发生变化，则需要每天在新系统中同步，或者可以增量同步到新系统。

（3）先录后迁。先录后迁是指，在新系统上线前，将部分数据通过人工录入到新系统内。待新系统上线后，将剩余的历史数据迁移到新系统。

采用此种策略主要原因是新旧系统内的数据结构存在一些特殊的差异所致。在新系统上线时，无法从原有系统的数据中进行迁移，需要特定的初始数据才可正常运行。对于新系统的这部分初始化数据，在上线前需要手工录入，以确保新系统的正常运行。

（4）先迁后补。先迁后补是指，在新系统上线前采用数据迁移工具（或迁移应用程序），将原始系统中的历史数据迁移到新系统。然后通过新系统的功能模块，或者为数据迁移定制开发的配套程序，通过与原系统数据进行对比，生成新系统所需数据的结果，再最终进行相应的补录工作。此种策略可以有效的降低迁移的数据量。

对于历史数据迁移，可以按以下思路进行开展工作：

1）分析历史数据逻辑结构、关联关系和设计限制;2）制定详尽的升级计划，细致、完整考虑各种可能因素、潜在风险;3）根据数据库类型，编制数据转换、迁移工具;4）编制历史数据查询检索程序，在新系统中可以方便的查询检索;5）正式迁移前，实施数据迁移测试，确保无误;6）实施历史数据迁移，通过编制好的数据迁移程序，将历史数据迁移到新系统中;7）对于遵循规则的数据，迁移工具将自动实现数据修正;对于那些不完整或不符合数据转入到不合格数据记录表，并提交给相关部门，由业务处室统一协调相关单位、部门完善这些数据;8）对迁移后的数据进行一致性核对，包括数据格式、数据长度、数据有效区间范围、空值和默认值、完整性以及一致性等;9）对历史数据在新系统中的各项业务功能进行详细测试，并记录测试结果。

5、数据迁移工具选择

数据迁移工具的开发和部署主要有两种选择，一种是独立开发数据迁移工具，另一种是购买成熟的数据迁移产品。这两种选择均有各自特点，选择时还需要根据具体情况进行相应的分析。结合实际项目需要，尽可能选择市场成熟度高的产品，同时自主开发的产品也应在被考虑范围内。

参考文献：

[1]宋杰.大数据处理平台[M].人民邮电出版社：学术中国？大数据， 201712.235.

[2]黄建军，龚玮玮，肖英剑.基于Oracle数据库查询优化策略的研究[J].电脑知识与技术.2019（13）

[3]何晓庆，王圣洁，张雅晴，孙诗，蒋旭.数字信息资源长期保存研究[M].四川大学出版社：， 201807.340.

[4]宋杰.大数据处理平台[M].人民邮电出版社：学术中国？大数据，201712.235.