赵明
随着NAS的快速普及,个人和部分企业开始将数据迁移到NAS上,但这仅仅是庞大数据量线上迁移的一种入门级做法,真正的数据迁移才刚刚开始。谈起数据迁移,这里要谈的可不是普通的数据拷贝那么简单,而是数以百兆、千兆,甚至亿兆级别的企业级数据迁移。
企业数据迁移的初衷大致分为两种:其一就是因业务发展导致存储空间不足而将暂时“闲置”的数据迁移至其他存储设备,其二就是因业务发展系统必须升级而不得不进行数据迁移。在消费级数据迁移过程中,使用NAS方案迁移数据时我们经常会遇到意想不到的差错,从而导致迁移失败。那么对于这种企业级数据迁移来说,任何细小的差错都有可能造成前功尽弃,即便是几TB数据,企业都不可能让它轻易丢失,因此有那么多数据恢复公司存在并且凭借数据恢复业务获利丰厚。因此,从硬件到软件,企业在数据迁移前期、迁移过程中、迁移后都要精挑细选,确保万无一失。
各行各业数据迁移经历都有所不同,但又有着千丝万缕的相似点,我们在本专题中特意为大家选取了保险行业中国太平洋保险(集团)股份有限公司的数据迁移历程,希望能够对其他行业的用户有所启发。
客户简介
中国太平洋保险(集团)股份有限公司(以下简称“中国太平洋保险”)是在1991年5月13日成立的中国太平洋保险公司的基础上组建而成的保险集团公司,总部设在上海。中国太保是国内领先的综合性保险集团,公司通过覆盖全国的营销网络和多元化服务平台,为全国约8,000万客户提供全方位风险保障解决方案、投资理财和资产管理服务。
在业务不断拓展过程中,中国太平洋保险于2009年H股上市(中国太保,HK02601)。2010年,中国太保投资管理(香港)有限公司成立。2012年,太平洋保险在线服务科技有限公司注册成立。2014年,太保安联健康保险股份有限公司注册成立。这些新成绩新业务的飞速发展不再单纯地以人力增长为依托,它们需要更多的技术支撑,尤其是在数据存储和数据分析方面。
迁移背景
中国太平洋保险公司从2012年起开始了以客户为中心的业务转型,IT建设围绕着这一主题进行一系列的升级,成立了大数据分析的项目,进行客户信息的梳理、聚合,挖掘客户需求,以便更好地服务客户。随着需求集中爆发和技术转型的叠加,对IT资源和数据的需求也迅速增加。2012年以前,几乎所有的数据库都部署在小型机之上,每年产生大量的小型机面临更新换代的需求。面对高昂的IT成本和越来越多的资源和数据需求,中国太平洋保险一直在寻找成本更低、速度更快、部署更灵活的解决方案。
“2009年,中国太平洋保险已经实现了95%以上的应用服务器全部运行在x86虚拟平台上。这样做可以带来更快的交付速度、更灵活的响应速度和更弹性的压力负载。但是那时候中国太平洋保险还没有做数据库的迁移,其主要原因是考虑到当时小型机比x86的服务器更稳定。鉴于数据库的重要性,中国太平洋保险一直关注着服务器技术的发展。”中国太平洋保险资深架构师张文若表示,“直到2012年,有数据表明x86服务器和小型机在稳定性方面已经不相上下。于是,我们在2012年开始尝试把数据库从小型机迁移到x86平台上。2012年底确定了把x86平台作为数据库可选平台之一,并且逐渐地把数据库(周边系统和非核心关键系统)从小型机迁移到x86平台。中国太平洋保险开始走上了数据迁移的道路。”
面对挑战 迎难而上
首先,中国太平洋保险确定了全程自主迁移,从周边到核心的原则。在当时小型机占据数据库部署主流地位的情况下,开始了x86探索之路。这就决定了要选取的数据迁移解决方案必须非常高效,这样才能迅速准确完成数据迁移任务。在具体的迁移过程中,中国太平洋保险参照既有IT运维流程,开发、维护、架构搭建等团队总共6~7人。通过精密计划,反复测试,这支精简的跨部门团队各司其职,用两年时间来顺利完成这项艰巨的任务。
在项目初期,数据迁移的是一些压力比较小的系统,但还是遇到了很多质疑。运维的第一要旨是稳定,数据在原来的系统上运行得很稳定,一旦迁移就增加了不确定性。为了排除顾虑,迁移人员需要做很多的测试,进行大量的验证工作。随着项目的推进,中国太平洋保险开始迁移数据量更大、更重要的系统,对技术的要求有了进一步的提高,主要难点在于:第一是I/O吞吐性能的提高。有些系统是统计分析类的,它的数据量非常大,原来在小型机上已经存在性能瓶颈了,现在迁到x86平台如何解决;其次是大数据量系统的迁移方案,更大的数据量和更短的停机时间的矛盾对迁移方案提出了挑战。通过数据同步工具的计划排布初步解决这个问题。这是中国太平洋保险在初期和后期所面临的问题,初期是对迁移至新环境的不确定性的疑惑,后期则主要表现为技术难度方面。
中国太平洋保险U2L项目过程,就是把数据库服务器从小型机迁移到x86平台的过程,通俗点讲就是从UNIX操作系统迁移到Linux操作系统的过程。
解决方案成果展示
针对前文中所提到的初期和后期的问题,中国太平洋保险通过自己挖掘潜力,提出了一系列解决方案。对于系统变化,前期进行验证,确保小规模系统顺利迁移。针对大数据量系统迁移的困难,尤其是对于I/O吞吐量需求的提升,中国太平洋保险采取了增加SSD缓存的解决方案。
在迁移的时候中国太平洋保险首先考虑的是性能问题。张文若表示,“2012年我们做了一些测试,英特尔的芯片和RISC芯片性能不相上下,无论是在在线交易系统还是统计分析的实际测试过程中,都可以看到几乎相近的结果,可能个别数据还有所提升。这坚定了我们迁移的决心。对于企业来说稳定性也至关重要。从一开始我们就确定数据库迁移不是单纯的物理迁移,而是迁移到虚拟化平台上来。所以,我们对比了IBM的PowerHA和VMware的VMwareHA。通过对比,VMwareHA的功能更加丰富,切换的效率也更高。于是我们开始了迁移之旅。经过了这几年的迁移,我们获得了一定的收益,最直接的收益是成本的降低,不单硬件成本降低,还有维护成本的降低,同时还获得了其他的收益。在迁移过程中我们做了应用梳理,完成了操作系统和数据库版本标准化统一,进一步降低了运维的难度,运维成本也随之大幅降低。”
在数据迁移之路上,中国太平洋保险发现,随着系统迁移的深入,其直接或者间接的收益逐步凸显出来。首先,在IT投入方面,迁移到x86平台上节省了多少钱,其实并不是最重要的,最大的挑战来自于机房空间、电力、制冷这些方面,这些投入才是最多的。张文若表示,“由于机房电力的限制,如果我们继续购买小型机,可能空间、电力、制冷都要做很多扩容。自从开始小型机迁移到x86后,中国太平洋保险的硬件购买和维护费用大幅降低。” 在数据迁移的同时,完成了操作系统、数据库版本升级和运维标准化,降低了运维风险,提高了运维效率。
在性能方面,迁移前后也存在着很大区别。2013年下半年,中国太平洋保险完成x86数据库业务系统的迁移,验证后性能提升40%以上,稳定性和可靠性也得到大幅提升。
总结
对于此次数据迁移的结果,中国太平洋保险非常满意。不仅是在硬件成本上,在性能可靠性上,x86服务器也足以担当重任。张文若表示:“中国太平洋保险会跟踪市场上一些最新的技术发展,x86的快速发展给中国太平洋保险带来一个更好的应用平台。2015年,我们期待英特尔和它的合作伙伴能够不断创新,给我们带来更快、更强、更灵活的产品和解决方案。”