混合云为凡客破解冷热数据处理难题

侯沁

在信息爆炸的大数据时代，如何存储数据成了企业一大难题。以往大多数人更多的关注的是那些活动频繁、被访问次数多的热数据的存储和处理。其实对于很多企业来说，那些活动不频繁，很少访问甚至有可能永远不会被访问的冷数据的存储很可能是其未来最主要的费用支出。凡客诚品（以下简称凡客）利用混合云解决方案很好地解决了冷热数据该如何处理的问题，重要的、常用的数据存在本地，不常用的数据则归档、备份在云端，效率和成本同时得以解决。

原数据备份模式急需改变

作为一家以快时尚服装和鞋帽为主的生产型企业，同时更是一家电子商务公司或者互联网企业，从业务形态而言，凡客网站无论从用户浏览到购物下单，还是仓储调拨到物流配送，整个过程中都会产生大量的业务数据。这些数据是凡客整个公司业务运营的基础，也是整个B2C平台稳定运行的根本。因此对这些数据提出了极高的安全性要求，包括时效性、有效性、和完整性。

从网站整体架构来看，必然存在将应用、服务、数据进行分层处理，并且按照不同业务进行资源分割。在每一个业务模块的每一个层面，都会产生不同类型的数据。尽管每个层面，每个模块都会有自己的数据处理机制，但是仍然需要一套完整的数据处理系统。

无论是业务形态还是网站整体架构，数据产生与数据处理都是其网站运行的关键。而数据备份作为数据处理系统中的最后一个环节，显得格外重要。它保证了所有业务数据在离线状态的完整性，并且保证在发生数据丢失的时候，能够从备份中将数据恢复出来。

凡客原先的数据备份系统是通过使用存储和磁带机的方式，构建的一套独立的备份管理系统。随着业务量的上升，网站架构越来越复杂，原有的备份系统受到自身的扩展性和结构限制，无法满足长期的需求。最终将备份系统分割多个备份服务组，每组备份服务器支撑一部分业务系统，以此来解决扩展性问题。但随之而来的，是管理复杂度的升高，以及运行成本和管理成本的升高。凡客急需一套完善的数据备份解决方案，能对数据进行更有限的管控。

凡客初次尝试

StorSimple

随着云服务的快速普及，越来越多的企业开始尝试这一全新的存储方式，但随之而来的问题便是如何能够更加智能化、自动化的在云端和本地服务器之间快速存储，并且更加方便数据的调用，同时还能够节约成本。

微软力推的StorSimple存储解决方案就是专门针对这一使用需求。通过使用StorSimple，凡客形成了一整套的数据备份解决方案，同时提供常规性和偶发性的备份需求。以StorSimple为核心，省略了存储设备和磁带机设备，极大的简化了部署和维护工作的复杂度。（见图）

图中的右边部分，是凡客应对常规性备份需求的解决方案。通过启用一组备份服务器来集中管理日常的备份数据，包括数据库备份、网站访问日志等。备份服务器中直接接入StorSimple分配的Volume，并根据不同业务需求，分配不同的存储目录，直接映射成可访问的共享地址，需要备份的应用系统，无论是DB的数据还是Web产生的数据，均通过备份后产生备份数据，并传输到共享目录即可。这样，常规备份数据以共享方式为线上业务提供服务，既可以确保备份数据的实时在线，又可以随时取用，并且还可以将使用率低的数据放在成本最低的Windows Azure存储中。

图的左边部分，是凡客针对一些临时性和特殊性的备份需求，通过更为简化的方式来实现。凡客的BI服务器保存着大量的网站历史数据，而图片服务器则存储着大量的归档数据。针对这类使用价值相对独立的数据，凡客会依据数据量的增长速度，不定时的将数据离线备份出来。这个时候，通过StorSimple，直接为业务服务器分配Volume，用于这些数据的备份存储，并在StorSimple统一管控，利用StorSimple高效的去重功能，压缩存储空间，并根据数据的使用率优化存储介质的选择，这简化了存储结构，同时优化了存储管理。

架构简化 成本降低

凡客IDC数据中心运维助理总监胡毕胜在接受采访时说：“StorSimple的使用，为我们形成了一套完整的数据备份解决方案，从系统架构层面来看，颠覆了我们过去的传统做法，在简化架构的同时做到了更好的易用性。其卓越的去重和压缩能力显着削减了存储成本。在数据安全性与数据恢复方面，StorSimple更展现出了它极佳的创新思路和优秀的技术水准，让人印象深刻。”

颠覆传统结构 StorSimple使凡客既可以构建一种集中式架构的备份系统满足重要和关键的长期备份需求，也可以同时采用创建Volume的方式直接为一些临时性性、突发性的备份需求提供保障。更重要的是，在做到满足不同需求和灵活性的同时，它仍然是一套完整的系统，便于管理和维护。这种简化，从另一个方面，甚至可以说是对传统数据备份系统在架构上的一种颠覆。

自动化冷热分离 在传统的备份技术当中，无论架构如何设计，无论硬件如何配置，有一个无法绕开的问题，就是必须由人工来判断和设计数据备份的冷热分离，并且维护这套逻辑在整个生命周期里的有效性，而StorSimple的自动化冷热分离功能使得凡客在规划备份逻辑的时候，只需要关注容量、性能、稳定性等方面。

提升易用性 凡客在考虑使用公有云存储解决方案以后，遇到的第一个问题就是系统如何对接。目前绝大部分公有云存储厂商在使用时都需要通过API调用的方式来实现系统的对接。对于凡客而言，如果需要使用这类云存储作为数据备份系统的后端架构，那么就必须自己开发一套数据传输系统，来负责调用公有云上的存储空间，以及承担数据上传的调度任务。这都需要投入持续的人力和精力，无形中增加了不少成本。

而StorSimple是把一个把公有云存储空间作为设备内部存储资源的一部分，在设备的系统内部，直接内置了公有云数据接口。从而完全省略了接口的开发，可以直接把公有云的存储空间，打包成若干个Volume，被DB、Web等服务器作为一个磁盘分区来使用，这极大的提供了便利性，减少了开发的投入，提供了卓越的易用性。

极具性价比 凡客诚品考虑使用公有云存储解决方案以后的第二个挑战，就是要想尽办法减少落在云中的数据量，因为将直接决定了每月的支出费用。凡客在使用StorSimple的过程中，通过自动化的压缩、去重之后，再上传到Azure云端，整个过程节约的成本是原来的四分之一左右。

确保数据安全性 凡客作为B2C的电商网站，存储着大量用户的数据，涉及用户的隐私，因而这部分数据的安全性是首要考虑的问题。在StorSimple中，任何文件类型的数据经过处理以后，是以文件块的形式存入云中的，是一种无法识别的数据。如果要使用数据，必须借助从StorSimple端取出才能恢复成之前可用的文件格式。

同时，StorSimple在数据的传输过程中，以及在云端的数据存储中均通过AES-256加密算法，对数据进行加密。通过这一系列的技术手段，从根本上解决了数据放在云端的安全问题，用户不再担心数据会在云端或在传输过程中被秘密窃取。

云快照成就异地容灾 StorSimple支持本地快照和云快照两种模式对已存入的数据进行镜像方式的数据备份，并支持计划任务。这使得无论是数据完整性本身，还是在进行备份或者恢复的操作都能得到很好的保障。