大数据与精准运维

■

什么是大数据

大数据，就是随着信息化技术的发展，特别是互联网技术的发展，积累了大量的信息数据资产，这些资产具有四个特点：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。如网络日志、视频、图片、地理位置信息等等。第三，处理速度快，1秒定律，可从各种类型的数据中快速获得高价值的信息，这一点也是和传统的数据挖掘技术有着本质的不同。第四，只要合理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。业界将其归纳为4个“V”——Volume（数据体量大）、Variety（数据类型繁多）、Velocity（处理速度快）、Value（价值密度低）。

大数据分析从最早来源于运维人的日志分析，到逐渐发展对各种业务的分析，人们发现这些数据蕴涵着非常大的价值。当前，对大数据的处理分析正成为新一代信息技术融合应用的结点，大数据成为信息产业持续高速增长的新引擎，其利用将成为提高核心竞争力的关键因素。同时，大数据时代科学研究的方法手段也将发生重大改变。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

精准运维及与大数据的关系

所谓运维，既可理解为信息系统的运行维护，又可理解为IT业务的运营及维护工作，两种理解都正确，只是适用的企业类型不一样，前者是传统的理解，主要适用于一些大型传统企业和IT业界传统作业部分；后者的理解更活跃在一批IT服务的创新企业里，他们更需要企业的经营与用户的需求同步。而精准运维是一种IT服务方法，它是要让IT运维服务围绕被服务对象的业务来展开，进行同步心跳式的服务，而不是仅围绕信息系统本身（软硬件）来服务，这在书籍《IT运维之道》有阐述。作为运行维护，精准运维是通过一系列方法掌握服务对象的信息系统特征以及该信息系统所服务的企业业务特征，找准目标，把握企业运行脉搏，从而精准地规划服务，同步应变，实现服务与业务的匹配。作为运营维护，就是从业者以客户为导向，让业务与用户的要求心跳同步，并确保支撑业务的信息系统，随需应变。两种理解作为精准运维没有本质的差异，就是第一人称还是第三人称而已，前者是用“我”的视角看精准运维，后者是以“用户”的视角看精准运维。

精准运维本质是要保持用户的需求与业务心跳同步，以人为本，要达到的效果与四个因素有关，即人、软件、硬件、环境有关，具体的关联如图1所示：

图1 精确运维关联图

应用软件是指对业务的逻辑编程，支撑软件包括操作系统、中间件、开发工具、数据库等，硬件包括：客户端设备、服务器、网路设施，环境包括机房设施等，人员主要指开发和运营维护的企业员工。

从图1我们可以看到，前面对后面是要求，后面对前面产生影响，用户或客户对系统的要求是通过对业务的要求来实现的，而用户对业务的要求又是动态的，还各有特色，如果后台准备不足，就可能导致满意度下降，甚至流失客户，特别是互联网企业。互联网企业更重视用户体验，由于信息系统本身的易用性差或稳定性低往往直接影响用户体验，进而对企业的用户群体规模产生致命的影响。值得一提的是，互联网企业一般客户与用户是一致的，传统企业则不一定。

它的运用是要建立在充分感知被服务对象的业务情况，并能预测业务情况的基础上的。既要掌握用户对业务的动态要求，甚至预测和引导用户的行为，就需要大数据来帮忙。帮助企业找找关联性，发现趋势，引领趋势，即大数据是来辅助实现精准运维的，使企业的经营做到更加精、更加准。

为什么企业需要精准运维

在以人为本的时代，虽然客户是上帝，但“上帝”除了尽量满足还需要合理引导。我们说决定客户满意度的因素一般有三，第一是客户或用户的欲望和要求，第二是竞争对手的情况与态势，第三是自身的水平与实力。第一和第二均为外部因素，只有第三点是内部因素。根据实践经验我们发现：满足、引导和控制外部并提升内部是提高满意度的最佳之法。当然。内外密切相关，提升内部必须是围绕外部的，而只有对外部的情况准确掌握，才能做到对外部的满足、引导与控制。所以，目前一切的智能活动都是基于“明白”这个概念出发的，明白客户（用户），明白对手，这样才能做到贴心服务。这是一个以人为本的社会，如何明白人们的心思，那就是所谓的“察言观色”。怎样察言观色呢，道理很简单，因为人或人们在家庭和社会活动中留下许多痕迹，这些痕迹数据，就是企业来判断人们行为的依据，这些大数据加上合适的分析，能帮助我们随需应变。现在互联网、移动互联网、物联网正在逐步成熟，一些巨型的传统企业或IT服务企业，如：腾讯、阿里、百度、京东、Google、Amazon、中国电网、银行等，具备了这样的分析条件。

我在《IT运维之道》中提到过，大部分IT系统在设计和开发阶段，受开发周期、运行效率和成本等因素的影响，都不可能做到无限柔性，要做到随需应变，就需要运维工作来帮忙。当然，这对运维工作本身也提出了较高的要求，首先，运维不仅仅是运行维护而是运营维护，需要全面、准确把握业务需求；其次，运维工作需要精准，将业务需求和信息系统性能、功能等进行匹配度分析，为系统升级改造、优化完善提供依据和解决方案；再次，要对运营过程中的大数据从业务角度进行精准分析，从而找到新的业务增长点或改进方向。精准运维有助于我们的企业服务精准化、个性化、甚至引领潮流化，使企业强者恒强。

当前，互联网企业正进入争夺“入口”战的白热化阶段，一是互联网正在颠覆传统信息获取、生活消费以及商务方式的入口渠道，二是面临众多互联网企业抢夺的现实，而且互联网企业扁平化程度越来越高，如何成为第一、稳住第一，都是CEO思考的课题，质量、速度、成本是互联网企业产品的主要考量。互联网企业的产品从策划、设计、研发、上线、运营都要考虑这三个问题，这里的质量是广义的质量，包含了用户的忠诚度，所以作为运营维护人一开始就要参加到整个周期中，并匹配全局，才能真正与用户的需求心跳同步，精准运维。

这里我们拿一个经典案例来说，2015年微信发红包，除夕摇一摇总次数110亿次，峰值1400万次/秒，8.1亿次每分钟，微信红包收发达10.1亿次!惊人数字再次让人们好奇，2015年微信红包方式与去年用户与用户之间互发红包相比，摇红包的方式对业务量来说是一个极大的爆发，光是除夕10：30送出的一波红包就达到了1.2亿个，已经是2014年除夕夜峰值的4800倍之巨(2014年峰值每分钟被拆开红包数量仅2.5W)! 大量用户在同一时间摇红包，瞬间产生每秒千万级的请求，这个量级的请求如果不加以疏导处理直接到达后台，必定会导致后端服务过载甚至崩溃。微信后台运维团队主要通过三大应对策略应对：有损服务，柔性可用，大系统小做。我们在惊叹腾讯再次创造奇迹的同时，仔细想想，哪些可损、哪些可柔、哪些可小做，微信摇红包是个业务，实现这个业务的是它的信息系统，就是说配什么样的员工、用什么样的硬件、怎样的应用更合理，需要什么样的环境，这些决策都需要基于预测用户的群体意识，决定确保哪部分业务的正常运作，对应的资源怎么调整，都与大数据有关。

企业怎样做好精准运维

传统企业

传统企业运维的关注重点是在安全、权限管理等方面，以及旧IT资产利用率，如何利用好现有的IT资产是他们目前迫切需要解决的问题。传统企业的内网，使用大量的小型机（IBM Power小型机、HP小型机、Sun小型机等）、高端网络和存储设备（Cisco、EMC、日立等），使用大量的商业数据库、ERP和中间件技术（IBM DB2、Oracle、SAP 等）。企业的核心业务运行于这些设备和软件之上，业务年限长、历史遗留问题多，数据安全、业务连续性等是这些企业的生命线。在运维方面，传统企业往往通过购买厂商和集成商（即第三方）的服务来保证其IT业务的稳定性。

那么，传统企业如何做好精准运维呢？主要有三个关键点，具体如下：

（1）企业高层要有战略高度，能够意识到业务的发展与信息系统的运行休戚相关，并重视精准运维在促进业务发展中的重要作用；

（2）引入一个专业的运维团队（这个团队往往是第三方专业运维服务商或是监理服务商），能够协助本企业搜集业务需求以及与信息系统密切相关的人、软件、硬件、环境等信息，并进行信息系统与业务的匹配度分析，进而提出对信息系统的优化建议；

（3）企业根据上述优化建议进行综合评估，从成本效益角度选择部分或全部予以实施，并由专业运维团队来跟踪实施效果。

互联网企业

对于互联网企业的运维，如何快速有效地部署、如何保证可利用率、如何处理大并发访问等是他们的头等要事。现代的互联网企业，大量使用PC服务器、普通硬盘盘阵和集群、先进的SSD技术，大量使用Linux、MySQL等开源软件。业务模式单一，软件技术、硬件设备更替迅速。性能优化、部署灵活、提升IT硬件利用率是他们的工作重点，业务领先的互联网企业背后都有一个强大的IT运维技术团队，而这个运维技术团队往往是互联网企业内一个信息部门或运维部门。

对于互联网企业来说，要做好精准运维，主要关注以下几个方面：

（1）企业高层要把握大生态环境，要时刻关注用户体验和发展趋势，并将其作为业务发展的一个重要任务来抓。

（2）企业内部的专业技术团队要开展大数据分析，要掌握用户对业务的动态要求，并预测和引导用户的行为，通过大数据来辅助开展精确预测；同时，将预测结果转化为对信息系统的需求，包括人员、软件、硬件、环境需求等，从而提出性能提升和服务创新的优化建议。

（3）运维实施团队根据内部专业技术团队的优化建议，进行系统性能优化或新服务产品设计，以精确匹配用户需求。

展望未来，“连接一切”将是一个时尚的词句，物物相连，人人相连，人物相连。在这个巨大且复杂的网络中，以大数据、云计算为基础的智能感知世界，就在未来十年诞生，让我们张开双臂，拥抱未来，以大数据为基础，精准感知、精准运维，未来我们是主人。