田熙清,邢豫,王海霞
(中国电信股份有限公司广州研究院,广州 510630)
下一代IT系统架构及实施策略探析
田熙清,邢豫,王海霞
(中国电信股份有限公司广州研究院,广州510630)
下一代;系统架构;集约化;服务化;平台化;组件化;自主化
随着市场的发展和改革的推进,运营商面临一些内外部环境的巨大变化。外部来讲,电信、媒体和信息、互联网内容和应用、终端制造、电子商务等行业“花园围墙”的倒塌,对手相互渗透进入对方的领域。移动互联网的发展模糊了行业之间边界,终端引领,端云整合,运营商面临被管道化的危机。内部来说,三家运营商在展开激烈全方位竞争的同时,虚拟运营商正在摩拳擦掌。运营商之间的竞争已从网络规模的竞争、业务种类的竞争,延伸至品牌的竞争,合作共赢生态链的构建,是否能有效的提升服务水平、运营效率和管理能力。
运营商要突破困境,必须考虑“去电信化[1]”,业务模式从传统的话音经营转向流量经营,实现从单业务到全业务的融合,从自营到批发和代理,从单边商业模式到多边商业模式的转变,打造开放、合作共赢的生态环境。
目前IT支撑系统(以下简称IT系统)采用“总部+分省”建设模式,各专业M/B/O/E烟囱式构建[2],总部系统主要负责各省系统间的路由以及极少数统一建设的系统;31个省级公司以及海外公司按照MSS(管理支撑系统)、BSS(业务支撑系统)、OSS(运营支撑系统)和EDA(企业数据应用)四大域独自建设IT支撑系统。
目前IT系统,各省级公司内部各专业数据不一致,数据难以共享,无法对外提供统一、一致的服务;对外服务接口复杂和不标准,难以快速响应对外开放、合作的业务需求,支撑业务转型。另外从技术层面来讲,目前各省采用IOE架构,存在 “基础设施重复建设严重,各系统耦合度高,功能重复开发,系统的横向扩展能力受到极大制约,系统建设周期长,后期维护成本(OPEX)居高不下”等问题。因此亟需IT系统做出改变,构建下一代IT系统,支撑企业“去电信化”的战略发展和实现IT系统的自我救赎。
不管是对外来说,提供开放、合作的生态环境,还是内部集约化的业务发展、划小核算的精确化管理以及精确营销的智慧运营,都提出了对下一代IT系统的要求:
(1)集约化:打破各省,各专业的独立建设模式,实现主要IT系统的集约化建设,形成合力,快速满足对外对内需求,集约化是下一代IT系统建设的基本原则。
(2)服务化:下一代IT系统能够对外提供IT能力,快速实现合作共赢生态链的对接和整合。对内来说,通过服务化,能够使内部各模块进行解耦,使整个系统更加灵活。
(3)平台化:在基础设施层、数据层、数据服务层、公共组件和应用托管引擎进行统一建设,向上层应用提供统一的计算、存储、网络、安全、基础服务、数据访问、公共组件以及应用托管的能力,形成私有的IaaS (Infrastructure as a Service)和PaaS(Platform as a Service),可以减少以往在基础设施的重复建设,同时可以快速启动新应用开发以及使规模化运维成为可能。
(4)组件化:依照新的业务要求,重新梳理M/B/O/E各专业的业务模块,形成业务组件。组件基于平台提供的能力,根据业务流程进行业务逻辑的编排和开发,提供业务能力,并托管在平台上管理和运行。组件化使系统更加灵活,可以快速加载和响应业务需求,相当于IT系统的SaaS(Software as a Service)。
(5)自主化:平台化是下一代IT系统核心,如果还像10年前一样,放弃自主研发,交由软件开发商开发,难以做到技术可控和成本可控。但在过去10年中,软件开发商为IT系统建设贡献巨大,对业务逻辑非常熟悉,因此上层的应用组件开发可以交给开发商开发,自己专心做好系统的平台化工作。平台的自主研发和应用组件的外包开发相辅相成,缺一不可。
集约化是下一代IT系统建设的原则,服务化是企业转型的要求,平台化是下一代IT系统的核心,组件化是系统能否满足业务发展的基石,自主化是下一代系统能够成功的保证。
下一代IT系统根据自身的需求及目标,以及借鉴互联网公司的最佳实践,建议采用一步到位的技术架构,分步骤去实施。由于OLAP(联机分析处理)系统采用大数据处理技术比较成熟[3-5],不再赘述,本文主要描述OLTP(联机事务处理系统)系统的技术架构,目标架构如图1所示。
图1 下一代IT系统目标架构
系统目标架构为去IOE的分布式架构,即采用x86工业标准硬件+开源软件,具有柔性可扩展、高性能、能快速响应业务需求、稳定、低成本和核心系统自主控制的现代化新型企业IT架构。
目标架构由下三层的平台化和上层应用的组件化组成。平台化,即由基础设施层、基础构件层和服务层组成。基础设施层由x86服务器集群、存储、网络、安全等组成,并通过虚拟化软件对集群进行虚拟化管理和规模化运营,基础设施层相当于下一代IT系统的I-aaS。
基础构件层由分布式MySQL数据库集群、NoSQL数据库集群、分布式文件系统和中间件组成,是平台的基础开源构件,不直接对外服务,同时也是下一代IT系统能够可扩展,弹性伸缩的保证。分布式MySQLl数据库集群存放结构化的持久化数据,NoSQL数据库集群(如Redis,HBase,Mongodb)在内存中存放热点数据,提高热点数据的读取速度,这两者通过分布式数据访问层(Data Access Layer)对外提供数据的存取服务。分布式数据访问层实现数据分片(shared)、SQL语句请求路由功能、支持JDBC规范、主从库负载均衡及复制、读写分离、连接池管理、MySQL集群的数据库节点无缝增加和替换等功能,实现分布式构件对上层应用的透明。分布式文件系统包含HDFS,MooseFS,搜索引擎(Solr/ Lucence)等,前两者存放历史数据或离线数据,搜索引擎应对大量多条件查询的非实时数据。中间件包含Java的应用服务器(如JBoss)等,消息中间件(如ActiveMQ)、四层负载均衡器(如LVS)和七层负载均衡器(如Nginx)等。
服务层包含数据共享服务,公共组件服务和应用托管环境(App Engine)组成,服务层以Open API或管理界面方式直接对上层应用开放,应用层基于平台的服务能力进行应用组件开发。数据共享服务基于分布式基础构件,实现业务数据模型统一、集中和数据的一致性,并对外通过企业服务总线(ESB)提供统一的数据共享访问。公共组件服务,包含统一认证、规则引擎、流程引擎、日志中心、定时任务(Cron)、验证码等,为应用层提供公共的组件服务,无需每一个应用自己单独开发和运维。应用托管环境包含应用注册、发布部署、负载均衡访问、资源分配、运行环境隔离和监控等功能,应用开发商开发完应用后,能够快速在App Engine中加载和运行。
组件化,即打破目前M/B/O/E专业系统的烟囱式构建,重新构建业务流程和定义业务组件,使系统更加灵活和快速响应业务需求。由目前系统开发商基于平台开放的能力进行开发,充分发挥这么多年在业务上的理解和积累,保证能快速完成系统迁移。
在目标架构下,省级节点和集团节点处于平等地位,都是基于平台数据服务能力和公共组件构建,旨在解决目前采用集团枢纽+31省互联,业务流程繁琐,需要大量的协调工作,业务需求响应慢等问题。在新的架构下,采用SOA(Service-Oriented Architecture)理念,应用开发基于平台数据服务能力和公共组件,可灵活组合,甚至多个小的省份基于一个节点来构建,大的省份拆成几个节点,系统节点以App方式在App Engine上托管和运行。
下一代IT系统极其复杂和具有颠覆性,是一项庞大的系统工程,没有成功的同行实施经验,唯有成立自主研发团队,借鉴互联网公司开发运营一体化(DevOps)经验,按照目标架构,用3~5年时间,通过迭代式拆分的方式对IT系统进行迁移改造,实现IT系统的升级和改造。下面从系统架构、组织人才和运营管理给出相应的实施策略,并给出过渡期的建议策略。
3.1系统架构实施路径
在系统架构实施路径上,有两路径可走。其一是,组建自主研发队伍,对目标架构的平台部分进行核心技术攻关,并选择合适龙头省公司核心IT系统作为试点,联合应用开发商进行相关验证,用1~2年时间把试点省份核心系统逐步迁移到目标架构系统,并在运营过程中,不断完善目标架构系统。待目标架构成熟后,有步骤有节奏的把其他省级公司割接到目标架构系统。
另外也可以待目标架构平台成熟后,从客户和管理者感知角度考虑,建议在数据与应用分离的基础上重点围绕端到端业务流程重新划分系统边界,先从CRM、服务开通和网络激活系统着手进行集中化迁移,在全网统一管理客户数据的基础上,实现客户接触、业务受理、服务开通和网络激活等受理 (Fulfillment)流程。其他系统暂保持现有两级架构,其中,省级系统在资源数据基础上实现如计费、批价等计费 (Billing)流程,报障处理等保障(Assurance)流程,客户洞察等数据分析流程。待时机成熟后,进行全面的迁移和割接。
3.2组织人才实施策略
组建IT自主研发队伍,采用自主开发提升企业应对技术风险的能力,通过小步快跑的迭代开发降低技术风险的影响范围,从而形成强大的技术积累,最终实现技术可控。建议依托研发体系采用自主研发,争取在1年之内完成目标架构平台核心技术攻关,搭建生产系统,并在部分实际IT生产系统上进行验证。
招聘高技术人才,打造核心开发运营团队,重点包括LAMP、Hadoop等开源技术人才,同时建立适合关键技术人才成长和稳定环境,留住核心人员,并探索IT基地模式,目标架构系统以基地方式服务省公司实体化运作,负责核心平台的研发和运营,以及上层应用运行环境的托管和维护。IT基地负责技术上的开发运营一体化,业务支撑由现有的IT部门负责。
3.3运营管理实施策略
建立适合运营迭代式开发的工程建设流程和制度,摒弃目前繁琐的资源提前采购流程和系统开发的交钥匙工程。在现有面向业务需求的年度工程项目管理之外,落实面向日常运营需求的迭代式开发成本费用,目前的IT部门是业务需求收集和分析的负责人,涉及数据模型和业务组件的完善,由IT基地进行负责,加快需求响应。
在业务配套措施方面,充分借鉴互联网公司经验,简化业务捆绑复杂度,降低计算复杂度;减少复杂业务捆绑和交叉优惠、缴费支付关系,实现以简单折扣为主的营销策略,降低业务复杂度。清理极少用户套餐、无效套餐,减少业务规则,降低计算量。
3.4过渡斯建议
过渡期内,目前系统还是IOE的集中式架构,在小机采购逐步减少的情况下,尤其是Oracle数据库的主机压力将越来越大,可以对核心系统进行瘦身,减轻核心系统压力,为全面转向目标架构赢得时间,同时培养和锻炼新技术的人才和队伍。
从核心系统剥离大数据量查询功能,放入到NoSQL数据库或分布式文件系统中,减轻核心在线系统负担,提高核心系统处理能力,如清单查询、账单查询、积分查询、日志查询、电子回执等非实时稳定数据剥离到Hadoop中。另外原有IOE集中式架构下,存在大量关系和聚合运算,例如关联查询、统计分析等,利用Oracle数据库的存储过程,依赖数据库计算能力,消耗大量的资源,需要把基于存储过程的计算功能从数据库层剥离,数据库退化为单纯的数据存储。
下一代IT系统的建设是一项复杂的系统工程,强调的是采用x86工业标准硬件+开源软件,形成“核心平台化+应用组件化”的集约化、服务化和分布式架构,具有高度柔性、可扩展、高性能、能快速响应业务需求、稳定、低成本和核心系统自主控制的现代化新型企业IT系统,需要通过自主研发不断积累。为了目标架构能够落地和实施,需要从人才组织和运营管理上,打破目前的条条框框,实施“去电信化”策略予以保证。下一代IT系统成熟后,未来可依托服务化和分布式的新型架构平台开展对外部客户服务,形成自己私有的IaaS和PaaS平台,成为企业ICT业务发展的核心竞争力。
[1]韦乐平.电信业的未来与“去电信化”的思考[J].电信科学,2013(2):1-7.
[2]田熙清,陈泳,胡颖茂.IT支撑系统技术架构的去电信化思考[J].移动通信,2014(5):68-74.
[3]陈翀,谢晓军,陈康.大数据关键技术及其在运营商中的应用研究综述[J].广东通信技术,2013,08:2-7
[4]陈娜,徐歆壹,宋红兵,何毅.基于Hadoop的电信BSS大数据平台建设研究[J].电信科学,2013(3):36-40
[5]漆晨曦.电信企业大数据分析、应用及管理发展策略[J].电信科学,2013(3):12-16.
Next Generation;System Architecture;Intensification;Service-Oriented;Platform;Component-Based;Self-Reliance
Next-Generation IT System Architecture and Implementation Strategy Analysis
TIAN Xi-qing,XING Yu,WANG Hai-xia
(Guangzhou Research Institute of China Telecom,Guangzhou510630)
田熙清(1977-),男,广东广州人,研究生,研究方向为电信IT支撑系统架构及IT系统工程实践
邢豫(1974-),男,广东广州人,研究生,研究方向为大型IT项目管控、IT系统架构设计
王海霞(1975-),女,广东广州人,研究生,研究方向为IT系统架构设计、需求分析
2015-10-13
2015-10-28
分析目前市场背景,企业转型的业务模式变化,以及IT支撑系统存在的问题,指出下一代IT系统的5个要求,即集约化、服务化、平台化、组件化和自主化,给出目标技术架构及关键技术,从系统架构、组织人才和运营管理等方面,提出实施策略及建议,为下一代IT系统建设提供参考。
Analyzes the current market context,business model changes of enterprise transformation,and current IT support system problems,points out five requirements of the next generation of IT system,namely intensification,service-oriented,platform,component-based and selfreliance.Gives the target technology architecture and key technologies from the system architecture.From the following three aspects: system architecture,organizational management and personnel,operation management,proposes the implementation of strategies and recommendations to provide a reference for the next generation of IT system construction.