运营商短消息行业网关云化方案研究

赵军生，吕书林，高 平，任高强，崔云龙

（中国移动通信集团设计院有限公司 河南分公司，河南 郑州 450000）

0 引 言

行业网关（Industry Application Gateway，IAG）是用于承载集团客户（Enterprise Customer，EC）或业务集成商（Service Integrator，SI）提供的具有集中的数据库、服务于特定行业用户应用的网关平台，例如警务通、校信通等[1]。随着互联网金融、电子商务网上实时交易的业务量呈指数级增长，对行业网关实时性、可靠性要求越来越高[2]。

1 系统现状

中国移动总部及各省行业应用网关短信模块（SMS-A)之间组成网状网，各省行业网关SMS-A与本省短信中心直联。SMS-A与EC/SI以标准中国移动点对点协议（China Mobile Peer to Peer，CMPP）连接，EC/SI通过该连接发送和接收短消息；SMS-A与本省短信中心（Short Message Service Center，SMSC）以标准SMPP协议连接，SMS-A通过SMSC向本省用户下发消息下行（Mobile Terminate，MT）短消息，并接收用户发送的消息上行（Mobile Originated，MO）短消息。全网行业网关组网如图1所示[3]。

图1 中国移动行业网关全网组网

本省行业网关系统采用双节点容灾部署，系统硬件最大处理能力为35 000条/s，其中主节点机房硬件处理能力23 500条/s，备节点机房硬件处理能力11 500条/s。现网有超过20台设备入网，使用时间超过10年以上，服务器已经停止生产，磁盘阵列等已无维保，配件损坏时存在业务中断风险。此外，生产节点和容灾节点处理能力不一致，容灾节点无法完全承载业务。

2 云化资源分析

2.1 网络云

网络云主要承载基础核心网相关网元、相应业务平台以及网管支撑系统。在原有标准网络功能虚拟化（Network Function Virtualization，NFV）“三层一域”架构基础上增加了软件定义网络（Software Defined Network，SDN）相关功能，如图2所示[4]。

图2 NFV/SDN系统架构

引入SDN后，“三层一域”架构描述如下。硬件层为各类计算、存储、SDN硬件转发设备以及非SDN硬件转发设备等物理设备的集合。虚拟层将物理计算、存储、网络资源虚拟化成虚拟的计算、存储、网络资源，为虚拟化网元的部署、执行及管理提供虚拟资源池。虚拟网元层包括虚拟化网元和网元管理。虚拟化网元部署在网络功能虚拟化基础设施上，实现软件化的电信网元功能。网元管理实现虚拟化网元的管理功能，例如配置、告警以及性能分析等。网络功能虚拟化管理和编排架构主要包括NFV编排器（NFV Orchestrator，NFVO）、虚拟化网元管理器（Virtualized Network Function Manager，VNFM）和虚拟资源管理器（Virtualized Infrastructure Manager，VIM）3部 分。NFVO实现网络服务、虚拟网络生命周期管理及全局资源管理，是云管理的决策者；VNFM实现虚拟网元生命周期管理，是VNF管理的执行者；VIM实现虚拟化基础设施管理，是虚拟资源及硬件资源管理的执行者[5]。

2.2 移动云

移动云是中国移动面向政府、企业以及公众提供的新型资源服务，采用中国移动自主研发的“大云”平台构建的公有云。按照全国N+31+X的整体布局，通过云专网等云网一体实现业务一键开通，以内容分发网络（Content Delivery Network，CDN）云化等边缘能力部署实现云边协同，以位置类、用户画像类等重点促进云和大数据融通，以人工智能平台协同开放实现云智融合，全面提升公有云的差异化竞争优势[6]。

2.3 分析与选型

移动云、网络云均开通到CMNET、IP承载专网的网络出口，但是移动云在IP承载专网上只管理流量，没有开通业务虚拟专用网络（Virtual Private Network，VPN）。虽然移动云额外开通到云专网的出口，但是不是行业网关系统云化所需。此外，与行业网关系统交互较多的短消息中心等已经在网络云上云化部署，网络云承载行业网关业务较为合适。行业网关云话软件平台部署时需要云平台具备NFV虚拟化功能，网络云采用NFV虚拟化技术，移动云采用OpenStack的互联网云计算架构[7]。

3 方案设计

3.1 网络资源

通过对行业网关现网设备运行情况和网络出口的分析，云化后系统对外接口与网络连接方式如表1所示。

表1 系统对外接口与网络连接方式

对于到短信中心，目前短消息中心已经大区化部署，行业网关系统也部署在网络云资源池上，通过集团IP承载专网以VPN方式实现数据通信；对于到省级BOSS计费、省级4A网络安全管控平台，网络云目前与省内的IP承载网已互通，通过省IP承载专网实现数据通信；对于到省内外EC/SI客户群体，目前网络云资源池上有CMNET出口路由，行业网关系统可以通过CMNET网络实现互联互通；对于专线和省内自有业务，行业网关系统部署在网络云资源池上后需根据实际情况申请2M线路，实现与对端的互联互通。

3.2 云资源需求

系统采用分布式数据访问机制及虚拟化技术实现软、硬件解耦，实现专有硬件向通用硬件、云平台的业务迁移[8]。根据行业网关业务发展情况和集团容灾要求，主节点与容灾节点处理能力按1∶1建设，行业网关主备节点分别上云，均建设20 000条/s的短信处理能力，总短信处理能力为40 000条/s。单节点所需硬件资源如表2所示。

表2 单节点所需硬件资源

3.3 开源分布式数据库

行业网关云化采用基于云化环境部署的开源分布式数据库代替Oracle，如图3所示。

图3 行业网关云化采用开源数据库示意图

3.3.1 开源的MySQL数据库

系统通过Keepalived+MySQL双主同步的方式实现数据库高可用，两个数据库通过互为主备方式开启双向同步，通过Keepalived在两台数据库主机设定浮动IP的方式保证一台服务器对外提供服务。当主节点发生宕机时，Keepalived能够监控到主节点故障，将浮动IP切换到备数据库上，此时备数据库变成主数据接管业务。当宕机的数据库修复后，会作为备数据库运行，同时会通过数据同步程序从新的主数据库同步宕机期间的变化数据，保持两库数据一致[9]。

3.3.2 详单数据高可用方案

详单数据采用ClickHouse组件，支持集群部署，支持将同一个表进行分片。每个分片存在不同的主机上，支持多个副本，通过Zookeeper进行协同，副本之间进行数据同步。当数据被写入任何一个可用副本后，系统会在后台将数据分发给其他副本，以保证系统在不同副本上保持相同的数据。当其中某个节点发生故障后，能够由其副本进行替代，自动完成故障修复。

3.3.3 Hadoop的开源分布式架构

采用基于Hadoop的开源分布式架构构建分布数据库系统，对消息详单、日志数据以及配置数据等多种不同类型的数据进行存储，不再采用Oracle[10]。硬件层采用分布式存储服务器，构建分布式存储服务主机集群。存储服务器通过多副本的方式实现数据冗余，保证数据安全。

软件层在存储主机集群上创建Hadoop分布式文件系统（Hadoop Distributed File System，HDFS），为上层的HBase、Hive等应用提供高可靠性的底层存储支持。

4 结 论

随着行业网关系统云化的完成，淘汰了落后的烟囱式IT架构，能够实现资源的动态扩展和迁移，降本增效，也有利于提升运营商的行业信息化服务能力。