云桥数据库一体机在移动业务系统中的应用

储浩+吕万里

【摘 要】云桥数据库一体机，具有超强的处理性能、无限的线性扩展能力、高IOPS和高可用性等特点。首先简要介绍云桥数据库一体机的软硬件平台的体系结构，然后通过案例详细阐述了产品的性能，为运营商建设业务系统的数据处理架构提供了另一种思路。

【关键词】数据库一体机 Infiniband 移动业务系统 大数据 性能测试

中图分类号：TP392 文献标识码：B 文章编号：1006-1010（2014）-13-0033-05

1 引言

随着通信技术的迅猛发展和网络规模的不断扩大，用户业务的需求持续增长，且出现了多样性的需求变化。运营商数据流量的显著增长，对业务系统的数据存储和分析能力提出了新的要求。随着X86架构在可靠性、稳定性和容错能力等方面的进步，以及在成本、横向扩容等方面的优势，电信运营商采用的小型机+存储的传统架构正在向X86架构转变。同时Infiniband技术作为当前主流的高性能计算机互联技术之一，是业界追求高性能、高带宽、高效率、低功耗的典范式互联解决方案。南京斯坦德云科技股份有限公司生产的基于X86架构和Infiniband技术的云桥数据库一体机，可为电信运营商提供强大且可横向扩展的数据存储、处理能力。

2 云桥数据库一体机的体系结构

云桥数据库一体机由计算节点（PC Server）、存储节点和网络节点3大部分构成，采用Infiniband技术进行各节点的互联，并结合高速缓存技术，从硬件、操作系统和ORACLE数据库软件等方面进行了整体适配和优化。该一体机结构采用了全冗余设计，解决了传统数据库架构在IO、网络带宽和扩展性等方面的瓶颈问题。云桥数据库一体机拥有1/4、1/2和全配等产品系列，其中最低的1/4配置由2台计算节点、3台存储节点和2台网络节点组成，最高满配的配置由8台计算节点、14台存储节点和2台网络节点组成。产品采用“交钥匙”的一体机交付模式，简化了系统部署、调试的过程。云桥数据库一体机体系结构如图1所示。

图1 云桥数据库一体机体系结构

下面将从硬件平台和软件平台2方面对云桥数据库一体机的体系结构进行描述。

2.1 硬件平台

云桥数据库一体机的硬件平台主要由配置HCA卡的PC Server、Infiniband网络交换机和云桥高速存储系统3大硬件节点组成。

（1）云桥高速存储系统是云桥数据库一体机的核心硬件部件，它创新地将Infiniband技术和存储协议相结合，是一款4U、45盘位的采用SRP存储协议的Infiniband磁盘阵列。云桥高速存储系统内嵌定制的Linux操作系统，提供1～2个40Gbps QDR Infiniband主机通道，支持SAS、SATA和SSD存储介质，可插入6块智能PCI-E存储卡。45块磁盘阵列负责活动性较低的数据的存储和RAID备份，智能PCI-E存储卡作为高速缓存空间，为运营商业务系统的热点数据提供高效的数据读取性能。存储节点根据实际需求可以横向扩展。

（2）PC Server作为云桥数据库一体机的计算节点，负责运营商业务系统的访问和任务调度。计算节点内嵌定制的Linux操作系统，通过PCI-E 3.0的插槽插入HCA卡，接入Infiniband网络，实现存储数据的高速存取和处理数据的功能。用户可以根据自身喜好选择不同品牌的X86服务器，具备高兼容性的特性。

（3）Infiniband网络交换机，每端口提供40Gbps的速率，将其他节点组成一个出色的可扩展的网络架构，实现云桥数据库一体机的数据高速传输的功能。

2.2 软件平台

云桥数据库的软件平台由ORACLE数据库、定制的Linux操作系统、并行计算技术和系统管理软件组成。其特点包括：

（1）采用商业版的ORACLE 11g数据库软件作为关系数据库的管理系统，实现RAC集群和数据存储管理功能。

（2）操作系统基于centos定制，实现对Infiniband技术的支持和应用。

（3）采用RDMA技术并优化程序，实现数据传输的高效率，并降低CPU资源在数据传输过程中的消耗。

（4）并行计算技术，实现任务的并行调度，加快数据的处理速率。

（5）云桥数据库一体机管理软件，通过图形化方式，实现对整个系统的管理和监控。

3 在移动行业的应用

云桥数据库一体机由南京斯坦德公司研发，采用将数据库计算层、互联网络层和存储层相结合的一体化解决方案架构，将ORACLE数据库、Infiniband网络、云桥存储以及flash技术整合在一起。产品采用缓存加速技术和RDMA高速专用网络技术，使得该一体机获得了超强的处理性能、无限的线性扩展能力、高IOPS和高可用性等主要特点，能够为移动行业用户提供高可用、高性能、可扩展的数据处理服务。该产品适用于业务系统的数据仓库、数据库OLAP/OLTP、数据中心业务整合等多种移动运营商的数据应用场景。

3.1 案例背景

某移动公司的经营分析系统负责公司日常经营数据的分析、挖掘，为决策者、各级管理者提供经营决策依据，以实现精细化营销。随着营销业务的快速发展，原先使用的小型机架构的数据库环境的性能已经无法满足系统的要求，主要表现在当处理以数据读取密集、运算负载高为特征的任务时反应缓慢，且其成本、扩容性和开放性等方面都存在诸多限制。为了解决系统存在的问题，新一代数据库架构采用了X86架构的云桥数据库一体机系统。为了对比验证云桥数据库一体机的性能，此次系统改造仍保留了原小型机系统。

3.2 环境配置

原生产环境小型机配置如表1所示：

表1 原生产环境小型机配置

序号 小型机节点 每台节点配置 集群方式endprint

1 3台HP RX8640小型机 Intel Itanium2 1.6GHz

（2 core）CPU*16，192G内存，2块300G SCSI硬盘 ORACLE RAC集群

现生产环境采用云桥数据库一体机1/4配置，具体配置如表2所示：

表2 现生产环境云桥数据库一体机1/4配置序号 节点名称 节点数量 每台节点配置 备注

1 计算节点 2 AMD Quad-Core 8380 2.5GHz CPU*4，64G内存，200GB硬盘*2，40Gbps IB HCA卡*2 ORACLE RAC集群

2 存储节点 3 云桥高速存储系统，2T SAS硬盘*45，1.2T闪存缓存，40Gbps IB端口*2 -

3 网络节点 2 mellanox IS5023交换机，40Gbps IB端口*16 -

新旧系统均处于经营分析系统的业务生产环境中，通过API保证新旧系统的存储数据、任务调度模式均一致，保证性能对比的准确性。具体测试环境如图2所示：

图2 测试环境示意图

3.3 应用效果

通过调用4个计算复杂度高及数据量较大，易对系统造成较高负载的数据库事务，模拟移动业务系统的应用场景进行应用效果说明，数据库事务具体内容如下：

事务1：提取归属地市包含XX市（前第2天，前第3天，前第4天，前第5天数据）并且终端操作系统包含Android（昨天，前第2天数据）的数据。

事务2：提取属性是智能机（前第4天，前第5天，前第7天数据），排除在档客户（前第2天，前第3天，前第4天，前第5天数据）的数据。

事务3：提取入网时长大于36个月（前第2天，前第3天，前第4天，前第5天数据），并且用户品牌包含“标准神州行”（前第5天，前第6天，前第7天，前第8天数据）的数据。

事务4：提取归属地市包含XX市或YY市（前第2天，前第3天，前第4天，前第5天数据），排除农信通潜在用户（昨天，前第2天数据），且年龄介于20和30之间或者入网时长大于36个月（前第2天，前第3天，前第4天，前第5天数据）的数据。

本次应用效果分析使用了ORACLE的SwingBench、Orion和AWR测试工具。

（1）事务的应用特征验证

使用AWR工具抓取了整个测试时间段数据库的状态数据验证此次调用事务的应用特征。图3和图4显示了本次测试计算节点及数据库基本状态信息，图5和图6显示了测试过程中数据库Top5等待事件。其中计算节点中实例STD1 CPU负载为381%，实例STD2 CPU负载为325%，接近系统最大400%的满负载状态数据库的主要等待事件是row cache lock和db file scattered read，等待类型为并发和IO。综上可以验证此次测试使用的事务特征与高并发、计算复杂及高IO的移动业务系统应用特征相吻合。

（2）云桥数据库一体机存储性能

使用Orion工具衡量云桥数据库一体机的IOPS、吞吐量等存储性能，具体性能数值见表3（数据库block大小为8K）：

表3 云桥数据库一体机具体性能数值

序号 IO使用率 最大IOPS 最大吞吐量

1 80%读，20%写 18.6万 1 525.08Mbps

具体测试数据见图7和图8。

（3）与小型机的性能测试结果对比

原生产环境采用了3台HP小型机搭建的数据库集群，而本次测试的云桥数据库一体机采用的是2台HP X86服务器组成的数据库集群，硬件配置方面小型机占有优势，但从测试结果看云桥数据库一体机支撑的移动业务系统响应速度比原小型机生产环境有更佳的性能表现，具体对比结果如表4所示。

测试过程中多次调用4个事务的总耗时量对比结果如图9所示。

（4）结论

在本次移动业务系统使用期间，云桥数据库一体机运行平稳，能够满足高并发、计算复杂及高IO的业务场景的应用需求，并且具有强大的横向扩展能力，性能、扩展性方面相比小型机具有一定的优势。

4 结束语

本文介绍了云桥数据库一体机的软硬件平台和性能特点，为移动运营商建设业务系统的数据解决架构提供了另一种新思路。

作为追求高效、稳定等性能的X86架构的数据处理产品，云桥数据库一体机以其优越的性能和高扩展性被国内各大运营商所青睐。云桥数据库一体机不仅可以提高运营商的信息化水平，还可以增加运营商在激烈的市场竞争中发现新业务、新需求的机会，帮助运营商在大数据时代提升市场精细化营销水平和深度运营能力。

参考文献：

[1] Ben Prusinski， Syed Jaffar Hussain. Oracle 11g R1/R2 Real Application Clusters[M]. Birmingham： Packt Publishing Ltd， 2010.

[2] Ulf Troppens. Storage Networks Explained： Basics and Application of Fibre Channel SAN， NAS， iSCSI， InfiniBand and FCoE[M]. America： Wiley， 2009.

[3] Source. Industrial Networking： Computer Networks， Intranet， Frame， Myrinet， Infiniband， Scalable Coherent Interface， G.Hn， Controller Area Network[M]. San Francisco： Books LLC， 2009.

[4] Peter Pacheco. Parallel Programming with MPI[M]. San Francisco： Morgan Kaufmann Publishers In， 1996.

[5] 帕切克. 并行程序设计导论[M]. 北京： 机

械工业出版社， 2011.

[6] 中国通信企业协会. 2012——2013中国通信业发展分析报告[M]. 北京： 人民邮电出版社， 2013.

作者简介

储浩：ISO/IEC JTC 1智慧城市研究组专家，博士毕业于同济大学，现任南京斯坦德云科技股份有限公司副总经理兼技术总监，主要从事云计算、大数据技术的研究和研发管理等工作。先后发表科研论文40余篇，申请发明专利6项，软件著作权9项。

吕万里：学士毕业于上海海洋大学，现任南京斯坦德云科技股份有限公司副总经理助理，主要研究方向为云计算、大数据技术在电信和电力行业的应用，参与了智慧城市标准制定等工作。endprint

1 3台HP RX8640小型机 Intel Itanium2 1.6GHz

（2 core）CPU*16，192G内存，2块300G SCSI硬盘 ORACLE RAC集群

现生产环境采用云桥数据库一体机1/4配置，具体配置如表2所示：

表2 现生产环境云桥数据库一体机1/4配置序号 节点名称 节点数量 每台节点配置 备注

1 计算节点 2 AMD Quad-Core 8380 2.5GHz CPU*4，64G内存，200GB硬盘*2，40Gbps IB HCA卡*2 ORACLE RAC集群

2 存储节点 3 云桥高速存储系统，2T SAS硬盘*45，1.2T闪存缓存，40Gbps IB端口*2 -

3 网络节点 2 mellanox IS5023交换机，40Gbps IB端口*16 -

新旧系统均处于经营分析系统的业务生产环境中，通过API保证新旧系统的存储数据、任务调度模式均一致，保证性能对比的准确性。具体测试环境如图2所示：

图2 测试环境示意图

3.3 应用效果

通过调用4个计算复杂度高及数据量较大，易对系统造成较高负载的数据库事务，模拟移动业务系统的应用场景进行应用效果说明，数据库事务具体内容如下：

事务1：提取归属地市包含XX市（前第2天，前第3天，前第4天，前第5天数据）并且终端操作系统包含Android（昨天，前第2天数据）的数据。

事务2：提取属性是智能机（前第4天，前第5天，前第7天数据），排除在档客户（前第2天，前第3天，前第4天，前第5天数据）的数据。

事务3：提取入网时长大于36个月（前第2天，前第3天，前第4天，前第5天数据），并且用户品牌包含“标准神州行”（前第5天，前第6天，前第7天，前第8天数据）的数据。

事务4：提取归属地市包含XX市或YY市（前第2天，前第3天，前第4天，前第5天数据），排除农信通潜在用户（昨天，前第2天数据），且年龄介于20和30之间或者入网时长大于36个月（前第2天，前第3天，前第4天，前第5天数据）的数据。

本次应用效果分析使用了ORACLE的SwingBench、Orion和AWR测试工具。

（1）事务的应用特征验证

使用AWR工具抓取了整个测试时间段数据库的状态数据验证此次调用事务的应用特征。图3和图4显示了本次测试计算节点及数据库基本状态信息，图5和图6显示了测试过程中数据库Top5等待事件。其中计算节点中实例STD1 CPU负载为381%，实例STD2 CPU负载为325%，接近系统最大400%的满负载状态数据库的主要等待事件是row cache lock和db file scattered read，等待类型为并发和IO。综上可以验证此次测试使用的事务特征与高并发、计算复杂及高IO的移动业务系统应用特征相吻合。

（2）云桥数据库一体机存储性能

使用Orion工具衡量云桥数据库一体机的IOPS、吞吐量等存储性能，具体性能数值见表3（数据库block大小为8K）：

表3 云桥数据库一体机具体性能数值

序号 IO使用率 最大IOPS 最大吞吐量

1 80%读，20%写 18.6万 1 525.08Mbps

具体测试数据见图7和图8。

（3）与小型机的性能测试结果对比

原生产环境采用了3台HP小型机搭建的数据库集群，而本次测试的云桥数据库一体机采用的是2台HP X86服务器组成的数据库集群，硬件配置方面小型机占有优势，但从测试结果看云桥数据库一体机支撑的移动业务系统响应速度比原小型机生产环境有更佳的性能表现，具体对比结果如表4所示。

测试过程中多次调用4个事务的总耗时量对比结果如图9所示。

（4）结论

在本次移动业务系统使用期间，云桥数据库一体机运行平稳，能够满足高并发、计算复杂及高IO的业务场景的应用需求，并且具有强大的横向扩展能力，性能、扩展性方面相比小型机具有一定的优势。

4 结束语

本文介绍了云桥数据库一体机的软硬件平台和性能特点，为移动运营商建设业务系统的数据解决架构提供了另一种新思路。

作为追求高效、稳定等性能的X86架构的数据处理产品，云桥数据库一体机以其优越的性能和高扩展性被国内各大运营商所青睐。云桥数据库一体机不仅可以提高运营商的信息化水平，还可以增加运营商在激烈的市场竞争中发现新业务、新需求的机会，帮助运营商在大数据时代提升市场精细化营销水平和深度运营能力。

参考文献：

[1] Ben Prusinski， Syed Jaffar Hussain. Oracle 11g R1/R2 Real Application Clusters[M]. Birmingham： Packt Publishing Ltd， 2010.

[2] Ulf Troppens. Storage Networks Explained： Basics and Application of Fibre Channel SAN， NAS， iSCSI， InfiniBand and FCoE[M]. America： Wiley， 2009.

[3] Source. Industrial Networking： Computer Networks， Intranet， Frame， Myrinet， Infiniband， Scalable Coherent Interface， G.Hn， Controller Area Network[M]. San Francisco： Books LLC， 2009.

[4] Peter Pacheco. Parallel Programming with MPI[M]. San Francisco： Morgan Kaufmann Publishers In， 1996.

[5] 帕切克. 并行程序设计导论[M]. 北京： 机

械工业出版社， 2011.

[6] 中国通信企业协会. 2012——2013中国通信业发展分析报告[M]. 北京： 人民邮电出版社， 2013.

作者简介

储浩：ISO/IEC JTC 1智慧城市研究组专家，博士毕业于同济大学，现任南京斯坦德云科技股份有限公司副总经理兼技术总监，主要从事云计算、大数据技术的研究和研发管理等工作。先后发表科研论文40余篇，申请发明专利6项，软件著作权9项。

吕万里：学士毕业于上海海洋大学，现任南京斯坦德云科技股份有限公司副总经理助理，主要研究方向为云计算、大数据技术在电信和电力行业的应用，参与了智慧城市标准制定等工作。endprint

1 3台HP RX8640小型机 Intel Itanium2 1.6GHz

（2 core）CPU*16，192G内存，2块300G SCSI硬盘 ORACLE RAC集群

现生产环境采用云桥数据库一体机1/4配置，具体配置如表2所示：

表2 现生产环境云桥数据库一体机1/4配置序号 节点名称 节点数量 每台节点配置 备注

1 计算节点 2 AMD Quad-Core 8380 2.5GHz CPU*4，64G内存，200GB硬盘*2，40Gbps IB HCA卡*2 ORACLE RAC集群

2 存储节点 3 云桥高速存储系统，2T SAS硬盘*45，1.2T闪存缓存，40Gbps IB端口*2 -

3 网络节点 2 mellanox IS5023交换机，40Gbps IB端口*16 -

新旧系统均处于经营分析系统的业务生产环境中，通过API保证新旧系统的存储数据、任务调度模式均一致，保证性能对比的准确性。具体测试环境如图2所示：

图2 测试环境示意图

3.3 应用效果

通过调用4个计算复杂度高及数据量较大，易对系统造成较高负载的数据库事务，模拟移动业务系统的应用场景进行应用效果说明，数据库事务具体内容如下：

事务1：提取归属地市包含XX市（前第2天，前第3天，前第4天，前第5天数据）并且终端操作系统包含Android（昨天，前第2天数据）的数据。

事务2：提取属性是智能机（前第4天，前第5天，前第7天数据），排除在档客户（前第2天，前第3天，前第4天，前第5天数据）的数据。

事务3：提取入网时长大于36个月（前第2天，前第3天，前第4天，前第5天数据），并且用户品牌包含“标准神州行”（前第5天，前第6天，前第7天，前第8天数据）的数据。

事务4：提取归属地市包含XX市或YY市（前第2天，前第3天，前第4天，前第5天数据），排除农信通潜在用户（昨天，前第2天数据），且年龄介于20和30之间或者入网时长大于36个月（前第2天，前第3天，前第4天，前第5天数据）的数据。

本次应用效果分析使用了ORACLE的SwingBench、Orion和AWR测试工具。

（1）事务的应用特征验证

使用AWR工具抓取了整个测试时间段数据库的状态数据验证此次调用事务的应用特征。图3和图4显示了本次测试计算节点及数据库基本状态信息，图5和图6显示了测试过程中数据库Top5等待事件。其中计算节点中实例STD1 CPU负载为381%，实例STD2 CPU负载为325%，接近系统最大400%的满负载状态数据库的主要等待事件是row cache lock和db file scattered read，等待类型为并发和IO。综上可以验证此次测试使用的事务特征与高并发、计算复杂及高IO的移动业务系统应用特征相吻合。

（2）云桥数据库一体机存储性能

使用Orion工具衡量云桥数据库一体机的IOPS、吞吐量等存储性能，具体性能数值见表3（数据库block大小为8K）：

表3 云桥数据库一体机具体性能数值

序号 IO使用率 最大IOPS 最大吞吐量

1 80%读，20%写 18.6万 1 525.08Mbps

具体测试数据见图7和图8。

（3）与小型机的性能测试结果对比

原生产环境采用了3台HP小型机搭建的数据库集群，而本次测试的云桥数据库一体机采用的是2台HP X86服务器组成的数据库集群，硬件配置方面小型机占有优势，但从测试结果看云桥数据库一体机支撑的移动业务系统响应速度比原小型机生产环境有更佳的性能表现，具体对比结果如表4所示。

测试过程中多次调用4个事务的总耗时量对比结果如图9所示。

（4）结论

在本次移动业务系统使用期间，云桥数据库一体机运行平稳，能够满足高并发、计算复杂及高IO的业务场景的应用需求，并且具有强大的横向扩展能力，性能、扩展性方面相比小型机具有一定的优势。

4 结束语

本文介绍了云桥数据库一体机的软硬件平台和性能特点，为移动运营商建设业务系统的数据解决架构提供了另一种新思路。

作为追求高效、稳定等性能的X86架构的数据处理产品，云桥数据库一体机以其优越的性能和高扩展性被国内各大运营商所青睐。云桥数据库一体机不仅可以提高运营商的信息化水平，还可以增加运营商在激烈的市场竞争中发现新业务、新需求的机会，帮助运营商在大数据时代提升市场精细化营销水平和深度运营能力。

参考文献：

[1] Ben Prusinski， Syed Jaffar Hussain. Oracle 11g R1/R2 Real Application Clusters[M]. Birmingham： Packt Publishing Ltd， 2010.

[2] Ulf Troppens. Storage Networks Explained： Basics and Application of Fibre Channel SAN， NAS， iSCSI， InfiniBand and FCoE[M]. America： Wiley， 2009.

[3] Source. Industrial Networking： Computer Networks， Intranet， Frame， Myrinet， Infiniband， Scalable Coherent Interface， G.Hn， Controller Area Network[M]. San Francisco： Books LLC， 2009.

[4] Peter Pacheco. Parallel Programming with MPI[M]. San Francisco： Morgan Kaufmann Publishers In， 1996.

[5] 帕切克. 并行程序设计导论[M]. 北京： 机

械工业出版社， 2011.

[6] 中国通信企业协会. 2012——2013中国通信业发展分析报告[M]. 北京： 人民邮电出版社， 2013.

作者简介

储浩：ISO/IEC JTC 1智慧城市研究组专家，博士毕业于同济大学，现任南京斯坦德云科技股份有限公司副总经理兼技术总监，主要从事云计算、大数据技术的研究和研发管理等工作。先后发表科研论文40余篇，申请发明专利6项，软件著作权9项。

吕万里：学士毕业于上海海洋大学，现任南京斯坦德云科技股份有限公司副总经理助理，主要研究方向为云计算、大数据技术在电信和电力行业的应用，参与了智慧城市标准制定等工作。endprint