在线学习系统采用分布式架构的研究与实践

李伟，张婧，程利涛

（1.太原铁路局党校，山西 太原 030013；2.太原学院，山西 太原 030001）

1 背景介绍

从安全和应用角度出发，太原铁路局设计并实施了符合自身需求的办公网络——太原铁路局综合办公网。该办公网的主干网络带宽达到了千兆，各站段链路接入网络根据实际工作业务量的需求实施了2M、4M、10M、100M等不同的带宽接入，这样既满足了工作需求，又避免了不必要的网络资源浪费，节省了建设网络环境的成本。

近年来随着铁路信息化的飞速发展，铁路工作人员知识体系老旧与脱产培训困难的矛盾日益突出，运用网络在线培训的教学模式成为解决 “工学矛盾”的首选方案。同时，按照中央2013年颁布《2013-2017年全国干部教育培训规划》要求 （以下简称 《培训规划》），专业技术人员年培训时间不得低于90个学时，在线学习时间不低于80%；企业经营管理人员年培训时间不得低于110个学时，在线学习时间不低于50%。从 《培训规划》中我们已经明确，未来干部培训，在线学习已不再是可有可无的选项，它不仅可以有效缓解工学矛盾，而且已经成为与传统教学一样不可或缺的培训方式，成为统一党员思想、认识党在一个时期内的目标、职责的最前沿阵地。因此，太原铁路局党校经过深入研究后于2011年决定，应用在线学习系统来补充传统教学模式不足的方案。

在研究引入网络在线培训方式的过程中，研究人员发现构建在路局综合办公网上的在线学习系统，存在一个不容忽视的安全问题，即在线培训过程中传输的音视频课件码流较大，当观看视频课件的人员较多时，会造成路局综合办公网的拥堵，严重情况下将会使调度指令难以收发，造成严重的安全隐患。为此要在保证网络安全的条件下开展在线培训，将必须解决这一技术难题。

我们研究了集群结构和分布式架构的优缺点，认为在广域网接入链路宽带有限的情况下，基于软硬件相结合的分布式架构是实施在线学习系统建设的核心；我们还改进了软硬件相结合的分布式网络架构，构建了基于该架构的大规模在线学习系统，并通过实验给出了该架构在网络传输中的优势。该方案解决了大规模传输视频课件的 “可行性、高效性、安全性、拓展性”的问题，同时也为其他领域具有相似网络环境的系统提供了可循的方案参考。

本文从以下几个方面进行了探讨：在第二个问题中简要介绍了方案的优选过程；在第三个问题中给出了改进分布式架构的方案，并给出了实验结果数据；第四个问题给出课件推广的一些意见和建议，并指出了进一步的研究和发展方向。

2 方案优选过程

由于我局专兼职干部人员接近两万，我们不得不增加服务器的集群，或者采用分布式的方式部署；同时网络带宽差异较大，多数站段通过100M接入综合办公网，而部分站段仅有2M的网络带宽，针对这些不同，我们考虑了两种架构方案：

2.1 集群架构

集群架构，是一种计算机系统之间连接的方式，运用它可以将分散的计算系统连接起来，完成原先单独节点的计算机系统无法完成的任务[1]。其优点如下：

1）便于集中管理、维护便利；

2）资源利用的有效性更高；

3）数据安全冗余性更容易实现。

如果我们采用集群架构，则在服务器端需要增加F5负载均衡器及多台性能级发布服务器来扩展访问性能；同时，对于现有网络环境，需要对部分不足10M接入综合办公网的站段，进行网络升级改造，以保证视频在网络中能够流畅播放。因此，这种架构有下面的缺点：

1）硬件成本较高；

2）后期拓展性在网络带宽上不易实现；

3）对太原铁路局网络系统需进行升级改造。

2.2 分布式架构

分布式架构，根据不同的需求有不同的定义，目前仍未有一个权威的定义被业界广泛认同。但所有介绍分布式架构时，大致有以下特点：“分布式架构中包含多台独立的计算机，而这些计算机对于用户而言是透明的，整个系统对于用户而言就像一台计算机在工作”[2]。这里包含了两个含义，首先，就硬件角度而言，分布式架构包含有多台相对独立的计算机；其次，从软件角度分析，用户在使用过程中，不会觉察到有多台计算机存在。这两者缺一不可。目前，点击量较大的网站均使用分布式架构，如淘宝网等。其优点如下：

1）用小型服务器代替大型机，性价比较高；

2）分布式处理数据的能力远超单个大型机；

3）可靠性更高，单个服务器故障，不会影响整个系统；

4）后期拓展性更好，可以与之前的系统无缝接入。

对于这两种架构，我们从以下四个方面进行了考量和选择：

2.2.1 可行性

在目前网络环境不变的情况下，于网络汇聚结点部署分布式课件服务器实现对综合办公网减压的方案，更加符合我们现有网络环境的情况。而采用集群架构，随着学员人数的增加，会对综合办公网产生巨大的压力，甚至倒逼综合办公网进行扩容改造。

2.2.2 高效性

分布式系统因其先天的技术优势，使其具有更好地处理并发访问的能力。

2.2.3 安全性

在现有路局综合办公网汇聚节点部署分布式架构作为课件服务器资源的冗余，不仅能够提升资源备份的安全性，而且在单个节点故障的情况下，不会影响整个系统的政策工作。

2.2.4 拓展性

随着在线培训规模的不断扩大，部分站段对服务器的访问要求势必会不断增加，采用分布式架构在汇聚节点部署课件服务器，今后只需要在压力较大的汇聚点增加课件服务器就能有效解决这一问题。

因此最终决定采用分布式部署视频课件服务器的方案。

3 改进的分布式架构实现方法

分析比较了国内外该领域的先进技术，并结合我局铁路综合办公网基层站段网络带宽有限的特点，在硬件部署上采用了目前国内外流行的架构方式，即于点击访问量较大的节点部署课件服务器。而对软件URL重定向 (Uniform Resoure Locator:统一资源定位器)方面进行了改进。

3.1 一般分布式架构的问题

一般而言从安全角度考虑，分布式架构重定向会通过手动设置完成。如果将IP地址段的设置通过手工录入的方式完成，存在两个问题：一方面，当录入数据量巨大时，这将变成难以完成的任务；另一方面，这样做的结果是当一些站段的IP地址变更或手动录入IP地址段出现遗漏的情况下，势必会有大量学员直接访问主课件服务器，分布式架构也就形同虚设，网络带宽被拥堵、学员观看视频的过程中出现不连贯的隐患将陡然增加。

3.2 改进的分布式架构实现

对于所有的分布式而言，URL重定向是实现的关键。软件设计中，我们在应用模块中增加了分布式负载均衡管理模块来实现URL重定向，其原理如下图1所示：

图1 分布式负载均衡

3.2.1 构建分布式节点和IP地址映射表

将38个分布式节点添加进管理模块中，令其成为不同地区学员访问课件进行学习的重定向节点。

在数据库中增设IP地址映射表，用来将学员IP地址段与38台分布式站点建立映射关系，其中SERVER_ID是该表的主键，SERVER_IP_WG是IP地址段的开始节点，SERVER_IP_END是地址段的结束节点，SERVER_ADD是分布式节点，SERVER_FZ_ID用来标注IP地址段是否在同一台分布式节点服务器下。如下图2所示：

图2 IP地址映射表

3.2.2 实现原理及过程

当学员访问在线学习系统时，系统判断其IP地址是否在数据库中所在的SERVER_IP_WG到SERVER_IP_END地址段中，如果在地址映射表中，则直接重定向至对应的分布式站点；如果不在地址映射表中，则将新的IP地址段自动添加到映射表SERVER_IP_WG和SERVER_IP_END字段中，并计算距离该IP地址段最近的分布式站点地址；随后查找该分布式站点的ID号，将计算出的结果和分布式站点ID号，分别添加至地址映射表SERVER_ADD和SERVER_FZ_ID字段中。其流程图如下图3所示：

图3 URL重定向工作原理流程图

计算新的IP地址段距离最近的分布式服务器地址的方法，即通过在路局设置在线学习系统主发布站点，访问站点通过调用路由跟踪来获取IP数据包访问发布主站点的全部目标路径[3]。则距离申请节点最近的分布式节点，即为该IP段所应该访问的分布式站点。如下图4所：

图4 获取距离最近的分布式节点方法

通过在业务逻辑层和数据访问层之间增加了软件分布式负载均衡的方法，分析各个站段IP地址段访问路局时所经过的汇聚节点，建立学员访问视频课件的策略，当有学员上线观看视频课件时，对不同IP地址的学员进行分流，来解决网络传输过程中综合办公网压力过大及学习过程中视频播放不流畅的问题。

3.3 实验结果对比

当分布式访问模式开启，网络在线学习人数达到50人时，网络带宽占用在4～9M之间，网络使用率在2%左右，如图5所示；在关闭分布式访问模式后，网络在线学习人数达到50人时，网络带宽占用在30～70M之间，网络使用率在5%以上，如图6所示。

图5 分布式启用时50人在线情况

图6 分布式停用时50人在线情况

4 结果与展望

目前，该方法应用到我局在线学习系统后，运行情况一切良好。故该分布式架构系统的成功运行，可为具有相似网络环境的系统起到借鉴意义。但由于在设计实现过程中采用了.NET技术在跨平台、跨语言方面还有待提高；另外，分布式站点采用了IP地址加端口绑定的管理操作，相对而言在维护性上不太方便；最后，虽然该平台运行在广域网中，但不能忽视设计阶段缺少合理地分布式安全性支持。