MSTP 专线中的TCP 传输性能缺陷探讨

滕幼琦

中国联合网络通信集团有限公司苏州分公司

0 引言

近年来，在运营商的专线业务中，MSTP 专线业务的租用越来越普遍，但随之而来的问题也越来越多。在业务开通过程中，多次遇到了以太网表测试正常、UDP 打流测试正常，但是在使用一些文件传输软件测试时出现传输速率异常的问题。本文讨论了某些TCP 协议应用在MSTP 专线上的传输性能表现及优化路径。

1 案例背景

苏州联通为集团客户XX 汽车（以下简称Y 公司）开通了1 条跨境MSTP 大客户专线，带宽为100M，命名为“苏州台湾100M”，如图1 所示。电路开通后，传输挂表测试正常，但Y 公司客户使用该电路进行FTP、飞鸽传书等应用测试时，发现实际文件传送带宽不足100M，苏州客户端上传台湾的速率是236KB/sec，台湾客户端上传苏州速率是5MB/sec。

图1 苏州-台湾传输组网情况

2 案例描述

接到Y 公司用户申告100M 电路速率不达标后，先和台湾端运营商确认传输端口双工模式、LCAS 等参数设置，苏州客户端OSN1500B SSN2EFT8 板端口配置为100M 全双工，LCAS 使能，台湾端传输设备端口配置为1000M 全双工，LCAS 使能。在确认端口参数配置没有问题后，又对全程电路重新挂表进行了复测，由于该100M 电路骨干分配的通道为2*VC3，实际带宽在96M 左右，再次挂表测试结果正常，可以达到理论96M 带宽。

为定位问题段落，决定进行分段测试。首先进行了苏州客户端和CU 台湾POP 点之间的测试，测试工具采用笔记本电脑，测试软件为iPerf 和飞鸽传书，基本能够还原用户实际应用场景。测试结果在TCP 和UDP 场景下，电路传输速率均能达到90MB/sec。然后台湾本地也进行了类似的测试，电路速率也能到90MB/sec。

在分段测试结果正常的情况下，根据经验尝试更换苏州客户端传输设备和板卡，将客户端设备从OSN1500B SSN2EFT8板替换为Metro1000 SS42EFS 板后，客户测试达标，苏州客户与台湾客户使用笔记本测试电路速率可以达到90MB/sec。

3 分析总结

3.1 问题分析

针对电路速率不达标的故障，首先用挂以太网表、UDP打流等方式测试传输通道，排除传输通道是否存在问题。如有可能，减小SDH 链路时延，此方法只在有更短路由的情况下可行。

在传输通道没有问题的情况下，速率不达标的故障现象通常和TCP 协议慢启动、丢包重传、尽力转发、滑动窗口等特点强相关。

在TCP/IP 协议族的传输层有两种协议，UDP（从分层上属于更底层协议）和TCP。其中UDP 是无连接的传输协议，TCP 是有连接的传输协议。由于UDP 的无连接特性，其不适用于有可靠性要求的传输，除非在更高层如应用层中使用应用程序来进行控制；TCP 的有连接特性使它适用于更多应用场景，性能也更被关注。

TCP 协议使用场景主要有两类：交互式数据流和成块数据传送。前者以Telnet、x windows 等应用为代表，后者以FTP 等应用为代表。有连接传输协议要求TCP 协议发送后必须有确认的存在，即发送方发送数据需要接收方确认，否则需要重传以保证数据完整性。最简单的确认方式是停等方式，即发送方需要收到接收方对上一个发送数据块的确认之后，才能继续下一个数据块的发送；TCP 协议使用的确认方式效率更高，一般称为滑动窗口方式。

以太网电路对于IP 层业务来说是直接的承载层-客户层关系，即IP 包加上MAC 层封装即可在以太网电路中传送，且在协议层面完全透明。我们一般会把以太网电路看作一段透明管道。以太网电路的管道容量可以理解为带宽乘以时延。

TCP 的数据传送速率要接近以太网电路的名义带宽需要满足以下条件：接收窗口大小大于管道容量；不产生重传。当接收窗口大小小于管道容量发生重传时，线速带宽将大幅下降。

从理论角度来分析，TCP 线速带宽测试和EOS 单板缓存大小有关，而FTP 测试终端发送流量和终端TCP 滑动窗口、CPU 利用率等因素有关。同一场景测试由于终端各因素条件差异可能会导致进入EOS 单板端口流量存在差异，从现象上不能说明EOS 单板造成测试差异。

对于毫秒级突发流量，EOS 单板无法进行实时监控，目前业界数据设备流控监测也无法做到毫秒级别。通常情况下要完全确认突发流量只能通过wireshark 等软件进行抓包，使用扩容传输电路带宽避免端到端带宽瓶颈，或者对用户设备端口进行shaping 流量整形两种方法，间接验证是否是突发流量丢包引发FTP 测试带宽不达标。

3.2 结论

本案例中更换了不同的传输设备和以太网板卡解决了问题，这和不同以太网板的缓存大小以及对数据报文处理能力差异有关。

传输设备在整个端到端网络拓扑中的定位是高速硬管道，其主要作用是将业务报文尽可能快地从传输设备的一端传送到另一端。理论上是不具备抗突发作用的，当业务流量超过配置带宽时，就会丢包。单板的缓存通常是用于处理GFP封装、QoS、流控功能等，本意不是用于抗突发，抗突发只是附带的效果。

不同的单板由于使用的业务芯片不同，所以各自的缓存大小也有差异，但整体来说传输设备的缓存都不大。所以通常情况下，在端到端处理这种大突发量业务的时候，都是建议在进传输前的数通设备上做端口流量整形，将进入传输的业务流量限制在带宽内，从而解决突发流量超过带宽丢包的场景。

在端到端的网络拓扑中，传输电路属于硬管道，而数通设备则不同，数通设备的数据因为需要进行路由寻址，其数据转发方式都是存储转发，因此路由器的缓存很大，通常都是以Mbit 为单位。但路由器的这种转发方式带来的弊端是会导致传输时延增大，这一点和传输设备的“高速”特性是相悖的，所以也注定了传输设备不会存在大缓存的场景。

在实际业务开通过程中，为了获得很高的线路带宽，应选用更高性能的EOS 板卡，通常情况下，千兆EOS 板卡性能优于百兆EOS 板卡，带交换功能的EOS 板卡性能优于纯透传EOS 板卡。

4 结束语

从技术角度看，MSTP以太网电路在作为长途电路应用时，其在TCP 性能上有先天不足，并且针对这一问题的优化手段均存在一定限制性。在将MSTP 以太网电路运用到各个场景中时，需要充分认识其特点，以保证专线质量能够满足用户需求。