终端智能测试方法论

［刘光］

1 中国宽带互联网业务发展现状

近年来，我国信息通信行业主管部门坚决贯彻党中央、国务院关于网络“提速降费”的决策部署，会同相关企业，全力推进宽带网络基础设施建设，推动我国宽带发展水平取得了“跨越式”发展。

我国宽带发展联盟发布的《中国宽带普及状况报告》显示，全国所有地级及以上城市均建成了光纤网络全覆盖的“光网城市”，部分城市加速推进千兆接入网络的建设。随着电信普遍服务试点工作的不断推进，全国98%行政村通光纤的目标也将很快实现。截至2020 年第四季度末，我国光纤宽带用户在固定宽带用户中占比达到98%以上，已超越多年来宽带发展世界领先的日韩等国，稳居全球第一，平均用户接入带宽早突破100 M，并且呈现逐年快速提升之势，1 000 M 光宽进入家庭已成趋势，光猫、路由器等终端设备的性能和质量日渐成为制约高带宽高质量光宽业务发展的瓶颈。

2 光猫终端测试现状及需求分析

中国电信是中国宽带业务发展最早的运营商，拥有最多种类、最多厂商、最多型号、最多版本的OLT 设备及光猫终端设备，以中国电信广东分公司为例，OLT 就包括华为、中兴、烽火、贝尔等4 个设备厂商的7 种EPONGPON 设备；光猫终端设备种类则更多，仅厂家就包括华为、中兴、烽火、四川天邑等12 个，型号数量200 个以上，版本数量在800 个以上。

每年都会有新的设备和版本入网，用以满足用户更高带宽、更加多样的需求，而在中国电信业务如此高速发展的今天，对新的终端和版本的测试目前还是采取传统的人工测试方式，在有限的人力资源情况下，为终端质量把控带来了巨大的问题和挑战：

2.1 新终端设备入网，无法进行长时间的性能及稳定性测试

问题举例：

（1）某型号光猫，在入网测试时，偶尔出现Ipv6 业务不可用，设备重启后便可恢复。由于是概率性发生，且发生时间不固定，人工测试很难发现。

（2）某型号光猫，在入网测试几天后，发生流氓猫现象。该问题发生在对光猫进行长时间、压力测试情况下，引起光猫配置丢失导致。人工测试很难发现。

2.2 新终端设备入网，无法遍历上联所有的OLT 设备进行兼容性测试，需要投入太多的人力资源，带来潜在的问题

问题举例：

（1）某型号光猫在华为OLT 下能正常注册，在烽火OLT 下注册失败；

（2）某型号光猫，相同终端在不同的OLT 下测速不同，其中在某厂家OLT 下测速不达标。

2.3 新版本入网测试时，无法进行多次升降级版本验证

问题举例：

（1）某型号光猫新版本入网测试时，测试一次后没有发现异常。再测试一次，则会出现吊死的情况。

（2）某型号光猫新版本入网测试时，升降级测试几次之后，出现与平台无法通讯的情况。

2.4 OLT 版本升级后，无法进行所有光猫的兼容验证

问题举例：

（1）某OLT 版本升级后，导致下联的某厂家型号的光猫注册失败。

2.5 现网发生的概率性的问题，无法进行复现验证

问题举例：

（1）某特定型号OLT+某特定型号光猫+某特定型号机顶盒在长时间运行过程中，机顶盒出现卡顿花屏现象。

（2）某型号光猫，在长时间使用过程中，会发生宽带稳定性波动较大情况。

我们暂且不再一一列举潜在的问题和挑战，总的来说，通过传统的人工测试，无论在新终端/新版本入网选型、到货检测、现网问题复现等环节，都会带来测试效率低、占用大量人力与时间，有些概率性或稳定性问题无法测试复现、定位等问题。急需寻找一种测试方法，来规避这些可能的问题。

3 光猫终端自动化测试实施方案

3.1 总体方案

基于上述终端测试现状的分析，考虑调整现有的测试策略，优化现有的测试流程，结合运营商现有的测试能力，引入更高效的测试手段和工具。

（1）测试策略调整：采取人工测试+自动化测试结合的方式，来更好的把控终端质量，提升测试的效率。其中：人工测试主要关注配件、外观、常规的配合和功能测试等，自动化测试主要关注性能、长时间稳定性、并发稳定性等。

（2）测试流程优化：在新终端/新版本入网测试前，厂商需要按照运营商的标准，提供完整的自测报告，以保证终端自身的功能、性能、稳定性，而运营商则把测试重点放在终端和本省网络结合之后的性能、稳定性上。

（3）引入高效的测试工具和手段：如上述（1）中所述，需要引入自动化手段和工具，基于现网100%网络接入环境，开发覆盖各类实际业务场景的自动化测试任务流，100%模拟以往需大量人手操作执行的各类测试验证工作，提升测试效率，释放人力投入更具价值的生产创新工作，下面重点介绍该自动化测试方案。

3.2 技术原理

通过自动化的手段模拟人工进行光猫的功能、性能、稳定性以及光猫和OLT 的兼容性测试。

系统使用python 3 作为脚本程序主体语言，利用Selenium 和Webdriver 技术驱动网页程序，实现对光猫注册管理、宽带测速、QoE 探针、ITMS 网管系统、天翼高清播放、语音电话拨测的自动化操作，并通过自动化接口对接ITMS、终端探针、天翼高清SQM 等业务质量管理系统，实现测试结果的全自动获取，自动生成报告，解决以往人工测试需手工记录、易错漏与耗时长等问题。

3.3 实施方案

3.3.1 终端自动化测试系统架构

如图1，系统按照以下方案进行构建：

图1 终端自动化测试系统架构

该方案中包括四大部分：

（1）测试设备：指的是3.3.1 章节中提到的被测设备，通过网线、电话线和测试系统相连接。

（2）测试网络：测试用的OLT 及其上联网络设备。其中OLT 覆盖了广东省所有的OLT 型号，包括华为、中兴、烽火、贝尔的GPON 和EPON。

（3）测试系统：这是该测试方法论用到的核心测试工具平台，包括测试管理平台（WEB 服务器）、测试执行服务器、脚本编写环境、语音模拟服务器、交换机等。

（4）网管系统：指广东省的ITMS 系统、SQM 系统、QoE 系统等。该测试方法论在设计之初就考虑到，能更好的结合现有的系统能力。

3.3.2 终端自动化测试系统模块

测试系统主要包括以下几部分：

管理服务器：提供WEB 管理入口，实现光猫管理、测试策略管理、测试任务管理、测试报告管理、系统管理等，管理服务器为该系统的核心管理模块，测试工程师的绝大部分工作都是在该WEB 界面完成。

执行服务器：通过交换机，上联管理服务器，下联光猫设备，接收管理服务器下发的各类测试任务，执行测试脚本。

脚本编写环境：该系统封装了常用的测试接口，采用Python 脚本实现了所有业务测试的脚本，简单易学。

语音测试服务器：该设备为辅助测试设备，配合光猫的语音业务测试。

3.3.3 终端部署

由于终端种类繁多，采取以下方案（如图2 所示）进行部署：

图2 终端部署方案

按照这种方案部署有以下优势：

（1）集中管理：通过对光猫（或机顶盒）、猫架位置进行一对一编号，可以保证在有限的空间里，集中放置更多的终端设备；

（2）易于散热：将每台光猫分层、隔位放置，保证设备在长时间运行过程中可以充分的散热，不会相互影响；

（3）方便测试：整个测试方案中实现了不同OLT 和光猫的自动化切换，通过分区域、分层部署，更加方便管理和测试。

3.3.4 应用场景

（1）功能自动化测试

重点实现以下主要测试用例功能自动化测试：

①光猫自动化注册

② 光猫和网管平台交互测试

③三大主要业务IPTV、宽带、语音测试

④ IPV6 业务测试

⑤ 光猫版本升降级

⑥ 光猫恢复出厂测试

（2）性能专项测试

按照光猫的测试规范标准，进行光宽带吞吐量性能测试。（多次数据采集）

（3）长时间稳定性测试

对光猫基本功能进行7＊24 小时的MTBF 测试，保障光猫长时间运行过程中基本功能稳定，使用质量高，用户体验好。

（4）其它使用场景

将光猫自动化测试系统与现有的测试业务流程结合，可以支持：

①新光猫入网、入库测试

② 光猫版本升降级验证测试

③用户现场偶现问题的复现定位测试

④ 固定光猫，可测试上联网络设备

3.4 效果分析

（1）自动化测试报告

测试报告样例如表1 所示：

表1 终端自动化测试报表样例

（2）性能专项测试报告

对多光猫、多OLT 进行吞吐量性能专项测试，测试报告样例如图3、图4、图5 所示：

图3 华为终端测试结果实例

图4 烽火终端测试结果实例

图5 中兴终端测试结果实例

（3）测试问题定位分析测试过程中，会有测试日志和错误截图，方便定位和分析问题。以注册测试为例：

图6、图7 展示了注册过程中的每一步日志和截图。

图6 终端自动测试过程截图

图7 终端自动测试系统进程日志图例

3.5 实施前后对比

表2 所示为该方法论中提到的自动化测试方案和传统的手工测试方案的对比。

表2 多种测试方案的对比

3.6 方法落地资源需求

（1）测试场地：要求具备5 米（长）＊5 米（宽）的场地来放置被测光猫，为了方便管理和散热，该方案中使用了定制版猫架。

（2）测试网络环境：覆盖广东省电信所有主流OLT类型的网络环境，同时，准备对应数量的测试账号，落地过程中需要考虑不同账号类型的分布。

（3）测试终端：申请对应数量的公免测试账号，会自带光猫和机顶盒，可用于调试测试环境，未来可用新终端或现网终端来替换初始光猫。

（4）供电设备：为光猫和机顶盒提供充足的供电端口。

（5）电视：展示测试过程中的机顶盒HDMI 输出。

（6）测试服务器：1 台测试管理服务器+2 台测试执行服务器+1 台语音测试服务器+配套交换机等辅助设备。

4 总结

方法实施使用后，可覆盖当前入网选型测试、到货检测等多种场景下的终端业务质量、长时间性能稳定性测试，通过7＊24 小时不间断测试采集的海量数据，智能分析不同OLT、不同光猫、不同版本匹配组合下的功能、性能及稳定性问题，全程无需人工干预，全部通过自动化方式实现。同时在实际使用过程中，可不断把用户反馈的问题、更丰富的测试场景和终端、更多的版本进行整合，通过AI持续优化测试用例、流程，保证测试结果更客观合理，切实保证全网的网络及终端质量，给用户提供更高速、稳定、可靠的服务、更优质的用户体验，提升用户满意度，降低用户投诉率，同时每年可节省百万级的传统人工测试成本费用。