高速网络数据采集产品的测试及应用研究

1 引 言

随着一体化综合舰船信息系统的发展，作战系统网络节点数及数据流量大幅增加，网络环境也从原来的百兆网络环境提高到千兆网络环境，网络结构日趋复杂，所以对网络数据监控记录设备，普通网卡的数据采集性能已不能满足使用需求[1,2]。为了保证数据采集的全面、可靠和有效，需要使用高速网络数据采集卡进行网络数据的监控和记录。

为了选择符合功能及性能需求并有利于二次开发的高速网络数据采集卡，本文对Finisar和Clearsight这两种目前较为成熟的网络数据采集产品进行了测试研究，比较了两种数据采集产品的功能、性能，并对基于Finisar采集卡自行开发的录取程序进行了测试，考察了两种产品二次开发的难易程度，为选择更符合使用要求并有利于进一步开发的数据采集产品提供参考。

2 设备基本情况

Finisar网络数据采集产品是专注于网络数据捕获、网络流量统计、协议类型及报文内容的综合分析和处理产品，具有强大的网络数据捕获和网络报文分析功能。其网络数据的捕获由硬件采集卡完成，并且可以实现多卡同步工作，共同完成大流量网络数据的采集。利用Finisar公司的配套商用软件，各个采集节点之间可以互相进行远程控制，并可以获取各远程节点的网络数据采集统计信息。

Clearsight网络数据采集产品同样具有强大的网络数据捕获和网络报文分析功能。其网络数据的捕获也是由专门的硬件采集卡完成，但不具备多卡同步协同工作能力。与Finisar网络数据采集产品一样，Clearsight的各个采集节点之间也可以互相进行远程控制，并获取各远程节点的网络统计信息。

3 测试内容

3.1 被试设备

具体的被试设备参数配置见表1。

表1 被试设备配置

3.2 配试设备

具体的配试设备参数配置见表2。

配试所用数字视频的基本参数见表3、表4。

表2 配试设备配置

表3 被测数字视频参数

表4 数字视频网络流量统计

3.3 数据采集性能测试

3.3.1 1 000 Mbps流量数据采集测试

1) 测试环境

1 000 Mbps流量数据采集测试环境如图1所示。被试设备(Finisar网络数据采集卡或Clearsight网络探针)与Finisar协议分析仪数据口通过双绞线直接相连，从而避免因交换机性能引起的丢包；协议分析仪、PC机均与交换机相连，通过监控协议分析仪的PC机控制网络数据收发、查看统计信息[3,4]。

图1 1 000 Mbps流量数据采集测试环境示意图

2) 测试过程

在以太网中报文长度在64～1 518 B之间[5]，所以测试中选择了64 B和1 518 B这两种极端长度的报文。由于协议分析仪模拟流量时报文之间存在间隔，所以在线速下发送64 B长度报文时的网络利用率最高可达到73.3%，而发送1 518 B长度报文的网络利用率最高可达97.8%[6]。

测试时，协议分析仪在1 000 Mbps线速下发送长度为64 B或1 518 B的广播报文，被试设备接收报文，利用设备配套软件统计报文接收数量，并与协议分析仪统计数据比对，测试其在1 000 Mbps数据流量下的数据采集能力(表5)。

表5 1 000 Mbps流量数据采集测试数据

3) 测试结果

两种网络采集产品均可以在1 000 Mbps流量下实现数据的完全采集。

3.3.2模拟复杂环境数据采集测试

1) 测试环境

由于实际使用环境中，网络各节点通过交换机互连，各节点间传递的报文类型、长度各不相同，模拟舰用网络环境如图2所示。交换机1和交换机2均为1 000 Mbps的24口交换机，两个交换机直连；模拟节点1～6为PC机，节点7为笔记本电脑，分别接交换机1的普通口，用于模拟数据流；硬盘录像机接交换机1的普通口，用于模拟数字视频，提高网络流量；模拟节点8为PC机，接交换机2的普通口，用于远程操控硬盘录像机；协议分析仪接交换机2镜像口，用作测试基准；被测设备接交换机1镜像口。

图2 模拟复杂环境数据采集测试环境示意图

2) 测试过程

测试时，数据流方向如图2中箭头所示，模拟节点1～7发送一定长度的广播数据(虚线)，节点8远程操控并获取硬盘录像机16路动态数字视频信息(实线)。被试设备和协议分析仪分别在两个镜像口过滤掉其他数据而只接收广播数据， 利用设备配套软件统计报文接收数量， 并与协议分析仪统计数据比对， 测试其在大流量复杂网络环境里对指定数据类型数据的采集能力(表6)。

表6 模拟舰用环境数据采集测试数据

3) 测试结果

两种数据采集产品在模拟实际使用环境中对指定广播数据都可以实现完全采集，在数据采集性能上均可满足使用需求。

3.4 二次开发测试

二次开发工作主要利用产品提供的相关开发接口所编写的适应用户个性化需求的数据采集程序。

利用第3.3节中的两个测试环境，用两个自行开发的程序对两种采集产品进行了进一步测试。测试结果显示自行开发的数据采集程序对于两种卡的数据采集性能及功能基本没有影响。

1) 数据采集性能 两种产品所提供的开发接口均可实现在1 000 Mbps数据流量下数据的完全采集；

2) 数据采集功能 两种产品均可实现网络数据发送、网络数据过滤后录取、网络数据实时存储以及流量等相关信息的实时统计及分析、存储数据的过滤与显示等基本功能；

3) 二次开发灵活性 Clearsight仅提供了少量对数据处理及相关操作的接口，而Finisar提供的是对数据采集卡的操作接口。两相比较，Finisar网络数据采集卡在二次开发时需要做的工作更多一些，但正因为如此，开发用户程序时无论是在功能还是在界面上灵活性更大。

4 结束语

通过对两种网络数据采集产品的功能、性能以及二次开发的测试，在基本数据采集功能和性能方面两种数据采集产品都可满足1 000 Mbps网络环境下数据完整采集的要求。在二次开发过程中，由于Finisar网络数据采集卡提供的是对板卡本身的操作接口，可以在开发时做更多的个性化工作，开发灵活性更大，而Clearsight探针仅提供了部分数据解析处理接口，开发灵活性不够，但完成主要功能的二次开发工作较为简单。

两种网络数据采集产品都可以满足1 000 Mbps网络数据监控记录设备使用需求，可根据不同应用环境选择适合的网络数据采集产品。其中，Finisar网络数据采集卡已被选用于某型舰艇的数据录取设备。

参考文献:

[1] DP8361 VQM-3EN Gig PHYTER 10/100/1000 ethernet physical layer[S]. National Semiconductor, 2001.

[2] COMER D E.计算机网络与因特网[M].第三版.北京.清华大学出版社，2002.

[3] 戴汉平，陈建成.局域网组网中的选型与实践[J].软件世界, 1994(7):12-13,7.

[4] 王廷尧,马克成.以太网知识讲座(8)——以太网网络组织及其管理[J].天津通信技术， 2003(4):50-58.

[5] TANENBAUM A S.计算机网络[M].北京：清华大学出版社， 1998.

[6] BRADNER S, MCQUAID J. RFC2544 benchmarking methodology for network interconnection device[S].RFC Editor,1999.

[7] QUINN L B,RUSSELL R G.快速以太网[M].邝坚，龚向,刘晓梅,译.北京：人民邮电出版社, 2000.