高端路由器8 口万兆子卡的硬件设计

齐 剑， 胡春晖

（1. 光纤通信技术和网络国家重点实验室 湖北 武汉 430074； 2. 武汉烽火网络有限责任公司 湖北 武汉 430074）

随着网络传输流量日益增长，电子商务，无线3G，高清视屏以及4G 网络等新兴业务的不断涌现， 人们对于网络传输容量的需求越来越大。 高端路由器作为在数据中心和骨干网络层的关键互连设备[1]，扩展传输容量变得十分必要和迫切。 八口万兆光接口子卡作为高端路由器的一块接口子卡，为高端路由器提供8 个10Gb/S 光接口， 有效扩展了传输容量。 本文详细介绍了八口万兆子卡的功能和硬件架构，结合子卡的PCB 设计中所遇到的问题，探讨了PCB 叠层和阻抗，对超高速传输线的信号完整性问题进行了研究。

1 八口万兆子卡功能

图1 八口万兆卡的功能框图Fig. 1 Function block diagram of eight-port 10GbE daughter board

八口万兆子卡在高端路由器中所处的位置如图1 所示。总体来讲，高端路由器包含为不同的槽位，每个槽位插一个母卡或者主控卡，而母卡又包含两个槽位，可以插两块子卡。八口万兆子卡通过连接器与母卡相连，为母卡提供八个10 Gb/S速率的数据通道，最高可以满足160 Gbps 的交换容量。 假如两个槽位都插入八口万兆子卡，便可提供16 个10 Gb/S 的数据通道，交换容量高达320 Gbps。 也可以根据实际需要配置成4 口万兆子卡，2 口万兆子卡，1 口万兆子卡。

2 八口万兆光接口子卡的硬件架构

图2 硬件系统结构图Fig. 2 Structure diagram of the hardware system

本子卡的硬件架构中分为以下几个模块，分别为：时钟电路模块，热插拔模块，电源模块以及控制状态信号连接模块，万兆PHY 模块。

2.1 单盘时钟电路模块

单盘时钟电路模块包含PHY 芯片的工作时钟模块、和恢复时钟模块2 个部分组成。

2.1.1 工作时钟模块

工作时钟模块是为万兆PHY 模块正常工作提供时钟信号，模块的结构及与外部的连接如图3 所示。 时钟模块有两个输入，一：来自于母卡的时钟信号；二：采用本地晶振输出信号作为输入信号。 两种时钟的区别是前者可以保持子卡时钟与母卡时钟同源，这样可保证时钟相位的稳定性，后者是可保证子卡时钟频率稳定。 由母卡的控制信号选择采用哪种信号作为时钟模块的输入。工作时钟模块的输出频率和PHY芯片工作时所需要的频率一致。 工作时钟模块输出的时钟信号要经过滤波电容进入芯片，以滤除时钟信号在传输中混入的噪音，提供芯片工作的稳定性。

需要注意的是，PHY 芯片处于不同的工作模式下， 其工作时钟的频率也是不同的，在实际应用中要仔细查看芯片手册。 例如：本子卡所用的PHY 芯片，当芯片处于10G 工作模式下，工作时钟的频率是156.25 MHz 或161.13 MHz；当芯片处于1G 工作模式下，工作时钟频率是156.25 MHz。

图3 工作时钟模块的示意图Fig. 3 Diagram of work-time module

2.1.2 恢复时钟模块

恢复时钟模块的作用是： 万兆PHY 芯片可以从接收的以太网数据中提取时钟信号，将提取的以太网时钟差分信号转换成适用于母卡工作的单端时钟信号，作为母卡时钟模块的一个输入源，实现同步以太网的功能。

2.2 电源模块

电源模块功能是完成电压的转换， 输出不同的电压值，提供PHY 芯片等器件的正常工作所需的功耗。 本子卡主要的耗电器件是光模块和PHY 芯片。 电源设计需要参考PHY芯片和光模块的电源资料，计算子卡的最大功耗，根据计算结果选择合适的电源芯片，一般要保留20%的余量。 电源模块的输入来自于母卡提供的电源，输出电压满足子卡所需的所有电压，比如1 V，3.3 V 等。

2.3 热插拔模块

热插拔模块由热插拔控制芯片和场效应管组成。 逻辑上，热插拔模块位于连接器和电源模块之间，连接器上的电源信号通过热插拔模块后再连接到电源模块。 此模块的功能有两个，第一：无需断电就可以插拔子卡，方便了子卡的替换；第二：母卡可以通过控制信号控制子卡的上电，比如子卡温度过高，由母卡自动断电。 从而提高了系统对灾难的及时恢复能力、扩展性和灵活性等。

2.4 控制/状态信号连接模块

控制/状态信号连接模块完成两个功能：一：将PHY 芯片的状态信号和光模块的状态信号（光模块在位，LOS 信号）通过并转串芯片转换成串行数据传给母卡， 节约了母卡与子卡信息交互的接口，二：将母卡下达的串行控制信号（关闭各光模块激光器TXdisable 信号），转换成并行信号分别送给光模块和PHY 芯片，完成光模块开关的控制和PHY 芯片工作模式的配置。

2.5 万兆PHY 模块

万兆PHY 模块包含万兆PHY 芯片及其外围电路， 其主要的功能是完成SFI 与XFI 的转换， 集成了电散射补偿（EDC），提供八路10Gb/S 的PHY 通道。 SFI 总线用于光模块与PHY 芯片之间的数据传输，XFI 总线用于PHY 芯片与连接器之间的数据传输，如图4 所示。SFI 比XFI 多了前向纠错（FEC）功能，是因为长距离传输时可能引入误码，需要FEC功能进行纠错。 母卡可以通过MIIM 总线配置PHY 芯片中寄存器。 电源模块输出的电流须经过π 型滤波进入PHY 芯片，滤波电容一般是大电容和小电容混合放置， 小电容放置在PHY 芯片的电源管脚的附近， 目的是滤除不同频率的谐波，减小电源抖动，提高芯片工作的稳定性。

图4 PHY 芯片连接示意图Fig. 4 Connection diagram of PHY chip

3 PCB 设计

本子卡采用cadence 软件设计PCB。 子卡传输数据的速率是10Gb/s，信号的边沿非常陡峭，含有极高的频率成分[2]，使得器件之间的互连不再是简单的导线， 而是具有了容抗，感抗的传输线，其对传输环境要求非常严格。 下面结合本子卡详细探讨一下PCB 设计及其布线规则。

3.1 PCB 叠层分析

PCB 设计，首先要确定PCB 叠层结构。 由于本子卡PCB板的厚度为1.6 mm。 结合实际布线的复杂度，采用八层PCB板，其叠层结构如图5 所示。

图5 PCB 叠层结构图Fig. 5 Structure diagram of PCB stack-up

其中L1，L3，L6，L8 为信号层，P2，P5，P7 为GND 层，P4是VCC 层。 L1/L8 的屏蔽层分别是P2/P7，L3 的屏蔽层是P2/P4，L6 的屏蔽层是P5/P7， 这样的叠层结构使得每一个信号层都有完整的参考平面， 保证了信号线的特性阻抗连续，减少了引起反射的因素， 并且信号层之间有完整的地平面，地平面会吸收高速信号线的电磁辐射， 减小信号层之间的串扰。 但是需要注意的是，就本子卡而言，P4 是电源层，本子卡中包含多种电压，如12 V，3.3 V，1 V，不可避免的要进行电源分割，因此L3 层的高速信号线走线不要跨越电源分割，否则会造成阻抗的不连续，引起反射，导致信号不完整；信号返回路径不理想，环路面积增大，电磁辐射加强，导致串扰。 所以超高速信号线选择L1，L6，L8 层布线。

3.2 阻抗计算

PCB 布线中传输线分为两种布线方式： 微带线和带状线。微带线是一根带状导线（信号线），位于PCB 表层，与地平面之间用一层电介质材料隔离开。 其特性阻抗计算公式[4]为:

W 为线宽，T 为走线的铜皮厚度，H 为走线到参考平面的距离，Er是PCB 板材质的介电常数（dielectric constant）。 此公式必须在0.1＜（W/H）＜2.0 及1＜（Er）＜15 的情况才能应用。

带状线是一条置于两层导电平面之间的电介质中间的铜带线，其特性阻抗计算公式[4]为：

其中，H 为两参考平面的距离， 并且走线位于两参考平面的中间。 此公式必须在W/H＜0.35 及T/H＜0.25 的情况才能应用。

在PCB 设计中，信号线的特性阻抗通常控制在50 Ω，差分对的特性阻抗控制在100 Ω。L1/L8 层的H 为4.42，Er为3.95，通过计算可以得到，L1/L8 层中信号线的线宽是6.5 mil，差分对宽/线间距分别为5/9mil。 可以利用Polar SI9000 计算不同模型的传输线的线宽和线间距。 利用Polar SI9000 计算L3/L6 层差分对的线宽和线间距，分别是5/8mil。 如 图6 所 示。

图6 Polar SI 9000Fig. 6 Polar SI 9000

3.3 布线

本子卡速率为10 Gb/S，属于超高速线。 超高速信号线布线时，采用差分对走线。 差分信号线不仅减少了串扰噪声和电磁干扰噪声，而且降低了对地/电源的共模噪声的噪声敏感度[3]。 下面详细探讨下超高速差分对布线时的细节，若忽视这些细节会导致接收信号误码，甚至出现丢包。

1）布线时注意阻抗匹配，即高速线各点的阻抗相等，差分对的两条信号线之间的线距应保持不变。引起阻抗不连续的因素有很多， 如参考平面不连续，PCB 印制线的宽度变化， 途径过孔等等。 阻抗的不连续不仅会导致反射，而且还可能会增大其他因素的影响，如串扰。 串扰噪声由于临近线的阻抗不连续，反复的反射震荡叠加，可能会叠加出更大的噪声[2]，甚至会导致振铃反应。 振铃噪声正比于谐振周期和时钟沿上升/下降时间的比值。 当走线很短时，电感量和分布电容量都很小，这样谐振频率很高，谐振周期很短， 振铃的幅度亦很小。 当走线长度增加时，电感量和分布电容量都加大，谐振周期变长，振铃幅度也加大，此时对电路的正常工作会产生较大的影响。 反射系数k 的 公 式[4]是：

Zo是变化后的阻抗，Zi是变化前的阻抗。

关于超高速差分对的阻抗匹配尤其要注意的一个细节是：消除焊盘区阻抗不连续。超高速差分对通常要经过AC 耦合电容，此时要挖空耦合电容焊盘正下方的GND/POWER 层的覆铜。

2）布线要避免电磁干扰。 差分对要远离电源模块；差分对之间间距应大于3H （差分对到参考平面的垂直距离），避免串扰；超高速差分对应裹铜，并且打地孔，吸收走线辐射的电磁波，如图7 所示；差分对的返回电流分布在参考平面，且分别集中在每一条线的正下方[2]，差分对与返回电流路径构成的环路面积应最小，此时电磁辐射最小。

图7 L1 层差分对裹铜Fig. 7 Paving copper around differential pairs in L1 layer

3）布线时遵从差分线LP/LN等长原则。 等长指的是信号发送端到信号接收端LP/LN走线长度相等。 等长可以保证差分线的延时相等，接收端信号不会发生错位。 本文对等长要求非常严格，|LP－LNI|＜0.5 mm。 下面结合本子卡中的差分对布线，探讨一下等长原则，示意图如图8 所示。

图8 差分对走线示意图Fig. 8 Diagram of differential pair route

图中X，Y 代表PCB 板上的印制线；A，B 代表芯片的差分对管脚到芯片中心的走线，是在芯片内部，根据芯片资料B比A 长1.0 mm；Q，P 代表高速连接器的差分对管脚到连接器末端的走线， 是在连接器内部， 根据连接器资料Q 比P 长1.5 mm。 等长原则不是X=Y，而是LP=LN。 公式如下：

计算可得：2＜X－Y＜3 所以在设计中，PCB 板上的走线长度X 比Y 长2～3 mm，满足等长原则。

4）超高速差分对要注意减少传输损耗。 造成信号损耗的因素有3 个：高速连接器，走线和过孔。 连接器都采用压接方式设计，一旦选定了连接器，其本身的损耗也被确定下来，此时要注意减小连接器的过孔STUB。 因为STUB 会像天线一样，辐射电磁波，信号速率越高，辐射越强烈，不仅会增加损耗，而且引入串扰噪声，减小STUB 的方法是采用背钻[5]。

高速差分对的走线小于1 倍的曼哈顿长度，走线越短越好。 本子卡中超高速差分对采用弧线布线，其作用是保持阻抗连续，减少反射，传输信道圆滑，减少损耗。 传输线的损耗有很多因素，如阻性损耗，介质损耗，对于超高速信号传输来说，存在趋肤效应，传输速率越大，电流越趋向于导体表面分布，越接近导体表面电流密度越大，而这时导体表面的越粗糙，信号损耗就越大。

在实际板级设计中，通常要遇到传输线换层走线，找到最优的过孔实在不易， 因为过孔在高速的模型非常复杂，影响过孔主要的因素有焊盘、孔径、孔深和过孔镀铜厚度[6]。 通常用仿真软件仿真不同过孔的S 参数， 从而找出最优的过孔。 实际设计中，仿真和实测结果存在一定的差别，其原因是PCB 厂家的制造工艺不能像仿真时那样理想，通过不断的仿真和实际测试找到最优的过孔。 本文选用的差分对的过孔如图9 所示。

4 结束语

本文介绍了高端路由器8 口万兆子卡的硬件设计，详细介绍了子卡的构成模块。结合自己在子卡PCB 设计中的学习心得和体会，探讨了PCB 叠层设计和超高速差分对的布线规则，以及在实际设计中容易忽视的细节，并且对差分线的等长原则提出了自己的独到见解，具有很强的实用性。 本文所设计的8 口万兆子卡已经通过测试，投入实际应用。 并且可以根据实际需求，配置成1 口，2 口，4 口，8 口万兆子卡。

图9 差分对过孔Fig. 9 Vias of differential pair

[1] 程博锋. 基于FPGA及以太网技术的100G接口板设计[D].南京：南京理工大学，2014.

[2] 于争. 信号完整性揭秘[M]. 北京：机械工业出版社，2013.

[3] 袁智勇，何金良，陈水明. 印刷电路板差分线边缘布置的电磁兼容分析[J]. 电波科学学报，2004（6）:689－693.YUAN Zhi-yong，HE Jin-liang，CHEN Shui-ming. EMC analysis for the edge placement of differential lines on the PCB[J]. Chinese Jouranl of Radio Science，2004 （6）:689－693.

[4] Stephen.Hall， GarrettW.Hall， JamesA.Mecall.High-Speed Digital System Design [M]. Wiley InterScience Publication，2000.

[5] Eric Bogatin. Signal and Power Integrity Simplified Second Edition[M]. Prentice Hall，2009.

[6] FAN Jun，YE Xiao-ning Ye，Jingook K，et al. Signal integrity design for high-speed digital circuits:progress and directions[J].IEEE Transactions on Electromagnetic Compatibility，2010，52（2）:392－400.