大数据产业园区二期项目时钟同步探索与实践

李 兴

一、数据中心授时需求

目前，数据中心云平台分布式计算，为使系统间协同处理复杂事件，以及增量备份，设计上均标配时钟服务器。但在数据中心暖通、电气、消防、智能化等基础设施层面，不同专业大量的各类设备，授时的统一规划几乎空白，常常是以手工修改各类设备的时间，既存在工作量大，也根本无法保证精确性，为数据中心故障判定，日志查询造成了很大困惑。

（一）社会发展与时钟的关系

时间的准确程度一定程度上代表了社会效率，从日出而作日落而息，到日晷、沙漏、手表等人类对时间的计量方法，再到网络对时，时间与人的关系也逐渐由人与自然，逐步发展到人与机器、机器与机器协作等各种复杂的关系，精准性越发重要。在数据中心，随着计算倍增，分布式计算服务对时间的要求也越来越高。

（二）IEC 61850规范

随着分布式能源、储能系统和无人电力系统蓬勃发展，电网变得更加复杂，实时管理电力调度越来越困难，由此电力系统的IEC 61850规范应运而生[1]，它将时间性能划分为T1到T5五个等级。现阶段，数据中心在基础设施设计、建设、运维等各个阶段均对授时未涉及，从业者对统一授时的认识严重不足，在此引荐IEC 61580规范供数据中心研究应用。

二、NTP授时原理

时间同步也称为“授时”，是卫星导航系统的两大免费功能之一（另一个是导航定位），导航卫星上一般装有2—3座原子钟，提供精度较高的基准时间，精度约为20纳秒。授时常有短波、长波、网络、电话、卫星授时等多种分类[2]。

网络授时分为广域网授时和局域网授时。广域网授时精度受限于路由路径选择时延，局域网授时精度可达亚毫秒。

（一）NTP授时原理

NTP由RFC 1305定义，在分布式时间服务器和客户端进行时间同步的协议，默认UDP协议123端口。

网络时间按照NTP服务器等级进行传播，根据离基准时间的远近将不同服务器归纳到不同的层中（Stratum），单个Stratum层的总数限制在15。0层表示高精度设备，例如原子钟、GPS时钟等；1层设备和0层设备相连，误差仅为微秒，2层设备和1层设备通过网络相连，依此类推……

（二）NTP工作模式

NTP可分为客户端/服务器、对等体、广播、组播等多种模式。当可以确定NTP服务器或对等体IP地址时，一般采用客户端/服务器模式和对等体模式，设备从指定服务器或对等体获得时钟，增加了时钟的可靠性。

（三）时间的平滑同步与跳变

NTP命令是平滑同步，在与时间服务器同步过程中，会把BIOS计时器的晶振频率偏差记录下来，即使失去网络同步源，计算机仍然能维持一个精确的走时。而Ntpdate是立即同步，调整方式是跳变，这会使时间变快或变慢，从而导致依赖时序的程序出错，可能会出现两个相同时刻，对以线性时间为前提的操作和程序是致命的，生产环境中要慎用[3]。

三、园区授时资源和协议

北斗云公共服务区配置一台BTS200时钟服务器，标配NTP以太接口、RS485、IRIG-B、TTL脉冲等接口。另一台电力监控时钟服务器，支持 61850/104规约，通过国网电科院实验验证中心和国电公司自动化设备电磁兼容实验室检测。

电气设备接口有RS485和Eth两种，暖通设备则以RS485接口居多，能否实现时钟同步，一要看协议对接开发，二要看技术协议中是否有明确要求。消防系统现阶段各设备均为手动校时，如有时钟同步需要，另须规划专用时钟同步方案。

四、系统设置

数据中心服务器操作系统Linux，受RedHat战略调整和国产化意识的不断增强，Linux操作系统以银河麒麟等国产操作系统应用逐渐成为主流。

（一）Windows客户端

ntp.org组织推荐使用的Meinberg，其NTP Deamon的运行状态有INIT、LOCL、DFC、PPS几种类型。INIT表示未成功连接NTP服务器，LOCL表示成功连接本地时钟，DCF表示成功连接DCF时钟设备，PPS表示成功连接PPS时钟设备。

（二）Linux系统

国产操作系统银河麒麟是以 Ubuntu操作系统作为母版进行二次开发，timedatectl/timesyncd从Ubuntu16.04开始使用，而不是常用的ntpdate/ntp。

Chrony由chronyd和chronyc组成。chronyd用于调整系统时钟和时钟服务器同步。chronyc用于监控性能。NTP 通过UDP123端口进行网络时钟同步，而chrony服务监听UDP的323端口。主配置文件为/etc/chrony.conf，客户端为/usr/bin/chronyc，服务端为/usr/sbin/chronyd。

ntpdate和timedatectl都是命令行工具，允许查看或者修改系统的时间和日期，timedatectl用于替代date命令，在查阅文档资料或实际操作时注意加以区分。

1.服务端设置

（三）冗余配置

Windows系统和一些设备和录像机只支持单一地址指向，路由器交换机等则支持多地址指向。

1.Windows系统

设置多同步时间源，一种是在注册表中修改，繁琐不推荐，另一种方法是用ntp软件，实现多个时间源之间的配置，简单实用。

2.Linux系统

把一个授时服务器多个物理端口的多个IP地址或多台授时服务器，采用DNS，Keepalived,Lvs等技术方法做成集群，使客户端便捷使用冗余授时，但受限在云平台侧部署。

（四）交换机配置

时间同步子网由主时间、二级时间服务器，PC客户端等组成。主时间服务器同步到卫星定位时钟，二级时间服务器通过网络中的主时间服务器取得同步；层数（stratum），是对时钟同步情况的分级标准，取值范围1～16，值越小精确越高[4-5]。

1.主时钟交换机

核心交换机的本地时钟作为NTP主时钟，接入和汇聚交换机和核心交换机之间采用单播NTP服务器/客户端模式。

2.客户端交换机

配置Switch之间路由可达，查看接入、汇聚交换机的NTP状态，可以看到时钟状态为“synchronized”说明已经完成同步，层数为3，比服务器核心交换机低1级。

五、授时方案

二期智能化系统，在云平台公共区部署DCIM、存储、环境监控电力监控服务器。BA、安防服务器均为实体服务器。燃油自控、柴发并机、蓄电池监控等子系统和变压器、UPS、配电柜、直流屏、ATS等电力采集单元通过智能化网数据接入电力监控系统；空调、AHU、漏水、加湿器、温湿度等环境采集单元通过智能化网数据接入环境监控系统；视频监控、门禁系统、入侵报警、冷机群控、暖通自控等子系统通过智能化网数据接入DCIM系统平台。

（一）授时原则

智能化不仅要接入暖通、电力、消防等各专业子系统，也要接入各类型前端采集器，要充分调研被授时设备的接口类型、协议，在授时规划上要评估重要程度，既要突出重点也要保留子系统的系统性，还需从时钟服务器的资源承载量等各方面统筹规划，分出层级，切忌贪全求大，导致费用增加，协调难度加大。

（二）授时划分

1.监控服务器

环境监控、DCIM与云平台公共服务区BTS200授时服务器时钟同步，电力监控服务器与ATS1000时钟同步。

环境监控系统，前端采集器AU及接入的子系统均与环境监控服务器时钟同步。二期智能化网内门禁一体机、门禁控制器、安防系统摄像头、入侵报警器，DDC、BA服务器、安防系统等服务器与DCIM系统时钟服务器同步。

2.电力监控系统

电力监控系统数据接入燃油自控、柴发并机、蓄电池监控等子系统和变压器、UPS、配电柜、直流屏、ATS等电力采集单元。

基于电力监控在数据中心的重要性、保持延续性，一期已部署的ATS1000时钟服务器为电力监控系统专用授时。园区一、二期电力监控系统归属的子系统和电力采集单元，含前端采集器如AU与电力监控服务器时钟同步；高压综保仪表通过RS485接口ModbusRTU协议接入电力监控系统AU采集器，监控系统需根据高压综保ModbusRTU协议定制开发，实现AU采集器对高压综保仪表的授时；部署在云平台的2台电力监控服务器与ATS1000时钟同步。

3.智能化网

智能化网核心交换机为主时钟服务器（2级），同步云平台公共服务区BTS200授时服务器，BTS200的2个IP地址区分优先级，智能化网中汇聚交换机、接入交换机（3级）。

办公网配置同智能化网，网内AP、AC等与办公网核心交换机时钟同步。

结语

数据中心建设在东数西算的大背景下，建设上得到了巨大发展，但如授时的规划等方面，无论是设计还是总包单位，均未能引起重视，给数据中心运营造成了一定的影响。数据中心的建设工程师们，要善于从数据中心运营角度出发，充分吸收其他行业建设成果，在工作中注重探索总结，促进技术的创新应用，推动数据中心标准化规范化建设。