基于rsync的气象雷达产品同步和交换

陈纯武

（中国民用航空汕头空中交通管理站 气象台，广东 汕头515041）

0 绪论

气象雷达的产品一般都是通过天线扫描，得到原始的回波信号后经过雷达机柜里的信号处理器预处理后通过网络传输到主工作站上，再经过主工作站上雷达厂家的软件，对原始数据进行二次加工，生成符合预报员或者管制员要求的产品，然后再通过ftp的方式将产品分发给后端的用户。但是ftp在分发资料的时效性和速度上已经远跟不上现在一些优秀的开源软件上，比如说rsync。而且多个用户通过ftp以细粒度的时间粒度不断用循环任务来对主工作站进行资料请求也是加重了主工作站的IO压力。本文正是在资料分发的这个环节上采用了rsync部署了后端的同步和交换服务器，提高了资料分发的速度和减轻的主工作站的负荷。

1 rsync简介

1.1 什么是rsync

rsync即remote sync，是一个Linux/unix系统下的文件同步和数据传输工具，它采用“rsync算法”来使一个客户机和远程文件服务器之间进行数据的同步。通过rsync可以将同一个服务器的数据从一个分区备份到另外的一个分区，也可以将本地数据通过网络传输方式备份到任何一个远程的主机上，rsync可以在中断之后恢复传输，也可以只传输源文件和目标文件之间不一致的部分，它还可以执行完整的备份或者增量备份，而且可以通过ssh方式来传输文件，这样其保密性也非常好。

1.2 rsync的功能特点

1.2.1 可以镜像保存整个目录树和文件系统。

1.2.2 可以很容易做到保持原来文件的权限、时间、软硬链接等等。1.2.3 无须特殊权限即可安装。

1.2.4 优化的流程，文件传输效率高。

1.2.5 可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。

1.2.6 支持匿名传输

1.3 与ftp比较有什么优点

1.3.1 更快速：可以增量同步数据，因而同步时间很短，速度快。

1.3.2 开销小：rsync在建立连接的过程只需要进行一次握手，不需要像ftp一样进行多次握手。

1.3.3 更高效：rsync在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。

1.3.4 更安全：可以使用scp、ssh等方式来传输文件

2 构建基于rsync的同步和交换服务器

2.1 下载与安装rsync软件

ryscnc的官方地址为：http://rsync.samba.org/，本文下载的版本为rsync-3.1.0。在官网下载源码包后进行编译安装，过程如下:

[root@bogon～]#tar zxvf rsync-3.1.0.tar.gz[root@bogon～]#cd rsync-3.1.0

[root@bogon rsync-3.1.0]#./configure

[root@bogon rsync-3.1.0]#make

[root@bogon rsync-3.1.0]#make install

2.2 rsync配置实例

本次配置的2台服务器分别为：

A：气象雷达主工作站，IP:192.168.1.1

B：雷达产品同步ffamp;分发服务器，IP:192.168.1.2

配置前需按照上文的方法下载安装方法在A机和B机上安装rsync软件。

2.2.1 在A机上配置rsync

其中server.pass中的内容如下：

[root@bogon etc]#cat/etc server.pass backup:zgow

上面选项的含义如下[1]：

uid，指定了该模块传输文件时的守护进程的用户ID，默认的情况下是“nobody”

gid，指定了该模块传输文件时的守护进程的组ID，默认的情况下是“nobody”

max connection，此选项指定了模块的最大并发连接数，以保护服务器。超过这个连接请求将被暂时限制，默认值是0，即没有限制。

重点工程建设步伐加快。引大济湟工程全面实施，北干一期干渠前73km全线贯通，调水总干渠隧洞年底可累计完成15.19km。拉西瓦、李家峡、公伯峡、积石峡水库灌溉工程有序推进，蓄集峡、马什格羊水库等重点水源建设进展顺利。

pid file，此选项用来指定rsync守护进程对应的PID文件路径

lock file，此选项用来指定支持max connection的锁文件，默认值是/var/run/rsyncd.lock。

log file，此选项指定了rsync的日志输出文件路径。[RadarData]，模块名，也表示一个模块的开始

path，此选项用来指定需要备份的文件或者目录

read only，设置为no表示客户端可以上传文件，设置为yes表示只读。

write only，设置为no表示客户端可以下载文件，设置为yes表示不能下载

auth users，此选项用来定义可以连接该模块的用户名。这里的用户可以是系统当前没有的用户，任意定义。

secrets file，此选项用于指定一个包含“用户名：密码”格式的文件，用户名必须是auth users选项定义的用户名，密码可以任意定义。比如本文用到的server.passs，系统默认没有这个文件，可以自己手动建立一个，文件名和位置任意。

在A机上启动rsync守护进程

看到LISTEN就表示rsync已经正常启动并处于监听的状态下了。

2.2.2 在B机上配置rsync

在B机上不用做太多的设置，只要正确的安装了rsync就好，然后手工建立一个包含着A机密码文件里定义好的密码的文件就好，这样就可以在同步的时候不需要每次都自己手动输入密码。

接下来执行同步操作，具体的指令如下：

具体每个参数的含义如下：

在“-vzrtopg”选项中，v是“--verbose”，即详细模式输出。

z表示“--compress”，即在传输时对备份的文件进行压缩处理。

r表示“--recursive”，表示对子目录以递归模式处理。

t表示“--times”，用来保留文件的时间属性信息。

o表示“--owner”用来保留文件属主信息。

p表示“--perms”用来保持文件权限。

g表示“--group”用来保持文件的属组信息。

“--delete”选项指定以rsync服务器端为基准进行数据镜像同步，也就是说服务器端目录与客户端目录的完全一致。

“--progress”选项用于显示数据同步的过程

“backup@192.168.1.1::RadarData”表示对A服务器192.168.1.1中的RadarData模块进行同步，backup表示用“backup”这个用户对该模块进行同步。

“/home/rainbow/RadarData”用于指定同步文件放在客户端上的位置。

“--password-file=/etc/server.pass”用于指定客户端上的密码文件的存放位置。

rsync作为客户端工具使用的时候还有很多有用的参数和使用的模式，更多详细的信息都可以在本机上执行“man rsync”来查看。

3 功能测试

实例1 在B机上同步A机的雷达产品

在局域网内进行产品的同步的时候最高的速度可以达到27.74MB/s，说明rsync的同步效率很高，速度也很快。

实例2 在A机上更新目录里的文件，B机再一次同步

从上面的结果可以看出，在A服务器上更新产品后对A进行同步的时候，B并没有把A的整个目录列表抓取过来，而是只是仅仅同步了更新的部分，这在大量并发的环境下可以减少对主工作站的IO压力。

4 总结

通过以上的理论和实际部署实践说明，新的开源软件在实际应用中不仅高效免费，而且也容易部署实施，后期还有开源社区的技术支持，这对于每个系统运维的人员来说都是非常值得高兴的事情。本文用rsync对雷达产品进行同步和交换分发，只是运用到了rsync不到十分之一的功能，在实际的生产环境中，结合shell或者其他的开源软件，rsync在系统的运维监控上将可以发挥出意想不到的效果。

［1］高俊峰.高性能Linux服务器构建实战运维监控、性能调优与集群应用[M].北京:机械工业出版社,2011:130-132.