浅析矩阵存储系统素材读写速度

2019-09-10 07:22陈宽录
卫星电视与宽带多媒体 2019年19期
关键词:负载均衡速度

陈宽录

【摘要】随着高清数字技术的高速发展,素材信息的存储量也大大增加,对素材信息文件的读写速度和存储容量的要求也显著提高,因此诞生了矩阵存储系统。本文主要对矩阵存储技术中的“CIFS”文件共享服务进行分析,得出以下结论:对于服务器数量较多的场合,为方便使用,矩阵存储器多个千兆网口选择均衡(balance)的“alb”无需交换机支持的负载均衡方式”时,才能获得最大读写速度和最高使用效率。

【关键词】矩阵存储;RAID;速度;负载均衡

1. 引言

当前,非线性媒体技术的高速发展,高清程度也越来越高,4K、8K超高清的出现,使得媒体信息的存储量大大增加,对素材的读写速度要求也越来越高,采用传统的非编工作站自身的硬盘来存储素材,显然已经没办法满足现在高速发展的需求,因此很有必要引入硬盘矩阵存储器来满足这个需求。本文主要对矩阵存储器的“CIFS”文件共享服务在广播电视台媒体网络中的使用方法以及影响读写速度的原因进行综合分析,找出正确使用矩阵存储器的方法。

2. 矩阵存储器

2.1 矩阵存储器又叫磁盘矩阵服务器,或叫磁盘阵列服务器,其核心技术支撑是矩阵存储技术。矩阵存储技术的核心技术支撑是RAID解决方案,该方案能够全面地提升计算机的硬盘故障容灾能力和存储能力。

2.2 磁盘矩阵(英文是Disk Array)是由硬盘控制器,通过RAID技术,将多个物理硬盘互相连接起来、并使多个硬盘同步读写,并增加存储总空间,提高稳定度的技术。

2.3 RAID技术是独立磁盘冗余阵列的英文[Redundant(冗余)Array(阵列)of(的)Independent(独立)Disks(磁盘)]缩写,其核心方法是将多块的物理硬盘以不同的组合方式连接起来,得到一个比使用单个硬盘具有更好更优秀的存储性能和更大的存储空间的逻辑硬盘,并提供较好的数据备份能力和磁盘故障容灾能力。根据磁盘阵列的不同组合连接方式,就产生了多种的RAID组合方式,最常用的是RAID0、1、5、10方式。下面重点介绍RAID5技术。

2.4 RAID5技术,使用的是Byte(字节) interleaving(交叉存储)技术,中文名为“数据交错存储”,即将数据按一定的容错算法,分为许多“小块”,分散存储到N+1个物理硬盘。实际存放数据的有效总空间,只有N个盘的总空间。

硬盘在SCSI卡的统一协调下,同时作读写操作,并将“奇偶校验”用的数据位储存到每个硬盘里。当N+1个硬盘中某个硬盘出现故障时,会自动根据其它N个硬盘中正常的数据来恢复原始数据,使得N个物理硬盘能够继续工作。当更换一个新物理硬盘后,系统自动恢复完整的数据信息。

2.5 RAID5具备很优秀的容错能力,硬盘的容量使用效率也非常高,它的稳定可靠度也相当好。

2.6 CIFS是Common(通用)Internet(网络)File(文件)System(系统)的英文缩写,中文叫通用网络文件系统,是一种共享方式。

3. 硬盘热插拔技术

硬盘热插拔,顾名思义,带电插拨(英文是Hot Swap),即在不停机的情况下更换拨出硬盘。当有一个硬盘出现故障损坏的情况下,矩阵存储器可以不用关机,带电操作,直接拨出故障硬盘并换上新硬盘。磁盘阵列在硬盘出现故障的时候,一般情况下故障盘的相应指示灯会显现异常。并伴随自动鸣叫警示,向管理员提示更换硬盘。

4. 矩阵存储器的主要作用

矩阵存储器具有提高存储器的读写速度,增加存储容量,防止数据丢失这三大主要作用。

5. 矩阵存储技术的特点:

引入RAID技术,相比通常的磁盘存储设备来说,具有更高更优秀的性能指标和更好的数据文件完整性,可以很大程度地增加存储总空间,有效提高数据的读写速度、并提供非常有效的数据备份功能。

6. 影响矩阵存储器读写速度的因素

本文主要描述的是采用RAID5方式的矩阵存储作为素材的存储设备。由于现在高配的存储器内存、CPU等硬件的运行速度,已大大超过硬盘和交换机的读写速率和数据交换能力,因此,限制矩阵存储器的读写速度的主要因素还是在于硬盘和网络交换机的交换速度。

7. 矩阵存储器的读写速度测试

7.1 测试条件:

7.1.1 矩阵存储器:采用32个3TB的硬盘,硬盘内部传输速率是:168MB/S。采用RAID5方式。配备四个千兆网口,均支持负载平衡(balance)模式,选择CIFS共享模式测试。

7.1.2 测试的四台电脑配置:华硕P8Z77,i5@3.30GHz,4GB内存DDR3-1.6GHz,主板自帶千兆网口,西数500GB硬盘7200转/分,内部数据传输率最大达1.008Gb/s,操作系统:Windows7、64位、SP1。

7.1.3 千兆交换机:端口数量:48个,传输速率:1Gbps,71.42Mpps的包转发率,96Gbps的背板带宽。

7.2 实测结果

矩阵存储器通过千兆交换机与四台电脑相连接,实际测试数据如下:

7.2.1 电脑单机内部读写速度:

7.2.1.1 电脑单机内部读写速度:280~310Mb/s。

7.2.1.2 电脑单机经过网络(即经过访问网卡后返回本机)的读写速度:288~315Mb/s。说明硬盘要同时作读取又要写入的操作等因素,电脑本身访问自己速度为正常的速度的一半左右。

7.2.2 在矩阵存储器与交换机都没有作绑定,矩阵存储器只接一个网口时,电脑单机与矩阵存储器间的读写速度:

存储器的写入:857Mb/s、读取: 597Mb/s;电脑的写入:597Mb/s、读取:857Mb/s。

7.2.3 在矩阵存储器四个网口和交换机都没有作绑定时,四台电脑同时访问矩阵存储器的同一个网口同一个IP的情形:

7.2.3.1 四台电脑同时向矩阵存储器作读写素材时速度:

存储器的写入:899Mb/s、读取:895Mb/s;各电脑写入:223-350Mb/s、读取:224-278Mb/s。从7.2.2和7.2.3.1数据分析可知,说明电脑的写入速度比读出速度慢。而矩阵存储器读写速度相差不多。

7.2.3.2 兩台电脑同时向矩阵存储器不同文件夹作读出操作、而另两台同时向矩阵存储器不同文件夹作写入操作时的速度:矩阵存储器的读写总和的平均速度1625Mb/s,各电脑写入:351~443Mb/s,读取:406~409Mb/s。考虑到交换机的包转发所需要的附加开销,可以说矩阵存储器的单个千兆网口的读取、写入均可达到千兆比特/秒的速度,而且上下行的速度一样。也就是说,单个千兆网口的同时读取与写入的速度合并值达到上下行的千兆值。

7.2.4 交换机和矩阵存储器四个网口都没有绑定时,四台电脑分别访问矩阵存储器四个网口对应不同IP的情形:

7.2.4.1 四台电脑同时访问矩阵存储器的不同文件夹作读写操作时:矩阵存储器的总传输速度为写入:3219.2Mb/s、读取:1838.5Mb/s;四台电脑传输速度在:写入:411.7~561Mb/s、读出804.8~853.7Mb/s;由于交换机转发时需要额外增加一定的比特量,所以,在这样的速率下,四个网口合计的矩阵存储器写入速度是3219.2Mb/s,加上交换机转发包所需的额外量,基本上能达到交换机的千兆上限。(说明:矩阵存储器读取速度每个网口没有达到千兆,是由于各电脑的写入速度没办法达到千兆所致。)

7.2.4.2 四台电脑同时向矩阵存储器访问同一文件夹并作读写操作时的速度:矩阵存储器的写入:2337.7Mb/s、读取:2478.6Mb/s;各电脑:写入:584.4~739.6Mb/s、读取:619.6~870Mb/s。

从7.2.4.1和7.2.4.2可知,矩阵存储器在不同文件夹的写入速度明显快于在同一文件夹的写入速度,而读取速度正好相反。

7.2.5 交换机没绑定而矩阵存储器四个网口作“alb”无需交换机支持的负载均衡方式时,在四台电脑同时去访问矩阵存储器的四个网络端口绑定的一个共同IP的情形:

7.2.5.1  四台电脑同时向矩阵存储器的不同文件夹作读写操作时:矩阵存储器写入速度:3314.88Mb/s、读出速度:1645Mb/s;各电脑的写入速度:411~476 Mb/s、读取速度:875.36~875.76 Mb/s。

每个网口的速率:875.36 Mb/s加上交换机额外量,也达到交换机的千兆上限。

7.2.5.2  两台电脑同时向矩阵存储器作写入、另两台电脑同时向矩阵存储器作读出操作的情形:矩阵存储器读写合拼的速度:2532.5 Mb/s,两台电脑的写入速度:633~673 Mb/s;另两台电脑的读取速度:850.8~866.8 Mb/s。

7.2.6  矩阵存储器作“XOR”需交换机支持的负载均衡方式,四个网络端口绑定成一个共同的1个IP,而千兆交换机四个端口同时作IP汇聚绑定,则读写速度将会大大下降,见如下所测数据。

四台电脑同时向矩阵存储器的不同文件访问并作读写操作时的速度:矩阵存储器写入:1187.5 Mb/s、读出1494.8 Mb/s;各电脑的写入速度372~582Mb/s、读出:297~871Mb/s。

7.3 对比分析

矩阵存储器四个千兆口作“alb”无需交换机支持的负载均衡方式、所有电脑访问同一IP时,传输速度跟四个网口没作绑定时、四台电脑同时访问四个不同IP时,速度没有多大差别,均能达到正常最高速度。但是,如果交换机作绑定,或矩阵存储器作“XOR”的负载均衡方式时,速度将会大大下降。

8. 矩阵存储器作四个网络口的IP绑定

如果一个网络,电脑数量少,没有作绑定,可以做到四个网络口的四个IP平均分配电脑台数,这不会有什么问题。但是,如果一个网络中电脑数量较多,没有作绑定,则很难做好网口平均分配负担电脑访问台数或者访问数据量。如此一来,在访问矩阵存储器时,四个网口间的数据交换会由于负载不平衡而引起网口的数据交换负担不平衡,从而难以达到最高访问速度。这时,就要将四个网络口绑定成一个IP,使所有电脑访问矩阵存储器时,共同访问同一个IP。只有这样做,才能达到最高的访问速度。

9. 结语

对于电脑服务器数量较多的情况,只能作负载均衡,而且,交换机不能作任何聚合绑定,只有将矩阵存储器四个千兆网口作balance-alb无需交换机支持的负载均衡方式时,才能发挥矩阵存储器所能达到的最高数据读写速度。

参考文献:

[1]冯丽娟.浅谈RAID磁盘阵列功能及组网[J].电子质量,2013,(12):45-46

[2]古世磊.RAID5初始化方法研究与改进[J].科技浪潮,2013,(01):38-39

[3]黄蓬勃.浅谈RAID技术 [J]. 电子世界,2013,(04):67-68

[4]李云龙,张晓慧,张振华,周文理.网络存储技术的应用研究[J].计算机光盘软件与应用,2013,(02):33-37

[5]英姿.收放自如—实战SATA硬盘热插拨[J].电脑自做,2005,(07):128-131

猜你喜欢
负载均衡速度
速度
轻松应对速度问题
Linux负载均衡集群技术在网络服务器中的应用
Oracle MAA在汽车行业电子政务平台中的应用
异构环境下改进的LATE调度算法
基于负载均衡的云资源调度策略研究
图侃天下
多站点同步更新系统的设计
数字串
模糊理论在Ad hoc网络通信领域的应用