大数据存储中的优化架构结构的设计与实现

姜学东　孙海民

摘 要： 为了降低存储系统的空间开销和抗干扰能力对大数据存储系统进行优化设计，提出一种基于时钟同步与高速模块内部触发的大数据存储优化结构设计方法。采用数据动态增益码调度和编码方法，将存储系统中的大数据送到环形RAM缓冲区，对主控机下载缓冲区的数据作频谱分析，进行大数据存储系统的硬件模块设计，主要有时钟同步电路、复位电路、高速模块内部触发电路、程序加载电路和存储终端接口电路等。软件设计中，利用汇编指令PORTW，PORTR进行串口控制，配置引脚寄存器，执行大数据的写入请求，降低存储开销。仿真实验结果表明，该存储系统具有较好的数据写入和存储性能，执行效率较高，存储开销较小。

关键词： 大数据存储； 系统设计； 时钟同步； 优化结构

中图分类号： TN911?34； TP391 文献标识码： A 文章编号： 1004?373X（2016）24?0066?05

Design and implementation of optimized architecture for large data storage

JIANG Xuedong， SUN Haimin

（Faculty of Mathmatics and Computer Science， Hebei Normal University for Nationalities， Chengde 067000， China）

Abstract： To reduced space overhead of the storage system and improve anti?jamming capacity by the optimization design of large data storage system， a kind of design method of large data storage structure optimization based on clock synchronization and high?speed module internal trigger is put forward. The scheduling and coding method of data dynamic gain code are adopted to send the big data in storage system to the annular RAM buffer. The spectrum analysis for the buffer data download by main control computer is conducted. The hardware modules （such as clock synchronization circuit， reset circuit， high?speed module internal trigger circuit， program loading circuit and storage terminal interface circuit） of the large data storage system are designed. In software design， the assembly instruction PORTW and PORTR is used to executed serial port control， and the pin register is deployed to carry out the written request of big data and reduce the store cost. The analysis on the system simulation experiment results indicates the data storage system has good data writing and storage performances， high execution efficiency， and less storage overhead.

Keywords： big data storage； system design； clock synchronization； optimal structure

0 引 言

随着计算机与信息技术的快速发展，海量的数据需要在计算机和网络系统中进行数据交换和信息交互，实现网络通信和数据共享。大数据通过网络存储和本地存储的方式寄存在网络和本地计算机上，通常对海量数据的存储都是采用云存储构架的方式，云存储构架是采用层次化的网格结构，复制文件到具有执行任务的站点，在云存储网格中，每个站点控制数据传输，然后通过PCI总线接口为存储空间提供所需副本，进行数据调度和访问。大数据云存储系统的架构结构的优化可以降低存储开销，提高数据的存储空间和数据调度效率，研究大数据存储的优化加工结构设计方法，在优化大数据信息处理和存储优化中具有积极重要的意义，相关的系统设计方法受到人们的极大重视[1?3]。

传统方法中，对大数据存储中的优化架构结构的设计方法通过任务发生器生成LRU排序列表，副本管理器在每个站点控制数据的传输，通过副本相关检测器进行干扰抑制，实现对大数据存储的优化结构设计，结合这一设计思想，取得了一定的研究成果。其中，文献[4]提出一种基于海量数据存储的时间和空间领域匹配的数据存储方法，采用线性突发的数据传输模式进行数据调度，在存储架构模型中，允许PCI总线扩展，进行了存储软件设计，提高了数据网格调度和存储的能力，但是该方法在系统架构中总线协议比较复杂，数据计算的开销较大。文献[5]提出一种基于综合调度策略的动态数据复制的海量数据存储方法，在负载均衡条件的C/S客户端控制下，对海量数据存储优化架构系统中的类似数据进行分块存储，实现了数据的聚类分析和优化调度，但是该系统在进行海量数据存储过程中，受到存储系统的吞吐容量和性能的约束，导致存储开销成几何倍级增长[6?8]。

针对上述问题，本文对传统的大数据存储结构进行改进设计，提出一种基于时钟同步与高速模块内部触发的大数据存储中的优化架构结构设计方法。

1 大数据存储系统总体设计架构和指标分析

1.1 大数据存储系统总体设计架构

大数据存储系统的优化结构设计中，数据触发和采集是整个系统的基础，采用触发总线、模拟总线构建缓冲区，数据传输到主控计算机的过程通过模拟信息预处理模块实现，采用数据动态增益码调度和编码方法，将存储系统中的大数据送到环形RAM缓冲区，对主控机下载缓冲区的数据作频谱分析，进行采样点模拟。

大数据存储系统主要包括如下几个部分：局部总线传输数据处理器、PCI总线及桥接电路、VXI系统总线控制设备、主控计算机读取时域数据、外部存储器以及零号插槽复位电路。

局部总线是采集系统的基础，它负责信号采集、通信总线触发、与上位机通信、资源管理等任务。通过数据管理调度和评价器分析数据存储中的抗干扰能力，数据存储节点通过QoS值进行数据跟踪，QoS值直接与VXI总线通信，通过对数据存储任务的评价，进行存储系统的故障排除和干扰抑制。

大数据存储系统的功能任务流程如图1所示。

根据上述任务流程，进行大数据存储系统的功能分析，主要有：

（1） 应用程序加载，即把存储VXI总线系统的应用程序通过外置式系统控制器加载到DSP处理器内部RAM中运行。

（2） 通过数字信号处理芯片和32 MB的外部存储空间，实现人机对话。

（3） 自动增益控制，通过把计算任务分配到多个处理器，设计动态增益控制码，使得主控计算机的信号能使大数据存储系统稳定在所需的范围。

（4） 设置外部信号调理，控制A/D转换器进行正常大数据存储的空间采样。

（5） 读取A/D采样值中断主控计算机，包括局部总线传输数据主控计算机进行频谱分析、信息模拟等。

（6） 与外部SRAM通信，进行PCI桥接和D/A转换。

（7） 按照系统所需频率控制D/A转换器工作。

综上分析，得到本文设计的大数据存储的架构结构总体设计框图如图2所示。

1.2 大数据存储系统的功能指标分析与网格调度

根据上述构建的数据存储的架构结构总体设计进行系统设计，本文设计的大数据存储系统的指标参数描述如下：

（1） 数据存储和环形RAM缓冲区内数据捕获的幅度动态范围：-43～50 dB，噪声叠加放大量为87 dB，输出D/A转换器的幅度为[±10 V]。

（2） DSP中数据传输的采样通道为12通道同步、异步输入。

（3） 样数据在缓冲区循环压控放大器的采样率：[≥200 Hz]。

（4） DSP控制DAC的A/D分辨率：15位（至少）。

（5） 功率放大器的D/A分辨率：13位（至少）。

（6） D/A转换速率：[≥200 Hz]。

大数据云存储架构结构设计中，采用层次化网格调度模型，通过站点访问和网格区域分区，将使用动态分级式复制算法计算最佳区域，实现副本放置和数据的快速复制，每个网格站点有多通道任务请求文件的区域，实现对大数据云存储的优化架构。

大数据云存储架构结构设计中层次化网格调度访问的过程描述如图3所示。

2 大数据存储系统的硬件设计和软件设计实现

2.1 大数据云存储优化构架系统的硬件

根据上述设计思想和指标参量分析，进行大数据存储系统的硬件模块设计，硬件模块主要有时钟同步电路、复位电路、高速模块内部触发电路、程序加载电路和存储终端接口电路等，系统设计过程描述如下：

大数据存储系统的时钟同步电路由多路开关选择12位A/D数据采样模块，通过自适应调制电路进行自适应增益连续反馈采样。大数据存储系统的线性动态范围为-40～40 dB，通过Emulator由JTAG选择引脚、时钟信号。根据MAX7425的电子特性，采用PCI 接口功能模块，设计SCSI?68反馈动态增益模块，在第一级放大之后进行高通滤波去除干扰数据的误差增益，在接收电路中加入滤波电路，实现大数据的时钟同步采样，得到时钟同步电路如图4所示。

大数据的时钟同步采样的运放端口，选用AD8021进行5阶开关电容低通滤波，从而使输出电压趋于稳定的直流电压。通过自定义总线SCSI?68共享双端口RAM，实现PC机与数据传输系统的实时通信。功率放大器通过三级放大器进行D/A转换信号的逐级放大，得到数据存储命令，数据输出信号的范围在合理程度，可提高系统的发射响应和接收灵敏度。当存储器处于接收状态时，通过设计的带通滤波器对存储的数据进行降噪处理，根据上述分析，构建复位电路，在系统上电、初始化、出现异常断电时，采用看门狗复位方法实现对DSP芯片的复位，得到复位电路设计如图5所示。

在大数据存储系统中，通过中断复位，使得数据长度可以为 8，12，20，经DMA 控制器实现外部脉冲源驱动，按照DSP串口0的引脚引出通过（R/X）DATDLY设置数据运算和存储。采用5409A串口硬件发送采样值，进行程序加载，5409A串口引脚分配如图6所示。

通过5409A串口引脚分配，利用串口在两块DSP之间传送数据，大数据存储系统的顶层文件的部分VerilogHDL代码如下：

PWM_controlu1 （External data memory design， .clk（clk）， . reset（reset）. en（en）， . ek （m1））；

//PCI9054之间进行数据通信模块的实例

Data_operationand_storage（.ek（m1）， .kp（kp）， .clk（clk），. reset（reset）， .en（en），.ek_1（），.s1（s1））； //增益模块的实例

jifen_controlu3（.ek（m1），.ki（ki），.clk（clk），.reset（reset），.en（en），.s2（s2））；

Postel_ectric_system_controlu4（.ek（m1），.kd（kd），.clk（clk），

.reset（reset）， Data communication between PCI9054）；

assignout=s1+s2+s3 //误差反馈控制实例

基于时钟同步与高速模块内部触发进行系统的优化设计，通过外部I/O设备进行大数据存储系统的接口设计，大数据存储系统的A/D采样转换器AD8582四片，将通过通道数设置，把12位的A/D结果转换成16位，采用[±10 V]的双极性输入法，利用[EOC]信号作一通道转换，为TOUT→[CNVST]，A4～A0，采用转换序列完成大数据存储系统对应码的编码和符号扩展，I/O设备的外部接口采用AD8582是两通道的动态增益控制电路，依次与5409A数据总线连接，通过外部接口电源和内核电源协调供电，实现对数据的不间断采样和存储，输出的波形幅度数据具有较好的自适应性。综上分析，本文设计的大数据云存储优化构架系统的硬件集成电路的实现过程如图7所示。

2.2 系统的软件设计与实现

在上述进行了大数据存储系统的硬件设计的基础上，进行大数据存储系统架构结构的软件设计，软件设计建立在ALTERA公司新推出的MAX7000AE软件开发平台基础上，软件设计的流程包括中断服务程序的开发、串口配置程序的设计、DSP串口初始化程序等，首先创建LabWindows/CVI工程文件，根据编写的PCI卡驱动程序，通知DSP取数，采用时钟同步模块进行大数据的多通道采样，返回的HANDLE（句柄），采用DeviceIoControl（）、ReadFile（）控制系统硬件和设定参数。外部接口片选信号利用汇编指令PORTW，PORTR进行串口控制，配置引脚寄存器，设定RCR[1，2]和XCR[1，2]，先对SPCR1（串口接收控制寄存器）和SPCR2（串口发送控制寄存器）执行大数据的写入请求，接收堆栈弹出返回指令后，大数据存储系统内的CVI面板实时显示大数据的采样结果和存储空间，根据上述思想，实现对大数据存储的软件设计，大数据存储系统软件设计实现流程如图8所示。

3 系统调试与实验结果分析

为了测试本文设计的大数据存储系统架构模型的性能，进行仿真实验。实验中，大数据的存储主机的PC机为32/64位保护模式，在 600 MHz的时钟速率下执行大数据的采样和写入，外部设备接口、DMA控制器支持 32位和40位的浮点运算，内核逻辑电流为2.90 A，内核逻辑电压为1.3 V，参考电压VREF设置为VDD_IO的[12]，调节 SCLK1和SCLK2之间的时序偏差，通过时钟同步控制和链路数据的配置，实验中，数据量为100 MB～1 GB，以100 MB为单位实现数据的写入和存储，根据上述实验环境和参数设定，结合本文设计的系统硬件电路和软件模块，进行程序加载写入，进行数据存储性能分析和对比，为了对比系统的性能，采用本文方法和传统方法，在不同的存储开销和干扰下，以大数据存储的信息融合的归一化投影值为测试指标，得到大数据存储的性能对比结果如图9所示。

由图9可见，采用本文设计的大数据存储系统进行大数据存储，具有较好的抗干扰性和数据融合性能，降低数据存储开销，提高数据存储系统的数据调度效率，展示了较好的应用价值。

4 结 语

通过对大数据存储系统的优化设计，降低了存储系统的空间开销和抗干扰能力。提出一种基于时钟同步与高速模块内部触发的大数据存储中的优化架构结构设计方法。采用时钟同步技术进行存储系统的总线实时调度，采用高速模块内部触发机制取得总线控制权，提高了数据的转发传送性能，系统设计包括了硬件模块设计和软件设计两大部分。由系统设计和仿真实验分析得出，该系统具有较好的数据存储性能，执行效率较高，稳定性较好。

参考文献

[1] CAO Junwei， LI Keqin， STOJMENOVIC I. Optimal power allocation and load distribution for multiple heterogeneous multi?core server processors across clouds and data centers [J]. IEEE transactions on computers， 2014， 63（1）： 45?58.

[2] 田刚，何克清，王健，等.面向领域标签辅助的服务聚类方法[J].电子学报，2015，43（7）：1266?1274.

[3] 卫星，张建军，石雷，等.云计算数据中心服务器数量动态配置策略[J].电子与信息学报，2015，37（8）：2007?2013.

[4] URGAONKAR R， KOZAT U C， IGARASHI K， et al. Dynamic resource allocation and power management in virtualized data centers [C]// Proceedings of IEEE/IFIP Network Operations and Management Symposium （NOMS）. Osaka， Japan： IEEE， 2010： 479?486.

[5] CHONG F T， HECK M J R， RANGANATHAN P， et al. Data center energy efficiency： improving energy efficiency in data centers beyond technology scaling [J]. IEEE design & test， 2014， 31（1）： 93?104.

[6] LI Jian， SHUANG Kai， SU Sen， et al. Reducing operational costs through consolidation with resource prediction in the cloud [C]// Proceedings of 12th IEEE/ACM International Symposium on Cloud and Grid Computing （CCGrid）. Ottawa， Canada： IEEE， 2012： 793?798.

[7] WANG Lin， ZHANG Fa， ARJONA A J， et al. GreenDCN： a general framework for achieving energy efficiency in data center networks [J]. IEEE journal on selected areas in communications， 2014， 32（1）： 4?15.

[8] 崔永君，张永花.基于特征尺度均衡的Linux系统双阈值任务调度算法[J].计算机科学，2015，42（6）：181?184.