数字图像大数据中心的研究与实现

张 勇

(1.宿州职业技术学院 计算机信息系，安徽 宿州 2341012；2. 中国矿业大学 计算机科学与技术学院，江苏 徐州 221000)

数字图像大数据中心的研究与实现

张 勇1,2

(1.宿州职业技术学院 计算机信息系，安徽 宿州 2341012；2. 中国矿业大学 计算机科学与技术学院，江苏 徐州 221000)

在当今信息时代，信息的存储种类越来越多，但作为最直观的信息表现形式数字图像，以其直观、易读、便于理解和处理的特性在数据存储领域占有很大的比例。因此，如何在海量的数据存储空间中构建已数字图像为主的大数据中心显得极其重要。因为数据中心在建立过程中牵扯到数据中心架构设计、处理设计、拓扑结构等若干问题，一个良好的大数据中心将为数据的共享，尤其对数字图像的修复起着至关重要的作用。因此，建立以图像存储为主要模式的大数据中心，未来将是大数据中心研究建立的主要工作。

大数据；云计算；数据存储；架构设计

0 引言

随着业务的发展，数据中心的问题与日俱增，数据中心所面临的压力和挑战也越来越大：业务的不断调整和改变让数据中心总体架构面临极大的压力、有限的物理空间让数据中心扩展性和灵活性有所限制、虚拟化的欠缺让数据中心资源调配能力有限、复杂多变的异构环境让数据中心管理效率异常低下、高居不下的耗电量让数据中心能源成本迅速上升。这些问题与挑战让数据中心管理者迫切需要对数据中心进行整合和升级。通过有效的整合让传统数据中心升级成为一个智能化、自动化、高效化的数据中心。

针对上述问题，基于数字图像处理的大数据中心的建立，必须具备高可用性、高节能性、高灵活性、高可维护性等四大特点，能够帮助数据图像使用与图像修复客户解决数据中心建设与应用的难题，满足用户、企业在信息化过程中对数据中心动力安全、节能环保等方面日益增长的应用需求。

目前，对于大数据中心的研究相对成熟，但由于数字图像存储的复杂性和信息格式的多样性，使基于数字图像存储的大数据平台建立和使用的研究相对滞后。借助于大数据这个平台对于“基于大数据平台下的数字图像的修复与处理”国内、国际鲜有研究[1]。当前在考古、刑事案件侦破、卫星遥感等各个领域对数字图像修复及处理的需求迅速扩大，大数据+云技术+数字图像的修复与处理，这一系列技术的研究与应用必将为数字图像的处理提供一种快速、廉价与高效率的处理方法。

1 数字图像大数据中心建设目标

数据中心建设应达成以下目标：高可用——数据中心的高可用直接影响到业务系统的可用性，高可用至少包括高可靠、高安全和先进性三个方面。

1.1 高可靠

确保整个基础设施运行稳定，可靠性除了采用质量高的软硬件设备，最为重要的还有要将使用和管理人员作为数据中心建设的一部分融入整体。

1.2 高安全

在普通网络设计中，安全性就是重要的设计指标，基于图像处理的大数据中心，由于其数据的复杂和信息的综合性，其数据采集与处理变得非常重要，因此保证数据的高安全性，是大数据中心建立的必要目标。

1.3 先进性

数据中心将长期支撑企业的业务发展，数据中心建设需要考虑后续的机会成本，采用主流的、先进的技术和产品，建立高性能，大容量存储的数据中心。

2 大数据中心方案设计原则

根据“先进、实用、稳定、可靠”的总原则，对基于数字图像的云数据中心软硬件系统进行科学合理的设计，保证中心建设的胜利完成。

数据中心工程是智能弱电工程的重要组成部分。其基本要求可归纳为：可靠的系统运行保障、系统的设计寿命在可控范围之内、信息的存储与使用安全符合要求、保证操作人员有合理的工作环境[2]。

3 数据中心架构设计

云计算数据中心通过运行在单独的服务器上的云操作系统对服务器、存储、网络等资源进行虚拟化管理，提供可以自定义的虚拟机，在虚拟机上安装Hadoop、hbase等Nosql分布式数据库集群，对现有的图像数据ETL采集、清洗、转换、汇总进来，使用海量数据分布存储技术，用spark、storm等大数据处理软件对hbase中的数据进行分析处理，挖掘数据价值。还可以在虚拟机上运行业务应用系统，提供负载均衡和冗余备份，达到系统的稳定、高可用和方便的扩展性。

通过安装SSR等安全软件和安全服务器，可以保证提升操作系统的安全级别，从而达到国家等级保护的三级要求，为客户构建真正的安全长城。

服务器虚拟化系统基于服务器，存储和网络设备构建资源池，在资源池上通过资源的管理、调度和镜像管理实现系统的各种高级功能，例如计算层面的系统负载均衡和虚拟机高可用，存储层面的镜像复制和冗余。系统支持以主机或者虚拟群集为单位管理资源，虚拟群集为一组共享存储资源的物理主机。

云中心既是一个企业云，也可以对外提供服务，扩展成公有云。学校还可以使用别的公有云如阿里云，形成混合云，具体架构图如图1所示。

图1 大数据中心架构图

云中心采用xen、kvm、VMware进行虚拟化，LXC提供Linux容器，支持docker应用容器，如图2所示。

4 大数据处理设计

通过在虚拟机上安装Hadoop2.6、hbase1.0等Nosql数据库集群，用sqoop1.3把现有的数据汇总进来，要对现有数据做个总的分析，对字段统一定义规划，制定转换策略，做到正确性、唯一性、可用性，去除重复字段，通过ETL抽取、清洗数据，把数据导入hbase，这样就可以消除信息孤岛，用spark、storm等大数据处理软件对hbase中的数据进行分析处理，挖掘数据价值。

图2 大数据中心体系结构图

云中心通过调度系统自动采集、加工、存储数据，为应用系统提供支持。

图3 云数据平台的逻辑处理结构图

在云中心的平台上，开发图像数据采集、对比、处理等应用系统，通过元数据库管理所有的数据数据经过采集、加工后进入hbase，消除信息孤岛，统一管理使用。

5 大数据存储设计

在大数据中心中，由于数字图像容量较大，因此大数据中心要具备以下特点：支持存储大数据；支持容量、性能的在线无限扩展；提供软硬件故障情况下的数据重建、远程容灾功能；适用于云计算、大数据业务并兼具高性能、高可靠、高可扩展、大容量特征。因此大数据存储平台是新一代高性能的存储系统平台。

6 安全设计

对于数字图像存储的大数据中心，与传统信息安全产品有更高的要求，提升操作系统的安全级别，从而达到国家等级保护的三级要求，构建真正的安全长城。主要安全防范技术有强制访问控制、完整性检测、防格式化、双因子认证和组合式密码认证、自我保护、统一管理、灵活多样的策略模板、维护模式等功能。

7 物理架构设计

模块化数据中心采用一系列模块化设计的动力设备，采用超大规模集成电路进行高集成设计，模块之间通过简单的接口进行组合，从而形成一个完整的数据中心[3]。具有高密模块化、高可靠性与安全性、快速灵活部署、简单低耗、完善监控等特点。

模块化数据中心充分考虑组件设计、功能和相关性，按照在标准化级别与用户灵活性之间取得最佳平衡的方式进行模块化[4]。各模块之间耦合度降到最低，模块内部联系尽量做到逻辑紧密，对外依赖度小。这种对系统规模的优化为系统的维护和扩展提供了便利，显著降低了总拥有成本。而且提供热插拔，从而在不需要停止运行系统的条件下进行维护设备。单排密封通道的模块化数据中心如图4所示。

图4 单排密封通道的模块化数据中心

模块化数据中心整体架构，如图5所示。

图5 模块化数据中心整体架构图

模块化设计为满足不断变化的IT需求提供了极大的灵活性。在安装、升级、重新配置或移动模块化系统时，独立组件、标准接口既节省了时间又节约了费用[5]。同时也方便设备的选型、采购、安装、维护和扩容，降低整体运营成本，越来越具有吸引力[6]。

8 数据中心网络方案组成

根据业界企业数据中心网络最佳设计实践参考 ，结合新一代的业务现状及发展趋势，我们可以看到未来几年内业务处于一个高速成长期，必须在本期网络架构中充分考虑未来的可扩展性[7]。

8.1 防火墙设计

为保护数据的安全性，在云管理服务器接外网之间，架设一台防火墙。通过防火墙的策略对云管理服务器进行保护。通过防火墙上制定策略，提高网络的安全性。

8.2 接入层设计

接入层交换机采用千兆接入与每台服务器通讯，各服务器之间采用VLAN将各服务器逻辑上网络隔离，服务器之间不允许数据通讯，只允许分析服务器与云管理服务器通讯[8]。

8.3 网络拓扑

刀片服务器通过机架上的2个交换机连接到核心交换机，核心交换机通过防火墙连接路由器，路由器连接internet。2台云管理服务器运行云操作系统，采用Haproxy形成冗余，对云中心进行管理，oracle、sqlserver数据库通过交换机接入网络，安全服务器、存储也接入交换机。Mysql数据库可以安装在虚拟机上，oracle、sqlserver数据库不能装在虚拟机上，否则性能降低60%。通过在防火墙上制定策略，对云中心服务器进行过滤，保护云中心的服务器，如图6所示。

图6 大数据中心网络拓扑结构图

9 结论

数字图像的使用涉及数字图像的存储、获取、对比、优化、修复等一系列技术。一个好的数据中心架构无疑为数据中心的使用提供良好的基础，但与之对应的接口算法，数字图像的查询与信息对比也是提供高质量服务的关键。因此，在传统大数据架构的基础之上，采用合理的便于信息融入的架构模式，将为数据中心驱动程序的编写与部署提供无法替代的坚实基础，这种良好的架构模式可以对复杂数字图像处理提供优质的服务[9]。因此，建立一个结构安全可靠，易于使用的大数据中心将对基于数字图像的海量数据的处理起着不可替代的作用。

[1] 王星. 大数据分析：方法与应用[M].北京：清华大学出版社,2013.

[2] 张勇. 傅立叶变换在数字图像处理中的应用[J].廊坊师范学院学报,2015(3):25-27.

[3] 许志龙,张飞飞. 云存储关键技术研究[J].现代计算机,2012(5):18-21.

[4] 张勇. 数字图像修复关键技术的研究与实现[J].安阳师范学院学报,2014(2):32-35.

[5] 张东. 云存储技术研究与应用[J].科研信息化技术与应用,2012(6):85-90.

[6] 钱宏蕊. 云存储技术发展及应用[J].电信工程技术与标准化,2012(4):15-20.

[7] 袁晓如,张昕,肖何，等. 可视化研究前沿及展望[J].科研信息化技术与应用,,2011(4):78-81.

[8] 李国杰. 大数据研究的科学价值[J].中国计算机学会通讯,2012(9):8-15.

[9] [英] George Coulouris, Jean Dollimore, Tim Kindberg, 等.分布式系统:概念与设计[M]. 金蓓弘,马应龙,译. 北京：机械工业出版社,2012.

(责任编辑：孙文彬)

Based on Image Restoration Technology Research and Implementation of Large Data Centers

ZHANG Yong1,2

(1. Department of Computer Information, Suzhou Vocational and Technological College, Suzhou Anhui 234101, China; 2. School of Computer Science and Technology, China University of Mining and Technology, Xuzhou Jiangsu 221000, China)

In today's information age, there are more and more types of information storage. Digital images, as the most intuitive form of information representation, is intuitive, easy to read, understand and handle, it occupies a large proportion in the field of data storage. Therefore, how to construct the data in the massive storage space in large data center with digital image as the main form is vital. To build a data centers, it involved data center architecture design, processing design, topology and other issues. A good big data center is important for data sharing, and especially the key to digital image repair. Therefore, the establishment of large data centers with image storage as the main form will be the main work of establishment of large data center in the future.

big data; cloud computing; data storage; architecture design

2016-09-21

安徽省高校省级自然科学研究重点项目(KJ2016A782)

张勇( 1977- )，男，安徽宿州人，副教授，硕士，主要从事软件工程与图形图像处理研究。

TP

A

1009-7961(2017)01-0030-04