阿里云平台快速接入企业数据带来的益处

戴俊梅 陈龙

摘要：据IDC报告显示我国已进入大数据时代。众厂商各类服务系统中传统的数据处理逐渐演变成独立的计算业务，从而为社会各界提供服务。但企业自行建造大数据平台门要求高，诸如资金、场地、人员、技术等。有幸，阿里云平台提供了一个开放、兼容的大数据生态平台体系，为中、小、微企业对大数据计算的需求提供了坚实后盾。

关键词：大数据;中小微企业;开放的计算平台;集群;在线计算;兼容;优势

中图分类号：G642        文献标识码：A

文章编号：1009-3044（2020）34-0217-02

Abstract： According to the IDC report， China has entered the era of big data. The traditional data processing in various service systems which made by various manufacturers has gradually evolved into an independent business which supplys calculation. However， companies will be encounter with huge difficulties when building own big data platform. luckly，  Alibaba Cloud platform can support computing capability of big data compatibly and sharing.these services can satisfy the desire of SME enterprises on big data processing.

Keywords：big data;SME enterprises;opening cloud platform;cluster;OLTP; compatibility;advantage

1 大数据基本背景

2018年IDC发布的数字研究报告（Digital Universe）显示，我们所产生的数据量将超过40ZB（泽字节）。随着政治、经济、科技、文化的发展，中国以进入大数据时代。企业期待快速向社会推广业务，随这各类终端的普及企业数据急速膨胀，同时企业也期待加速数据分析和挖掘过程，并由报表展现为主到强调数据洞察转型，让数据直接快速产生价值（Value）。但随着数据几何倍数的增长，查询或计算的数据量过大，达到数千万甚至数十亿条，或待进行的计算非常复杂的情况下，关系数据库呈现出力不从心的趋势。企业为了存储大容量数据，也迫不得已需要投入高额的硬件成本。众多企业遇到了大数据处理的瓶颈。

2 阿里云平台接入解决方案

大数据系统的建设各环节必不可少，虽然投入巨大，但对于任何中小企业来说并非没有建设的可能性。近年来，随着计算的发展，云服务器运行商的助力，涌现出众多云服务运硬商，诸如、阿里云、华为云。依托于云服务平台，各企业便能具备大数据信息系统的建设的条件和可能性。企业能做到以最小的投入，围绕自企业业务为核心，建设大数据系统，集中精力优化企业，提高面向市场的服务水平。

2.1 阿里云体系结构

阿里云平台是一个兼容、开放的生态平台，主要内置四种服务平台。OSS平台，针对海量多媒体数据的存储与计算 ;MaxCompute平台，是針对离线式历史海量数据的存储计算;ADS平台针对实时在线式海量数据的查询与计算;Hriber postgres集群平台，针对传统关系型数据库的存储与计算。

对象存储服务，英文简称 OSS。是阿里提供的海量、低成本、高安全、可靠性的云存储服务。在任何时空、任何app中，通过阿里API，可实行数据上传及下载。使用者可通过阿里Web服务完成数据管理。OSS支持任意类型文件，能满足企、事业单位、开发者使用需求。按实际容量付费，无需关注运维细节及成本，使使用者专注自身核心业务运作。

随着各种终端日益增多，数据规模快速增长至PB级。使用单机服务器处理大数据已暴露出能力不足现象，数据分析者常采用分布式集群服务器对大数据进行计算。但分布式的计算模型对数据分析人员提出了较高的要求，不易维护，数据分析人员不仅需要了解业务需求，同时还需要熟悉底层计算模型，增加了各领域中业务数据分析的难度。MaxCompute计算服务平台，主要提供批量结构化数据的存储服务、计算服务、业务数据导入服务、分布式计算模型服务，可以针对海量数据仓库快速、深度分析，有效提取高价值潜在信息，有效降低使用者实现成本，并保障数据的存储安全性。

ADS服务品台的主要功能是，在TB、PB级结构化海量数据环境中，提供毫秒级明细查询、关联查询、统计计算。对于企业业务系统，支持国际标准化连接规范。连接协议包括MySQL 5.1/5.5/5.6系列连接协议。如市面主流连接协议：MySQL 5.1.x jdbc driver、MySQL 5.3.x odbc connector（driver）、MySQL 5.1.x/5.5.x/5.6.x客户端、java、python、C/C++、PHP、Apache Tomcat、JBoss。ADS平台由四个部分组成，分别是底层依赖层、计算集群层、控制集群层、外围模块层。

2.2 OSS服务开发

OSS服务，提供两种服务性开发方法，基于http请求的获取服务的开发方法，俗称http api调用方式，另一种是基于sdk开发包的程序模块开发方式，俗称二次开发代码接口，两种接口各有优势。http aip 适用于任意支持http协议的运行平台，无开发平台系统。二次开发sdk包方式，开发接口更加丰富，有助于企业高效、稳定扩展系统功能，支持目前市面主流开发语言：Java SDK、Python SDK、Android SDK、iOS SDK、C SDK。

在使用OSS开发前，需要创建访问密钥AccessKey（AK）相当于登录密码。AccessKey用于程序方式调用云服务API，而登录密码用于登录控制台。使用AccessKey构造一个API请求（或者使用云服务SDK）来操作资源。AccessKey包括AccessKeyId用于标识用户。AccessKeySecret是用来验证用户的密钥。AccessKeySecret必须保密。http api方式开发举例：GetService （ListBuckets） 对于服务地址作Get请求可以返回请求者拥有的所有Bucket，其中“/”表示根目录。sdk二次开发接口的主要使用方式：

2.2.1 ODPS平台服务使用开发

使用odps sdk前 需要开通阿里云认证账号，获得阿里云用户的身份标识accessId及认证密钥accessKey，这是MaxCompute初始化基础。Odps sdk开发包，支持主流java、python、C/C++开发语句，包括如下核心模块：

主要实体、处理动作对象介绍，Odps实体，主要是申请、获得大数据计算资源。

Projects，是odps平台中，项目空间的集合，由许多具体业务库组成，可以通过项目url和项目获得：

SQLTask用于运行、处理SQL任务。运行结果以Instance 实例，通过Instance获取SQL的运行状态及运行结果。

2.2.2 ads平台服务使用开发

ads平台的使用类似于普通关系数据库，具有DDL语言、DML语言。DDL用于创建、配置数据库及表。但具体语法与普通SQL不同，比如：

其中db_name：设置数据库名称，tablegroup_name为表组名称。options部分：minRedundancy表示该表组的备份副本数，默认为2。executeTimeout表示该表组的全局Query超时时间，默认为30000，单位毫秒。

根据表的数据更新方式不同，分析型数据库的表根据updateType分为批量更新表（仅能够离线批量更新数据）和实时更新表（能够通过insert/delete实时更新数据），用updateType以区分，如果updateType选项不填则默认为批量更新表。

分区表设置，目前分析型数据库支持最多兩级分区，并且一级分区仅支持HASH分区，二级分区仅支持LIST分区。HASH分区是一种动态分区值类型，即根据实际数据中的某一列的内容进行分区。所以在语法上，一级HASH分区的用法是：PARTITION BY HASH KEY（col1） PARTITION NUM 50。

2.3 基于阿里云平台企业业务逻辑的架构

企业的非结构化数据处理系统，如图片、音频、视频处理系统，特别适用基于OSS存储平台架构方案。各种终端设备、Web网站程序、移动应用数据，通过数据流方式向OSS平台写入数据。OSS平台具备带宽管理功能，因此可以实现超低延时的数据直接下载。OSS也可与阿里云其他服务平台联动，为多媒体数据的服务提供最佳体验。

3 结束语

阿里云平台可以快速接入企业大数据，有利于企业向市场提供高质量数据服务。阿里云服务在价格、服务方便比较合理，技术服务环节能提供有力保障，稳定、安全、高效且节约成本。

参考文献：

[1] 阿里云.专有云Enterprise版分析型数据库（ADS）.阿里公司内部技术白皮书，2017.

[2] 陈敏，张东.大数据整体解决方案及关键技术探索，华中科技大学出版社，2015.

[3] 刘鑫. MySQL和PostgreSQL的对比选择[J]. 沈阳工程学院学报（自然科学版）， 2011.

[4] 周静，谭亮.基于Hadoop的大数据平台构建[M]. 西南交通大学出版社，2018.

【通联编辑：王力】