基于互联网云技术的数据报送平台搭建

刘晋州

摘要：数据报送平台是数据处理和数据分析的基本保障，如何确保报送系统的迅速性和精确度是亟待解决的问题，为此设计基于互联网云技术的数据平台搭建系统。以89C51及89C2051为数据运行核心，由数据采集系统、数据调试模块、数据模拟信道、数据分类系统、数据结果显示板块等构建成系统硬件；软件设计采用模块化编程方法，传输码元速率为二进制数据流，实现数据的平稳传输。

关键词：互联网；云技术；大数据；平台搭建

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2018）29-0119-02

科学技术不断进步，不断推进生产力的发展，利用生产力的进步推动人类社会发展是我们的重要目的之一。生产力进步的最大动力就在于服务社会、解放人类。在当今社会，我们无时无刻不处在大数据的洪流中。新的数据报送平台搭建旨在依托迅猛发展的互联网技术、云计算技术、云储存平臺、大数据库，建立数据分类储存和智能分析系统，建立智能化的数据抓取与分析，实现最快捷的数据报送。国家和社会也大力支持数据平台的建设，如发改委发布称：“在今后的五年内，将投入资金一千亿元支持数字经济发展，支持大数据、物联网、云计算等领域建设，优先培育一批数字经济领域重点项目，助力数字经济和数字丝绸之路建设[1]。”

1利用云技术构建数据报送平台执行环境

在进行数据报送之前，需要了解另一端的用户是谁，他们从哪里来，又在哪里流失，从而找到新的增长点。只有构建了扎实的数据仓库，积累了大量的数据资产，并准确搭建多维数据分析模型，才能实现数据驱动。面对各种来源的数据，怎么对这些零散的数据进行有效的分析，得到有价值的信息是大数据领域研究的热点问题。大数据分析处理平台就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具，实现对数据的挖掘和分析，一个大数据分析平台涉及的组件众多，如何将其有机地结合起来，完成海量数据的挖掘是一项复杂的工作[2]。

数据平台搭建的产生原因是为了配合当今信息社会中海量数据的井喷式产生。无论是商业领域还是政府领域都把大数据作为十分珍贵的财富。数据平台搭建其实离我们并不遥远，最基础的基于互联网的数据分析就是运用Excel整合数据并进行处理。一些软件工程专业或者语言学专业的人，经常会在进行Java、Python开发时，对于数据平台产生兴趣，这也从侧面反映出了数据平台搭建在当今社会的必要性和重要性。

例如，在2018年的京东“618购物节”期间，从18日零点起到19日零点，单日成单金额达到1590余亿元，比上年度增加37%，在巨大的成交额面前，显示出的是庞大的购买用户。而且，京东购物节期间，京东连同用户众多的微信和QQ平台，上线了300余种社交互动玩法，参与互动人数超过3亿。如果这些用户的相关数据（年龄情况、性别情况、购买倾向、地域分布等）通过人工去进行分析，那估计要耗费上几百年了。所以基于互联网云技术的数据报送平台搭建才显得愈发重要。那该如何进行数据平台搭建呢？

数据平台搭建的第一阶段是要有数据，例如各大购物平台的购买数据，各大网站的用户点击数据，都可以成为搭建数据平台的基础。第二个阶段是要考虑要用数据解决一个怎么样的问题？拿一个非常具体的例子来说，一位商户想在大学城开一家麻辣烫店，需要数据搭建平台提供哪些帮助？首先数据的类别要包含大学城学生的人数、学生的属性、学校的规模、学校的食堂规模、学校食堂的管理方式、学生对于麻辣烫的喜爱程度、食堂每个出入口的人流量和现存商户、食堂商铺的租金等。

2实现海量数据收集传输

根据著名的数据使用金字塔定律来说，数据的使用方式有以下几种，Static、Query、OLAP、Adhoc、Data Mining等。由前到后对于数据的具体要求是不一致的。对于数据的数量要求越来越大，涉及的广度越来越堵，交互处理的难度越来越大，需要提供的技术支持也越来越复杂。而且，从Static到Data Mining用户的专业度也愈发提升，进行处理的门槛儿越来越高，处理的主体也从以人为主到机器为主转变[3]。

所以，数据报送平台的搭建需要借助强有力的软件平台。采用Red Hat进行数据基本操作，采用Flume NG系统进行大数据采集，采用hadoop构建PB级大数据平台进行广泛的数据储存，另外，Hive可用于数据清理，Spark R便于数据挖掘，模型应用的结果存储在H Base中[4]。数据平台搭建一般包括两个阶段，数据预处理和数据建模分析，前者是后者的准备工作。数据平台两个最重要的工作内容是数据建模和数据分析。前者基于业务搭建数据平台，后者基于平台数据监控，给予业务分析与指导。这都需要专业技术岗位人才进行操作，对行业属性及商业逻辑要深入理解。

数据平台围绕Select展开，增删改、约束、索引、数据库范式均可以跳过。用户数据都暂时记忆在date-state中，我们用Red Hat把该属性的值取出来，然后作为JSONEN格式读取，再把数据集中存储用户数据的部分提取出来即可，代码为：

数据报送平台搭建成功后，将在各个领域发挥重要的作用。例如，近期某市纪委监委依托监察体制改革契机，搭建了“公共基础信息查询数据平台”，重点围绕大数据查询、大数据监督、电子数据调查开展建设，助力监督执纪监察[5]。通过不同途径的数据交换实现动态采集，简化信息查询流程，并对部分敏感性数据建立起数据查询绿色通道，随时满足审查调查工作需求。此次搭建的数据平台已经汇聚20余个部门一百余类八十余亿条数据，对于政府之间的跨部门协作、跨层级共享的纪检监察信息资源共享具有至关重要的意义[6]。

3 基于云技术数据报送平台操作案例

以某政府部门为云技术数据平台搭建案例，数据报送平台可实现新建报送表格、报表审核、统计查询、表格权限管理和填报表格等功能。搭建完成后，具体操作流程为按住alt+p，就会跳出一个sftp窗口，再加命令：

put d：＼～＼jdk-7u79-linux-x64.gz。执行步骤二，解压jdk。主要命令是：tar -zxvf jdk-7u79-linux-x64.gz -C /app。将java添加到环境变量中，安装hadoop-2.5.0，最后再格式化HDFS，Hadoop命令为hadoop namenode -format。我们输入命令source/etc/profile，數据报送平台就可以正常运行了。

最后，数据报送平台不可以随意地允许访问，一定要设计权限系统，数据报送平台的权限设计包含两部分，功能访问权限和数据查看权限。功能访问权限是指不同访问者可以操作的界面，例如某一个访问者在自己的计算机客户端在订单查询页面能看到哪些字段，能操作哪些按钮。数据查看权限是指不同角色在同一页面中看到的数据范围，例如总公司管理员和分公司管理员在订单查询页面能看到的公司订单是不同的，区域主管只能看到所在区域的订单，总公司可以看到所有的订单信息。

4结束语

总之，我们结合多个实际案例，完整地介绍了一套数据报送平台从无到有的设计。基于云技术的数据报送平台搭建系统是基于单片机AT99C54来完成的，3路的模拟电压转换为数字信号之后，通过单片机进行大数据的分析处理，并将整理过的数据传送到储存系统和显示系统。大数据平台搭建过程中涵盖了大量的技术和产品，随着技术的发展和IT成果的出现，数据报送和数据管理都更加的便捷，也更具专业化和个性化。如何在数据报送过程中，兼顾效率和精准度，如何解决异构数据爆炸式增长，也将会很快解决。

参考文献：

[1] 石桂芳， 刘陈荣. 基于云平台的数据采集与统计汇总系统应用研究[C].2013电力行业信息化年会论文集. 2013：107-112.

[2] 李朝锋. 大数据时代基于云计算技术构建农业信息服务平台研究[J]. 河南科技， 2017（5）：19-21.

[3] 牟萍. 基于物联网、云技术和大数据的高校智能化教学环境构建[J]. 重庆师范大学学报：自然科学版， 2017（5）：81-86.

[4] 叶鑫， 董路安， 宋禺. 基于大数据与知识的“互联网+政务服务”云平台的构建与服务策略研究[J]. 情报杂志， 2018（2）.

[5] 刘建鑫. 智能化媒体发展的引擎——基于大数据和云计算技术的应用观察[J]. 青年记者， 2018（1）：50-51.

[6] 梁春华. 大数据环境情报研究平台发展现状与思考[J]. 情报理论与实践， 2017， 40（6）：63-66.

【通联编辑：光文玲】