基于大数据的智能高校信息综合处理平台设计

李慧

摘  要： 基于Pentaho BI的信息综合处理平台未对高校信息进行有效抽取和转换，存在高校信息处理速率低和错误率高的弊端，为此设计基于大数据的智能高校信息综合处理平台。硬件设计中，ETL管理模块将高校信息数据从来源端进行抽取、交互转换和加载，加快高校信息抽取速率，实现源数据到目标数据的变换;智能信息处理模块采用数据挖掘技术对高校信息进行大数据分析，实现对高校信息的有效处理。软件设计采用嵌入式Linux内核技术设计平台的软件开发流程，实现智能高校信息的综合处理。实验结果表明，所设计平台在提升高校信息处理效率方面有较强的应用效果，且平台可将信息处理错误率控制在5%以下，对高校信息的处理结果可靠性高。

关键词： 大数据; 高校信息; 综合处理平台; 智能信息处理; 数据挖掘技术; 软件开发

中图分类号： TN919?34; TP311.13              文献标识码： A                    文章编号： 1004?373X（2019）10?0031?04

Design of intelligent university information integrated processing

platform based on big data

LI Hui

（Yancheng Teachers University， Yancheng 224007， China）

Abstract： The information integrated processing platform based on Pentaho BI cannot conduct effective extraction and conversion of university information， and has the disadvantages of low processing rate and high error rate of university information. Therefore， an intelligent university information integrated processing platform based on big data is designed. In the hardware design， the ETL management module is used to extract， interconvert and load the university information data from the source terminal， so as to accelerate the university information extraction rate and realize transformation of source data to target data. In the intelligent information processing module， the data mining technology is used to conduct big data analysis of university information， so as to realize effective processing of university information. In the software design， the software development process of the embedded Linux kernel technology design platform is adopted to realize comprehensive processing of intelligent university information. The experimental results show that the designed platform has a strong application effect in improving the processing efficiency of university information， can control the error rate of information processing below 5%， and has a high reliability for university information processing results.

Keywords： big data; university information; comprehensive processing platform; intelligent information processing; data mining technology; software development

0  引  言

随着计算机技术的不断发展，高校的信息化发展进程也逐渐加快，随之产生海量的信息数据。信息类型由过去的单一化的结构数据转变为包括视频信息在内的非结构化数据，因此传统的信息处理平台无法高效处理现有的非结构化数据。此外，采用以业务为管控核心、数据为驱动的管理模式容易导致信息处理平台与数据间的耦合性加强，无法体现出高校信息的价值意义。

以往相关人员研究出的高校信息处理方法，如文献[1]中信息处理平台着重于业务忽视了高校信息的价值，对信息的深度加工和解读不足，因此平臺处理结果不具有代表意义;文献[2]中信息平台利用Pentaho BI的集成工具来收集和分析来自高校的各个学科不同管理部门的信息，从而构建高校信息综合处理平台，但该平台由于缺少综合的信息抽取与转换过程，无法直接利用学科建设信息，信息处理过程较复杂。为解决上述问题，设计基于大数据的智能高校信息综合处理平台。实验结果表明，所设计平台的高校信息处理效率较高，错误处理率得到有效降低。

1  基于大数据的智能高校信息综合处理平台设计

基于大数据的智能高校信息综合处理平台，核心在于将大数据的应用效果与机器学习以及人工智能等先进技术结合[3]，使信息处理平台在智能处理高校信息的同时实现自我学习，并在运行过程中对故障进行自我检测，打破传统高校信息管理的壁垒，视数据和业务为一个单独整体[4]。图1为平台的总体结构图。

图1  平台总体结构图

1.1  硬件设计

1.1.1  ETL管理模块设计

ETL用来描述将高校信息数据从来源端经过抽取、交互转换和加载至目的端的过程。任意一个信息处理平台的核心均为数据抽取和转换[5]，尤其是在海量数据的处理中，数据抽取和转换的好坏决定处理平台的成败。图2为ETL技术体系结构图。

图2  ETL技术体系结构

ETL管理模块作为平台的核心，其功能主要分为数据处理和业务控制两部分，负责进行数据的清洗以及实现源数据与目标数据间的映射转换。ETL模块在功能设计上分为控制、服务以及应用三部分，功能间相互衔接，结构划分清楚，能够完全实现平台的需求[6]。其应用架构逻辑结构如图3所示。

图3所示的逻辑结构能够在高校信息的数据抽取过程中，依照不同的抽取条件实现动态配置，提升ETL的灵活性和实用性，以满足不同平台使用者的需求，降低平台的再次开发工作量。数据抽取环节主要进行增量抽取[7]，其次进行全量抽取，提升对高校信息的抽取速率，实现源数据到目标数据的变换。

图3  ETL应用架构逻辑结构图

1.1.2  智能信息处理模块设计

智能信息处理模块作为主控模块，实现高校信息的智能分析。该模块采用大数据挖掘技术对高校信息进行大数据分析和信息处理，采用安卓操作系统将信息处理指令发送给相关的I/O引脚，同时采用字节为单位与上层ETL管理模块进行无线信息包交互[8]，与此同时在MVB的总线控制下完成进程管理与文件配置过程。通过在TinyOS 2.x中调用Task Basic.posTask（）任务的某个事件来激发智能高校信息管理平台的Task Basic接口程序，确保语义生命网络协议数据库开发的过程在标准TinyOS调用程序下完成。智能信息处理模块体系结构包括高校信息资源库、核心库、协议库以及通信库[9]。智能信息处理模块逻辑结构如图4所示。

图4  智能信息处理模块逻辑结构

1.2  软件设计

在上述平台硬件模块设计的基础上，进行智能高校信息综合处理平台的软件设计。智能高校信息综合处理软件建立在嵌入式Linux内核技术上，包括网络通信模块、交叉编译模块、数据存储模块以及程序加载模块的设计。构建通信信息数据库，得到rootfs.yaffs文件，通过对s3c2440_adc_read（）函数进行调用，实现程序的加载和高校信息的嵌入式控制。设计程序加载模块时，在Linux内核中的引导加载程序按照地址指针指向VIX的数据，连续不断地将数据传输到中央计算机中，实现对高校信息的特征采集[10]。将FLASH设备中的文件发送至数据硬盘并有效保存的过程是通过VISA接口实现。图5为智能高校信息综合处理平台的软件开发实现流程。

图5  智能高校信息综合处理平台的软件开发实现流程

2  实验分析

为了验证本文基于大数据的智能高校信息综合处理平台的有效性，对本文平台进行仿真实验。将该平台用于南方某高校的教务系统中，验证所设计平台的有效性。对本文平台进行测试的环境为Windows 8操作平台，平台测试人员的移动网络终端的带宽最低为20 Mb/s。平台有效性的评价项目包括信息综合处理效率、平台的稳定性以及平台进行信息交互的成功几率。

实验时对本文平台在不同并发人数使用下的反應时间进行测量。为使测试的时间具有较强的代表意义，在某天8：00—9：00进行多次平台反应时间测试，测试结果如表1所示。

为突出比较本文设计平台在处理高校教务信息的用时长短，以传统基于正交分解大数据的信息综合处理平台（方法1）和基于Pentaho BI的信息综合处理平台（方法2）对教务信息的处理结果作为实验参照，结果分别如表2和表3所示。

表1  本文平台反应用时

表2  基于正交分解大数据的信息综合处理平台反应用时

表3  基于Pentaho BI的信息综合处理平台反应用时

分析表1～表3可知，本文平台在不同人数使用下的反应用时均少于方法1和方法2。从表2可以看出，方法1反应用时较本文平台的用时要长一些，在不同平台使用人数下，本文平台的用时均低一些;而方法2在不同的使用人数下的反应用时最长，该平台的高校信息综合后处理效率最低;本文平台在0～50，51～100，101～150以及151～200人的使用情形下的平均用时为1.42 s，2.94 s，5.04 s以及6.37 s，对应的方法1的信息处理平台反应用时分别为2.67 s，4.66 s，7.57 s以及9.38 s，对比说明本文平台在智能处理高校信息时具有较高的效率。

使用人数在200～300之间时，本文平台的反应用时几乎没有发生变动，因此得出本文平台的稳定性较强，而方法1和方法2在使用人数逐渐提升时，平台反应时间不断提升，平台稳定性较差。

实验在比较3种平台的反应用时的基础上，通过比较3种平台处理教务信息结果的错误率的高低来验证本文平台信息处理结果具有精度高的优势。高校信息包括多种类别，实验同样以该高校为例，以该校管理营销系专业课的期末成绩为处理对象，对学生成绩的综合处理包括课堂成绩和期末卷面成绩两部分，要求平台对两部分的信息综合处理结果的错误率低于5%，即说明该平台是可以进行智能高校信息综合处理的。3种平台对学生成绩处理结果的错误率如表4所示。

表4  三种平台对学生成绩的综合处理结果错误率

综合分析表4数据可以看出，3种平台在综合处理不同科目成绩时均有成绩处理错误的现象。本文平台对不同科目的成绩处理错误率变化区间在0～5%之间，该数值符合平台对高校信息综合处理的错误率区间，说明本文平台可以应用到智能处理高校信息中;而方法1平台对各科成绩的综合处理错误率在9%以下，超出正常平台的错误率要求，因此该平台不适用在高校信息的综合处理中;方法2平台对不同科目的成绩处理结果错误率最高，最高在11%，说明该平台最不适宜进行高校信息的综合处理。

3  结  论

本文基于大数据的智能高校信息综合处理平台，设计ETL管理模块和智能信息处理模块。通过将高校信息进行抽取、交互转换和加载至目的端的过程，实现对高校数据的高效抽取;智能信息处理模块采用大数据挖掘技术对高校信息进行大数据分析和信息处理，实现对高校信息的智能分析。根据实验结果分析可知，所设计平台在提升高校信息处理效率方面有较强应用性，处理高校信息的错误率始终低于5%，因此说明所设计平台是一种高质量的智能高校信息综合处理平台。

参考文献

[1] 向小佳，赵晓芳，刘洋，等.一种正交分解大数据处理系统设计方法及实现[J].计算机研究与发展，2017，54（5）：1097?1108.

XIANG Xiaojia， ZHAO Xiaofang， LIU Yang， et al. An orthogonal decomposition based design method and implementation for big data processing system [J]. Journal of computer research and development， 2017， 54（5）： 1097?1108.

[2] 张长恒，黄芳.高校学科建设数据信息平台的设计与实现[J].图书情报工作，2015，59（8）：111?117.

ZHANG Changheng， HUANG Fang. Design and research of university data platform for discipline construction [J]. Library and information service， 2015， 59（8）： 111?117.

[3] 张倩.高校档案物联网大数据处理平台的构建方案研究[J].档案与建设，2016，33（2）：39?43.

ZHANG Qian. Research on the construction scheme of IoT big data archival processing platform in colleges and universities [J]. Archives & construction， 2016， 33（2）： 39?43.

[4] 邓炳光，张林霞，张治中，等.基于数据仓库的旅游服务平台的设计与实现[J].电视技术，2015，39（20）：26?30.

DENG Bingguang， ZHANG Linxia， ZHANG Zhizhong， et al. Research and implementation of travel services platform based on data warehouse [J]. Video engineering， 2015， 39（20）： 26?30.

[5] 李建斌，刘小勇，王伟，等.企业安全生产大数据应急平台设计[J].武汉理工大学学报（信息与管理工程版），2017，39（6）：679?682.

LI Jianbin， LIU Xiaoyong， WANG Wei， et al. Design of big data emergency platform for safety production in enterprises [J]. Journal of Wuhan University of Technology （Information & management engineering）， 2017， 39（6）： 679?682.

[6] 金瑶，时明明，周洁，等.平面度误差检测平台设计与数据处理[J].工具技术，2016，50（11）：103?106.

JIN Yao， SHI Mingming， ZHOU Jie， et al. Flatness error detection and data processing platform [J]. Tool engineering， 2016， 50（11）： 103?106.

[7] 宋杰，孙宗哲，毛克明，等.MapReduce大数据处理平台与算法研究进展[J].软件学报，2017，28（3）：514?543.

SONG Jie， SUN Zongzhe， MAO Keming， et al. Research advance on MapReduce based big data processing platforms and algorithms [J]. Journal of software， 2017， 28（3）： 514?543.

[8] 赵玉聪，钟志农，景宁，等.多维实体关联信息综合处理平台[J].计算机应用，2016，36（z1）：213?216.

ZHAO Yucong， ZHONG Zhinong， JING Ning， et al. Multi?dimensional and comprehensive platform for entity?relation information managing [J]. Journal of computer applications， 2016， 36（S1）： 213?216.

[9] 潘梅勇，宋伟奇.基于大数据的高职院校信息资源库建设[J].职业技术教育，2016，37（5）：24?26.

PAN Meiyong， SONG Weiqi. Construction of information resource database based on the big data in higher vocational colleges [J]. Vocational and technical education， 2016， 37（5）： 24?26.

[10] 王永坤，罗萱，金耀辉.基于私有云和物理机的混合型大数据平台设计及实现[J].计算机工程与科学，2018，40（2）：191?199.

WANG Yongkun， LUO Xuan， JIN Yaohui. A hybrid big data platform based on private cloud VMs and bare metals [J]. Computer engineering & science， 2018， 40（2）： 191?199.