国内基于大数据的个性化服务研究进展

2018-03-14 19:32孙雨生��于凡孙肖妹郝丽静
现代情报 2018年2期
关键词:数据可视化个性化服务数据挖掘

孙雨生��于凡 孙肖妹 郝丽静

〔摘要〕本文用内容分析法归纳了197篇文献内容,揭示了基于大数据的个性化服务内涵、核心内容及研究框架,并从架构体系、关键技术两方面阐述了国内基于大数据的个性化服务研究进展:架构体系包括体系结构、功能模块和运行机理;关键技术包括信息推荐、搜索引擎、大数据等。

〔关键词〕大数据;个性化服务;数据可视化;信息推荐;数据挖掘

DOI:10.3969/j.issn.1008-0821.2018.02.026

〔中图分类号〕TP399;G202〔文献标识码〕A〔文章编号〕1008-0821(2018)02-0171-07

Research Development of Personalized Service Based on Big Data in China

——Architecture System and Key Technology

Sun Yusheng1,2Yu Fan1Sun Xiaomei1Hao Lijing1

(1.School of Economics and Management,Hubei University of Technology,Wuhan 430068,China;

2.Information Technology Support Center,Institute of Scientific & Technical Information of China,

Beijing 100038,China)

〔Abstract〕Using the content analysis method,the paper summed up the contents of the 197 articles,revealed the connotation,core content and research framework of personalized service based on big data,and expounded its research development in China from two aspects of architecture system and key technology.The architecture system included architecture,function module and operation mechanism.The key technologies included information recommendation,search engine,big data,and so on.

〔Key words〕big data;personalized service;data visualization;information recommendation;data mining

伴随大数据时代到来,海量、异构、动态信息资源与有限用户信息认知能力间矛盾致使信息过载、迷航问题凸显[1],如何基于用户需求、興趣及行为模式提供其感兴趣信息成为亟待解决问题。传统个性化服务类型丰富度、内容准确度、服务差异化均无法满足大数据环境下用户个性化[2]、知识化、专业化、智能化信息需求,甚至引起其厌烦[3]。因此,研究大数据环境下个性化服务问题有重要意义。

本文首先以知网、万方的学位论文库、期刊论文库及维普的期刊论文库为信息源,以“大数据”和“个性化”为关键词组合在题名中检索相关文献(截至2017年8月19日,从知网获硕博论文10篇、期刊论文159篇;从万方获硕博论文12篇(新发现3篇)、期刊论文172篇(新发现23篇)、从维普获期刊论文186篇(新发现2篇);合计197篇);其次,详读197篇文献归纳出基于大数据的个性化服务内涵、核心内容及研究框架、架构体系及关键技术并根据提及频次、内容质量详细标注,本着最大限度反映国内基于大数据的个性化服务架构体系、关键技术研究进展重要文献、优中选优(剔除标注次数少、与其他标注文献内容重复文献)原则选出45篇参考文献(内容覆盖197篇文献);最后从架构体系、关键技术两方面阐述国内基于大数据的个性化服务研究进展。

2018年2月第38卷第2期现代情报Journal of Modern InformationFeb.,2018Vol38No2

2018年2月第38卷第2期国内基于大数据的个性化服务研究进展

Feb.,2018Vol38No2

1基于大数据的个性化服务简介

11定义及内涵

杨亮等[4]、马晓亭[5]认为基于大数据的个性化服务面向大数据环境,以用户为中心[4,6],按需求相似性分类用户[7],在满足共性需求前提下基于用户特征与个性需求、兴趣或行为模式构建并进化用户兴趣模型,动态匹配信息并个性化主动提供服务[1],实现服务时空、方式、内容个性化[1,4,5,8],服务资源配置、效率与收益[2,6,7,9]、用户体验最优化,成本最低化、模式最简化,以高效协同用户、资源、服务并形成数据集成、价值挖掘、分析决策完整生命周期[6],呈现重视用户交互、服务方式多样且安全可控等特点[1],与传统个性化服务对比见表1。此外,陈臣[9]、潘玉辰[10]认为基于大数据的个性化服务是通过统一封装、配置、管理、调用服务资源、知识、技术、能力、过程,个性化完成服务交付、共享、使用、交易的知识服务模式。

12核心内容与研究框架

分析现有文献,笔者认为基于大数据个性化服务核心研究用户兴趣建模、服务模式、信息资源管理、关键技术等,研究框架见图1。

2基于大数据的个性化服务研究进展

纵观现有研究成果,国内基于大数据的个性化服务研究整体处起步阶段但发展迅猛,相关文献最早是汤铭2012年发表的《大数据需要个性化营销》。现有学术研究集中在用户兴趣建模[2]、服务模式、信息资源管理[4,6,15]、用户隐私与数据安全[11,18]等方面[3],应用领域涉及图书馆[4-6,9,12,14,19-20]、教育[21-22]、电子商务[3,8]、医疗[9]等。

21架构体系

211体系结构

1)基于大数据的图书馆个性化服务系统

陈臣[7,9]、秦帅[23]提出图书馆个性化[9]智慧[7,23]服务体系,分平台层(涉及应用与管理平台[7,23]、智慧化服务平台、数据基础平台[23]、数据中心等[7],包含应用层[7,23](分决策层(服务提供、系统管理、决策)、分析层(数据挖掘、统计分析)[9,23]、组织层(处理并描述数据结构特征)[9])、存储层[9]等)、传输层(涉及光纤、无线、网络传输等[7],传输感知层所采集数据到数据中心[23])、感知层(涉及(系统、网络[23])监控器、传感器[7]、RFID[7,23]等);陈臣[11]提出图书馆个性化服务安全体系,分安全大数据挖掘分析层(明确安全需求、事件影响力、策略可用性)、安全大数据采集存储层、安全大数据互联平台层(互联图书馆安全管理系统)、系统平台安全管理层(基于数据流安全管理应用系统)、大数据资源安全管理层(数据采集、提取、存储)、硬件设备安全防护层(机房环境、硬件、数据传输);李艳等[20]提出高校图书馆大数据挖掘体系:辅助决策层(用数据挖掘技术采集、融合、挖掘、分析数据并呈现为动态多维报表、图形以便决策)、大数据分析层(基于Hadoop虚拟化技术离线批量、实时流式完成样例分析、建模、多维数据抽取、规则库定义和递归优化)、大数据存储交换层(基于业务间公共数据池、数据字典、数据接口、分布式流式Hadoop)、外部数据挖掘层(粗获取、清洗、人工审核并实时检索、语义分析、智能挖掘Web信息)。

2)基于大数据的教育个性化服务系统

于凯等[16]基于显式、隐式用户反馈构建个性化教学推荐体系,分效用评价层(实时精确、多样新颖)、推荐生成层(基于隱式反馈)、数据预处理层(获取用户兴趣)、源数据采集层;杨雪等[22]、高艳艳[24]、马相春等[25]提出个性化自适应[25]学习[22,25]、中小学生辅导[24]体系,分用户层(家长、学生、家教、管理者)[24]、支撑层(微信,前后台交互界面[24],呈现学习内容、工具、情景、策略[25])、应用服务层[22]、信息层(涉及平台信息库[22],学生基本、行为、情感信息库,规则库[25])、(基础[22])数据层(存储感知层所获结构化、半结构化原始学习数据)、感知层(涉及应用终端、采集硬件、物联设备)[25],其中,应用服务层[22]又称控制层[25],基于学生特征、领域模型提供个性化学习服务(教辅资源、辅导[24]),基于服务评价更新引擎规则[25],分个性化服务层[24]、业务应用层[24-25](诊断学习问题[24],分统计描述层(挖掘学习数据)、教育测评层[22]);周进[26]提出大数据时代高校个性化教育支持框架由监测预警系统(通过仪表盘、可视化报告动态呈现监测过程,基于评估结果干预行为、改进效果)、数据分析系统(基于数据挖掘工具)、服务支持系统(基于共性、个性需求设计课程体系)、目标支持系统(诊断人才培养、个性化教育目标)、数据仓储系统(统一并基于数据标准构建数据仓库且注重信息管理)。

3)基于大数据的电子商务个性化服务系统

陈玉兆[27]、邓玉林[28]提出基于Hadoop、B/S架构个性化推荐系统体系,分推荐终端(含移动端、PC端、电视)和终端应用(界面表示层,方便用户交互,结果展示、分类、管理,用户注册、登录[28])层[27]、业务层(涉及推荐后台、推荐引擎,用基于Mahout协同过滤、基于内容推荐算法等处理离线数据并将结果存入数据库(常结合用户行为在线推荐),辅以基于文本相似度热点推荐算法、自定义算法;分应用功能层(支持检索、推荐及其管理、数据采集、用户兴趣分析)、公共服务提供层、数据访问层(预处理并持久化数据)[28])[27]、数据资源层(基于HDFS或NoSQL存储,基于Hive、Pig-Latin等ETL、管理用户及商品[28]数据等)、基础设施层(分基于Hadoop协同过滤集群、基于内容计算集群,基于MapReduce分布式应用架构横向扩展集群)。

此外,潘玉辰[10]提出大数据环境下战略新兴产业个性化服务体系,分应用层(包括个性化定制、导航、推送、检索、社区服务)、平台层(提供统一服务接口、空间,处理用户需求,涉及人员、技术、资源、服务、流程要素)、资源存储层(组织处理(清洗、转换、加载)资源、用户基于API按需使用)、基础技术架构层(网络、云计算、大数据等技术及相应管理机制);孙笑宇[29]提出基于大数据车联网个性化服务平台分车辆接入平台、服务平台(分服务访问层、集成层、管理层、服务总线模块)、服务后台。

212功能模块

1)基于大数据的图书馆个性化服务系统

夏秀双[1]、栾旭伦[2]认为分10模块:用户接口、用户评价(优化用户兴趣模型、数据挖掘算法[1])、信息推送(用Agent进行基于跟踪挖掘动态推荐、基于定制推送)、信息匹配(二次匹配用户需求与过滤结果)、信息过滤(过滤检索结果[1])、信息检索(用Agent检索馆藏,若匹配则输出,否则匹配Web信息并保存结果到本地再反馈)、数据分析(结构化数据(识别用户相似性、不同时段行为差异性)、日志(获取实时需求、预测潜在需求)、特殊信息分析(基于其他用户获取信息,构建用户兴趣模型[2]))、数据集成(逻辑集成用户行为数据[2])、数据规范化(合成、规约、优化、转换)、用户信息库[1]。

2)基于大数据的教育个性化服务系统

牟智佳[30]认为个性化学生评价系统分可视化反馈(基于Weka、Gephi、Google Chart、R语言等)、个性化评价(基于个性化学习评价模型、层次塔评价学习过程、结果)、数据分析处理(清洗、提取、加工、挖掘)、信息采集(基于云存储池中数据库采集键击层、回答层、学生层数据)模块并通过云管理层调控教育云服务、云计算、云存储平台;周清清等[31]认为个性化学习平台分个性化评价、干预、答疑咨询、个性化预测,个性化学习计划制定、测评、实时反馈,数据库(涉及学生模型库、答疑库、知识库、课程库、资源库、试题库)等模块;高艳艳[24]提出个性化辅导平台分交互(学生与平台、家教、心理师)、干预(可视化诊断结果给家长、家教、管理者并个性化推送资源)、诊断(基于注意力、情绪情感、学习方法、知识漏洞建模)、学习资源模块;孟杨[32]提出个性化错题推荐系统分用户登录、学习报表(反映学生知识点掌握度及班级排名)、错题分析、错题个性化推荐、错题本(记录并排序错题)模块。

3)基于大数据的电子商务个性化服务系统

严克文[33]提出物流个性化推荐系统分用户行为记录(更新、查询、标记)、用户兴趣模型管理(基于用户相异度矩阵构建、局部进化)、推荐算法模块;陈玉兆[27]、邓玉林[28]、贾利娟[34]、陈玉[35]提出个性化推荐系统分渠道[34]管理、输出[35](结果展示及管理[28])、在线推荐[35](基于HDFS需求按日期、行为次序分类数据并计算用户商品兴趣度[27]以分析其兴趣[28]偏好[34],基于日志分析用户行为构建兴趣相似群组[27],基于协同推荐[28]、用户浏览商品特征优化老用户推荐列表[27],基于内容[27-28,34]向新用户推荐[27])、离线计算[35](预处理[28,34](数据标准化、有效化(基于ETL)[27]、扩展,计算用户、项目TF-IDF以构建特征向量[28]),基于规则库、集成分类器、双层关联规则分类并Web挖掘[34])、输(接[34])入[35](采集[28]用户行为(点击、收藏、购物车、购买[27])、商品特征)模块,此外,陈玉兆[27]认为离线计算模块包括混合协同推荐与内容推荐向老用户推荐、基于文本相似度向新用户推荐热点,分计算层(选取推荐算法进行推荐)、数据层,由脚本程序控制运行、推荐程序基于MapReduce分布式处理HDFS中数据(Application Master节点监督程序运行状况并定时反馈给主节点、重启(提交)失败节点任务,在Reduce阶段汇总推荐项目形成原始推荐列表)并将结果存入关系数据库。

此外,刘译璟等[36]提出百分点推荐引擎由场景引擎(计算用户意图)、展示引擎、规则引擎(根据用户意图向算法引擎请求推荐数据,向展示引擎请求展示方式)、算法引擎构成;康海燕[18]提出基于大数据、用户兴趣个性化检索模型分用户兴趣模型、检索代理(预处理、整合用户请求(分词、调整、反馈等)并返回结果)、搜索引擎模块。

213运行机理

1)基于大数据的图书馆个性化服务系统

马晓亭[5]提出图书馆个性化阅读推荐流程:基于图书馆大数据资源库(涉及文件、音视频、图像),经噪声过滤、标准化与匹配、挖掘、价值提取、整合等处理形成个性化阅读决策支持大数据,基于大数据分析决策(数据相关性分析、关键读者发现与ID匹配)、服务质量评估反馈发现读者个性阅读需求(含阅读情绪),智能匹配资源并定制个性化阅读服务内容、方式、模式且智能精准、实时安全推荐,基于质量智能评估(QoS评估、服务总收益率)、用户反馈智能优化读者需求发现过程、个性化阅读推荐流程;陈臣[17]提出基于HDFS、Hbase图书馆大数据检索流程:以网络、第三方数据库、大数据平台、论坛博客、APP应用为数据源,经爬取、过滤、索引、摘要、分类等提供导航、搜索、索引、定制、价值提取等服务。

2)基于大数据的教育个性化服务系统

余小高[21]、尤海浪等[37]提出相似个性化微课[21]、游戏[37]推荐流程:数据获取存储、数据清洗挖掘(用Hadoop计算资源相似度矩阵并存入Redis)、服务提供(客户端接受并发送用户请求至后台,基于资源相似度矩阵、用户相似度矩阵、当前访问资源ID、历史访问资源ID(根据用户ID获取)用推荐算法进行Top-N推荐);周清清[31]、裴莹[38]提出个性化学习流程:基于学习数据库收集学习轨迹(测试[31])数据传给分析系统(大数据技术预处理、分析數据)生成可视化学习行为分析报告,自适应系统修改报告、评估学习过程发现潜在问题并智能干预(引导学生适应性修正学习内容),教师整合基础数据、教学经验和分析系统所得结论并通过干预系统人为干预学习路径、优化教学方案、个性化[31]预测未来学习情况(模式)以个性化教育(推荐资源并接收反馈[31])。

3)基于大数据的电子商务个性化服务系统

严克文[33]、邓玉林[28]提出电子商务[28]、物流[33]个性化推荐流程:采集用户数据(检索日志[28]、服务评分[33])并存于数据库,预处理(标准化、扩展)数据后基于潜在语义分析、分片聚类分别分析用户长期、短期兴趣[28],基于相异度矩阵构建用户兴趣模型[33]并结合推荐算法推荐,基于用户选择评价以增量更新局部进化用户兴趣模型[33]。

此外,潘玉辰[10]提出战略性新兴产业个性化检索流程:加工处理、采集分析信息资源并构建索引,基于关键词、主题词形成索引数据库,与用户请求匹配并以个性化定制、智能代理、垂直门户和智能导航方式提供检索服务。

22关键技术

基于大数据的个性化服务涉及多种技术[4,19],核心是信息推荐(适合需求不明确用户,基于用户兴趣、行为)[39]、搜索引擎、大数据,此外,还涉及用户兴趣建模、RSS[8]、社会网络、云计算(实现大数据统一管理、高效流通、实时分析[15])、云存储(多用NoSQL[14])、Web数据库、Agent、本体、虚拟化[14]、物联网(解决平台支撑薄弱、服务水平低等问题)等。

221信息推荐

1)简介

陈泽[39]、郑杰辉[40]提出推荐引擎以黑盒方式接受用户基本、交互信息(显式(评分、评论)、隐式(项目偏好))、源项目数据(项目元数据(名称、ID))进行推荐[39],面临实时性、新颖性(推荐流行、得分高项目最保险但用户体验不一定好(可能已知))、增量计算(基于增量数据运算已计算推荐模型并实时反馈,部分基于隐式反馈数据算法系统架构和开发约束更大)、大数据(数据利用不充分(数据积累、针对性、结构化、共享性差,无法二次挖掘[41]))挑战。

2)推荐算法

陈泽[39]、陈玉兆[27]认为基于数据挖掘个性化推荐包括学习(又称数据预处理,挖掘原始结构化、非结构化数据并构建推荐模型)、使用(基于用户行为、推荐算法生成推荐并实时导向用户)两阶段,常用算法有协同推荐[14,21,27,37,39](基于项目(如Slope One(易计算但不精确))、基于用户)、基于内容推荐[27]、SVD(奇异值分解,提取庞大稀疏矩阵特征值并分析主成分因子以降维提速但需较大空间)、组合算法[27](含加权混合(加权多种算法结果后排序)、变换混合(按推荐场景选择算法)、分区混合(多种算法结果各取前几个)、分层混合(前一算法推荐结果传给下一算法筛选)[8,21,37,39])等。此外,还包括基于关联规则推荐[27]、基于模型协同推荐(用数据挖掘算法基于用户历史交互信息构建推荐模型,按用户请求预测推荐、挖掘潜在兴趣)[39];严克文[33]提出基于增量更新用户协同推荐算法、基于增量更新用户相异度的Slope One算法以基于用户相异度矩阵模型选择最近邻(相异度小、同现次数多)进行用户协同推荐;陈玉[35]基于FCM(模糊C-均值聚类)改进基于用户协同推荐算法;贾利娟[34]提出基于偏好双层关联规则内容推荐算法(包括用户偏好分析(基于DPI表所含用户访问内容、行为信息(访问量、流量、活跃度))、双层关联规则挖掘流程(预处理用户日志、平台访问数据并基于基础内容、内容类型两层挖掘关联规则)、主流程(基于用户偏好类型关联、内容规则匹配并推荐));陈泽[39]提出基于加权两层图推荐算法(用项目类别、用户评分矩阵基于内容、协同过滤计算并优化项目间相似度,构建基于用户项目的加权两层图并考虑其全局关系、结合随机游走算法推荐);马相春等[25]提出基于多种群选择的学习路径推荐算法(基于蚁群算法、学生所属群体同伴评分及其权值进行推荐)。

3)其他

丁然[42]基于云计算分布式并行处理大数据集、推荐计算以个性化推荐;尤海浪等[37]、余小高[21]提出相似度改进算法(依次为基本计算、余弦相似度计算、余弦相似度a计算、改进余弦相似度计算、改进余弦相似度归一化)、算法评价指标(涉及精度(召回率/准确度)、覆盖率(推荐列表中包含项目比例)、多样性(推荐列表中项目间相异性))。

222搜索引擎

基于大数据的个性化搜索用大数据技术[17]提高搜索(匹配模型、排序算法等)准确率、个性化[1,10]、安全性(保护用户隐私[3])、功能扩展性、经济性[3]、实时性[1]、智能性[1,3]、兼容性(支持大数据平台、容错性高、数据接口开放并向下兼容)、交互性[1,10]、灵活性[10]、可用性(易操作维护),改善用户体验。具体结合搜索需求、大数据环境,通过技术革新(核心是智能信息技术(如聚合搜索、时效搜索、框计算[6]、云计算[14]等)、SOA架構[3])定制搜索引擎参数、与第三方服务商联盟[3,17]进行即时深度个性化搜索(智能分析大数据蕴涵[6]用户特征、服务需求、行为[1],预测判断用户搜索步骤、内容、需求和情绪特征并在系统空闲时预搜、分析、整合、存储数据[19])。

223大数据

大数据技术是以数据为研究方法、工具,通过数学算法发现知识、挖掘价值、预测趋势、提升智能、创造价值[11,15,40,42],以大数据应用和服务为核心实现产品即服务、技术即服务、意识即服务的个性化智慧服务理念[7],以启发或激励行为(形成更多待挖掘数据),为资源层提供技术支持[10]。究其内涵,叶娟[15]、陈玉兆[27]、牟智佳[30]、马晓亭[43]、潘玉辰[10]认为包括数据显示(仿真及可视化[10]输出)和应用[30]、数据分析与挖掘[1,10,27](关联规则学习、分类与聚类、情感分析、合成学习、基因算法、异常探测、预测建模[15])、分布缓存与计算(涉及Hadoop[29]、Mahout(实现扩展性良好机器学习算法且可扩展到云中)、云计算等)[1,27]、数据存储[1,27,30](索引、存储、分享、归档)[30]与管理(基于数据库)[10]、数据处理(自然语言处理、模式识别、A/B测试[15]、机器学习、数据聚合[10,15])、数据预处理(辨析、抽取、清洗)、数据感知采集[1,10,27];夏秀双[1]、陈玉兆[27]认为涵盖可视化分析、预测分析(核心价值)、语义引擎、数据质量和数据管理(核心是数据存储)等主题;胡一[8]、孙笑宇[29]认为包括MPP(并行处理机)、MapReduce(计算海量数据[29])、NoSQL;此外,陈玉兆[27]提出大数据处理与传统数据处理区别:基于全数据集分析、效率高、挖掘相关性;董燕[44]以大数据为数据收集方法。

1)数据可视化

通过API耦合相关系统,依据分析对象数据总量、类型和决策需求,通过关联分析、时序分析、列表分析、路径分析和群组分析等方法,结合大数据统计、计算机图形学及仿真学等技术,有效组织、分析发现并直观呈现[44]大数据价值和数据间隐藏关系,降低应用难度,如过程与结果联系、数据库分布、模块间联系、领域动向,常见技术有基于集合可视化、基于图标、图像可视化[8];杨雪等[22]提出标签云、历史流、空间信息流等技术;董燕[44]认为数据可视化须用统一数据平台、规范化接口保证数据来源真实、快捷、规范,据实确定数据处理方法(企业多用多维业态模式)。

2)大数据分析平台

大数据分析平台基于用户行为分析生命周期规律,保证其在数据采集、存储、组织、整合、计算、分析[43]、知识发现、决策方面可扩展性、动态性[3-4]。邓玉林[28]提出此类开源平台代表为Hadoop(基于HDFS可靠共享存储、MapReduce处理数据机制及Hive数据仓库工具等处理海量非结构化数据);马晓亭[43]认为应加强平台架构科学性、开放性、透明性、异构性、智能性(最优配置资源),优化数据存储与传输效率、数据分析(影响算法有效性与可扩展性、过程可视化、整体优化)、智能计算(计算资源管理与分配、机器学习,根据分析对象、内容变化智能调整与优化算法和过程)、低碳运营、安全稳定,此外,还应构建有序、动态、系统运行管理机制,設立标准保证平台实用。

3)数据挖掘

又称知识发现[32]。通过算法(主要有NaiveBayes、K-Means、SVM)、工具(Mahout等[1,27])计算数据,基于项目、用户、历史访问挖掘信息间、用户间关联、用户兴趣模式,从大数据中提取有效数据发现隐含、有意义知识,支持个性化服务[8,13-14,42],关键是结合业务流程、促进挖掘者和用户间通信[40],分数据准备、规律寻找和规律表示三阶段[14],前沿是基于本体、个性化推荐的语义Web挖掘。李雪芳等[13]、孟杨[32]认为包括问题定义[13]、数据准备(数据清洗(除噪声、脏数据)、集成、选择(提取、分析)、变换(汇聚以统一成适合挖掘形式)[32])、模型构造[13]、数据挖掘(智能提取数据模式[32])、评估优化(兴趣度量、模式评估[32])、知识应用(表示)(结果可视化[32]),过程包括将数据分份,主控程序分配Map(过滤数据,由工作机读取数据分片并分配)、Reduce任务(聚集数据,按方式分类排列数据);邓玉林[28]认为包括数据再利用(挖掘用户数据)、重组、扩展、废气利用(错误数据)、开放(用户数据)。丁然[42]认为相关技术包括自动预测趋势和行为、关联分析、聚类分类[8,14,45]分析(基于Hadoop的Mahout利用MapReduce分布式协同过滤机制[45])、概念描述(旨在得出共同特征,分特征描述、区别描述(有遗传算法、决策树法))、偏差检测(寻找参照值与观测结果间有意义区别,包括不满足规则特例、分类中反常实例、量值随时间变化、观测结果与模型预测值偏差);胡一[8]、韩翠峰等[14]认为还包括回归分析、Web挖掘(分内容、结构、使用挖掘[8])及神经网络。

3结束语

本文揭示了基于大数据的个性化服务内涵、核心内容及研究框架,并从架构体系、关键技术两方面阐述了国内基于大数据的个性化服务研究进展:架构体系包括体系结构、功能模块、运行机理;关键技术包括信息推荐、搜索引擎、大数据等。

参考文献

[1]夏秀双.大数据环境下高校图书馆个性化信息服务研究[D].曲阜:曲阜师范大学,2015.

[2]栾旭伦.大数据环境下高校图书馆个性化信息服务系统研究[J].图书馆学刊,2014,(8):118-121.

[3]王茜,钱力.大数据环境下电子商务个性化推荐服务发展动向探析[J].商业研究,2014,(8):150-154.

[4]杨亮,雷智雁.大数据环境下图书馆个性化服务研究[J].现代情报,2014,34(4):74-77.

[5]马晓亭.基于情景大数据的图书馆个性化服务推荐系统研究[J].现代情报,2016,36(4):90-94.

[6]马晓亭.基于可信大数据的图书馆个性化服务平台构建[J].图书馆理论与实践,2015,(1):85-88.

[7]陈臣.基于大数据的图书馆个性化智慧服务体系构建[J].情报资料工作,2013,(6):75-79.

[8]胡一.基于大数据的电子商务个性化信息推荐服务模式研究[D].长春:吉林大学,2015.

[9]陈臣.大数据时代一种基于用户行为分析的图书馆个性化智慧服务模式[J].图书馆理论与实践,2015,(2):96-99.

[10]潘玉辰.基于大数据下战略性新兴产业个性化信息资源服务模式研究[J].开发研究,2016,(3):20-25.

[11]陈臣.基于大数据的图书馆个性化服务安全体系构建研究[J].新世纪图书馆,2014,(11):47-51.

[12]黄志鹏,余庆,刘捷.大数据时代的图书馆个性化信息服务探讨[J].青春岁月,2015,(6):551-551.

[13]李雪芳,陈希文.大学生个性化职业指导大数据挖掘模型[J].亚太教育,2016,(10):231-232.

[14]韩翠峰,韩礼红.大数据思维下多技术融合的图书馆个性化信息服务平台研究[J].社科纵横,2015,30(8):92-94.

[15]叶娟.探析大数据在高职教育中的个性化应用[J].网络安全技术与应用,2014,(3):91-92.

[16]于凯,吴蕾.大数据环境下的推荐系统在个性化教学中的应用研究[J].福建电脑,2015,(8):46-47,75.

[17]陈臣.大数据时代基于个性化服务的数字图书馆数据搜索引擎设计[J].图书馆理论与实践,2015,(4):91-94.

[18]康海燕,XIONG Li.面向大数据的个性化检索中用户匿名化方法[J].西安电子科技大学学报,2014,41(5):148-154,160.

[19]陈臣.一种大数据时代基于读者体验视角的数字图书馆个性化搜索引擎[J].四川图书馆学报,2013,(6):27-30.

[20]李艳,吕鹏,李珑.基于大数据挖掘与决策分析体系的高校图书馆个性化服务研究[J].图书情报知识,2016,(2):60-68.

[21]余小高.大数据环境下管理信息系统个性化学习研究[J].软件导刊,2015,14(5):17-20.

[22]杨雪,姜强,赵蔚.大数据学习分析支持个性化学习研究——技术回归教育本质[J].现代远距离教育,2016,(4):71-78.

[23]秦帅.基于大数据的图书馆个性化智慧服务体系构建探讨[J].佳木斯职业学院学报,2017,(6):472-472.

[24]高艳艳.基于大数据分析的中小学生个性化学习诊断模型研究[D].石家庄:河北师范大学,2016.

[25]马相春,钟绍春,徐妲.大数据视角下个性化自适应学习系统支撑模型及实现机制研究[J].中国电化教育,2017,(4):97-102.

[26]周进.大数据时代的高校个性化教育:一种过程支持框架[J].高教探索,2016,(5):11-15,20.

[27]陈玉兆.大数据下的个性化推荐研究与实现[D].西安:西安电子科技大学,2014.

[28]邓玉林.基于Hadoop大数据框架的个性化推荐系统研究与实现[D].成都:电子科技大学,2016.

[29]孙笑宇.大数据环境下车联网个性化信息服务模式研究[D].长春:吉林大学,2016.

[30]牟智佳.电子书包中基于教育大数据的个性化学习评价模型与系统设计[J].远程教育杂志,2014,(5):90-96.

[31]周清清,佘航,平萍.基于大数据评价的个性化学习平台模式构建研究[J].中国教育信息化,2016,(15):13-15.

[32]孟杨.基于大数据的个性化学习推荐服务研究[D].新乡:河南师范大学,2016.

[33]严克文.大数据环境下电子商务個性化推荐算法应用研究[D].合肥:合肥工业大学,2016.

[34]贾利娟.一种基于运营商大数据的内容个性化推荐模型[J].信息技术,2017,41(3):147-150.

[35]陈玉.大数据背景下电商用户需求挖掘的个性化推荐方法研究[J].信息与电脑,2016,(17):88-89.

[36]刘译璟,张函.百分点大数据与个性化实践[J].程序员,2013,(2):52-56.

[37]尤海浪,钱锋,黄祥为,等.基于大数据挖掘构建游戏平台个性化推荐系统的研究与实践[J].电信科学,2014,30(10):27-32.

[38]裴莹.基于教育大数据的个性化学习模式分析[J].教学与管理,2016,(27):101-103.

[39]陈泽.个性化推荐算法研究及“大数据”下的系统开发[D].重庆:重庆邮电大学,2013.

[40]郑杰辉.大数据环境下个性化服务实现的案例分析[J].网络安全技术与应用,2015,(3):51-51,53.

[41]朱星华.大数据时代的个性化医疗——政府科研管理改革的国外经验与思考[J].中国科技财富,2015,(2):86-88.

[42]丁然.大数据时代电子商务个性化推荐发展趋势[J].电子商务,2015,(4):5,7.

[43]马晓亭.基于个性化服务需求的图书馆大数据分析平台构建研究[J].新世纪图书馆,2014,(6):20-23.

[44]董燕,高健飞.大数据时代下如何打造个性化的商务智能实践[J].科技资讯,2015,(27):18-19.

[45]李建新,唐小燕.基于大数据的高职学生个性化培养应用研究[J].科教文汇,2015,(33):77-78.

(责任编辑:郭沫含)

猜你喜欢
数据可视化个性化服务数据挖掘
基于并行计算的大数据挖掘在电网中的应用
可视化:新媒体语境下的数据、叙事与设计研究
互联网思维下数字图书馆个性化服务建设研究
需求理论在高校图书馆就业服务中的应用研究
我国数据新闻的发展困境与策略研究
一种基于Hadoop的大数据挖掘云服务及应用
基于GPGPU的离散数据挖掘研究