大数据时代的挑战

2014-06-20 00:45李德毅
中国计算机报 2014年21期
关键词:超文本关系数据库结构化

我们在大数据时代面临着什么样的挑战,今天我就讲讲这个问题。

大数据通常来自三个方向:自然大数据、生命大数据和社交大数据。PB时代是对科学的挑战,更是对包括数据挖掘在内的认知科学的挑战,也是对软件工程的挑战。

尤其是社交大数据。在奥巴马就职的现场有这么多面孔,每一个面孔下都有一个故事。人脸是数据安全很重要的识别器。那么,怎么识别呢?人们想到了摄像头,北京市约有80万个摄像头,我们每天都在摄像头的监督下开车、购物等。

“谁?是他吗?”这是社交网络中基本的问题。我们要确定一个人,通常需要从身份认证、年龄识别、情感计算、亲缘发现、性别识别、地区和民族识别等方面进行辨识。

结构化数据面临挑战

我们认为计算在过去的20年里起到了主导作用,它的标志就是摩尔速度。跟这个时代相对应的是结构化数据,“软件”加“程序”加“数据”加“存档”,这个数据应该是结构化数据才能运行起来。

结构化数据的典型代表就是关系数据库。1970年,伟大的科学家埃德加·弗兰克·科德教授提出关系模型,以关系代数为核心运算,用二维表形式表示实体和实体间联系,通过关系运算实现结构化查询。30多年来,各行各业的数据库和数据仓库技术,以及从数据库发现知识的数据挖掘构筑起巨大的信息处理产业。

关系代数是关系数据库的形式化理论和约束。关系数据库有严格的顶层设计。为构造良式关系,必须消除元组中不合适的数据依赖,通过第三范式(BCNF)甚至约束度更高的范式,分解数据表,以解决插入异常、删除异常和数据冗余等问题。对这样的关系进行运算,运算结果仍然是关系,运算符可以是集合运算、算术运算、逻辑运算,或者关系运算。只要数据在关系数据库中,用户总可以通过SQL语言将满足条件的唯一结果挖掘出来,无需关心数据的获取、存储、分析和提取过程,更无需关心数据结构的内部组织形式。

但是,结构化数据仍然面临着一些挑战:挑战一,形式化约束过于苛刻,无法表示原生态数据;挑战二,随着数据量的增大,关系代数运转的性能急剧下降。

在计算时代,人们发现,这种摩尔速度下的存储也有很大的发展。尤其随着存储材料和存储技术的发展,市场上500元就能买到1TB的硬盘,这是我们以前不可想象的。存储技术在交互方面的发展,让我们有了存储的网络和阵地。于是,整个社会进入了半结构化的数据阶段。而半结构化数据的典型特征是超文本、超链接、超媒体,其组成形式是C/S、B/S和云计算。

万维网(World Wide Web)之父Tim Berners-Lee,是把超文本技术引入互联网的第一人。1989年,他开发出世界上第一个Web服务器和Web客户机。1991年,Web实现了通过超文本方式,使网络中不同计算机内的信息实现超链接,通过超文本传输协议HTTP从一台Web服务器转到另一台Web服务器上检索。另外,服务器在软件支持下可以发布包括文本、表格、图片、音频和视频等碎片化的超媒体信息。而E-mail、 Telnet、 FTP、 WAIS 等都可以通过Web服务实现。从此开始了Web纪元,人类进入搜索时代。

我们看到,数据围绕实体,实体围绕链接转。挖掘就是云环境下的探索和个性化服务,没有死板的查询方式,也没有唯一的结果,挖掘结果允许带有不确定性,重视探索的统计性质。现在的挖掘已经延伸到了图片和语音的搜索,这类搜索引擎的出现也带来了互联网上繁荣的内容服务。

移动互联网的大数据挖掘

现在,我们处在网络化和交互的时代。移动互联网时代的大数据挖掘,主要是网络环境下的非结构化数据挖掘。这些数据形态反映的是带毛的、鲜活的、碎片化了的、异构的、有情感的原生态数据,而这些原生态数据的特点常是低价值的、强噪音、并购、冗余的冷数据。

同时,移动互联网大数据挖掘过程中,数据的简约具有各自适应性。长期以来,我们用认知物理学方法来实现数据的自适应简约。我们在国内外第一次提出了数据场的思想。把人脸变成数据场,大家可以看到这张人脸跟其他人的脸是有相似之处的,可以用线性的方法也可以用非线性的方法来表现。

举例来说,如果想突出眼睛、鼻子和嘴巴,我们可以用这种数据场的方法来突出。用物理学中“场”的方法来类比形成数据场,像素之间相互影响越小,特征点个数越多,图像的描述细节越多,反之特征点个数越少。

百度用深度学习的方法实现了数据自适应简约,我们觉得他们跟我们现在做的是非常一致的,例如,百度搜图做的人脸相似性搜索。当前的情况是,数据量急剧增加,组织结构已经围绕数据转了,程序碎片化可以随时重组,挖掘常常是人机交互环境下不同社区的发现。

社区可以给我们提供数据实物。网络化大数据挖掘的方法是社区发现。人们最关心的是社区,并且我们关心社区中的交互。社区交互表现的形式有显性和隐性两种形式。显性形式有评论、心情、收集、购买、评分、顶、踩、分享、加为好友、邀请加入等,而隐性形式有跳转等。我们利用拓扑势方法挖掘社区,并且发现社区成员的重要性及成员角色。现实生活中经过一段时间的反复、交互、汇聚,修正和演化,群体形成趋于相对稳定的共识。

云计算支撑大数据挖掘

云计算是基于互联网大众参与的计算模式,其计算资源、存储能力、交互能力是动态、可伸缩和被虚拟化的。端产品摆脱了传统IT配置带来的系统升级开销,其特点是更加简洁、灵活、多样、个性化。手机、游戏机、数码相机、电视机、上网本、笔记本电脑等功能交叉,差别细微,出现更多iCloud产品。界面人性化、个性化,可随时变换成为各种各样的大数据发生器,或者虚拟遥控器,或者大数据挖掘终端。

大数据挖掘和云计算在支撑着各种各样的大数据应用。于是,软件工程出现了巨大的变化,通过众包细分法,完成云环境下的社会生产。在互联网环境下,利用人的认知和大众之间的交互,融合计算机群组对大数据的价值挖掘,形成群体智能。由此,我们提出了一个新概念“众挖”。用户不再需要关心数据的形态、数据的获取位置、结构模式、存储方式和分析过程,就能够获得足够满意的挖掘结果。

大数据标志着新时代的到来,这个时代的特征不只是追求丰富的物质资源,也不只是互联网带来的便利,它还包含区别于物质的数据资源的价值挖掘和价值转换,以及由大数据给金融行业带来的很多思考,同时还有由大数据挖掘带来的精神和文化方面的崭新现象。

(本文根据李德毅院士发言整理,未经本人确认)endprint

猜你喜欢
超文本关系数据库结构化
关系数据库在高炉数据采集系统中的应用
促进知识结构化的主题式复习初探
结构化面试方法在研究生复试中的应用
基于HTML5静态网页设计
应用超文本建构教学培养学生的知识组织能力
基于图模型的通用半结构化数据检索
基于索引结构的关系数据库关键词检索
基于软信息的结构化转换
超文本阅读认知负荷的个体差异
一种基于数据图划分的关系数据库关键词检索方法