对大数据的发展及思考

随着物联网、移动互联网、下一代互联网和云计算技术的发展，人类社会进入了“BIG DATA”时代，全球数据生产在高速增长。根据IBM的统计，每天会产生超过2.5×1018字节的信息，全球90%的数据都是在过去两年里生成的。据IDC预测，未来10年全球数据量将以40%的速度增长，2020年全球数据量将达到35ZB，为2009年的44倍。

大数据的概念及发展

大数据概念最初起源于美国，是由思科、威睿、甲骨文、IBM等公司倡议发展起来的。大约从2009年始，“大数据”成为互联网信息技术行业的流行词汇。

大数据已成为继云计算等之后的全球性新热点，其关键词在全球范围内迅速升温，短短四年间，“大数据”关键词的搜索量指数双倍增长。由维基百科可知，“大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。”大数据，或者说海量数据，指的是在人类社会运用了现代信息技术之后，掌握了比以前数量大得多的各种数据。最早提出“大数据时代已经到来”的机构是全球知名咨询公司麦肯锡。它是一个不断演变的概念，当前的兴起，是因为从IT技术到数据积累，都已经发生重大变化。所谓大是相对的，随着信息技术的发展，在这20多年里，我们讨论的数据量从以K计算，发展到M、G、T、P等，每次都提高了三个数量级。

如今，大数据时代已经来临，它将在众多领域掀起变革的巨浪。但我们要冷静的看到，大数据的核心在于为客户挖掘数据中蕴藏的价值，而不是软硬件的堆砌。在政府公共服务、医疗服务、零售业、制造业、以及涉及个人位置服务等领域大数据将得到广泛应用，并产生巨大的社会价值和产业空间，预测2020年，大数据应用市场规模将达到近2600 亿美元。大数据是传统数据的延伸，是对传统数据在深度和广度上的补充。发展大数据是促进政务信息资源开发利用的必然要求，是提高政府决策科学化水平的必然要求，是提高城市管理精细化水平的必然要求，是促进现代服务业发展的必然要求。

2012年3月29日，美国奥巴马政府推出“大数据研究与开发计划”，提出“通过收集、处理庞大而复杂的数据信息，从中获得知识和洞见，提升能力，加快科学、工程领域的创新步伐，强化美国的国土安全，转变教育和学习模式”。2014年年初，英国商业、创新和技能部宣布，将注资6亿英镑发展8类高新技术，其中对大数据的投资即达1.89亿英镑。法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术。大数据“可爱又可怕”。一方面，大数据给人们的生活带来了诸多方便，给企业提供了更多的商业机会；另一方面，大数据又增加了重要信息泄露的风险，家庭住址、密码、手机号码、支付密码等个人信息都存在被盗用的危险，有可能会给受害人造成较大的精神及财产损失。 数据的爆炸式增长出乎人们的想象，使得适应和应对数据增长成为整个社会关注的焦点，大数据的概念也在这一背景下诞生的。但是并不是所有的数据都可以称其为大数据，大数据的判断需要基于4个层面，即大数据的4V特性包括体量（Volume）、多样性（Variety）、价值密度（Value）、速度（Velocity），体量指非结构化数据的超大规模和增长，总数据量的80%～90%，比结构化数据增长快10倍到50倍，是传统数据仓库的10倍到50倍；多样性指大数据的异构和多样性，很多不同形式（文本、图像、视频、机器数据），模式或者模式不明显，不连贯的语法或句义；价值密度指大量的不相关信息，对未来趋势与模式的可预测分析，深度复杂分析（机器学习、人工智能Vs传统商务智能（咨询、报告等）；速度指实时分析而非批量式分析，数据输入、处理与丢弃，立竿见影而非事后见效。

应对大数据的几点思考

大数据正成为继云计算、物联网、移动互联网之后信息技术领域的又一热点，是现有产业升级与新产业诞生的重要推动力量。大数据建设面临机遇，也要面对挑战。

很重要的一点便是个人隐私保护的问题。随着许多部委信息化建设进入“数据大集中”阶段，这些部门纷纷建设数据中心。现在“鸡蛋放在一个篮子里”，风险比以前分散存储的大。一旦出现信息安全问题，危害及影响面更大。透视“棱镜门 ”不难发现 ，信息技术的发展 ，使得获取他人信息易于探囊取物，大数据时代的隐私与信息安全危机等问题已向全球发出预警。目前，人们生活越来越多地与互联网发生关联，而目前中国互联网监管还存在漏洞，相关法律法规还存在空白。个人数据有可能被滥用、隐私被侵犯、电信诈骗等网络犯罪案件高发，犯罪手段花样不断翻新，令人担忧。目前，许多国家都已经出台了个人隐私保护法。建议政府部门加强个人隐私保护立法工作，严厉打击侵犯个人隐私的行为。对此我们应当培植大数据产业链，促进数据技术研发。

政府层面，应创造良好的大数据产业发展环境。第一，制定大数据的技术标准和运营标准，鼓励企业进行大数据相关技术研发与应用创新，在海量数据存储、数据挖掘、语音数据处理领域、视频数据处理领域、语义识别领域、图像数据处理领域、信息传输、信息安全等技术的研发领域设立重大专项，给予政策和财政资金支持；第二，加快 “ 宽带中国”战略的实施，大力加强网络基础设施建设，突破关键技术，以基础设施和技术创新保障大数据产业发展；第三，启动大数据立法，从法律层面保障信息安全。

其次，建设政府部门数据网站。目前，全球已有30多个国家开通了政府数据网站。既有美国、德国、英国这样的发达国家，也有秘鲁、乌拉圭、智利、肯尼亚这样的发展中国家。根据初步估算，政府部门掌握着80%以上的数据资源。建设政府数据网站，一方面可以推进政府信息公开，建设透明政府、阳光政府；另一方面，可以促进社会各界对政府信息资源的开发利用，带动相关产业的发展。政府部门应借鉴发达国家的先进经验，以政府数据网站为渠道，向社会免费公开非涉密的数据，促进这些数据资源的开发利用，使之转变为社会财富，形成中国经济新的增长点。

再者，坚持政府推动和市场主导相结合。市场需求是大数据产业发展的推动力量，大数据产业发展要发挥市场的配置作用。另外，政府也要积极考虑在公立医院、大学、政府机关及事业单位推行大数据，也应该在民营企业，尤其是那些IT行业的领军企业，比如百度、腾讯、阿里巴巴等推行大数据业务，借大数据发展东风调整发展战略积极开展大数据业务。

此外，还要注重数据驱动内容生产与传播，提升传媒核心竞争力。大数据背景下的媒体转型，在处理好硬件架构、应用系统、人才队伍等基础问题之后，就必须确立明确的发展方向，即数据驱动的内容生产与传播。数据驱动内容传播，将会使定制化、精准化和个性化的信息平台成为一种发展趋势。

面向个人的信息推送服务，媒介是移动终端 ，应用是移动互联，卖点是定制、精准和个性化，它能在最短时间内，最有效率、最具针对性地满足个性化信息需求。endprint