大数据的前世今生

张洪云　姜茂盛

近年来，“大数据”一词频频见诸于各类媒体、著论、乃至美国等国家领导人的战略蓝图中。“大数据”由一个朦胧的词汇逐渐摘掉面纱，走入大众，成为企业、科研机构、政府部门等各界的“新宠”。大数据缘何如此之热、它有何种魅力吸引全球的眼光？大数据到底有何用途？在大数据时代，与我们的生活息息相关的社会管理、城市管理会受到什么样的影响？本文立足于此，分享大数据的前世今生。

一、大数据的由来与应用

大数据并非新事物，天文学、地质学、量子物理、基因学等最先经历信息爆炸的学科，创造出了“大数据”概念。1980年，未来学大师阿尔文·托夫勒在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。本书风行世界，影响深远，大数据的意义也由此广为流传。不过，大约至2009年，随着互联网大发展，特别是社交化网络的遍地开花，“大数据”才成为互联网信息技术行业的流行词汇。

迄今为止，大数据仍没有一个统一的定义。最初，大数据指需要处理的信息量过大，超出了一般电脑在处理数据时所能使用的内存量，工程师们必须改进处理数据的工具。麦肯锡定义为“大小超出了典型数据库软件的采集、储存、管理和分析等能力的数据集”。在随后的发展中，大数据更多的被认定为巨量资料，指所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

虽概念尚未统一，但大数据的特征已被广泛认同：（1）数据量巨大（Volume），从TB级别跃升到PB级别（1PB=1024TB）。（2）数据类型繁多（Variety），除结构化数据外，还包括大量的非结构化数据与半结构化数据。（3）价值密度低（Value），以视频为例，连续不间断的监控过程中，可能有用的数据仅为几秒。（4）处理速度快（Velocity），1秒定律。

同时，大数据的来源日渐丰富，包括互联网企业的SNS、微博、搜索索引、视频、电子商务交易信息等；物联网的RFID、传感器网络、车联网信息等；运营商的多项记录；包括天文学、大气科学、基因组学、生物地球化学、生物学及其他复杂或跨学科的科研；也包括军事侦察、医疗记录、摄像档案等等。因为大数据所蕴藏的巨大价值，大数据的研究和应用迅速升温，现在大数据的应用已经融入人类社会的多个领域。

大数据初露峥嵘，正逐步应用于政治、经济、文化、军事等各个领域。谷歌通过观察人们在网上的搜索记录，预测出2009年甲型H1N1流感的爆发，而且具体到特定的州和地区，比官方报告还要及时；华尔街德温特资本市场公司首席执行官保罗·霍廷，每天的工作就是用电脑分析全球3.4亿微博账户的留言，判断民众情绪，从而决定股票的买入和卖出，大家高兴就买入，焦虑就卖出；美国总统竞选团队用数据分析方法来寻找和锁定潜在的己方选民，并定位拉拢那些中间派选民，《时代》周刊网站刊文指出，数据挖掘团队才是奥巴马连任的功臣……

大数据如此被热捧，关键在于大数据可以为世界经济、社会发展等多方面创造重要价值，提高企业和公共部门/组织的效率与竞争力，并为消费者创造大量经济剩余。例如，如果能够富有创造性且有效地利用大数据，预计美国的医疗行业每年通过数据获得的潜在价值可超过3000亿美元，能够使美国医疗卫生支出降低超过8%；充分利用大数据的零售商净利润增长可能达到60%以上，制造业的产品开发、组装成本降低50%左右；通过利用大数据实现政府行政管理方面的运作效率提高，估计欧洲的公共管理部门每年可创造价值2500亿欧元，欧洲发达经济体可以节省开支超过1000亿欧元（这其中尚不包括可以用来减少欺诈、错误以及税差的影响作用）。

各大行业都在充分利用大数据，享受数据红利。如通讯行业利用大数据预测客户行为，发现行为趋势，找出存在缺陷的环节，从而及时采取措施，保留客户。医疗行业汇集大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人信息。商业运营行业通过商务信息获得新的收入来源，并根据这些信息及时调整营销政策。银行业利用数据收集和分析工具，确定最好的网点位置，帮助银行更好地运作业务，推动业务成长。

二、大数据，让城市更美好

大数据在城市管理中发挥着越来越重要的作用。智慧地球、智慧城市的呼声使大数据成为亮点，物联网、车联网的建设愈发展现出“数据让生活更美好”的前景。维克托迈尔·舍恩伯格在其《大数据时代》一书中提及，大数据对城市管理的最重要一个借鉴就是通过全方位的数据控制和分析，为政策的制定提供高准确率的参考性和预见性，推动城市管理更加科学化。无论是公共卫生、民生工程抑或便民服务，大数据这一从思维出发的变革从上至下渗透到社会发展的各个层面，从而引领社会变革。

大数据在城市管理中的作用颇为多样化，通过分析交通、福利和经济等领域的大数据，可以让政策制定更为科学有效。在城市规划方面，通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息的挖掘利用，可以为城市规划提供充分的决策支撑，驱动城市管理服务向科学性、前瞻性迈进。在交通管理方面，通过对历史交通信息的深度分析，可以多角度认知交通问题的成因，治标治本；同时，通过对道路交通信息的实时监测，能有效缓解交通拥堵，并快速响应突发状况，为城市交通的良性运转提供科学的决策依据。在舆情监控方面，通过网络关键词搜索及语义智能分析，能提高舆情分析的及时性、全面性，全面掌握社情民意，提高公共服务能力，应对网络突发的公共事件，打击违法犯罪。在安防与防灾领域，通过大数据的挖掘，可以及时发现人为或自然灾害、恐怖事件，提高应急处理能力和安全防范能力。

（一）大数据助力城市交通。

交通的拥堵是城市一直无法忽视的问题，针对这个问题一些国家和拥堵的特大城市达成了一个共识，那就是大数据可以有效的缓解拥堵的交通。通过在城市多处设置的传感器，相关部门能随时掌握在某个地方有多少辆汽车，车速是多少。有了这些数据就可以建立起模型进行分析，从而指导人们确定出行计划，避免拥堵。大数据的核心是发现和预测，利用这个特点，可以提升交通运输行业的服务水平。

例如，全国高速公路收费数据，结合重点营运车辆联网联控信息和交通流量调查信息，可以获知某一时刻、某一区域的车流量、人员流量，甚至是物流信息，从而预测未来30分钟或1个小时甚至更长时间内的路网交通状况，一旦有突发事件，也可以实时判定对区域交通的影响趋势，并及时采取措施。

深圳市交通警察局认为，物联网、车联网的发展，给智能交通带来了新的契机，云计算也使庞大的信息处理变得更加简单，随着未来技术应用不断拓展，管理模式不断创新的变革阶段，大数据、大交通、大管理的概念将逐步形成，科技也将从保障、维护的角色逐步过渡引领实战。

北京对重点拥堵日的交通措施便主要从交通运行特点和历年数据分析而来。依据9月交通拥堵情况预测，交管部门对重点拥堵日的拥堵指数和峰值的测算精确到了小数点，2013年9月堪称“最堵月”。北京已正式实施相关专项行动方案，规定在重点拥堵工作日及晚高峰降雨等特殊天气，各企事业单位可实施弹性工作时间。相关消息的亮点，不在于实施弹性工作时间，而是对未来交通状况进行科学预测，并及时出台对策。这为缓解城市交通拥堵提出了一个新思路、新模式，也为运用大数据治理交通拥堵提供了重要借鉴，这样的交通治理手段，已初步具备大数据技术运用的能力。

未来，大数据下的智慧交通，融合了传感器、监控视频、GPS等多种设备产生的海量数据，与气象监测设备产生的天气状况等数据相结合，综合形成城市居民出行的指导信息，并及时、准确的推送信息。这些信息不是简单的几条路径供我们选择，或红绿色标示的路况概览，而是直接提供最佳的出行方式和路线。

大数据用于交通管理，可以打破交管部门行政区域的限制，具有更大范围的信息集成和组合效率，能更好的提高交通运转效率、配置公共交通信息资源，促进交通智能化管理、均衡性发展。交通大数据的应用，将使城市居民出行更顺畅。

（二）医疗大数据的应用。

医疗行业对于城市居民意义重大。在临床质量分析、医疗资源分配、医疗辅助决策、科研数据服务、个性化健康引导等方面，大数据可助力相关组织建设形成全民医疗健康公共服务平台。

首先，对于医疗服务的提供方和支付方来说，在减少医疗成本的同时不断提高医疗质量和效率仍然困难重重，而这也是改善民生的重大机遇。2010年，全美医疗支出占国内生产总值的17.9%，比2000年增长13.8%。而且，某些慢性疾病如糖尿病的患病率正在增加，正在消耗更多的医疗资源。对这些疾病和其他相关健康服务的管理将深刻地影响国家的福祉。在这方面大数据可以发挥作用，为在广大人群中取得最有效的医疗效果，更多地使用电子健康记录，并与新的分析工具相结合，将提供挖掘信息的机会。研究人员可以利用信息寻找有效的统计趋势，并依据真实的医疗服务质量开展医疗评估。

其次，医疗大数据分析可以带来业务流程的精简，通过精益生产降低成本，找到符合需求的工作更高效的员工，从而提高护理质量并给病人带来更好的体验，也给医疗服务机构带来额外的业绩增长潜力。美国医疗保险和医疗补助服务中心的测试仪表盘，将其作为建设主动、透明、开放、协作型城市管理的一部分。最后，基因组学、蛋白组学新的治疗技术已经发展到了应用的边缘。如人类的基因组测序，以前人类基因组花了十年的时间研究，现在只要花一千美元，不到一周的时间就可以测出一个人的基因组，这些数据就可以应用到个性化诊断治疗。

此外，利用大数据技术还可以制定量身打造的健身计划。咕咚手环是首款基于百度云开发的便携式可穿戴设备，主打“运动状况提醒”、“睡眠监测”、“智能无声唤醒”三大功能。知名运动品牌耐克还推出了"Nike+"跑鞋，通过无线Nike+iPod运动组件与iPod实现信息互通，将Nike+运动鞋与iPod连接后，iPod就可以存储并显示运动日期，时间、距离、热量消耗值和总运动次数，运动时间，总距离和总卡路里等数据。医疗保健上大数据的应用已经越来越多，我们也正适应大数据所带给我们的便捷。

（三）应用大数据预防和打击犯罪，保护城市居民的安全。

利用大数据还可以预防和打击犯罪。大数据分析工具，正在将每一位普通警员都变成神探，甚至能预测犯罪。最新的案例显示，大数据在警务中的应用已经收到了良好的效果。作为美国警界最早的大数据预测分析试点单位，圣克鲁斯警察局能够通过城市大数据预测犯罪地点和时间。大数据分析可以帮助警察分析历史案件，发现犯罪趋势和犯罪模式，找出共同点和相关性，通过分析城市数据源和社交网络数据，甚至能预测犯罪。过去需要几天，几周甚至几个月的数据资料分析，在最新的警用大数据分析系统中几个小时内就完成，从而大大加速了圣克鲁斯警察办案的效率。

密歇根大学曾在网上发布报告指出，研究人员正在用大数据来帮助警方定位那些最易受到不法份子侵扰片区的方法，利用大量数据创建一张波士顿犯罪高发地区热点图。在研究某一片区的犯罪率时，他们还将相邻片区的各种因素列为他们考虑的对象。随着将越来越多的数据加入到研究中来，研究者们认为他们能在额外变量是如何影响犯罪率这一问题上得到更准确的结论，并且为警察更具针对性的锁定犯罪易发点、抓获逃犯提供支持。

另一个大数据应用的例子是2013年波士顿马拉松爆炸案，那次爆炸造成3人死亡，多人受伤。FBI在波士顿马拉松爆炸事件后在案发现场附近采集了10TB左右的数据，通过大数据分析，他们提前锁定了嫌疑人，当然此次大数据的应用还不是很成熟，警方也没有正面承认。但在未来大数据分析技术炉火纯青后，社交媒体规范和信息分享机制健全，数据来源和质量可靠时，那时利用大数据锁定嫌疑犯将变得简单而高效。

（四）大数据解决城市的突发事件。

在突发事件判断和应对方面，大数据技术可以发挥更大的作用。2011年3月美国国家海洋和大气管理局在大数据技术的支持下在日本大地震发生几分钟后就发布了详细的海啸预警，并拟定了详细的应急方案，制作了海啸影响模型发布在一些网站上，成为政城市应用大数据处理突发事件的典范。谷歌研发出来的流感追踪器，可以监控相关的流感搜索字样，进而展示出在美国不同州的流感活动，与此同步的疾病预防控制中心的地图也能够及时显示流感疫情的扩散程度。美国还研发出其他的一些大数据工具，能接收并处理来自医生、医院及实验室的大量数据，为流感疫情的蔓延提供一个清晰的图像，进而可以帮助医生能够有效地阻止流感疫情的蔓延。“7·21”北京暴雨，因求救人数众多，救援电话被打爆，被困人员转向微博平台。一条包含人物、时间和地点三要素的微博可迅速了解救援所需，打开微博附加坐标数据即可实现地图定位，为及时救灾提供方便。雅安地震中，微信群及各大互联网公司推出的寻人平台也为救灾提供了多渠道支持。大数据在城市突发事件中已经展现出了独有优势。

大数据在城市规划与管理中的应用体现在方方面面。如在食品安全领域，针对食品安全和管理的需求，建设食品安全大数据服务平台；在终身教育领域，针对全民学习、终身教育的需求，建设教育大数据服务平台；在公共安全领域，针对公共安全领域治安防控、反恐维稳、情报研判、案情侦破等实战需求，建设基于大数据的公共安全管理和应用平台；在科技服务领域，针对科技服务数据整合、交互式服务、发展趋势预测、战略决策支持等需求，探索科技服务链整合、众包分包、供需对接的交互式平台型服务模式，建立科技服务业资源共享体系，建设跨领域科技服务与工程创新平台。

总之，大数据对一个城市的管理起到的作用至关重要，对一个城市的经济、医疗、教育、交通、治安等方面都显出了不可替代的角色，城市管理中灵活而合理的运用好大数据将会使一个城市的运行更加润滑和流畅。

三、大数据发展遇到的问题

首先，认知观念混乱问题。（1）大数据是全数据，忽视甚至蔑视抽样；（2）连续数据就是大数据；（3）数据量级大是大数据；（4）数据量大好于量小。有学者认为，抽样数据只要抽样合理，结论就是准确的；连续只是一个数据结构；大量级的噪音会得出错误结论；大小与价值关系不大。其次，大数据的隐私问题。很多的数据涉及到一些人的隐私，像这样的数据如何利用而又不产生纠纷，需要政策、技术等多方共同努力。再次，大数据分析的技术并不完善。大数据具有多样性特征，而具有复杂的提取和分析技术还有待研发。最后，大数据由谁来开发利用。大数据分析出来的秘密有可能会涉及到国家安全，那么大数据究竟应该怎样来利用和开发呢？

大数据的应用已渐渐普及推广，这些应用或早或晚，或快或慢，悄然地改变着行业格局，冲击着传统思维，铺垫着大数据时代的道路。大数据时代已露端倪，2012年3月，美国政府发布《大数据研究和发展倡议》，投资2亿美元发展大数据，用以强化国土安全、转变教育学习模式、加速科学和工程领域的创新速度和水平；2012年7月，日本提出以电子政府、电子医疗、防灾等为中心制定新ICT（信息通讯技术）战略，发布“新ICT计划”，重点关注大数据研究和应用；2013年1月，英国政府宣布将在对地观测、医疗卫生等大数据和节能计算技术方面投资1.89亿英镑。这对我国来说也是一个巨大机遇，我们应乘着大数据的快车，迎接重大的时代转型。

（责任编辑：笛音）