孙傲冰,季统凯
1. 中国科学院云计算产业技术创新与育成中心,广东 东莞 523808;2. 国云科技股份有限公司,广东 东莞 523808
面向智慧城市的大数据开放共享平台及产业生态建设
孙傲冰1,2,季统凯1
1. 中国科学院云计算产业技术创新与育成中心,广东 东莞 523808;2. 国云科技股份有限公司,广东 东莞 523808
从政务数据资产的属性入手,按照“一云、一引擎、四大主题库、一个应用门户、三类典型应用”的思路,搭建智慧城市大数据开放共享平台:基于云基础设施环境,实现大数据统一管理引擎,建设城市公开信息等4类大数据主题库;建立安全访问控制模型,通过大数据统一访问接口,将加工后的数据供给授权的第三方应用开发商调用。基于庞大用户群,建设一个应用发布、数据定制及评价的统一门户,打造需求、数据、资金合理流向的产业生态。
大数据;智慧城市;数据资产;开放共享平台;产业生态
据不完全统计,我国已有95%的副省级以上城市、76%的地级以上城市,总计230多个城市提出或在建智慧城市,计划投资规模近万亿元。总体来看,我国各地的智慧城市建设尚处在起步阶段,部分城市提出了总体的建设规划和思路,但仍以专项项目建设为主,单个项目的作用尚不明显,缺乏统一的模式可以参考或借鉴[1]。
自2011年大数据成为产业的热点以来,美国、日本、英国等信息技术强国都在推动智慧城市建设与大数据技术的结合,以面向市民提供更加精准、实时、个性化的社会服务[2,3]。2014年3月,美国政府整合6个部门投资2亿美元启动“大数据研究和发展计划”,推动大数据应用与社会服务的紧密结合。2013年6月,日本公布了“创建最尖端IT国家宣言”,提出开放公共的政府及社会服务数据,以大数据技术为核心把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。2015年6月,英国宣布将在政府信息化基础设施方面投入巨资,加强围绕社会服务数据采集和分析,同时吸引企业在这一领域的投资,从而期望在数据革命中占得先机。
我国各级地方政府也积极探索利用大数据技术,促进政府的数据流通,推动智慧城市的实现[4]。如上海市政府开展数据资源向社会开放工作,在2015年已确定190项数据内容作为2014年重点开放领域。从市场角度来看,企业是嗅觉最灵敏、最能挖掘用户需求并提供最佳服务的主体。2013年,铁道部与太极集团签署协议,由太极集团负责其12306网站的开发、建设及运维,通过数据的开放共享,解决了春运购票难、实名制等许多曾经被认为“不可能解决的问题”。2012年开始,国家民航信息中心也开发其数据运营接口,从而在此基础上产业了众多面向航空服务的移动端App软件,如“航旅纵航”为旅客提供航班的最新信息,“飞常准”则基于大数据分析为旅客提供航班起飞时间的预测等。对于政府而言,数据在各种智慧城市系统中“睡眠”是毫无价值的,只有让数据流动起来,在政府监管的前提下让市场决定其去向,才能充分发挥其价值,从而为群众提供更加优质的服务[3,4]。2014年以来我国密集制定了《关于促进智慧城市健康发展的指导意见》《“互联网+”行动计划》《运用大数据加强对市场主体服务和监管的若干意见》《促进大数据发展行动纲要》,推进数据开放共享,推动智慧城市的建设。
2.1 建设的主要矛盾
各种智慧城市管理系统中的数据如果只在单一的系统内流动,那么其价值只发挥了不到10%。智慧城市数据只有突破单一系统的界限,从在一个系统内流动到被尽可能多的系统共享,才能实现价值的最大化[5]。如图1所示,我国各级政府部门仍存在一些“意识壁垒”,困扰了现有的智慧城市系统及现有电子政务系统间的数据共享,同时也为智慧城市的建设产生了阻碍,主要问题如下。
(1)数据所有权问题
一些政府部门认为智慧城市业务系统是哪个部门管理的,系统中的数据就是哪个部门的,把数据共享出去将会造成其利益的损失。这些部门需要调整意识,即其系统中的数据是属于国家的,该部门只是代行国家职能,进行数据采集和管理。如何共享和使用数据需要由上级政府主管部门进行统一的部署[4,6]。
(2)数据安全责任问题
因为智慧城市安全的责任归其管理部门,一些部门认为只有不共享才能保证不泄密。随着当前信息技术的进步,数据在安全授信条件下,实现共享的技术已经成熟,只有数据共享才能为用户提供更多便利的服务,智慧城市数据共享也是大势所趋。
(3)数据价值认知问题
一些部门认为其管理的系统中的数据只对其业务有价值,没有认识到其数据有为其他部门或企业和市民提供服务的价值。
(4)数据精确性认知的问题
一些智慧城市的信息系统缺乏统一管理的流程和规范,导致采集到的数据质量不高,不同的时间、地点或操作人员采集的数据质量不一致,导致数据间相互矛盾,存在较多的“数据冲突”。
(5)数据采集意识局限性的问题
一些与智慧城市业务相关的信息系统沿用了多年,采集、汇总和分析手段未能随信息技术的发展共同进步,如还在使用老的单机数据库系统,导致数据采集的效率不高,无法有效共享,工作效率低下[4,7]。
图1 我国智慧城市建设中的“数据壁垒”
2.2 主要问题分析
智慧城市的建设需要政府、企业与个人数据的充分联动,需要统一的规划、管理和运维,必须避免陷入传统的信息系统建设模式。
(1)避免建成新的“数据孤岛”
新建成的智慧城市工程或系统能够扩展数据采集的手段,增强数据存储和处理能力。但采集的数据如果只被单一系统利用,系统间仍相互隔离,将无法解决数据广泛共享的瓶颈问题,会建设出新的“数据孤岛”。
(2)避免与现有系统和“历史数据”的切割
新建成的智慧城市系统必须能够从旧有的政务管理系统中获取数据,避免数据的重复采集,给企业或个人带来不便。现有政务系统是智慧城市工程的基础,忽略了这个基础则会使新系统成为“无水之源”,增加众多重复的工作,且无法保证不同系统间的数据一致性。
(3)避免传统的项目运维模式
如果新建系统又划归现有各委、办、局或职能部门管理,受旧有的管理机制和意识的约束,系统所能应用的范围和服务的对象范围将大幅缩小。因此智慧城市工程,应能够“统一规划、统一管理、统一运维、统一共享”,确保智慧城市工程的顺利落地。
(4)数据应具备开放应用模式
智慧城市的系统必须具备可扩展性,能够与政府现有信息系统间进行数据交换,避免功能的重复建设和开发,并为未来的应用扩展留下充足的接口。
(5)数据建设必须具备统一的标准和规范
智慧城市建设应充分参考现有的电子政务、行业数据的交换标准,充分考虑现有的技术手段和未来的发展需要,设计统一的数据模型,建设统一的数据标准和规范,在确保数据安全的前提下,建立统一的智慧城市大数据库,实现数据的充分共享。
智慧城市中,“智慧”是目标,“服务”是关键,“数据”是核心。现有智慧城市总体规划,如果以专项项目建设为主,虽扩展了数据采集的手段,增强了数据存储和处理能力,但采集的数据仍只在单一系统中流动,系统间仍相互隔离,没有有效解决“数据孤岛”的瓶颈[6]。因此智慧城市建设的核心仍然是促进数据流通、汇聚和集成利用。
3.1 建设依据
数据资产指企业、自然人、国家拥有或者控制的能以价值或有用性来计量或判断的数据资源的总和,包括各种数据库系统、文件系统和应用系统等管理的所有数据[7]。数据资产与实物资产具有相似性。数据资产具有价值属性,其价值需要在数据的应用和流通中体现。数据资产按其归属可以分为个人数据资产、企业数据资产、政府数据资产。
个人数据资产是个人数据的总和,包括个人在公共平台、私有信息系统中的数据及其个人文件等。企业数据资产指企业拥有数据的总和,包括运营的服务平台、企业信息系统、数据库系统、文件系统等管理的数据。政府数据资产指政府部门拥有数据的总和,包括其代行国家管理职能采集的各种公共数据、企业数据、市民数据以及其自有的业务数据等。
现有电子政务系统、规划中的智慧城市工程以及未来建设的政务系统皆是国有的数据资产[8,9]。政府的数据资产与政府的土地资产有相似性,都为国家所有,地方政府可以行使管理权,但可以由政府委托开发商(企业)进行开发。
3.2 建设思路
针对智慧城市数据资产统一开发及应用的需求,建设广义概念上的智慧城市数据统一开放和运营平台,目标是围绕智慧城市数据资产形成3个主要的社区,打造智慧城市的用户、服务、技术有机交融的产业生态系统[10,11]。智慧城市大数据开放共享平台的产业生态建设如图2所示。
· 数据供应社区:基于智慧城市数据资产的统一采集和整理,并可以购买第三方的数据资产,经过数据的统一采集、清洗、存储和索引,形成智慧城市大数据开放共享平台自有的“统一数据资产”,并通过各种业务系统不断扩充,形成智慧城市大数据供应社区。
· 资金供应社区:围绕智慧城市建设的要求,面向硬件建设、应用开发、数据提供等需求,聚集资金提供机构,形成长期的、稳定的资本社区,支持各项目建设。
· 应用开发社区:基于智慧城市大数据开放共享平台,聚集互联网应用、移动应用、大数据应用的开发企业,以数据服务为导向,提供更多优质、创新、便捷的应用。智慧城市大数据开放共享平台只需要关注其统一数据运营平台建设,将应用开发交由第三方应用开发商。第三方开发商在开发应用时,也会对智慧城市数据的扩展提出新的要求,从而推动现有智慧城市业务系统的进一步完善。通过用户和市场决定如何使用智慧城市数据以及如何构建系统,最终有用户、有市场的应用自然会持续发展,而没有用户的应用则自然被市场淘汰,实现市场机制的优胜劣汰。
智慧城市大数据开放共享平台,原生就具有众多的政府、企业和个人用户,并积淀了海量的数据信息,对于互联网企业具有巨大的吸引力。智慧城市围绕数据资产开放,将形成其“数据运营”的自我造血及扩展能力,从而打造出智慧城市工程滚动循环发展、相互支撑的产业生态系统[12]。当前,政府可以让渡土地的开发权给下属的国有资产管理企业,由其完成基础建设,然后引入企业做进一步的开发。智慧城市大数据开放共享平台的建设与现行的国有实物资产开发机制一致,与现有国有资产运营管理的惯例和法规并无抵触[13]。
图2 智慧城市大数据开放共享平台的产业生态建设
4.1 平台建设框架
如图3所示,本文就实际的智慧城市大数据开放共享平台建设提出一个具体的解决方案。按照“一云、一引擎、四大库、一门户、三大典型应用”的思路,构建基于自主云计算技术的大数据服务平台[14],主要包括以下内容。
· 一云:基于自主可控的云操作系统搭建政务服务内网云、外网云、灾备云,建设基于云计算技术的智慧城市大数据开放共享支撑环境。
· 一引擎:基于用户上下文的授信模型、大数据资源统一注册框架、大数据统一访问接口、大数据统一管理框架、大数据统一业务框架等技术,建设大数据统一驱动及管理引擎,为上层应用提供大数据支撑服务。
· 四大主题库:基于大数据引擎采集的数据,构建政府公开信息大数据库、市政地理信息大数据库、政企业务信息大数据库以及行业领域大数据库四大主题库[15];
· 一门户:建设一个经过授权及验证的政府服务可信应用门户,发布经审核授权的开发商提供的政府服务应用,包括移动端和Web端;为政府服务对象提供安全的应用下载机制,提供用户对应用的评价机制。通过市场机制促进应用的优胜劣汰。
· 三大应用:通过应用门户,提供围绕智慧城市的城市信息公开及定制、城市业务服务、城市公共服务三大类典型应用示范[16]。
图3 智慧城市大数据开放共享平台建设框架
4.2 主要建设内容
基于智慧城市云基础设施环境,实现智慧城市大数据统一管理引擎,建设智慧城市公开信息、政企信息、地理信息、行业信息四类大数据主题库;建立智慧城市大数据安全访问授信模型,按授权完成面向不同场景和主体的数据抽取、清洗、统一存储,完成数据脱密、授信及受控访问等安全流程建设;通过大数据统一访问接口,将加工后的数据供政府、企业、个人或第三方应用开发商进行调用;基于城市用户的庞大用户群,开发面向城市信息公开、政府业务、公共服务三类典型应用,建设一个智慧城市大数据应用发布、数据定制及评价的统一门户,形成数据提供者、应用开发者及用户相互促进的智慧城市大数据共建共享的平台,打造需求、数据、资金合理流向的产业生态[17]。智慧城市大数据开放共享平台主要建设内容如图4所示。
4.2.1 智慧城市大数据开放共享平台支撑环境建设
(1)面向大规模服务器节点的云计算资源管理
针对智慧城市大数据应用的特点,实现单管理域万级服务器进行动态资源供应、QoS保证、性能故障定位、过载保护和功耗管理机制;支持大规模在线用户访问情况下的任务调度、资源调度、负载平衡和故障恢复;实现自动错误检测和错误隔离,保证系统的不间断服务和高水平服务质量;实现云环境下高效的大规模系统部署和数据迁移、备份及恢复[18]。
(2)虚拟环境动态配置管理
利用云计算平台的虚拟机功能,遵循云计算资源按需弹性获取策略,参考虚拟机模板镜像文件—产生OS实例的技术方法,根据智慧城市大数据应用需要,动态建立针对用户的虚拟机应用环境,动态部署应用所需的数据、软件和计算机环境,提供基础设施服务,使用户无需购买和安装数据、软件和计算机设备,即可随时随地使用平台资源完成业务应用。
(3)可信云应用安全保护技术
图4 智慧城市大数据开放共享平台主要建设内容
提出并实现了一套基于云计算平台的智慧城市应用信息安全保障机制及实现架构,利用Keystone技术实现了平台各组件、虚拟机、第三方设备的统一身份认证与授权;利用Iptables、Etables等Linux网络过滤技术以及与第三方IDS/IPS、防火墙实现硬件绑定,实现网内、网外的安全防护与访问隔离;通过统一的监控框架采集各虚拟资源运行时信息,并通过后台审计模块,对平台进行日志审计及合规性报告[19]。
4.2.2 大数据统一驱动及管理引擎
(1)海量多源异构数据源的封装注册与统一管理
基于大数据处理机制,研究创新型异构数据库统一共享支撑处理访问方法,研究使用三层数据控制架构和面向流程及基于成分的功能组件对不同数据源及集成应用开发进行模块控制管理,研究分布数据源的自主接入,研究基于REST的封装器(wrapper)封装,对Oracle、SQL Server、MySQL、DB2、SyBase、Key-Value文件系统HDFS、Bigtable、HBase等统一接入。研究在OS基础上,进行数据管理层级颗粒化划分,在分布式环境下,根据用户需求产生不同的数据库实例,并实现数据库实例在OS之间的迁徙,实现数据管理与个人信息资产双向监督与隔离。研发支持关系数据和大数据文件操作,实现大数据环境下异构数据源的资源迁移、数据加载、传输表空间、数据文件导出、数据备份、数据恢复,同时支持云计算与大数据平台服务器监控、异常参数告警,简化大数据存储及安全管理的复杂性[6]。
(2)弹性大数据分布式存储与大规模计算聚集框架
研究基于行业应用弹性需求的大数据分布式存储与大规模计算聚集框架,聚集框架提供了对存储驱动集合LocalDis K驱动、NAS驱动、IP-SAN驱动、FC-SAN驱动、分布式存储驱动集合中的原始数据记录进行大规模数据分析计算的能力。通过使用聚集框架,用户能够直接从集合中提取数据记录并获取所需的分析结果。聚集框架提供对外统一的操作接口,不同的是,聚集框架还提供了一系列函数及操作对查询结果进行处理。研究基于虚拟机和底层LocalDis K驱动、NAS驱动、IPSAN驱动、FC-SAN驱动、分布式存储挂载到虚拟机上的存储,构建统一框架的分布式存储与计算集群,将采用计算与存储一体化架构,即虚拟机将承担存储节点的角色,也要承担计算节点的角色。这样分布式的计算将产生在分布式的存储之上,提升大规模计算的执行效率。
(3)虚拟环境下应用与云中间件的数据交互可靠性保证
实现Web应用和大数据访问中间件之间的松散耦合机制,也就是说当云平台中资源监控失效后,不影响虚拟机中应用的继续运行,当终端通过浏览器发起Web访问请求后,云平台中的Apache服务器获取客户访问,并根据负载均衡原则将请求分发给云平台中虚拟机的应用服务器。实现应用服务器中监控插件的自检功能,当应用压力小于配置的压力时,通知云平台“资源中控”回收资源。“资源中控”根据配置会保证虚拟机的最小运行数量。
(4)存储驱动集合细粒度分区与重映射
实现智慧城市租户/用户可以通过将一个大数据集合中的数据切分到多个复制组中,以达到快速并行计算的水平分区切分方法,针对行业租户/用户与流行大数据工具结合时存在的问题,研究关系型数据与非关系型数据之间的统一处理方法;将一个集合全局关系的属性分成若干子集,并在这些子集上做投影运算,将这些子集映射到另外的集合上,从而实现集合关系的垂直切分;水平分区在子集合之间可以通过垂直切分操作进行重映射。基于存储驱动集合细粒度分区与重映射方法,对上层应用可构建面向时空大数据分布式存储、冗余备份与透明迁移、分布式并行索引查询、元数据采集、多元数据统一管理等中间件工具[20]。
4.2.3 智慧城市大数据库建设
(1)城市信息公开大数据库
智慧城市大数据库建立在云计算平台的基础上,以网络信息处理、数据挖掘、复杂系统建模方法、决策科学等为技术手段,研究大规模网络信息监测与舆情分析关键技术及服务平台、规模的网络信息的智能监测、信息过滤与分类、信息检索、情报挖掘、舆情与社会态势分析、虚拟网络实体建模与分析、网络突发事件预测与预警等难点问题,为政府部门、企业组织提供网络信息的全面监测、实时感知、态势分析、预测预警、管控决策和内容安全方面的服务和应用[9]。
(2)智慧城市业务系统大数据库
针对智慧城市业务系统可公开信息,综合资源库、业务系统生产库、文件服务器,研究基于大数据的ETL采集工具、实时数据RDS同步系统以及异步文件采集系统。研究建立触发器机制的数据库通过ETL进行采集,每个来源对应一个采集任务,通过多任务并发采集提高采集效率。确保数据采集过程对源数据库无干扰,解决以往大数据采集难题。针对不同类型的政府公开数据资源,建立信息汇集、整理、管理标准规范和共享机制,使用数据源(节点)整合及数据汇交相关技术,构建和部署公共安全数据集成管理平台。针对海量公共安全数据和产品的多源性和异构性,面向其数据汇交、数据整合、数据整理、质量控制等技术需求,为海量多源数据的共性处理、多源异质信息的综合集成与显示提供多源数据协同处理技术和批量化快速处理能力。
(3)空间地理信息大数据库
针对城市地理信息大数据存储技术,特别是基于遥感数据大文件存储进行优化,支持智慧城市专向平台建设。在充分考虑时空大数据的特点以及不改变原有分布式存储系统的高可用、可扩展、高并发、安全性等优势的前提下,结合剖分技术原理,针对时空大数据应用做出改进、优化。实现遥感海量小文件的合并、分割、存储,实现遥感海量小文件和大文件统一的分布式存储。实现多源异构地理信息大数据融合技术,实现通过空间配准和内容复合,生成一幅比单一信息源更准确、更完全、更可靠的新图像技术。研究遥感大数据挖掘与分析技术,利用高性能、高可扩展性、高可用性的云计算技术,通过分布式存储和并行计算模型,实现时空大数据的高速处理和遥感信息产品的批量生产,从而解决遥感数据处理需要耗费大量计算资源的问题。
(4)城市行业领域专项大数据库
行业领域专项大数据主要通过汇集相关行业数据对外提供市民服务。主要从宏观经济、环保、交通、食品药品安全等领域,对数据进行汇集。针对目前存在的数据库类型和版本较多、理解难度大、存在单点故障、难以保证系统的高可靠性等问题,实现大数据系统统一管理技术,提供数据库迁移、数据加载、传输表空间、数据文件导出、数据备份、数据恢复服务,同时支持服务器监控、异常参数告警。在行业数据汇集上,根据网点的分散性、存储的可扩展性、业务逻辑的复杂性与需求,实现异构平台资源和数据的接入与采集,实现新的存储机制,让数据可以以冗余方式部署在多个存储节点上,通过存储节点分布性提高系统的读写速度[17]。
4.2.4 三大典型应用方向
(1)信息公开及定制服务应用
①城市信息公开服务
实现城市信息公开目录及细粒度匹配模型,实现智慧城市服务对象(市民、机构、企业)的信息取向模型,实现高效的信息源及受众的匹配算法。改变当前城市政府部门信息公开的单向“灌输”模式,基于本项目实现用户能够参与的公开信息查询、跟踪与平台可以主动推送相结合的政府信息公开的全新服务模式。根据国家政府信息公开要求,重点围绕行政审批信息公开,建设信息公开模型及关键字提取模型;推进财政预算决算和“三公”经费公开、保障性住房信息公开;推进食品药品安全信息、环境保护信息公开;推进空气质量、水质环境、建设项目环评等信息的公开;实现安全生产信息、价格和收费信息、征地拆迁信息、公共企事业单位信息的可查询、可跟踪[12]。
②城市热点信息跟踪
基于实时采集的互联网大数据库,挖掘本市热点信息,建立官方的热点信息发布渠道;提高管理部门对舆情信息整体管控、综合分析、研判处置的能力,并为有关部门制定发展规划及运营决策提供全面、准确、科学的数据支撑。主要建设内容包括:构建基于互联网信息的舆情信息采集和解析子系统,获得本市相关热点新闻和舆情信息,对其中的关键信息进行自动化抽取和清洗后,存入互联网信息数据库;构建基于并行计算的分布式处理架构,实现对多通道数据的融聚和对舆情大数据的快速分析与计算;构建互联网信息自动分类平台,实现市民对公共安全问题的投诉、建议、曝光、分享的自动分类,能够与第三方平台对接,支持不同平台间的数据导入、导出;构建舆情信息预警平台,通过不同数据来源的协同计算,根据用户自定义的条件,实现对热点词汇相关信息的预警和可视化展示[16]。
③市民信息定制化服务
基于平台整合的政府公开信息、互联网信息、行业信息等,实现面向市民的数据定制技术;实现数据资源、用户行为等海量数据的采集与整合,建立支持不同领域语义的多维时空海量大数据仓库;研究基于领域语义和知识模式的信息索引技术,集成用户兴趣评估、政策导向、集点预测的知识分析方法及其软件,实现大数据平台下的个体及群体资料、行为数据、兴趣爱好分析预测及信息精准推送应用系统[18]。
(2)智慧城市业务服务
①企业信息服务
建设多维度面向行业、产业、企业、经营的大数据主题库,通过互联网爬虫、行业数据库API、标准数据适配器等,实现行业数据的实时采集和动态更新;通过与云计算技术结合,实现数据采集服务器端的弹性可伸缩。建设以企业经营状况、财务状况、产品成果、同类企业比较确值等为基础的企业健康度评估模型,实时对科技企业发展的健康度的估值;建设政策影响评估服务平台,以税收、补贴、上市等支持为导向,提供企业走势分析等服务,帮助企业有针对性对政策进行了解和判断。最终成为面向不同行业、企业、平台的综合性、个性化公共服务应用。
②企业征信服务
建设企业征信平台,基于企业完税、合同执行、资产负债等要素,建立企业征信评估模型,支持企业估值和融资评估;以可定制的数据服务向导为基础,建立企业自定义的风险预警机制,实现定制化的市场动态、行业动态、突发事件的动态预警,支持企业快速应对市场和政策变化[14]。
③个人/企业/机构业务跟踪
基于城市各委、办、局面向企业和个人提供的互联网在线服务,建设政府与个人、政府与企业、政府与机构的服务匹配模型,拆解各项目服务的服务步骤,形成政府业务服务的分步骤在线跟踪标记,如个人对人力资源局、科技局、税务局等的服务关系模型;平台能够通过受控访问模式获取服务的状态信息,通过推送给用户应用终端,实现用户对于政府业务的全局掌控。加强政府与个人的互动及信息互通,改变智慧城市服务以自身组织架构为中心的模式。
④电子证照服务
基于各委、办、局主管的业务系统,向个人/企业/机构提供电子证照查询及验证服务,通过移动或Web应用客户端供用户打印或直接用作身份证明。改变纸质证照易丢失、资源浪费的现状。对于用户未经授权的证照使用提供报警,从源头上控制假证照的危害。
(3)城市公共服务
①公共场所安全预警服务
基于空间地理信息的公共场所安全监测关键技术,接入市政安全、交通等监控系统数据,整合成公共场所安全监测保护等的图像资源和监测数据源,实现公共场所安全信息的共建共享、统一管理和服务。研究公共场所人流、车流安全峰值预判、辨别以及火警报警的快捷监测技术,采用GIS系统和三维图方法标注拥挤点、火点位置,根据信息数据资源做出打火方案及灾后评估。以公共场所安全各级监测过程中产生的资源动态变化数据为基础,包括历史数据、过程数据、临界数据等,实现公共场所安全数据的及时更新、数据获取和统计分析,提高公共安全数据的时效性和可靠性。采用GIS空间信息管理和遥感技术对城市的热点公共场所信息进行管理,适时采集和上报变化数据[1]。
②环保监测信息服务
利用大数据平台采集及存储的大量环保监测系统分析数据,将环保监测点的地理位置与空间地理数据相结合,实现在地图上直观地观测全市各监测位置的环境信息。发生自然灾害时,利用空间地理数据,对全市进行指挥调度,将自然灾害带来的损失减少到最低限度。利用大数据平台存储的实时及历史环境数据,提供实时、历史环境信息查询及相关的数据服务。通过对环境要素的大数据挖掘,使用大数据挖掘工具分析近年来环境变化情况及趋势,对未来环境安全进行预判,对环境发展态势进行评估[3]。
③城市规划及备案信息服务
基于城市规划建设相关部门的业务数据,建设市政规划及建设备案信息服务应用。当前,各种互联网GIS平台中的路名和建筑名采用的是用户自定义或一般约定的名称,缺乏规范的统一及官方的认定,容易对用户造成误导。此外,为避免一些违章建筑或无证楼盘的交易,亟需提供官方认可的市政道路名称信息、建筑备案信息等;建立支持影像服务的城市规划及建设数据整合模型、土地利用监管技术方法和应用系统,通过深入挖掘高分辨率影像数据信息内容,实现影像数据与市政规划业务数据的有效整合、优化信息查询的流程和管理模式,实现变更后城市规划业务信息的共享与对外发布,支持用户对信息的定制和跟踪。
④公共交通信息服务
基于公安、交通等管理部门的路段、卡口数据建设实时公共交通信息大数据库,面向交通信息服务的特殊性,实现实时交通数据的智慧化分析算法,包含快速路段匹配算法、快速路况分析统计算法、路网拓扑中自动生成检测路段的相应算法等;实现交通云平台接口实施技术,不同层次的接口形式,实现拥堵路段预测、预报,结合用户定制或行为数据作为触发条件,实时通知用户避开交通拥堵路段。基于公共交通接入信息系统,按需向用户推荐公共交通工具,提示班次、等待时间等信息[20]。
一个城市的全体居民都是智慧城市大数据开放共享平台的潜在用户,因此平台建设具有天然的产业号召力,从而催生数据供应商、资金提供商、应用开发商共同发展的产业生态,并形成产业聚集。
· 平台建设将进一步推进智慧城市的共建共享。城市居民或企业不再仅仅是平台服务的受众,而是平台建设的共同参与者,其价值主要体现在两个层面:一是数据提供者层面,能够为智慧城市大数据开放共享平台提供各种类型数据;二是通过对系统应用的使用和评判,为平台的第三方应用开发商提供商业应用开发环境,形成大数据应用的商业环境。
· 平台将催生围绕智慧城市大数据的应用创新:一些第三方应用开发商不参与大数据的直接共享,而是基于开放数据开发企业级或用户级应用产品,在为现有数据提供增值的基础上,深度挖掘数据的价值,打造一个围绕平台的产业生态[6]。
· 平台将打造围绕互联网的智慧城市服务:“互联网+”已经上升为我国面向全民创新、万众创业的国家战略,也为未来智慧城市建设提供了新的要求和思路。互联网“以用户为中心”的原则,为未来“互联网+智慧城市”勾画了蓝图,即能够以市民、企业等服务对象为中心,建成“一站式”的业务办理、信息查询、信息推送、服务访问等综合型的互联网公共服务平台。
· 平台将推进城市主管部门的服务创新:智慧城市大数据开放共享平台将进一步发挥互联网、云计算和大数据技术在政府服务职能转换中的作用,推动政府抓住“互联网+”的机遇,形成围绕智慧城市数据运营的公共创新创业平台,建设面向智慧城市的专属开发社区和应用商店,逐步实现“网上政府”一站式服务平台,将为城市的转型升级提供更加有力的支撑[1]。
我国政府各级主管部门都在积极探索围绕智慧城市的建设,如何充分发挥市民、企业和其他机构的积极性,形成一个良性互动的城市或城镇化发展模式[12]。本文所述的智慧城市的大数据开放平台建设工作正在推进中,得到了政府和产业界的大力支持。城市大数据的开放共享符合信息技术及社会发展的趋势,在应用中将不断完善并推进平台建设及运营机制的进一步形成。本文描述了一个智慧城市大数据开放共享平台的建设参考架构,重点围绕智慧城市大数据开放共享平台建设中的难题,从数据资产的高度出发,给出了一个具体的解决方案。每一个具体的城市的发展阶段不同,会有其文化和产业特色的差别,切入点和发展道路的选择或将不同[12,15]。但最终智慧城市大数据平台要建设一个数据创造、数据消费、数据投资的良性的产业循环,形成数据提供者、应用开发者及用户相互促进的依存体系,打造需求、数据、资金合理流向的产业生态。
[1] 李德仁, 姚远, 邵振峰. 智慧城市中的大数据[J]. 武汉大学学报(信息科学版), 2014, 39(6): 631-640. LI D R, YAO Y, SHAO Z F. Big data in smart city[J]. Geomatics and Information Science of Wuhan University, 2014, 39(6): 631-640.
[2] 陈铭, 王乾晨, 张晓海, 等. 智慧城市评价指标体系研究——以“智慧南京”建设为例[J].城市发展研究, 2011, 18(5): 84-89. CHEN M, WANG Q C, ZHANG X H, et al. Study on the system of evaluation for wisdom city construction——Nanjing as the case[J]. Urban Studies, 2011, 18(5): 84-89.
[3] BATTY M, AXHAUSEN K W, GIANNOTTI F, et al. Smart cities of the future[J]. The European Physical Journal Special Topics, 2012, 214(1): 481-518.
[4] 邬贺铨. 大数据时代的机遇与挑战[J]. 信息安全与通信保密, 2013 (3): 9-10. WU H Q. Opportunities and challenges in the era of big data[J]. Information Security and Communications Privacy, 2013 (3): 9-10.
[5] KITCHIN R. Big data, new epistemologies and paradigm shifts[J]. Big Data & Society, 2014, 1(1): 1-12.
[6] 孟小峰, 慈祥. 大数据管理: 概念, 技术与挑战[J]. 计算机研究与发展, 2013, 50(1): 146-169. MENG X F, CI X. Big data management: concepts, techniques and challenges[J]. Journal of Computer Research and Development, 2013, 50(1): 146-169.
[7] 徐志伟, 谢毅, 海沫, 等. 人机物三元计算中的通用计算账户与个人信息资产代数[J]. 计算机研究与发展, 2013, 50(6): 1135-1146. XU Z W, XIE Y, HAI M, et al. Universal compute account and personal information asset algebra in human-cyber-physical ternary computing[J]. Journal of Computer Research and Development, 2013, 50(6): 1135-1146.
[8] KITCHIN R. Big data and human geography opportunities, challenges and risks[J]. Dialogues in Human Geography, 2013, 3(3): 262-267.
[9] 于施洋, 杨道玲, 王璟璇, 等. 基于大数据的智慧政府门户: 从理念到实践[J]. 电子政务, 2013(5): 65-74. YU S Y, YANG D L, WANG J X, et al. Smart government portal based on big data: from theory to reality[J]. E-Government, 2013(5): 65-74.
[10] NEIROTTI P, DE MARCO A, CAGLIANO A C, et al. Current trends in smart city initiatives: some stylized facts[J]. Cities, 2014, 38(5): 25-36.
[11] 甄峰, 秦萧. 大数据在智慧城市研究与规划中的应用[J]. 国际城市规划, 2014(6): 44-50. ZHEN F, QIN X. The application of big data in smart city research and planning[J]. Urban Planning International, 2014 (6): 44-50.
[12] 王家耀, 邓国臣. 大数据时代的智慧城市[J].测绘科学, 2014, 39(5): 3-7. WANG J Y, DENG G C. Smart city in big data era[J]. Science of Surveying and Mapping, 2014, 39(5): 3-7.
[13] 石晓冬. 大数据时代的城乡规划与智慧城市[J].城市规划, 2014(3): 48-52. SHI X D. Urban-rural planning and smart city in big data era[J]. City Planning Review, 2014(3): 48-52.
[14] FAN W, BIFET A. Mining big data: current status, and forecast to the future[J]. ACM SIGKDD Explorations Newsletter, 2013, 14(2): 1-5.
[15] 王珊, 王会举, 覃雄派, 等. 架构大数据:挑战, 现状与展望[J]. 计算机学报, 2011, 34(10): 1741-1752. WANG S, WANG H J, QIN X P, et al. Architecting big data: challenges, studies and forecasts[J]. Chinese Journal of Computers, 2011, 34(10): 1741-1752.
[16] 张永民. 智慧城市总体方案[J]. 中国信息界, 2011 (3): 12-21. ZHANG Y M. Total solution for smart city [J]. China Information Times, 2011 (3): 12-21.
[17] SUCIU G, VULPE A, HALUNGA S, et al. Smart cities built on resilient cloud computing and secure internet of things[C]//The 19th International Conference on Control Systems and Computer Science (CSCS), May 29-31, 2013, Bucharest, Romania. New Jersey: IEEE Press, 2013: 513-518.
[18] 徐志伟, 李国杰. 普惠计算之十二要点[J]. 集成技术, 2012, 1(1): 20-25. XU Z W, LI G J. A dozen essential issuesof computing for the masses[J]. Journal of Integration Technology, 2012, 1(1): 20-25.
[19] 许庆瑞, 吴志岩, 陈力田. 智慧城市的愿景与架构[J]. 管理工程学报, 2012, 26(4): 1-7. XU Q R, WU Z Y, CHEN L T. The vision, architecture and research models of smart city[J]. Journal of Industrial Engineering and Engineering Management, 2012, 26(4): 1-7.
[20] KHAN Z, ANJUM A, SOOMRO K, et al. Cloud based big data analytics for smart future cities[C]//The 6th International Conference on Utility and Cloud Computing, December 9-12, 2013, Dresden, Germany. New Jersey: IEEE Press, 2013: 381-386.
Big data open platform and industrial ecology construction for smart city
SUN Aobing1,2, JI Tongkai1
1. The Cloud Computing Center, Chinese Academy of Sciences, Dongguan 523808, China 2. G-Cloud Science and Technology Limited Company, Dongguan 523808, China
According to the framework of “one cloud, one engine, four theme library, one portal, three typical applications” from the point of data asset, one big data open sharing platform based the cloud infrastructure was built, and one unified management engine of big data was realized. Four big data theme libraries as government information, public information and etc were created. The big data security access control model was also described. Through the unified cross-language platform interface, the big data could be accessed by the third party application developers. One portal for smart city for data or applications customization and evaluation for data providers, application developers and users was created, and one industrial ecology of big data demand, application development and capital providing was aimed to create.
big data, smart city, data asset, open platform, industrial ecology
TP301
A
10.11959/j.issn.2096-0271.2016043
孙傲冰(1978-),男,博士,中国科学院云计算产业技术创新与育成中心电子政务事业部副研究员、主任,国云科技股份有限公司技术副总裁,电子政务集成与应用国家工程实验室分中心主任,主要研究方向为云计算、物联网、网格计算、分布式图像处理等。先后主持国云科技股份有限公司云操作系统、云终端、云存储、电子政务云、教育云的研发工作,负责公司多个政务云、教育云、电子商务云平台等项目的建设。参与和主持国家及省部级研究课题15项。在《软件学报》、IJGUC、IJCNS、Grid 2007、CGrid2007等国内外重要学术期刊及会议上发表学术论文19篇,其中,SCI检索8篇,EI检索25篇。申请国家专利8项,软件著作权4项。
季统凯(1972-),男,博士,中国科学院云计算产业技术创新与育成中心研究员、主任。自2008年起,主导电子信息领域新兴技术——云计算在东莞的落地实施,推动电子信息技术、成果在地方的转移、转化,为地区经济、社会发展服务。主持和参与了10多项国家、省市级科研项目,包括国家“863”项目、中国科学院重点创新集群建设项目、广东省中国科学院全面战略合作重大项目、广东省粤港招标、粤港招标东莞专项、东莞市重大科技专项计划等。带领团队申请国家发明专利45项,申请国际发明专利(PCT)3项,取得计算机软件著作权25项,获得授权实用新型专利20项,在国内外重要会议及期刊上发表论文30余篇。
2016-02-28
国家住房和城乡建设部智慧城市科技研发项目(No.2016-K3-008);广东省科技厅基金资助项目(No.2014B010118001,No.2015B010131001,No.2015B010109001)
Foundation Items:The Science and Technology Development Program of Ministry of Housing(No.2016-K3-008), The Science and Technology Department Foundation of Guangdong Province(No.2014B010118001, No.2015B010131001, No.2015B010109001)