春 光
内蒙古自治区航空遥感测绘院 呼和浩特 010010
前两年,美国政府宣布投资2亿美元拉动大数据库相关产业,将大数据库上升为国家战略。这个战略将数据定为“未来的新石油”。未来对数据的占有和控制甚至将成为陆、海、空权之外的另一种国家核心资产。大数据库时代深入发展已经来临。一方面,基于大数据的经济快速发展。依托大数据的智能电网、智慧交通、智慧医疗、智慧环保、智慧城市正在兴起,另一方面,测绘导航方式和生产模式发生了根本改变。测绘导航逐渐突破以往后台理论与技术支持的地位,由静态处理转为实时服务,携众多服务产品逐渐走向前台,并直接应用于航空航天、地球物理、资源勘探、土地动态监测、农牧渔业、智能化交通管理等众多领域,测绘导航正在逐渐过渡到具有现代意义的大数据时代。
现代意义的“大数据”是在互联网发展、传感技术的广泛应用下而产生的。是指具有数据大、类型多、价值密度不均衡、动态特征不一样、应用处理特征不同等特点,并且无法用传统数据工具对其内容进行抓取、管理和处理的信息集合。“大数据”雏形概念始于1970年哈佛大学关于材料、能源、信息是推动社会发展的3种基本资源的论述中。这也是美国在IT、信息资源等领域一家独大的原因之一。大数据库应用概念衍生于亚马逊、Google等互联网公司运营。随着互联网智能化,它在满足需求的同时,也在创造新的需求。前者代表是Google,后者的典型则是Facebook。
具体表现在“4V”,即“Volume(量大)、Variety(类多)、Velocity(速度)、Veracity(准确性)。
首先是数据体量大。指大型数据集,由目前GB量级已经达到了TB量级。随着信息时代发展,还将出现YB级(2的80次方)的数据量。预计2020年数据产出量将是2009年的44倍还多。
其次是数据类别多。数据种类和格式日渐丰富,已冲破了结构化数据范畴,越来越多的数据属于非结构化和半结构化的数据。例如智慧城市的大数据库类型,最常见的有文本、图像、音频、视频等类型,还有位置、方位、时间和动力学信息等其他类型数据。
第三是数据处理速度快。在数据量极大的情况下,不同种类的海量数据进行交叉查询、检索、分析处理的技术,是数据核心技术之一。语义分析技术、图文转换技术、模式识别技术、空间分析技术等等,都在大数据库快速分析时获得应用。目前,源于统计学、计算机科学、应用数学和经济学等领域的技术已经开始并应用于大数据库快速整合、处理、分析和可视化大中。
第四是指准确率高。这里不是指数据准确性,而是通过数据处理、挖掘和预测,数据呈现出的事务本源性真实可靠。移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域。人们在享受便利的同时,也无偿贡献着自己的“数据”。在互联网上是“处处行迹处处痕”。收集分析海量的各种类型数据,并快速获取信息的能力,就是大数据技术魅力特征。
围绕着信息战、导航战、指挥自动化、智能交通、智慧城市等应用的大数据建设已慢慢展开,测绘导航大数据体系特点越发凸显。
(1)测绘导航数据实时化、动态化。目前已综合应用了航天、航空、地面和水上等一切可使用的对地观测技术,如GNSS快速定位定向技术、航天航空遥感测技术等。实现了实时动态获取测绘导航定位数据、重力数据和遥感影像和遥感影像数据以及其他有关数据。
(2)测绘导航数据种类多样化。现在大规模的视频传感器与三维激光、陀螺惯导、GNSS导航、遥感影像、GIS、智能手机进行综合,在人们最需要的地点和路径上动态地、多方位地采集并发布包括位置、影像、声音、视频、移动方向、速度及重力加速度等多类型数据,将能极大地发挥测绘导航的优点,可提供综合智慧服务。
(3)测绘导航数据网络化。传统测绘导航是测绘导航单元外业采集后,存储于单机设备中,数据交换需要“面对面”交流。网络应用将使数据从内部局域互联网上信息发布的方向发展。测绘导航数据的查询、传输、交换和服务全部在网络进行,可实现“一站式”检索、浏览和按权限下载,任何人在任何时候、任何地点都可能得到权限范围内的测绘导航数据服务。
(4)测绘导航数据应用广泛化。测绘导航数据应用对象的转换,已从“内部”到“开放”,从“专业”到“公众”。测绘导航数据从公益性、专业性测绘导航保障向整个社会产业体系的应用方向扩展。从面向军队、政府、专业领域扩大到面向社会公众,按需求、分密级向企业事业单位和社会公众提供数据。由此,测绘导航数据在诸多领域如环境监测与分析、灾害监测预警与评估、城市管理、交通、物流等领域都发挥作用,测绘导航数据的应用真正实现社会化。
(5)测绘导航数据重组及扩展化。传统测绘导航数据数据需专业型数据专家,例如GNSS数据处理需专业的处理软件解算。但随着各类型数据采集系统逐步建立,人们需求及关注度发生了改变。对海量数据尤其是对空间相关的数据进行重组、扩展分析和挖掘,才能提供深层的测绘导航多样化信息服务。测绘导航功能也由围绕数字产品的“生产”转向围绕空间信息的全方位“服务”,其价值将比单个数据集总合更大。如卫星导航地基增强系统数据结合交通信息数据、气象信息数据、地图信息将极大改变人生生活方式,成为智慧城市基础支撑。
(1)测绘导航大数据的思维还未完全转变。尽管我们生活在大数据库爆发时代,但传统测绘导航作业模式仍然制约着思维模式。目光仅仅局限于数据本身以及数据本身所阐释的主要现象。思维还是停留在样本分析,还没有关注全数据集分析;仍然执著于数据的精确性,而忽视数据的多样性;仍然探求数据因果关系,而没有关注或利用数据的相关关系。正如一些专家学者指出:“对于空间信息应用的发展,我们中国是不是也可以有更多创新的思维。我们一定要把它所有的数据都提取出来其中的信息,才能够被普通人应用;我们是不是用非常形象地景象去传递出去,会使更多人理解,我觉得中国需要更多的这种创新思维。”
(2)测绘导航大数据体系尚未建立。目前测绘导航数据采集和获取具有现势性,数据应用存在区域性,存储数据存在时效性,数据处理存在专业性。测绘导航数据一般是应用部门针对特定任务采集和获取,利用专业数据处理方法分析局部数据精度及属性特征。如各省CORS信息中心计算机生产CORS差分信息,没有地图数据、遥感数据、光学影像数据、雷达激光扫描数据等支持。数据依然按行业类别、地域、企业被隔离成一个个信息孤岛,还没形成测绘导航大数据所必需的“测绘导航云”,未建立一套行之有效的测绘导航大数据理论与技术,还未开展相关技术研究和理论创新,无法对各种不同类型数据的关联技术研究和理论创新,无法对各种不同类型数据的关联进行深度挖掘及利用。不解决测绘导航大数据体系问题,数字地球、智慧城市、智慧自动化等建设将大打折扣。
(3)测绘导航数据标准规范不完善。自2008年,各测绘导航单位都搭建数据信息中心,用于存储测绘导航数据,每年生产任务产生大量数据,加之目前各地CORS系统、地基增强系统、遥感接收站等产生了海量的数据,这些数据没有统一标准。由于政策、制度等限制,这些数据信息不能互联互通,客观上出现信息孤岛。体现在实际工作中是“数据不知道从哪里要”“数据来了不知道是什么”“有了数据不知道怎么存”“来了数据不知道怎么用”“数据多了不知道怎么分析”,到工作结束数据也存在“放置或丢弃不用”等问题,导致数据重复性建设,资源浪费严重以及数据资源分布不均等现象,严重影响测绘导航保障工作的顺利开展。
(4)缺少测绘导航大数据支撑系统。大数据建设不仅仅需要解决信息数理化,还要解决数据信息处理和预测。这需要建设落地的支撑大数据系统、数据存储系统、数据管理和分析系统、共享服务平台、安全保密系统等。目前,在测绘导航方面采用超站仪、卫星导航接收设备、惯导设备、激光测量装置及其他传感器影像、位置、地理信息、声音、人员信息等进行了数据化。但在使用过程中,多数类型数据摒弃不用,仅仅存储测绘导航相关信息,没有搭建成规模的数据分析处理、汇交、共享、安全等急需的测绘导航大数据支撑系统。由于没有分析预测支持,仅能获得如位置、姿态、距离、时间等信息,但效益分析、未来预测等关注较高的内容无能为力,不能达到测绘导航保障真正水平。
(5)测绘导航大数据管控及数据挖掘不够。面对以TB级、PB级计的海量导航观测数据,我们面临着“数据有多有少”的矛盾局面,一方面数据多到无法处理,另一方面用户需要的信息又不多,致使无法快速及时地回答用户问题。目前针对单一功能的数据处理能力已基本具备。例如卫星导航定位数据的处理已经实现了自动化、智能化和实时化,已使空间导航位达到米级、分米级乃至厘米级精度。但实际仅仅关注位置信息,更多社会需求还需知道基于位置信息的其他信息,如通过位置、影响等分析物流环境情况,为决策者提供支持。对测绘导航数据进行深度分析和挖掘,也是目前测绘导航大数据未完全实现的功能。
(6)测绘导航大数据建设和管理人才短缺。制约测绘导航大数据建设,并为总部及领导机关提供辅助决策与态势判断的一个重要因素是人才短缺,尤其是缺少运用大数据提供决策支持的专业数据管理和分析师。专家预计,至2018年,美国大数据领域中深度分析人才缺口14~19万。我国跟美国差距更大,测绘导航专业数据分析师与数据统计科学家几乎没有,需要通过培养和引进填补缺口,同时需要相当数量的专业技术人才进行适当的再培训或改训,支撑起测绘导航大数据建设。
现势条件下,测绘导航大数据建设原则应该是“立足专业,着眼急需,突出壁垒,加大管控,规范标准,科技创新”。
许多人已认识到测绘导航大数据体系建立会对战场决策、政府决心起到积极影响。构建体系需要从数据采集、汇集、处理、分析、预测等方面着手,大力发展以传感器技术、射频识别(RFID)技术,导航定位技术、地理信息技术、图像视频技术等为基础的感知能力,打破行业地域壁垒,信息共享,将多种时域、空域条件下战场地理数据、导航视频数据、地图遥感影响数据等汇集形成空天一体化的空间数据库,结合当前测绘导航应用特点以及发展趋势,突破大数据关键技术,面向部队、社会分布式测绘导航数据共享服务体系,解决信息孤岛问题。
测绘导航数据数字化采集已经基本解决,加强测绘导航数据智能化管空时开展网络化服务和社会化应用的重要保障。急需大数据建设规范标准,包括测绘导航数据结构、类型、仓库、元数据、模型等,这是汇集与分析多元数据的基础和根本。同时重点开展数据中间技术、空间数据仓库的数据安全管控技术、信息安全技术、分布式空间数据库技术攻关,大力发展具有自主知识产权的智能化测绘导航数据库管理系统。然而,美国“棱镜门”为我国信息安全敲响了警钟,大数据时代许多数据应用涉及公民财产安全甚至国家安全,尤其是测绘导航大数据价值极高,因此信息安全问题成为测绘导航假设的首要难题。
与腾讯拥有用户关系数据和基于此产品的社交数据一样,这些数据可分析人的生活和行为,从里面关联、挖掘出政治、社会、文化、商业、健康等领域信息,甚至预测未来。基于测绘导航大数据的战场感知、情报获取等能力也离不开“测绘导航云技术”,主要研究基于测绘导航数据的虚拟化技术、NoSQL、实时流数据处理技术、智能分析技术等。
应在全国建设若干有特色的省级、带动全系统测绘导航大数据汇集点。基于数据分析,带动全系统测绘导航技术升级、生产组织的重构和测绘产品结构的调整,全面提升信息时代保障能力。重点发展以无人机导航遥感、地面移动测量等系统为主的机动、灵活测绘导航信息获取与应急测绘导航保障技术;大力开展基于地基增强系统示范工程建设,应急测绘达导航数据挖掘预测技术,配置具有可视化及并行处理能力的大型数据汇集工厂,具备在网络环境下自动流水线式处理的能力,以满足多层次的测绘导航保障需求。
测绘导航事业发展至今天,从生产方式到数据应用,都发生了很多变化。我们需要结合测绘导航任务特点以及发展趋势,通过政策统筹,打破行业、地域壁垒,建设健全共享机制,逐步建立完善大数据标准规范,建立区域乃至全国的测绘导航大数据体系。对测绘导航数据进行全流程管控,并培养一批能适应测绘大导航数据建设需求的高素质技术人才,共同迎接信息条件下测绘导航事业大数据时代的到来。
[1]刘晓明:国防科技大学《数据库的测绘导航信息系统的开发》2013年02月.
[2]王峰:辽宁省基础地理信息数据库的设计思想与建设进展;测绘与空间地理信息;2008年06月.