● 文 |解放军信息工程大学 陈明剑 李广云
北斗导航大数据建设与思考
● 文 |解放军信息工程大学 陈明剑 李广云
从导航大数据定义入手,对当前导航大数据的主要问题进行了讨论,并针对基于北斗地基增强系统的导航大数据情况,提出当前导航大数据研究主要内容。
北斗;大数据;北斗地基增强系统
现代数据不论从重要性还是经济总量上都将超过石油、煤炭等天然资源,数据资源开发利用将形成巨大的数据产业。随着北斗卫星导航系统全球部署,基于大数据的导航生产方式和生产模式发生了根本改变。基于位置感知的数据云智慧城市、战场自动化感知及战场自动化指挥等现代理念都要基于导航及各种数据信息,在计算机网络时间和空间上被高度浓缩存储、分析、应用。这使得现代导航逐渐改变以往后台理论与技术支持的地位,由静态转为实时服务,携众多服务产品逐步走向前台,对提供的定位、导航和授时(PNT)综合数据进行更深层次的挖掘,并延伸其研究深度与广度,直接应用于战场、航空航天、地球物理、地理信息、资源勘探、土地动态监测、农牧渔业、智能化交通管理等众多领域,成为智慧领域的基础支撑,最终慢慢形成现代大数据意义的导航和现代导航意义的大数据。
1. 未能形成“导航云”
目前导航数据一般是应用部门针对特定任务采集和获取,利用专业数据处理方法分析局部数据精度及属性特征。例如省域北斗地基增强(CORS)信息中心计算产生CORS差分信息,没有地图数据、遥感数据、光学影像数据等支持。数据依然按行业、地域、企业被隔离成一个个信息孤岛,没有形成导航大数据所必须的“导航云”,未建立一套行之有效的导航大数据理论与技术,无法对各种不同类型数据的关联进行深度挖掘及再利用。应当把消除单位部门数据割据,建立公开、透明、共享的数据公共平台作为长期的战略目标。
2. 难以保证数据安全
类似地基增强数据,数据中心不间断全天候采集基准站数据,并按照用户要求进行高精度导航定位,可以实现米级甚至分米级精度的定位,可广泛采集各行业导航定位数据。但这些数据都面临着安全问题。①在数据高度分布、去中心化的场景中(如物联网),数据的交换是匿名的、无需信任的、无单点控制、在网络中随时发生,数据交易通过网络平台实现。②在很多北斗导航应用中,数据不能无条件向公众开放,而只能做点对点的共享,或者基于某种特殊约束的多边条件。比如高精度点信息(点之计等)安全。
保护国家层面的数据安全,恰恰是以数据开放为基础的。开放是一种态度,更是一项能力。导航大数据时代,高精度位置信息数据所有制已经不再是主流,要保证高精度信息数据可以使用,但不可以看见,“可用不可见,相交不相识”,保证数据绝对安全。
3. 导航大数据支撑系统尚未建立
大数据建设不仅仅需要解决信息数字化,还要解决数据信息的处理和预测。这需要建设落地的大数据支撑系统。导航大数据支撑系统应主要包含导航传感器系统、数据存储系统、数据管理和分析系统、共享服务平台、安全保密系统等。目前,已建立了一些初级北斗导航大数据服务系统,都是基于卫星导航定位技术,综合利用计算机网络、大数据、通信、电子等技术,提供毫米级到米级的精度分级导航定位、动态框架基准、态势分析等高精度空间位置信息服务的系统。
这些服务已形成产业,尤其是基于地基增强系统大数据位置服务的产业链是近几年发展起来的一种信息服务的新兴产业。
由于Fenton法降解反应需要控制pH值,且过程中会产生含铁污泥,后续处理存在较大难度,目前主要被应用于废水处理中。如今自然水体中的有机物污染日益严重,而且近年来,随着技术不断发展,出现了催化型Fenton技术,从根本上解决了传统Fenton的弊端:拓宽了体系pH值的适用范围(在5~9之间);该技术能固化催化剂,减少催化剂溶出,更便于分离回收,不会产生明显的污泥(牛建瑞等,2016)。而Fenton法对有机物的去除效果突出,将是未来水处理的研究主题之一。
目前,可采用超站仪、卫星导航接收设备、惯导设备等设备对影像、位置、地理信息、人员信息等进行数据化;通过基于位置信息的其他服务信息,例如位置、影像等分析人员流动状态;导航定位数据处理达到米级、分米级乃至毫米级精度。但仅仅能够分析诸如位置、姿态、距离、时间等信息,对于态势分析、现实效益分析、未来预测等决策者关注的问题,目前导航大数据系统还做不到。
随着北斗地基增强系统的建设和发展,导航大数据主要来源为地基增强系统及导航定位应用服务平台,还有就是日常生活存储的导航数据。例如60多个CORS站的北斗地基增强系统的数据量就达10个G左右。
我国自20世纪90年代起,各地测绘、国土等部门先后建设基于GPS的CORS系统,仅统计的站点就达到5000多个(不包括其他小型的系统)。随着北斗系统于2012年年底提供区域服务,包括上海、重庆、河南、河北、山西等在内多地建成北斗增强系统。通过军民融合,整合利用江苏、浙江、福建、江西等15省现有的站网数据资源,建成空间布局合理、基于北斗的精密导航服务系统。
这些数据特点主要为:应用对象的转变,从“内部”到“开放”,从“专业”到“公众”;导航数据将从公益性、专业性测绘导航保障向整个社会产业体系的产业方向扩展;面向军队、政府部门、专业领域的大数据扩大到面向社会公众服务。
北斗地基增强系统数据结合交通信息数据、气象信息数据、地图信息将极大改变人类生活方式,形成类似于老人关爱系统、智慧校园系统、车辆的精准监控、精细农业等,成为智慧城市支撑基础。
当前智慧大数据应用路径为从数字城市到智慧城市,中间经过智能城市变化,将各种信息数字化后,形成智能管理,再经过云计算及“互联网+”及传感形成大数据智慧分析。北斗地基增强系统及其应用正是对大数据的典型应用。
技术方面,基于北斗地基增强系统及应用,在北斗导航大数据存储、计算以及相关服务体系方面,逐步实现大流量定位请求的自动负载均衡、定位信息的快速与长期存储、北斗定位终端注册管理等北斗定位基础服务接口和平台,在此基础上实现北斗应用开发与运行开放平台、北斗应用权限与数据管理体系、北斗业务深入分析(统计报表、分析报表)系统。但还是有如下工作需要研究:
1. 地基增强服务模式研究
地基增强服务模式、数据产生与处理模式的不同,带来大数据存储与应用不同。目前,主要有两种模式:区域改正数技术(FKP)和虚拟参考站技术(VRS)。其中,FKP模式可以支持无限数量用户,但成本较高,无法进行大面积推广;VRS模式对设备要求较低,但为每一个用户都独立生成虚拟参考站数据,因此它的用户数量受限于服务器的计算能力,无法做到大面积推广。为此将整个服务区域格网编码,进行格网地基增强计算、格网广播或格网辅助精密单点定位(PPP)计算,可以从根本上提升用户数量,提高数据云端计算效率。
2. 自动组网建设
结合当前精确导航多种实时应用模式,例如地基增强模式、广播式模式、地基增强辅助PPP模式,建立多种并行数据计算及应急组网模式,利用系留平台或者无人机完成不同应急组网任务,接收应急状态下的数据。这种数据是未来应对突发状况,快速救援救灾的基础数据,可为决策提供支持。
3. 导航大数据平台搭建
解决计算和服务虚拟化、大规模数据并行处理、海量数据分布式存储、弹性伸缩和动态调配。其中通过资源虚拟化统一管理底层存储和计算资源,并对上层提供透明存储和计算服务;利用大数据环境实现对虚拟化资源的统一管理,并构建业务所需要的存储体系和计算平台。
根据需求的变化,对计算资源自动地进行分配和管理,实现高度“弹性”的缩放和优化使用。规模动态伸缩,以满足服务和用户规模变化的需求。
通过处理技术,北斗地基增强系统实现对大规模定位请求的高效处理。北斗系统信息支持服务系统,实现按授权和规则对应用提供全面信息支持服务,比如运行情况统计等。
4. 北斗综合服务云数据存储与挖掘技术
研究图像、视频、文字等异构大数据的存储技术;针对位置数据混杂性、复杂性和稀疏性等特点,对位置大数据的预处理方法、局部位置数据的特征提取、位置数据的特征关联和协同挖掘方法进行研究,以提供面向不同需求的位置大数据的综合分析服务;研制建立全息位置地图综合服务平台,综合建立影像地图、矢量地图、室内导航数据、三维空间数据之间关联分析,使位置数据能够用来感知人类社群活动规律,为面向不同应用的北斗位置服务平台提供技术基础。
5. 云平台安全技术
数据安全首先是访问权限控制,其次是动态数据的安全,主要是加密和动态审计能力。数据不能无条件向公众开放,而只能做点对点的共享,或者基于某种特殊约束的多边交换。参考站、数据中心、用户经特定的密钥管理机制获得密钥,数据加密后送入可信执行环境,交由经过验证的数据处理逻辑处理,支持更大的数据规模。需要进行云端数据加密技术研究,将传统加密技术与云平台安全机制集成;研究数据访问控制技术,利用属性基加密技术,形成新的安全控制机制,保证数据的高效共享。
以数字化装备为主,将北斗导航、遥感、地理信息系统技术、网络技术、通信技术、智能手机有机结合,进入全民参与导航的时代,实现空、天、陆、海一体化导航,是北斗导航大数据的主要来源。以位置信息服务为主,充分利用物联网、互联网等现代网络通信技术、计算技术,借助声音、图片、视频、文字、图表等形式为用户提供体验式服务,是导航大数据建设的主要任务。基于可视化分析、统计分析、数据挖掘算法、预测性分析、自然语言处理等人工智能处理技术是导航大数据建设的关键。
[1] 维克托·迈尔-舍恩伯格,肯尼斯·库克耶.《大数据时代-生活、工作与思维的大变革》[M].盛杨燕,周涛译.杭州:浙江人民出版社,2013年.
[2] James Manyika、Michael Chui等,《Big data: The next frontier for innovation, competition, and productivity》.2011年5月.
[3] 安晖,陈阳,张鼎.《大数据:下一个创新、竞争和生产力的前沿》.赛迪译丛. 2012年6月18日第25期.
[4] 李德仁院士:智慧地球时代测绘地理信息学的新使命,http://news.ccidnet.com/art/1032/20130925/5195129_1.html.
[5] IBM与牛津大学赛德商学院共同制定 《分析:大数据在现实世界中的应用》白皮书 ,2013年3月.
[6] CCF大数据专家委员会,中关村大数据产业共同编制《联盟中国大数据技术与产业发展白皮书》,2014年.