海-岛感知物联网关键技术研究

崔振东，郑　亮，桂福坤，赵　晟

（1.浙江海洋学院数理信息学院，浙江舟山　316022；2.浙江省海洋大数据挖掘与应用重点实验室，浙江舟山　316022；3.浙江海洋学院海洋科学与技术学院，浙江舟山　316022）

·研究简报·

海-岛感知物联网关键技术研究

崔振东1，2，郑亮1，桂福坤3，赵晟3

（1.浙江海洋学院数理信息学院，浙江舟山316022；2.浙江省海洋大数据挖掘与应用重点实验室，浙江舟山316022；3.浙江海洋学院海洋科学与技术学院，浙江舟山316022）

海洋经济的快速发展对海洋生态和环境产生了一系列影响，以信息化手段促进海洋经济良性发展，并加强生态环境保护具有良好的社会效益和广阔的应用前景。针对近海、潮间带、海岛、临海陆地环境和生态的监测和评价越来越强烈的需求，基于物联网和大数据技术，提出了层次型的海-岛感知物联网系统架构，构建了适用于海-岛监控和评价的存储体系和ETL-MR数据分析模型，并进一步通过有代表性的监测和评价结果，证明了本文所提出的海-岛感知物联网的可行性和有效性。

物联网；大数据；ETL-MR模型；评价模型

物联网是基于信息感知、智能定位、高效传输、海量存储、知识发现、综合服务等技术，实现无所不在的、按需进行的信息交流网络体系。物联网为当今社会的生产生活提供智能服务［1］，建立无所不在的泛在网［2］。物联网则实现了信息空间与物理空间的融合，将一切事物数字化、网络化，并通过新的服务模式使各种信息技术融入社会行为，是信息化在人类社会综合应用达到的更高境界［3］.

物联网在学术研究、商业推广和生产生活中都受到了广泛关注，并在多个行业中得到了应用推广。物联网应用于三江源的生态环境监测，实现了监测目标信息的实时获取和可视化［4］。物联网应用于远程农田信息监控，实现了远程控制、数据访问和可视化［5］。物联网应用于“菜篮子”工程，建立了北京设施农业的物联网应用模式［6］。物联网实现了实时监控的滩涂作业人员定位系统，提高滩涂工作安全保障［7］。物联网技术应用于食品药品监管领域，形成了高效协调的电子监管平台［8］。

当前海洋经济生产总值占GDP比重将近10%，其健康良性地发展对于提升经济的质量和效益，提高国民经济综合竞争力，加快经济发展方式的转变具有重大战略意义［9］。建立近海、海陆交界带、海岛的生态、环境、水文、气象等的监测和感知系统，全方位监测和感知海洋开发和利用对海岛环境和生态的影响，是海洋经济科学、良性、健康发展的基础和保障，能够切实增强海洋经济发展中的防灾、减灾能力，推进海洋经济绿色发展。物联网技术为海岛监测体系的建立提供了强有力的支持。

本文基于物联网和大数据技术，研究了海岛感知物联网的系统架构，搭建了一个海岛感知物联网系统平台，并基于该平台开展了浅海、潮间带、海岛环境和生态系统的时空数据采集，并基于所采集的感知数据开展了海岛健康状况评价研究。论文结构如下：第1节，介绍了物联网技术与海洋经济发展的环境压力，分析了建立海-岛感知物联网的必要性和可行性；第2节，提出了4层的海岛感知物联网系统架构，并深入分析了各个层次的功能；第3节，介绍了物联网平台的存储结构和ETL-MR数据分析模型，并展示了一些感知数据及数据处理结果；第4节，对本文的研究工作进行了总结，对以后的研究工作进行了展望。

1　海-岛感知物联网的系统架构

图1　海-岛感知物联网架构图Fig.1　Architecture of IOT for Sea-Island Monitoring and Evaluation

海-岛感知物联网集成了信息感知、高效传输、海量存储、知识发现、综合服务等技术，实现对近海、潮间带、海岛的实时监测和感知。

1.1海-岛感知物联网架构

本文基于层次化、模块化的思想，设计了四层架构的海-岛感知物联网系统，分别为物联网感知层、数据传输层、大数据业务层和物联网应用层。该系统架构如图1所示。

1.2海-岛感知物联网的感知层

物联网感知层是集成物理感知、图像识别、红外感应、激光扫描、卫星定位等信息传感设备，按相应的协议，把海、岛、陆、航的时空特征转化为数字信息，通过网络连接起来，并进行信息交换和通信，实现智能化识别、定位、跟踪、监控和管理的功能。

近海海水的监测近海水体中的溶解氧、温度、盐度、pH、流速、浊度、叶绿素含量等指标，主要通过近海水域中的固定、移动传感器，科考船船载传感器等实现；潮间带是被海水覆盖交替的地带，对潮间带的监测主要包括温度、盐度、生物多样性、栖息密度、主要重金属含量等；海岛的监测主要是针对浙东沿海众多岛屿中有代表性的岛屿进行生态、环境、气候等的监测；航的则是指近海海域港航活动相关的监测活动，主要基于AIS、海事卫星等设备，监测渔船、商船、游船等的时空活动、实时定位，并为之提供信息服务。

图2　物联网感知层和数据传输层组成Fig.2　Transport Layer of IOT for Sea-Island Monitoring and Evaluation

海岛感知物联网具有信息采集点分散、信息种类多、数据量庞大、结果处理复杂等特点。Zigbee具有低速、低耗电、低成本、支持大量网络节点、支持多种网络拓扑、低复杂度、快速、可靠、安全等特点。适宜于构建低复杂度、低成本、低功耗、低速率的双向无线连接网络。近海数据采集主要依靠基于Zigbee技术，基于漂浮于水面或者放置于较浅水下的传感器，组建无线传感器网络来实现。潮间带监测主要基于有线局域网并辅以WIFI技术，实现潮间带环境和生态特征的监测。主要包括土壤温度、潮间带生物数量和多样性、主要重金属指标等内容。岛、陆监测主要是监测岛、临海陆上淡水、生物、植被、土壤中的各项指标，用于衡量岛、陆上的人类生活生产活动对环境的影响。近海航运信息的监控和获取，主要基于AIS实现，用于分析近海船舶的活动和増变规律，并预测航运对海岛生态和环境的多重影响作用。AIS由岸基设施和船载设备共同组成，是集网络技术、现代通讯技术、计算机技术、电子信息显示技术为一体的数字助航系统和设备。

1.3海-岛感知物联网的传输层

物联网传输层主要通过北斗通讯、移动3G和4G网络、海事卫星等通信方式实现，多样性的传输形式能够把分散于多个地理位置的感知网络集成到物联网平台上。目前逐渐走向成熟的移动3G、4G技术实现了无线通信和多媒体通信紧密结合，支持高速数据传输的蜂窝移动通信技术，是通信业和计算机工业相融合的产物［10］。随着3G、4G网络带宽的增加，传输速率的提高和可靠性的提升，使其成为构建海-岛物联网传输层的一种重要手段。北斗卫星［11］网络正在快速构建并逐渐完善，基于北斗通讯的海洋监测［12］、气象观测［13］、渔业监管［14］、通信导航［15］等在海洋开发和权益维护等相关领域得到了越来越广泛地应用，这为海-岛物联网建设提供了另外一种重要的数据传输技术支撑。海事卫星作为中继站的船舶无线电通信系统，以及船舶自动识别系统AIS也为物联网的建设提供重要的支持。

1.4云存储与大数据业务逻辑层

随着海洋经济的深入发展，海-岛生态环境监控的需求、监测精度和频度要求越来越高，监控数据急剧增长；海、岛、陆等的遥感、测绘、数字化表示、重构等工作的开展，对存储空间的需求飞速增加；同时，航运信息化建设也逐渐从近海向远洋、向海陆联运等纵深发展，航行密度和频率也急剧增加，由此而产生的数据随着时间的增长而导致爆炸式地扩张。搭建海-岛感知物联网平台，着眼于构建大数据的存储体系，并研究针对大数据的知识发现方法是当前研究所急需解决的问题。

大数据业务层主要实现两个功能：大数据存储和知识发现，最终目的建立海、岛、陆、航监测和信息化物联网大数据服务中心。海-岛物联网平台的建立需要保证多级存储的实现。在各个传感器网络单元，都保留原始数据的存储备份，并通过数据传输层，把经过初步抽取和转换的数据上传到大数据业务层。存储中心采用集中存储和分散归类存储并行的存储模式，集中存储建立集群式数据中心，以弹性、混合、模块化为设计理念，致力于为教学科研、监督监管、行政决策、生产服务等提供必要支持，构建集可用性、安全性、灵活性、扩展性与TCO的物联网基础设施。

1.5物联网应用层

物联网应用层基于感知层的原始数据、大数据层转换数据和知识发现结果，并执行相应的处理，为物联网各级用户提供应用服务。应用层从功能上可以分为：科研服务模块、监督监管模块、养殖服务模块、捕捞服务模块、公共服务模块、和可定制服务模块等。

海-岛感知物联网的建设对于特定的需求而言，所提供的数据分析和知识发现结果并不一定能够满足具体的专业要求，原始数据接口的有条件接入，能够为多学科相互协作提供便利和支持。数据的积累能够为渔业、海监、海事、航运、环保等监管部门提供准确的数据，为监管执法和政策制定提供科学依据。作为公益性服务平台，将为海产养殖、渔业捕捞、环境保护、灾难救助、风险预警等提供信息服务。随着近海渔业的逐渐衰竭，海水养殖业逐渐成为了海产的重要来源，海洋环境和生态监控能够为海产精细养殖提供精确可靠的技术指标，并能够根据长期积累的数据发现知识，指导海产养殖和捕捞的高效开展。根据长期的监测数据，运用知识发现方法，对未来环境、生态变化趋势进行预测和预警，指导海洋生产趋利避害，服务海洋经济良性健康发展。可定制服务模块则为平台的商业化推广奠定基础，为养殖、捕捞、规划、近海工程设计和建设等相关企事业单位提供可定制的物联网服务。

2　海-岛感知数据存储和处理

2.1数据存储层次和ETL-MR模型

海-岛感知物联网的数据存储采取分散与集中结合、存储与挖掘并重的思路开展建设。海岛监测数据获取中大部分指标都是实时不间断监测，且检测数据数目庞大。为了获取尽可能准确且详尽的海量数据，传统的ETL工具和方法显得无能为力，主要原因是数据格式转换和不确定传输的开销太大，在性能上不能适应海量数据的采集需求。谷歌MapReduce［16］是基于集群的体系结构，用于处理密集型数据的并行计算范式，核心思想是“分而治之”：即把对大规模数据集的操作，分发给多个节点。MapReduce由map和reduce两个数据处理函数构成，以键/值对的形式形成map和reduce两个作业的输入和输出［16-17］。

图3　物联网数据存储层次与ETL-MR模型Fig.3　Data Storage of IOT for Sea-Island Monitoring and Evaluation and ETL-MR Model

针对海-岛感知物联网平台大数据的特征和存储结构，本文提出了基于ETL和MapReduce的复合数据处理模型ETL-MR。图3为海-岛感知物联网数据存储层次与ETL-MR模型的逻辑图。

ETS-MR模型中包括：提取（Extract）、转换（Transfer）、加载（Load）、映射（Map）和归约（Reduce）五个数据处理过程。其中ETL过程主要在物联网感知层和数据传输层完成，MR过程则在大数据业务层完成。数据存储包括物联网感知本地存储、大数据全局分块存储和知识全局存储。其中在ETL过程中，本地数据库设立缓存数据库；MR过程中，全局数据库提供数据缓存空间为MR的实现提供支持。

物联网感知层的本地数据库主要实现原始数据的存储。例如，水体监测原始数据的获取是通过传感器测定导电性、热敏度、光谱分析、透明度等手段获取流体中的pH值、微生物、重金属、叶绿素等环境生态相关检测数据，以及部分需借助于人工分析的数据，如部分微量元素指标的获取。影响海岛生态和环境的指标复杂多样，且没有统一的衡量方法。通过数据提取和转换，并加以初步地归类处理，形成规则相对一致的数据表示。这些数据会随着时间的增长而快速扩张，且伴随着应用需求的增多其复杂程度会逐步提升，因此感知层数据提取（Extract）和转换（Transfer）是物联网自治性的必然要求。最后通过加载（Load）把数据上传至物联网大数据中心。大数据业务层则依据"分而治之"的思想，实现密集型数据的并行处理，完成面向不同需求用户的数据挖掘工作，并将知识发现结果存储于大数据中心。

2.2海-岛监测和评价结果

图4为基于本平台所获取的东海某岛近岸海水部分监测指标在15 d的变化情况。

海-岛健康监测与评价问题涉及面较为复杂，需要综合考虑近岸海水、潮间带、海岛上的多种生态和环境因素。本文以三个区域近79种指标建立了一个评价模型，用于衡量海岛生态环境随时间的变化情况。利用该评价模型，基于所搭建的海-岛感知物联网平台，对东海某岛8个月的综合生态健康指数评价，其结果如图5所示。

图4　东海某岛近海实时观测数据Fig.4　Real-time Data of Nearby an Island in East China Sea

图5　东海某海岛8个月综合生态指数变化情况Fig.5　Health Variation of an Island in East China Sea

3　结束语

本文首先分析了基于现代信息技术建设海-岛感知物联网的重要意义；接下来提出了四层的海-岛感知物联网系统架构，分别为物联网感知层、数据传输层、大数据业务层和物联网应用层；在此基础上，深入研究了基于ETL-MR的海岛监控和评价数据综合处理关键技术，并通过一些有代表性的监测结果和评价结果，证明了本文所提出的海岛感知物联网架构合理，所设计的数据处理模型实用有效。

［1］顾晶晶，陈松灿，庄毅.基于无线传感器网络拓扑结构的物联网定位模型［J］.计算机学报，2010，33（9）:1 548-1 556.

［2］朱洪波，杨龙祥，于全.物联网的技术思想与应用策略研究［J］.通信学报，2010，31（11）:2-9.

［3］孙其博，刘杰，黎羴，等.物联网：概念、架构与关键技术研究综述［J］.北京邮电大学学报，2010，33（3）:1-9.

［4］田立勤，林闯，张琪，等.物联网监测拓扑可靠性设计与优化分析［J］.软件学报，2014，25（8）:1 625-1 639.

［5］李雪刚，黄梦醒，朱东海.基于物联网技术的远程农田监控系统设计［J］.计算机工程，2012，38（11）:20-23.

［6］阎晓军，王维瑞，梁建平.北京市设施农业物联网应用模式构建［J］.农业工程学报，2012，28（4）:149-154.

［7］黄冬梅，王元珠，张明华.基于物联网中间件技术的滩涂人员定位系统［J］.计算机工程，2012，38（17）:5-8.

［8］李征，马永涛，刘开华.基于物联网的环境情景感知系统设计与实现［J］.计算机工程，2012，38（17）:1-4.

［9］全国海洋经济发展“十二五”规划［EB/OL］.2014-12-08.http://www.gov.cn/zwgk/2013-01/17/content_2314162.htm

［10］赵海阔，赵宇杰，石蕊.3G技术综述［J］.甘肃高师学报，2010，15（5）:49-52.

［11］李文庆，付晓，王文彦，等.北斗二代卫星导航系统在海洋资料浮标监控与管理中的应用 ［J］.山东科学，2012，25（6）: 21-26.

［12］彭伟，徐俊臣，杜玉杰，等.基于北斗系统的海洋环境监测数据传输系统设计［J］.海洋技术，2009，28（3）:13-15.

［13］倪晨华，杜敏.气象观测浮标短信查询及报警系统设计［J］.海洋技术，2012，31（1）:10-13.

［14］胡刚，马昕，范秋燕.北斗卫星导航系统在海洋渔业上的应用［J］.渔业现代化，2010（1）:60-62.

［15］高齐生，彭国均，魏武财.北斗卫星系统在我国南海航海保障中的应用［J］.中国海事，2013，10（10）:15-17.

［16］DEAN J，GHEMAWAT S.MapReduce:Simplified Data Processing on Large Clusters［Z］.OSDI，2004:137-149.

［17］WHITE T.Hadoop:The Definitive Guide，Second Edition［Z］.Copyright 2011 Tome White，978-1-449-38973-4.

Design and Implementation of Internet of Things for Sea-Island Monitoring and Evaluation

CUI Zhen-dong1，2，ZHENG Liang1，GUI Fu-kui3，et al
（1.School of Mathematics，Physics&Information Science，Zhejiang Ocean University，Zhoushan316022；2.Key Laboratory of Oceanographic Big Data Mining&Application of Zhejiang Province，Zhoushan316022；School of Ocean Information Technology，Zhejiang Ocean University，Zhoushan316022，China）

With the rapid development of the Ocean Economic，the environmental and ecological protection of sea，islands，and land received more and more attention.Based on the technology of Internet of things and big data，a four-layer monitoring and evaluation architecture was presented in this paper，which includes the sensors perceptual layer，transport layer，data processing layer and application layer.A hybrid algorithm model combined ETL and MapReduce was proposed for data processing.At last，some typical monitoring and evaluation results show that the architecture is suite for the sea-island monitoring and evaluation，and the data processing model is effective.

internet of things；big data；ETL-MR model；evaluation model

TN929.5

A

1008-830X（2015）02-0204-05

2015-01-02

科技部支撑计划-海岛生态系统监测及保护关键技术研究与示范（2012BAB16B02）；国家星火计划（2012GA700193；2013GA700258）；海洋科学浙江省重中之重学科开放课题（20140101）；浙江省科技厅公益基金（2015C33082）；浙江省新苗计划（2015R411033）资助

崔振东（1975-），男，河南新乡人，博士，副教授，研究方向：大数据、工程数值模拟.E-mail:cuizd@zjou.edu.cn