农作物区域中多媒体传感网络智能监测架构的研究与设计

任　华

(成都农业科技职业学院信息技术分院，四川成都 611130)

我国作为一个农业大国，规范化的大面积集中种植已经是一种普遍现象。在大面积农作物种植区域中为了节约人力成本，实现现代化农业规范种植，往往会使用无线传感控制网络对环境进行监控[1]。受地壳运动和板块挤压作用，我国地震、火山等自然灾害频繁，特别是西部、南部山区，川陕、川滇、川藏等地区，由于山体高大，岩层风化剧烈，雨季降水比较多，容易引起滑坡、泥石流等地质灾害。基于多媒体传感器网络的地质灾害灾区智能监测采用综合多源异质传感器系统[2]，通过目标识别及数据融合等技术，以智能方式识别监测环境中可能发生的余震、滑坡、滚石、坍塌以及泥石流等险情，可区分人员车辆等运动目标，降低虚报率并就所监测的场景提供实时图像，完成实时智能监测与险情判决，同时具有自组织、自配置及低功耗管理等特性。

在通过实地考察获取的实际地质监测数据的基础上，本设计将应用日益广泛的多媒体传感器网络与地质灾害灾区险情智能监测相结合。与传统传感器网络监测相比，本设计不但同样具有自组织、自配置、抗毁性等优势，同时具有更为真实全面的多源异质信息感知监测能力[3]。与现有其他无线音频、视频监测系统相比，本设计中的监测架构具有智能特性，由人工视频监视变为智能分析告警。

1　研究方法

1.1　目标识别

运动目标检测与监测跟踪是多媒体传感器网络的主要用途之一，运动目标检测的目的是对序列图像进行分析，将运动目标区域从背景图像中区分并且提取出来。运动目标检测是图像分析和理解的前提，目前常用的目标识别方法有帧间差分法、背景差分法和光流法[4]。

1.2　监测跟踪判决

运动目标跟踪的目的是通过对序列图像的分析，对感兴趣目标的位置和速度等运动特征进行估计或预测。目前常用的监测跟踪目标的方法有基于特征的跟踪，基于区域的跟踪，基于模型的跟踪和基于活动轮廓的跟踪[5-6]。

在农作物种植区域使用多媒体传感网络进行监控时，捕捉到的图像序列会受到多种环境因素的影响，如光线亮度的变化，风沙暴雨等气候的变化，阴影和物体间重叠以及运动目标的运动变化等。图像序列变化都会给运动目标的监测和跟踪带来不同程度的影响。本研究面向的监测对象不同于一般监测系统所监测的(车辆、人员等)目标，而是更为复杂的地质险情表征目标，如滚石等，所监测的背景虽然较为复杂，但是相对固定，具有较高的监测可行性。

1.3　智能信息处理

由于能量的限制，不可能将图像信息直接传输到融合节点进行融合，这就要求将视频传感器采集的图像在当前多媒体传感器网络节点(以下简称网络节点)实时进行处理，除了对图像进行简单的压缩编码，同时还须要提取图像的特征编码，这样传输到融合中心的就是压缩后的图像和特征编码。考虑到网络节点的处理能力和低功耗需求，微控制单元(micro controller unit，简称MCU)会先将传感器采集的音频、视频数据保存在本地存储器中，这里采用的是嵌入式多媒体卡(embedded multi media car，简称EMMC)高速存储器，然后优先将特征编码发送到融合中心。

融合中心对多个传感终端传来的数据进行融合[7]，融合之前要对时间空间进行校准。校准需要2个方面的信息：一方面是该网络节点的路由和位置信息，另一方面是网络节点数据的时间信息。在融合的过程中，图像的配准问题要求使用2幅或多幅图片进行配准，以确保叠加的每幅图像上相应的像素代表地面上的同一位置、对应于同一物体。多媒体传感器网络节点结构如图1所示。

本设计对特征层目标特性进行融合，包括视频、振动、红外等多传感器系统，为识别提供了比单传感器更多有关目标的特征信息，增大了特征空间维数。具体的融合方法仍是模式识别的相应技术，只是在融合前必须先对特征进行关联处理，把特征矢量分类成有意义的组合，区域异构传感特征融合流程如图2所示。

相邻网络节点异构的传感设备(振动、图像、声音等)所采集的数据融合并配合使用，是多媒体信息融合的一项主要内容，这里采取的方式是通过实时采集，分别将传感设备中的数据进行特征提取，以特征向量的形式共同传向融合节点，在节点处处理单一时刻的多方信息，由于声音、振动、红外的数据量相对较小，所以采用以图像为融合主体的形式，其他相关传感特征以时间为基准进行融合。对目标进行的特性融合识别就是基于关联后的联合特征矢量进行模式识别。

2　多媒体传感网络智能监测架构设计

2.1　基于低功耗设计的多媒体监控网络

在目标的识别和监控网络中对数据的采集和处理主要包括音频、视频和基础数据。其中，基础数据如红外传感器数据、震动传感器数据等的数据量较小，使用带ZigBee的低功耗MCU(以下称传感器MCU)即可实现数据的传输和处理[8-9]；音频和视频数据庞大，传输过程中对网络要求高，须要使用运算能力较强的MCU(以下称节点MCU)对数据进行压缩和特征提取。

针对这2类数据类型的特点加上节点能耗的重要性，笔者设计1个低功耗实现方法：节点MCU常态为低功耗状态，实时监测各传感器的状态，当传感器MCU监测到异常后，节点MCU须要进行数据处理，此时自动提升频率，处理完毕后继续进入低功耗状态。由于特征编码提取速度较压缩快，节点MCU会先将特征编码发送到融合中心，当融合中心须要传输音频、视频文件时，节点MCU才会通过无线网络(WiFi)将存储在EMMC中的音频、视频数据发送至融合中心。

2.2　无线网络设计方案

本设计使用IEEE 802.15.4[10]为无线通信提供物理层数据服务，WiFi提供音频和视频的控制层数据通信服务，使用ZigBee实现基础传感器的组网与控制。设计方案如图3所示。

在大面积农作物种植区域中，由无线网络构成的种植区域地质灾害视频、音频监控网络和各类传感器控制网络组成系统的农作物智能感知系统。每个基础传感器都与对应多媒体传感节点的ZigBee连接实现组网通信，音频、视频传感器直接连接多媒体传感节点，由当前节点对其采集到的数据分别进行处理和通信传输。

多媒体传感节点的数据均发送到融合中心，该中心设立了用户监控功能，可及时将紧急信息通过短信方式发送至用户手机和在线客户端，同时直接刷新强调显示报警图像，用户可通过任一客户端访问无线网络进行控制和处理。

2.3　组网应用设计

本设计具体的组网应用过程如图4所示。当所监控的农作物区域有异常(震动、高温、物体移动、爆炸等)发生时，传感器MCU会通过ZigBee发送信息到多媒体传感器节点，节点收到信息后启动视频传感器，定位异常现象，将监测到的具体数据、声音和图像先存储在EMMC中，提取视频特征编码，然后通过无线网络将数据传输到融合中心进行数据分析、预测、统计；若激发异常请求，融合中心的监控功能则发布命令给终端设备(手机、PC客户端等)进行预警[11]，按异常等级进行控制处理，保存异常状态和处理机制、结果等。若未激发异常请求，则记录状态保持监控[12]。

3　智能监测架构实现

3.1　硬件设计

硬件设计主要包括多媒体传感器节点和融合中心2大部分，设计方案如图5所示。

3.1.1多媒体传感器节点设计方案主控选用意法半导体集团(STMicroelectronics，简称ST)生产的STM32F469NIH6，该芯片的特点是基于高性能的ARM Cortex-M4处理器，集成浮点运算加速器(float point unit，简称FPU)以及数字信号处理(digital signal processing，简称DSP)，最大主频支持180 MHz；Cortex-M4具有单精度浮点运算单元且具备增强的DSP指令集，音频、视频处理速度快；集成2 MB Flash、384 kB SRAM超大存储空间；内置静态存储控制器(flexible static memory controller，简称FMC)、队列式串行外设接口(queued serial peripheral interface，简称QSPI)，以太网媒体访问控制子层协议(media access control，简称MAC)、数字多媒体卡(secure digital multi media card，简称SDMMC)、通用串行总线(universal serial bus，简称USB)及摄像头接口等；具有低功耗运行模式。

除主控芯片外，多媒体传感器节点硬件方案的其他模块包括(1)存储器选用高速32 GB EMMC 5.0，可以在多媒体传感器节点存储大量采集数据，通过SDMMC接口与STM32F469主控芯片通信；(2)视频采集选用OV7620-模组通过可变静态存储控制器(flexible static memory controller，简称FSMC)总线与主控芯片STM32F469通信；(3)WiFi模块使用Marvell8801主控芯片通过SDIO接口与STM32F469通信；(4)ZigBee协调器选用德州仪器(texas instruments，简称TI)公司的CC2530通过通用异步收发传输器(universal asynchronous receiver transmitter，简称UART)接口与主控芯片STM32F469通信[8-9]；(5)定位模块选用VK1513，模块输出的数据格式遵循NMEA0183协议，通过UART总线与主控芯片STM32F469通信；(6)普通传感器如震动、温度、红外、超声波等均使用CC2530，并采用ZigBee协议实现子节点。

3.1.2融合中心设计方案融合中心[13]类似一台电脑终端，须要处理网络通信、数据库、文件系统、界面交互等，本方案选用三星ARM11架构S3C6410主控系统，其特点为拥有强大的内部资源和处理能力，可稳定运行667MHz主频；支持Mobile 双倍速率同步动态随机存储器(double data rata，简称DDR)和多种NAND Flash；支持WinCE 6.0、Linux 2.6.28、Android 2.3以及μC/OS-Ⅱ等操作系统；支持QT Extended 4.4.3图形界面，提供了标准板级支持包(board support package，简称BSP)并开放源码；支持通用分组无线服务技术(general packet radio service，简称GPRS)模组，选用的MG323是华为公司生产的GPRS无线通信模块，具备语音电话、短信和GPRS数据通信的功能。

3.2　软件设计

3.2.1多媒体传感节点软件设计多媒体传感器节点选用嵌入式广泛使用的FreeRTOS操作系统。FreeRTOS是一个轻量级实时操作系统内核，其功能包括任务管理、时间管理、信号量、消息队列、内存管理、记录功能、软件定时、协程等，可基本满足较小系统的需要。在硬件资源需求上，FreeTROS占用资源少，可以运行在随机存取存储器(random access memory，简称RAM)有效的嵌入式平台中，同时具有源码公开、可移植、可裁减、调度策略灵活等优点。

多媒体传感器节点实现的主要功能包括(1)实时监测ZigBee节点是否有异常数据；(2)启动视频采集并存储到本地EMMC存储器；(3)对视频信息进行压缩；(4)对视频信息进行特征编码提取；(5)通过WiFi将打包的多媒体节点数据发送到融合中心；(6)通过WiFi将音视频信息发送到融合中心。

多媒体传输通信技术如下：多媒体传感节点(以下称网络节点)将全球定位系统(global positioning system，简称GPS)定位信息、预警视频特征编码、声音震动、温度等数据封包成数据帧，然后发送到融合中心；融合中心对数据帧进行解析，提取出对应的传感器信息；融合中心下达上传音频、视频问题的指令，网络节点收到上传指令后就开始通过WiFi将音频、视频数据发送给融合中心。其中网络节点数据帧的格式如表1所示。每组数据帧都以00开始，FF结束。SN(serial number)表示数据序号；ID(identification)表示发送数据帧的设备编号；Type表示报警类型和等级；CFG(control flow graph)表示控制信息；Power表示电源电压数；DA(data address)表示数据地址；SA(source address)表示源地址。

表1　节点数据帧的格式

为进一步保证数据的完整性，本方案对数据进行循环冗余校验(cyclic redundancy check，简称CRC)处理，网络节点计算CRC数据，融合中心进行验证，通过后才认为结束，否则须要重发。

3.2.2融合中心软件设计从软件系统的优化性、可移植性、使用方便性和多样性角度出发，本设计的软件系统在Linux上开发，主要有Linux组件、文件系统、数据库系统、外设应用驱动和浏览器/服务器(browser/server，简称B/S)应用程序等。Linux采用的是目前使用最为广泛的Redflag Linux版本；数据库系统采用MySQL和XML进行数据存储；应用驱动包括USB、网卡、串口及以太网、应用外设驱动(音频、打印等)；应用程序是基于B/S结构进行开发的，可提供友好的可视化界面。本方案中融合中心的一个重要功能就是要对多个多媒体传感器节点的数据进行时空校准后融合，重点在视频、音频的处理上。

3.2.2.1音频、视频压缩技术音频、视频的传输是软件设计的关键，在B/S架构中客户直接通过IE浏览器查看视频和音频文件。视频文件数据很大，为提高传输速度和图像质量，在传输过程中须要对其进行有效压缩和解压。根据国际电信联盟(international telecommunication union，简称ITU)设置的视频压缩编码标准，本设计采用H.26X系列进行视频压缩。

摄像头采集到的图像格式是一种将亮度信息与色彩信息分离的格式(YUV，Y表示亮度即灰度，U、V表示色度)，该格式的好处在于即使没有UV信息也可以显示完整的黑白图像。而计算机是通过红色、绿色、蓝色(red green blue，简称RGB)3种基色混合成图像或视频。从YVU到RGB之间的转换公式如下：

R=Y+1.371V；G=Y-0.698U-0.336V；B=Y+1.732U。

通过公式可以快速将YUV转换为RGB并显示出来。视频数据采集后打包成数据包，打包数据封装成接口，可提供字段包括Que_link数据包队列、Addr数据存放地址、Length数据长度、arg应用程序、cmd数据命令、status数据命令状态、reserve保留字段。

3.2.2.2视频特征编码提取技术提取视频特征码选用目标识别常用算法中的背景差分算法[6]。基于视频传感器采集到的YUV格式视频数据，采用一种结合YUV颜色空间色度和亮度进行运动检测的算法，对YUV模型中的Y分量(亮度信号)建立基础的背景模型。本算法中亮度信号(Y)和色度信号(U、V)相互独立，可以大量减少复杂的开平方与乘法运算，同时算法可单独编码，能与动态图像专家组(moving picture experts group，简称MPEG)标准保持良好的兼容性，易于进行目标数据的压缩、处理和传输，而且节约了存储空间。该方法在视频监控系统中的使用效果较好、计算速度快、实时性好，对硬件的资源要求低，也更节约系统的计算内存。

4　测试与验证

笔者搭建了模拟农作物环境的虚拟软件，对本设计的可行性、功能性进行了测试和验证，总结如下：

4.1　基本功能测试

使用2个多媒体传感器节点、1个协调器和2个终端设备验证基本功能：报警数据采集、传输、客户端查看和系统控制等。使用可灭火源模拟恶劣天气中高温预警，发送预警数据包20 KB，每个预警节点的触发频率设置为5次/min。

试验结果：每个传感节点可以测试出≥45 ℃的热源高温并进行自动报警，第1次未采用GPS定位，无延时立即报警；第2次采用GPS定位，有10 s左右延时，由此可见，本设计基本可以应用于农作物区域险情智能检测。

4.2　传输网络测试

主要测试分别在使用ZigBee[14]和WiFi进行数据传输过程中，若遇到干扰信号或干扰信号突然增强或减弱时，传输网络稳定性受影响的程度。在测试中添加了一些家用电器和不同网络的手机[码分多址(code division multiple access，简称CDMA)、全球定位系统、宽带码分多址(wideband code division multiple access，简称WCDMA)等]、收音机等信号的干扰，手动发送大小为10 kB的数据进行测试。试验结果如表2所示。

表2　ZigBee和WiFi传输测试结果

由表2可知，通过WiFi传输数据包时，数据稳定不宜失真，基本不会受干扰信号左右，而通过ZigBee传输数据包时，数据会丢失或出错，容易受干扰信号左右[15]，只有3号ZigBee数据出错率最低，受影响最小。研究表明，当ZigBee与WiFi信号所使用的信道接近时，出错率升高，为保证数据传输的正确率：一方面可以尽量采用WiFi传输，另外一方面数据包应简洁，避免冗余。

4.3　网络部署覆盖率测试

在实验室分别模拟2种覆盖方式：一种是传统的按一定规模随机撒播部署；另一种是针对传感器网络的特定具体应用进行有计划的部署，即对文中提到的组网方式进行比较。通过Matlab仿真出覆盖对比示意图，如图6和图7所示。

由图6、图7可以看出，采用文中架构设计的多媒体传感器网络对环境监测覆盖得更加全面、均匀。当然在实际部署中，必须结合灾区环境实际考察所获取采集的真实环境数据，并以此为基础开展研究工作。由于监测环境的不同特性，研究在地质灾区监测特殊环境下的部署、覆盖策略与算法，才能实现在特定灾区环境全面有效的监测覆盖。

5　结束语

本研究创新提出将多媒体无线传感网络应用在大面积无人看守的农作物种植区域，并有效将多媒体节点与无线传感网络和多媒体网络进行连接，实现突发地质灾害时可及时预警和控制，实时将视频、音频传输到服务器和移动终端方便用户查看。以地质险情的识别和跟踪为切入点，分析基于多层结构的多媒体监控网络架构和设计方案，详细介绍硬件设计、软件设计。通过测试验证本方案设计的可行性和有效性，为农作物种植区域的智能监控向精准化、实时化方向发展提供一定的参考依据。

参考文献：

[1]Malhi K，Mukhopadhyay S C，Schnepper J，et al.A ZigBee-based wearable physiological parameters monitoring system[J]. IEEE Sensors Journal，2012，12(3)：423-430.

[2]昌凯，薛栋梁，孙强，等. 图书馆温湿度智能控制系统研究与设计[J]. 计算机科学，2014，41(11A)：436-439.

[3]唐川，马国超. 基于地貌单元的小区域地质灾害易发性分区方法研究[J]. 地理科学，2015，35(1)：91-98.

[4]赵立秋，梁晨明. 配电室无人职守集控站在京博石化的运用[J]. 科技视界，2016(20)：297，301.

[5]张猛，房俊龙，韩雨. 基于ZigBee和Internet的温室群环境远程监控系统设计[J]. 农业工程学报，2013，29(增刊1)：171-176.

[6]江建成，周中良，阮铖巍，等. 基于动态贝叶斯博弈的双机行为决策方法[J]. 计算机仿真，2016，33(7)：95-98.

[7]陈正宇，杨庚，陈蕾，等. 无线传感器网络数据融合研究综述[J]. 计算机应用研究，2011，28(5)：1601-1604.

[8]Texas Instrument Inc. Z-stack developer’s guide[Z/OL]. http：//www.ti.com.cn.

[9]Texas Instrument Inc. CC2530 Datasheet[Z/OL]. http：//www.alldatasheet.com/datasheet-pdf/pdf/461731/TI1/CC2530.html.

[10]Cuomo F，Abbagnale A，Cipollone E. Cross-layer network formation for energy-efficient IEEE 802.15.4/ZigBee wireless sensor networks[J]. Ad Hoc Networks，2013，11(2)：672-686

[11]苏文莉，叶晟. 一种基于无线传感器网络的灾害预警系统设计[J]. 现代电子技术，2015，38(24)：72-75.

[12]李慧，张可，徐良. 无人值守区域智能监测系统的架构设计与实现[J]. 计算机科学，2016，43(7)：115-119.

[13]杨庚，李森，陈正宇，等. 传感器网络中面向隐私保护的高精确度数据融合算法[J]. 计算机学报，2013，36(1)：189-200.

[14]魏兴，祝诗平，黄华，等. 基于ZigBee的烟草育苗大棚群环境参数无线监测系统设计[J]. 江苏农业科学，2016，44(2)：414-417.

[15]Singh V，Sharma R，Tomar MS. An Analytical study of interference problem between ZigBee and WI-FI[C]//International Conference on Communication Systems and Network Technologies. India：Gwalior，2013：257-261.