便携式农业病虫害图像采集仪设计与应用

张 超，王 正，姚 青，杨保军，唐 健

（1.浙江理工大学信息学院，浙江杭州 310016；2.中国水稻研究所水稻生物学国家重点实验室，浙江杭州 311400）

便携式农业病虫害图像采集仪设计与应用

张 超1，王 正1，姚 青1，杨保军2，唐 健2

（1.浙江理工大学信息学院，浙江杭州 310016；2.中国水稻研究所水稻生物学国家重点实验室，浙江杭州 311400）

针对目前农业病虫害图像采集设备便捷性差和图像质量不高等问题，通过利用无线传输、视频解码和HTTP通信等技术，设计并实现了一种便携式农业病虫害图像采集仪。该采集仪由W iFi镜头相机、Android手机或平板、可伸缩手持杆组成。农技人员通过可伸缩手持杆，将安装在手持杆一端的镜头相机推送到农业病虫害图像采集部位，通过手机或平板App实时预览相机端视频流，调整相机位置，控制相机的拍照。该采集仪特别有助于农业现场中人手或视线难以达到的病虫害部位的图像采集。测试结果表明，该采集仪可便捷地采集到各种农业病虫害图像，操作简单，手机或平板端视频预览画面延时低，采集图像质量高，可满足后续农业病虫害智能识别与诊断。该采集仪可广泛应用于农业、林业等病虫害图像的采集。

W iFi镜头相机；Android手机/平板；农业病虫害；图像采集；视频解码；HTTP通信

随着机器视觉的发展及其在各领域的应用，基于图像的农业病虫害智能识别与诊断技术成为研究热点［1-14］，可减轻基层农技人员的劳动量，实现农业病虫害测报的智能化，提高测报的精准性。利用图像处理技术实现农业病虫害智能识别与和诊断的首要前提是获取高质量的图像。目前，应用于农业现场的病虫害图像采集工具或仪器主要包括数码相机［4-8］、手机［9-13］及架设在农业现场的网络摄像头等［14-19］，也有使用专业的便携式图像采集仪［20-22］。农业病虫害主要包括作物、蔬菜和果树等病虫害，不同农作物病虫害发生的位置不尽相同。如有些水稻病虫害发生在水稻基部，有些果树病虫害发生在较高位置的枝叶上，利用上述设备很难便捷地采集到这些部位高质量的病虫害图像。为了解决上述问题，通过利用无线传输、视频解码、HTTP通信等技术，设计并建立实现一种便携式农业病虫害图像采集仪，将该采集仪应用到农业现场进行病虫害图像的采集，测试该采集仪的便捷性和稳定性。

1 图像采集仪硬件组成

便携式农业病虫害图像采集仪硬件由W iFi镜头相机、可伸缩手持杆和装载控制相机App的手机/平板组成（图1）。W iFi镜头相机使用Sony DSC-QX100，支持W iFi控制功能，有效像素2020万，净重179 g；手持杆为轻质可伸缩杆，镜头相机固定在手持杆的一端；移动设备采用Android平板/手机，搭载的可控制镜头相机的App。农技人员利用可伸缩的手持杆将其前端的镜头相机便捷地送到人手或视线难以到达的农业病虫害图像采集部位，根据手机/平板App预览相机视频，调整镜头相机位置，控制相机拍照。

图1 便携式农业病虫害图像采集仪

2 手机平板App的设计

手机/平板端App需要实现相机中视频流在手机/平板上可以实时预览、通过W iFi无线控制相机拍照、拍照位置GPS信息的采集等功能。手机/平板端App功能模块主要包括网络模块、视频流预览模块和相机控制模块，具体实现流程见图2。

2.1 网络模块

网络模块主要负责手机/平板和W iFi镜头相机间的网络管理，提供网络搜索、设备发现、网络连接等服务。

图2 手机/平板App功能模块实现流程

访问相机功能之前首先要建立手机/平板端与W iFi镜头之间的网络连接（图3）。

图3 W iFi镜头相机与手机/平板的远程连接

W iFi镜头相机具有无线接入（Access point）功能，手机/平板端先利用无线搜索功能连接镜头机W iFi，建立双端点对点的无线连接。图4显示，镜头相机内建SSDP（Simple Service Discovery Protocol）服务，手机/平板端发起设备查询请求，请求消息中包含广播地址和端口（HOST）、查询的类型（MAN）、设备响应最短时间（MX）、服务查询的目标（ST），镜头监听到的发现请求与此服务相匹配后，以单播方式响应。返回的响应消息包括根设备（LOCATION）、通知消息存活时间（CACHECONTROL）、操作系统和产品版本信息（SERVER）、服务查询的目标（ST），其中LOCATION返回镜头设备描述的xm l文件HTTP URL，用户可发起HTTP GET请求获取设备描述详细信息。

图4 SSDP设备的发现

2.2 视频流预览模块

视频流预览模块内建实时视频流数据接收和解析的客户端。WiFi镜头端的视频编码为JPEG格式，手机/平板端根据网络模块设备发现过程获取的HTTP URL发起视频流数据的GET请求，来获取自定义的视频帧数据包。

自定义的视频流数据包结构如图5所示。最小单元为Packet，数据为网络字节序，一个单元包包括公共头（Common Header）和有效荷载（Payload）。其中，有效荷载包括包头（Payload Header）和荷载数据（Payload Data），荷载数据包括JPEG数据或流媒体播放信息和数据补全位。

图5 视频流的格式

手机/平板端根据上述数据格式和结构解析出JPEG数据并播放实时帧画面，视频帧数据解析流程如图6所示。

2.3 图像浏览器模块

图像浏览器模块是方便预览已经拍摄好的图像。在预览视频过程中，当用户需要拍摄照片，通过HTTP POST请求控制W iFi镜头机完成拍摄命令，并根据镜头机内HTTP服务器的响应给出的拍摄图片的URL通过POST请求下载至手机/平板端，实现图片的传输。

图6 视频帧数据的解析流程

2.4 GPS信息采集及写入模块

GPS信息由后台服务定时采集，服务将定时获取更新当前GPS的经度、纬度、速度、高度及GPS时钟信息。当手机/平板端发出拍照命令并下载W iFi镜头相机的响应图像数据后，GPS信息采集及写入模块将把当前的GPS信息遵照EXIF格式连同编码后的JPEG数据写入文件内。GPS信息为农业病虫害图像提供了其拍摄的地理位置。

2.5 相机控制模块

相机控制模块主要实现手机/平板控制相机拍照、录像、触点对焦、变焦、拍摄参数设置等功能。

以触点对焦命令为例，在手机/平板端App启动后，允许用户开启线程发起触点对焦的HTTP POST命令，命令格式为Json字符串，包括字段id、method、version和数组params。W iFi镜头机端收到请求并响应，再将命令处理结果返回给手机/平板端，告知App端控制命令是否完成，即完成一个流程的控制命令。

3 系统实验

以水稻基部和果树中上部病虫害图像采集进行测试。

手机/平板端与W iFi镜头相机建立的无线接入点直连，利用SSDP服务发现设备获取镜头机HTTP服务器的URL。对系统进行视频流实时预览测试和相机控制命令测试。

3.1 视频流实时预览测试

设定W iFi镜头视频预览分辨率为1280×720，帧率为30 fps，视频帧格式为JPEG编码，手机/平板端视频帧的阻塞队列缓冲空间大小为2。手机/平板端发起HTTP GET请求获取视频流数据包，根据给定的视频帧格式解包获取一帧JPEG数据并解码为Bitmap格式并绘制。图7是图像采集与视频预览图，测试表明手机/平板端能实现对前端相机的低延时的画面显示。

图7 农业病虫害图像采集与视频流预览测试

3.2 相机控制命令测试

控制命令通信协议为HTTP，数据格式为Json字符串，手机/平板端以POST请求方式发送控制命令至W iFi镜头。图8是控制命令数据包。以拍照命令为例，method字段为actTakePicture，params字段为空的数组，id字段为1，version字段为1.0；拍照返回命令result字段为当前拍摄照片的URL，id字段为1。测试表明，手机/平板端能实现对前端W iFi相机的控制。

图8 相机控制的命令数据包

4 小结

本研究设计并实现便携式农业病虫害图像采集仪，进行农业现场病虫害图像采集的测试。农技人员可通过可伸缩手持杆将其前端的镜头相机送到人手或视线难以达到的农业病虫害图像采集部位，装载控制相机的App的手机/平板可实时预览前端W iFi镜头相机拍摄的画面，并控制其完成对焦、拍照等一系列操作。测试结果表明，本文实现的图像采集仪可便捷地采集到农业病虫害，操作简单、手机/平板端视频预览画面延时低、通信连接稳定，采集的图像质量较高，可满足后续农业病虫害智能识别与诊断。该采集仪可广泛应用于农业、林业等病虫害图像的采集。

［1］ TAN W，ZHAO C，WU H，et al.A Deep learning network for recognizing fruit pathologic images based on flexible momentum［J］.Transactions of the Chinese Society of Agricultural Machinery，2015，46（1）：20-25.

［2］ ARRIBAS J I，SÁNCHEZ-FERRERO G V，RUIZ-RUIZ G，et al.Leaf classification in sunflower crops by computer vision and neural networks［J］.Computers&Electronics in Agriculture，2011，78（1）：9-18.

［3］ 王美丽，牛晓静，张宏鸣，等.小麦叶部常见病害特征提取及识别技术研究［J］.计算机工程与应用，2014，50（7）：154-157.

［4］ 李震，洪添胜，曾祥业，等.基于K-means聚类的柑橘红蜘蛛图像目标识别［J］.农业工程学报，2012（23）：147-153.

［5］ 刘涛，仲晓春，孙成明，等.基于计算机视觉的水稻叶部病害识别研究［J］.中国农业科学，2014，47（4）：664-674.

［6］ 许良凤，徐小兵，胡敏，等.基于多分类器融合的玉米叶部病害识别［J］.农业工程学报，2015，31（14）：194-201.

［7］ 张建华，孔繁涛，李哲敏，等.基于最优二叉树支持向量机的蜜柚叶部病害识别［J］.农业工程学报，2014，30（19）：222-231.

［8］ WANG H，LIG，MA Z，et al.Application of neural networks to image recognition of plant diseases［C］∥International Conference on Systems and Informatics，2012：2159-2164.

［9］ 陈桂鹏，严志雁，瞿华香，等.基于Android手机的农业环境信息采集系统设计与实现［J］.广东农业科学，2014，41（13）：178-181.

［10］ 杨林楠，郜鲁涛，林尔升，等.基于Android系统手机的甜玉米病虫害智能诊断系统［J］.农业工程学报，2012， 28（18）：163-168.

［11］ 李宗儒.基于图像分析的苹果病害识别技术研究［D］.杨凌：西北农林科技大学，2010.

［12］ 姜慧.基于Android的水稻害虫图像采集与识别系统研究［D］.杭州：浙江理工大学，2013.

［13］ 韩殿元.基于手机图像分析的叶片及立木测量算法研究［D］.北京：北京林业大学，2013.

［14］ 邹修国，丁为民，陈彩蓉，等.基于改进灰度共生矩阵和粒子群算法的稻飞虱分类［J］.农业工程学报，2014，30（10）：138-144.

［15］ 熊迎军，沈明霞，孙玉文，等.农田图像采集与无线传输系统设计［J］.农业机械学报，2011，42（3）：184-187.

［16］ 沈明霞，丛静华，张祥甫，等.基于ARM和DSP的农田信息实时采集终端设计［J］.农业机械学报，2010，41（6）：147-152.

［17］ GARCIA-SANCHEZ A J，GARCIA-SANCHEZ F，GARCIAHARO J.W ireless sensor network dep loyment for integrating video-surveillance and data-monitoring in precision agriculture over distributed crops［J］.Computers&Electronics in Agriculture，2011，75（2）：288-303.

［18］ WANG P，SUN P，NIU L，et al.Research of real-time image acquisition system based on ARM 7 for agricultural environmental monitoring［C］∥International Conference on Remote Sensing，Environment&Transportation Engineering. 2011：6216-6220.

［19］ 熊迎军，沈明霞，孙玉文，等.农田图像采集与无线传输系统设计［J］.农业机械学报，2011，42（3）：184-187.

［20］ 李伟，王库，王冬，等.基于DM355的便携式农作物图像采集仪的实现［C］∥中国农业工程学会电气信息与自动化专委会、中国电机工程学会农村电气化分会科技与教育专委会2010年学术年会论文集，北京，2010.

［21］ 张宜君.农作物虫害图像采集与处理手持设备的设计［D］.保定：河北农业大学，2014.

［22］ 吴健.基于ARM的嵌入式USB图像采集与处理系统［D］.合肥：合肥工业大学，2012.

（责任编辑：张瑞麟）

S126

：A

：0528-9017（2016）12-2077-05

文献著录格式：张超，王正，姚青，等.便携式农业病虫害图像采集仪设计与应用［J］.浙江农业科学，2016，57（12）：2077-2081.

10.16178/j.issn.0528-9017.20161249

2016-09-10

国家高技术研究发展计划（2013AA102402）；浙江理工大学521人才培养计划；浙江理工大学研究生创新项目（2014G0604022）

张 超（1991—），男，浙江绍兴人，在读硕士，农业病虫害智能诊断专业，E-mail：czhang-zstu@163.com。