基于时序巡航图像的茶树生长监测研究

刘连忠，李孟杰，宁井铭

(1.安徽农业大学 信息与计算机学院，安徽 合肥 230036； 2.茶树生物学与资源利用国家重点实验室，安徽 合肥 230036)

我国是最早发现和利用茶的国家，也是茶叶的生产和出口大国。茶树的生长容易受气象要素、土壤条件、病虫害、修剪、采摘等多方面因素影响[1-4]，需要定时获取茶树的生长信息，及时调整栽培方案，确保茶树的健康生长。目前，对茶树的生长监测大多靠人力来完成，由于茶园面积广阔，且多分布于山间，人力监测费时费力，效率低下[5-6]。近些年，机器视觉技术已经发展为获取作物生长信息的一种快捷手段[7-8]，通过作物图像分析进行作物生长监测，可以判断作物的长势[9-12]、水分[13-14]、营养[15-19]、病虫害[20-21]等状况。例如，Tardaguila等[22]使用图像处理技术实现了葡萄园冠层特征分析，以及葡萄簇的葡萄数量、大小和质量估计；袁道军等[23]基于油菜冠层图像，用逐步回归法建立了用图像的颜色值监测叶绿素含量、全氮含量、碳氮比值的最优模型，具有较好的预测性能；Ramcharan等[24]应用迁移学习训练深度卷积神经网络来识别木薯3种病害和2种病虫害，具有较高的准确率。此外，基于机器视觉的田间杂草识别[25-26]、作物产量估算[27-29]和果实成熟度判断[30-32]等方面的研究，都表明机器视觉在农业生产监测中具有广阔的应用前景。

茶园面积广阔，茶园中不同位置的茶树生长变化并不完全相同，有些变化(如病虫害等)往往是先在某个局部区域发生的，其整体变化并不明显，通常的视频监控系统只对茶园整体进行监测，从中很难发现茶树生长的细微变化。此外，茶树生长是一个随时间动态变化的过程(如嫩芽萌发、病害发展等)，只有对同一部位进行持续监测才能获取茶树生长变化的重要信息，采用多台摄像机对各个部位进行监测会大大增加设备成本和维护难度。为掌握茶园中茶树生长的时空动态变化情况，本文设计一种单摄像机的图像监测系统来实现时间和空间2个维度的茶树图像信息采集。将茶园划分为若干监测区域，采用可变焦云台摄像机(即PTZ摄像机，俗称球机)每隔一段时间进行1次轮询，抓拍各个监测区域的图像并按时间顺序保存，得到茶树生长图像库。通过对茶树生长图像库的进一步分析，可以获取茶树生长变化的相关信息，包括与茶树生长有关的茶树营养缺失、病害发作、嫩芽萌发，以及与茶树生长环境有关的光照、天气变化等信息。

1 系统设计

1.1 硬件系统设计

1.1.1 硬件结构

系统采用星型局域网络结构。可变焦云台摄像机获取田间的视频流，通过一对光纤模块进行远距离传输，然后接入到局域网络。监测服务器也接入局域网络，通过TCP/IP协议获取摄像机的视频流，并向其发送指令，控制摄像机的转动和变焦。监测系统硬件结构如图1所示。

1.1.2 监测区域划分

实验茶园选择在安徽农业大学大杨镇高新技术农业园内，茶园长10 m、宽5 m，共种植4排茶树，品种为农抗早。将茶园划分为4行、10列共40个监测区域，每个区域的大小为1 m×1.25 m，在每个区域选择靠近中央的1株茶树进行监测，获取其生长图像。监测区域的划分与编号如图2所示。

1.1.3 摄像机选型与安装

为了方便地获取各个监测区域的茶树图像，要求摄像机镜头可以自由转动，并且能对监测图像进行缩放。目前监控领域广泛使用的可变焦云台摄像机，其制造工艺成熟，价格也较为便宜，适合用于作物生长监测。实验中使用的变焦云台摄像机为天津天地伟业公司生产，型号为TC-H556S，其主码流分辨率为2 048×1 536，32倍光学变焦，水平360°连续旋转，垂直转动角度-16°～90°，最大帧率60 fps。将摄像机架设于茶园东边一侧的中间位置处，以方便观察到茶园的每个角落。该摄像机的外观尺寸与安装效果如图3所示。

图1 茶树生长图像监测系统硬件结构图Fig.1 Hardware structure of image monitoring system for tea plant growth

图2 监测区域划分与编号Fig.2 Division and numbering of monitoring areas

1.2 软件系统设计

软件系统的设计包括监测区域定位、定时巡航抓拍、茶树生长图像库生成、茶树生长图像库检索浏览等算法设计。茶树监测系统的软件架构如图4所示。

图3 摄像机外观尺寸与安装效果图Fig.3 Camera appearance size and installation effect

图4 茶树生长监测系统软件结构图Fig.4 Software structure of tea plant growth monitoring system

将软件结构分为监测区域定位、定时巡航抓拍、茶树生长图像库生成、茶树生长图像库检索、茶树含氮量监测5个模块。监测区域定位模块实现指向某个监测区域的P(Pan，水平参数)、T(Tilt，垂直参数)、Z(Zoom，放大倍数)摄像机参数设置，定时巡航抓拍模块实现各监测区域图像的定时抓拍，茶树生长图像库生成模块将抓拍的图像以一定格式存储到服务器中，茶树生长图像库检索模块实现图像的检索和浏览，茶树含氮量监测模块实现基于茶树图像的茶树含氮量检测。

1.2.1 监测区域定位

对各监测区域的摄像机控制参数P、T、Z进行设置，并将设置的参数保存到一个监测区域定位表中，如表1所示。首先将茶园划分为若干监测区域，为了保证监测到茶树生长的细节信息，建议每个监测区域的大小为1～2 m2。将PTZ相机的镜头调节至能够观察到整个监测区域的位置，保存该区域的编号和对应的P、T、Z值。当需要拍摄该监测区域的图像时，在定位表中查找到与该监测区域编号对应的P、T、Z值，并用P、T、Z值调用摄像机控制函数，使其转动和缩放，从而使摄像机定位到该监测区域。

1.2.2 定时巡航抓拍

将茶园划分为若干监测区域并对摄像机进行定位设置后，每隔一段时间抓拍1次各监测区域的图像信息，并保存至监测服务器，方便用户随时进行检索、对比。结合已经设置完成的监测区域定位表，设计定时巡航抓拍算法。设置一个定时器，每隔固定时间t启动1次巡航抓拍流程，对监测区域进行轮巡。摄像机从监测区域定位表中依次取出对应区域的P、T、Z值，随后延迟3秒，等待摄像机指向某个监测区域并保持稳定后，抓拍该区域的图像，并将获取的图像保存到茶树生长图像库。算法流程如图5所示。

表1 监测区域定位表

Table 1 Monitoring areas positioning

监测区域编号Number of monitoring areas水平参数P垂直参数T放大倍数Z170.215.532.5275.816.429.8381.617.633.0…………40171.926.913.8

1.2.3 茶树生长图像库

为便于图像的检索和浏览，根据图像抓拍的时间和位置在监测服务器上建立层级文件夹。以“年-月-日”建立日期文件夹，每个日期文件夹下再按监测区域编号建立文件夹。在每个监测区域编号文件夹下，按“年-月-日-时-分-秒-监测区域编号”命名抓拍的图像文件。具体结构如图6所示。

1.2.4 茶树生长图像库检索

可按拍摄时间和监测区域浏览茶树生长情况，也可以通过对茶树生长图像序列的分析，得到更为丰富的茶树生长信息。输入监测区域的编号、日期后，从茶树生长图像库中检索指定监测区域该日期的所有图像文件。可以进行动态显示，即设定播放速度，按时间顺序显示图像，其间可以暂停或继续播放；也可以逐张浏览图像，并显示该图像的拍摄时间。

2 系统测试

软件系统的运行环境使用Windows 10操作系统，开发工具采用微软公司的Visual Studio，软件功能采用C++语言进行开发。软件具有可移植性、可拓展性、操作简便的特点，在传统监控可进行PTZ调节、抓图的功能上，主要增加了自动定时巡航抓拍与茶树信息检索的功能。

打开监控软件，输入摄像机的网络地址、端口号、账号和密码进行登录。登录成功后，进入监测系统主界面。首先进行监测区域定位的设置，调整好摄像机镜头位置，输入监测区域编号与名称，点击“设置”按钮，记录当前的位置信息。当输入或选择监测区域的编号，点击“调用”，摄像机定位并显示该监测区域的实时视频，如图7-A所示。选择巡航时间、巡航抓拍起止区域编号，单击“巡航抓拍”按钮，则进行单次巡航抓拍，图像保存在桌面；设置定时抓拍时间间隔，单击“定时循环”按钮，则进行定时巡航抓拍，抓拍的图像按日期、监测区域编号保存到茶树生长图像库中。

当进行茶树生长图像的检索时，在主界面中单击“查看数据”按钮，进入茶树生长图像库检索界面，如图7-B所示。输入监测区域编号与日期，可检索到符合条件的所有历史图像，并可以按时间顺序动态播放。单击“暂停”按钮可暂时停止图片的动态播放，此时通过单击“上一张”“下一张”按钮可逐张浏览图像。

图5 定时巡航抓拍算法流程Fig.5 Timing cruise capture algorithm flow

3 系统应用

利用茶树生长图像数据库对茶树的生长过程进行多方面的监测。以下对2019年2月1日至4月30期间采集的图像库，分别从嫩芽监测、病害监测、含氮量监测、光照监测、天气监测等几个方面讨论、分析该系统的应用。

3.1 嫩芽监测

由于同一监测区域的拍摄位置是固定的，因此可以对比茶树同一部位在不同时间的生长变化情况。图8为监测区域1的图像上部枝条上嫩芽的萌发过程。可以看出，2019年4月10日该枝条尚未萌出新芽，4月20日已经长出新芽，4月30日新芽进一步长大。因此，从茶树生长图像库中可以得到关于嫩芽生长的信息。采用图像分割技术将嫩芽从图像中分离出来，则可以计算嫩芽的长度、生长速度，进而鉴定嫩芽的品质、确定采摘嫩芽的最佳时机。

3.2 病害监测

茶树很容易感染各种病害，通过对比茶树图像随时间的变化情况，可以从中发现其病害的发生、发展过程。图9为从监测区域13抓拍到的一个叶片发病过程。4月17日该叶片叶色泛黄，开始发生轻微病变，4月20日叶片已经全部变为黄色，病害加重，4月22日叶片出现褐色斑块，病害进一步加重，该叶片在5 d内发生了明显的病变。因此，通过对比茶树图像中叶片的变化，可以发现病害的种类和为害程度，以便及时采取有效措施进行防治。

图6 茶树生长图像库结构图Fig.6 Structure of tea tree growth image database

A，监测系统主界面；B，茶树生长图像库检索界面。A， Main interface of monitoring system; B， Retrieval interface of image database of tea plant growth.图7 茶树生长图像监测系统界面Fig.7 Interface of monitoring system of tea plant growth image

3.3 含氮量监测

氮是影响茶树长势的一个关键元素，茶树的氮营养情况一般会在叶片颜色上有所体现[33]。为验证利用茶树监测图像进行茶树氮营养监测的可行性，于2019年4月中旬进行试验，将施以5种不同含氮量基肥的茶园划分为连续的40个监测区域，每个区域随机选取2株茶树，每株茶树摘取冠层枝条顶叶下第2叶10片，每5片1组，用凯氏定氮法测得80组样本的实际含氮量数值。在采摘叶片前后，抓拍该40个监测区域的图像，经图像降噪、背景分割等操作后[34]，提取图像的R、G、B均值作为颜色特征参数。将80组样本分为建模样本和验证样本，对颜色特征参数与含氮量进行线性回归分析。结果发现，无阳光直射时拍摄的图像，其G值和B值与茶树含氮量之间有较高的相关性，所建立的线性方程和误差如表2所示。

在5月中旬再次进行相同试验，依据监测图像和回归方程得到各监测区域茶树的含氮量预测值，进一步绘制出茶树含氮量预测值空间分布图，如图10所示。该预测值与验证样本实际值的最大相对误差为16.53%，平均相对误差为5.79%，均方根误差为0.171。试验结果表明，根据茶树图像可以对茶树含氮量及其空间分布进行监测。

图8 茶树嫩芽萌发监测Fig.8 Monitoring of tea bud germination

图9 茶树病害监测Fig.9 Monitoring of tea plant diseases

表2 颜色特征参数与茶树含氮量的线性回归分析结果

Table 2 Results of linear regression analysis of color parameters and nitrogen content of tea plant

回归方程Regression equation样本集Sample sets 最大相对误差Maximum relative error/%平均相对误差Mean relative error/%均方根误差Root mean square errorN=3.435+2.484B-3.004G建模样本Modeling sample12.144.300.154验证样本Validation sample11.824.640.157

图10 茶树含氮量预测值空间分布图Fig.10 Spatial distribution of predicted nitrogen content of tea plant

3.4 光照监测

露天状态下一天中的光照条件是不断发生变化的，通过一天中不同时间拍摄的茶树图像，可以监测到茶树生长环境的光照变化情况。图11为2019年4月13日监测区域4在不同时间的图像。可以看出，06:50阳光较弱，图像较暗，且叶片表明凝结许多露珠；13:50阳光强烈，图像亮度大大增加，并出现大量反光和阴影区域；17:50阳光较为柔和，图像中光照分布均匀，无明显的反光和阴影，图像清晰度较高。早晨和傍晚的茶树图像清晰度较高，用于茶树的生长监测效果更好。通过图像中光照的变化，还可以得到茶树一天的光照量，可帮助分析光照对茶树生长的影响。

3.5 天气监测

天气是影响茶树生长的一个重要因素，尤其在春茶采摘期前后，天气的变化对茶叶品质的形成有着关键作用，因此，监测茶树生长过程中的天气变化情况，对茶树种植有着重要意义[35-36]。从茶树图像中容易获知每天的天气情况，如图12所示。选择2019年3月1日到4月30日的茶树图像，把每天天气记录下来，可以得到该期间茶园各种天气的统计图，如图13所示。可以看出，该茶园3—4月的天气以晴、多云、阴天为主，而雨天相对较少。

图11 茶树一天中光照的变化(2019年4月13日，监测区域4)Fig.11 Changes of light in tea plants during the day (On 13 April 2019， monitoring area 4)

图12 天气变化监测Fig.12 Monitoring of weather change

图13 茶园天气变化统计图(2019年3—4月)Fig.13 Statistical of tea plantation weather change (March-April 2019)

4 总结与展望

为了实现茶树生长过程的快速监测，本研究开发了一套茶树生长图像监测系统，该系统设备成本低、信息量丰富、软件操作简单，能够定时抓拍茶园中指定区域的茶树细节图像，生成茶树生长图像库，并能实时监看茶树生长情况或检索历史图像。为了展示茶树生长图像库的用途，从光照变化、嫩芽萌发、病害、天气、含氮量等方面的监测进行了讨论和分析，从中得到与茶树生长有关的信息，并实现了茶树含氮量的快速监测。该监测系统也适用于其他作物，为作物生长监测提供一种直观的、可追溯的数据来源。

下一步将对软件进行进一步开发，将茶树生长过程的监测、统计与分析等信息添加至茶树信息查看功能中，并增加卫星遥感、无人机航拍等图像数据，从而为茶树生长监测提供更全面的分析决策信息。