基于特征点提取的林木生长状态无损测量方法

许　杰，戚大伟（.黑龙江八一农垦大学 信息技术学院，黑龙江 大庆6339；.东北林业大学 理学院，黑龙江 哈尔滨50040）



基于特征点提取的林木生长状态无损测量方法

许杰1，戚大伟2
（1.黑龙江八一农垦大学 信息技术学院，黑龙江 大庆163319；2.东北林业大学 理学院，黑龙江 哈尔滨150040）

摘要：为提高林木生长状态测量的准确性，克服传统测量方法的不足，从视差处理的角度出发，根据不同时间点采集到的树木图像信息，通过采取特征点提取方法，判断出一段时间内树木生长状态的变化情况。试验过程中，将待采集图像的树木上标出红色的矩形信息点，并利用双摄像机针对标出的特征点进行采集，然后将2幅树木图像进行对比研究,分别计算出在一定时间间隔内树木上信息点空间信息，从而确定该段时间内信息点的位置变化。试验结果表明：针对标定的信息点，传统测量方法在高度和粗度上数值相近，与林木生长实际不符；而基于视觉技术的测量，其测量结果与林木的实际增长过程是一致的，能够很好地实现对树木的无损测量研究，判断出树木的生长状态变化情况。图4表1参22

关键词：森林测计学；双目视觉；图像处理；目标匹配；对应点

浙江农林大学学报，2016，33（3）：403-408

Journal of ZheJiang A&F University

树木生长受自然环境的影响较大，传统的测量方法受到树木外形特征等因素的影响，很难找到一种通用的方法实现对树木空间信息的有效测量［1］，而机器视觉可代替人眼对物体进行判断和识别，来满足人们获取树木空间信息的需要［2-3］。有关双目立体视觉技术在林木生长状态方面的研究，国内外的相关研究已取得了部分成果：胡天翔等［4］将双摄像头竖起放置，对树木图像间距进行了测量，但局限于模拟树木；张超等［5］将立体视觉技术应用于林木分布测定研究，提高了林木分布的测量精度，但对林木的生长状态未做描述；蔡健荣等［6］实现了对果树三维信息的获取与重构，但只局限于某一时间点的果树图像，并未对其生长特征做出具体的分析；项荣等［7］利用双目立体视觉实现了对番茄Lycopersicon esculentum的定位研究，但缺少对不同时间点的对比分析。本研究在上述研究基础上，通过采用传统测量方法和视觉测量方法分别计算不同时间段内树木标定点图像空间信息的变化情况，并对2种方法的测量结果进行了比较分析，证实了采用基于视觉技术的测量方法的科学性与准确性，为实现对树木生长过程的监测研究奠定了良好的技术基础。

1　理论基础

1.1视觉成像原理

图1为简单的平视双目立体成像原理图［1，8］，2个摄像机的投影中心连线的距离，即基线距为B。2个摄像机同一时刻观看空间物体的同一特征点P（xc，yc，zc），分别在左图和右图上获取了点P的图像坐标分别为（xL，y）和（xR，y），设2个摄像机的焦距都为f，则由三角几何关系得：

图1 双目立体成像原理Figure 1 Binocular 3D imaging principle

1.2坐标变换

图像的大小用（M×N）表示，以图像左上角为坐标原点00，设（u，v）为以像素为单位的坐标，（x，y）是以毫米为单位的坐标，在xy坐标系中，原点01定义在摄像机光轴与图像平面的交点，设01在uv坐标系中坐标为（u0，v0），每个像素在xy轴上的物理尺寸为dx和dy，坐标变换如图2所示［2，11-12］，则有：

式（2）中，dx为每个像素在x轴方向上的物理单位；dy为每个像素在y轴方向上的物理单位。

图2 坐标变换Figure 2 Coordinate transformation

1.3计算视差D

将摄像机水平放置，光轴保持平行，成像于同一平面上，这样视差D只与像素坐标u1和u2有关。根据式（2）可知，像素坐标u1和u2与物理坐标x1和x2之间的关系可表示为［11，14-15］：

由此可得：

联立式（5）和式（1），即可求得树木标定点像素中心坐标的空间信息，即：

测绘行业涉密计算机的安全管理关系到国家的利益和安全，需要采取多方面的措施，结合实际应用需求综合施策，有效提升安全管理能力，多层次保障信息的安全。此外，还需从制度方面来发现管理漏洞，监督防护技术的实施情况，从而不断精化管理水平，动态调整管理体系的目标和策略，实现测绘行业涉密计算机安全管理体系的可持续发展。

2　试验设计

本试验以MV-VS220双目立体视觉测量系统平台为依托，用DS3水准仪和J2经纬仪保证2次测量位置不变。选用维视MV-VS078FC高分辨率工业摄像机作为图像采集装置，AFT-0814MP为相机镜头，通过平台提供的硬质三角架进行固定，并与MV-1394图像采集卡相连。摄像机的参数设置：成像平面为3.225 mm×3.225 mm，分辨率为1 024×768。由此计算出dx=3.225/1 024 = 0.003 15 mm，dy=3.225/ 768=0.004 2 mm。在本试验中，摄像机焦距均调整为f=20 mm，初始基线距离B=60 mm。

试验过程中，先在预采集的树木上标定出4个类似于矩形的红色信息点，并对测量位置用DS3水准仪和J2经纬仪进行精确定位。一种方法是采取传统的测量方法通过50分度的游标卡尺和测量用米尺实现对标定点中心的距离测量；另一种方法是通过双目视觉测量平台来完成树木标定点的信息采集。设计时将2个摄像机平行放置，同时保证红色标定点处于非边缘位置。该试验主要针对树木标定点进行不同时间点、同一位置的树木图像信息采集和测量。本试验间隔为6个月。

3　图像处理

3.1图像采集

图像的采集主要以MV-VS220双目立体视觉测量系统为依托。本试验主要是针对树木上的红色标定点进行同一位置、不同时间点的图像采集，并对其进行识别和测量。采集时将摄像机水平放置，光轴保持平行，成像于同一平面上。初次采集到的图像如图3所示。

图3 采集到的图像Figure 3 Collected images

3.2颜色提取

摄像机获得的树木标定点图像是含有颜色信息的，在图像处理时，由于所标定的是红色点，在红绿蓝（RGB）颜色空间内，只需提取它的红色通道内的数据即可，后期的处理只需针对提取到的图像数据就可以了。本研究采用Matlab语言的颜色提取算法和命令［14-16］，来实现对树木红色标定点的信息提取。

3.3标定点分离

由于4个红色标定点有别于其他图像信息点，经过颜色提取后的标定点相对稳定，很容易得到标定点的准确信息，从而实现标定点的分离。将提取后的图像进行中值滤波（模板采用3×3），考虑到图像处理的便利，将灰度图像转化为二值图像，阈值选0.2，并根据实际数据处理需要，对二值图像进行取反处理［8，14-16］，得到如图4所示标定点图像。

图4 摄像机标定点及中心坐标Figure 4 Camera calibration point and center coordinate

3.4标定点中心确定

由于所采集到的树木图像的每个标定点是由很多个像素点构成的，要精确计算每个标定点的信息很难。本研究采用每个标定点的像素中心坐标来计算标定点间的位置关系。本试验中，通过4个标定点的基本信息，计算各标定点区域的像素中心，来决定标定点的中心坐标。计算方式如下［17-19］：

式（9）中：S表示连通域，即每个标定点所处的区域，NS为连通域中像素的个数；（im，Jm）为标定点像素中心的坐标。根据摄像机参数设置情况，可得到各标定点像素中心坐标如图4所示［14，20-21］。

4　数据处理

4.1初始标定点空间信息

根据确定的标定点像素中心坐标，可计算出各标定点像素中心的空间坐标信息，以图像左上角为坐标原点，世界坐标系与左摄像机坐标系重合［9，24-25］，以左上方的像素中心坐标为例，按照式（6）～式（8）计算结果如下：x1左上=582.50 mm，y1左上=405.00 mm，z1左上=7 936.51 mm。以此类推，计算出其他像素中心坐标：右上（717.5，403.33，7 936.51），左下（580.0，645.0，7 936.51），右下（718.75，648.33，7 936.51），改变基线间距，每次增加2 mm，共计测量10次。根据10次测量所测得的试验数据，可计算出各标定点像素中心的平均物理坐标分别为：左上（581.82，406.49，7 965.79），右上（718.67，401.83，7 938.42），左下（582.14，650.38，7 967.79），右下（724.94，653.63，7 958.01）。

4.26个月后标定点空间信息

在保证2摄像机摄取图像位置不变的情况下，忽略自然因素对摄像机的影响，摄像机的焦距均为f= 20 mm，初始基线B=60 mm。6个月后，左上标定点像素中心的物理坐标为别为：x2左上=577.50 mm，y2左上=401.67 mm，z2左上=7 936.51 mm。同理，计算出其他像素中心坐标分别为右上（720.0，400.0，7 936.51），左下（578.75，646.67，7 936.51），右下（721.25，650.0，7 936.51），改变基线间距，每次增加2 mm，共计测量10次。经过10次测量后，计算出各标定点像素中心的平均物理坐标分别为：左上（579.57，403.1，7 964.92），右上（717.29，399.05，7 937.67），左下（581.74，647.11，7 966.53），右下（722.53，651.15，7 956.7）。

4.3数值运算与分析

4.3.1基于视觉测量的数据计算①标定点像素中心坐标的距离变化。由表1可得：左上方像素中心坐标与其他3个像素中心的空间距离分别为L1左上右上=139.6 mm；L1左上左下=243.9；L1左上右下=285.7 mm；同理，由表2可计算出6个月后左上方像素中心点与其他像素中心点之间的距离分别为L2左上右上=141.1 mm；L2左上左下=246.3 mm；L2左上右下=288.0 mm；间隔6个月后，ΔL左上右上=1.5 mm；ΔL左上左下=2.4 mm，ΔL左上右下=2.3 mm。ΔL左上右上说明x方向上发生了变化，ΔL左上左下说明y方向上发生了变化。虽然x方向和y方向增量只是一个相对量，但它代表了矩形信息点在水平方向和高度方向的增量变化，说明在6个月时间内，所标定的矩形信息点发生了生长状态的变化，矩形的大小有所扩大。而垂直方向的变化是水平方向变化的1.6倍，说明树木高度上增长较快，而粗度上相对较慢，这与实际树木的生长快慢也是一致的。②标定点像素中心坐标的位置变化。由表1和表2测得的各标定点像素中心坐标来看，Δ左上= （2.25，3.39，0.87）；Δ右上=（1.38，2.78，0.75）；Δ左下=（0.39，3.27，1.26）；Δ右下=（1.41，2.52，1.31）。从试验结果上看，6个月前后各标定点空间信息发生了变化，4个信息点的像素中心距离均有增加，说明矩形的大小也较原图像有所扩大。上述计算过程中，均采取原数据与6个月后图像数据之差的形式进行的，而且是以图像左上角为坐标原点。而xz方向的数据变化较小，y方向数据变化相对大一些，这与树木生长过程高度长得快一些、粗度慢一些也是相符的［11，20-22］。由此分析，若时间间隔增长，矩形点像素中心的位置和间距增量也会增加，矩形的大小也将会继续扩大。

4.3.2基于传统测量的数据计算在实际测量过程中，对树木深度方向用最小分度为1 mm米尺进行测量；在水平和垂直方向上采用50分度游标卡尺进行测量，而且需要测量技术人员的协助，以保证测量方法具有可行性、准确性。本试验只针对树木信息点的间距进行了测量，采取测量10次取均值再进行间距计算的方式进行。初始和6个月后的测量结果如表1所示。从表1可以看出：利用传统的测量方法也可以实现对树木生长状态各个参量的测量，间隔6个月后，ΔL左上右上=5.75 mm，ΔL左上左下=5.63 mm，ΔL左上右下=8.11 mm。说明树木在6个月时间范围内发生了生长状态的变化。ΔL左上右上代表水平方向上的增长，ΔL左上左下代表垂直方向上的增长。经过6个月生长后，4个矩形点的间距发生了不同程度的增长，矩形的大小也有所扩大，但由于水平方向和高度方向增量非常接近，这与树木粗度上长得慢、高度上长得快是不相符的。主要原因是在测量过程中，周围环境和人工操作等因素引起的测量误差所导致的。

表1 初始和6个月后10次测量结果统计表Table 1 Statistical graph of 10 times measurement result between initial and after six months

4.4传统测量与视觉测量的对比分析

根据间隔6个月测得的结果，无论是采取视觉测量方法还是传统测量方法，各标定信息点间距均发生了变化，说明树木的状态发生了改变。但传统测量与视觉测量相比有很多不足，主要体现在：①在测量精度上，传统测量中的米尺最小分度为1.00 mm，游标卡尺最小分度为0.02 mm；而本试验图像测量最小单位达到0.004 2 mm，从数据精度的角度考虑，传统测量不如视觉测量。②在测量结果上，传统测量的水平方向增长了5.75 mm，说明树横向变粗了，而垂直方向增长了5.63 mm，说明树长高了，两者增长量非常接近，这与树木生长中高度长得快、粗度长得慢不相符［11，20-22］；而视觉测量中垂直方向的变化是水平方向变化的1.6倍，与实际树木生长快慢一致。③在误差处理上，传统测量是人为选择信息点中心来进行距离测量，数据来源和处理方式欠准确；而视觉测量只需处理好采集到的图像信息点即可，通过计算来确定像素中心坐标，测量结果更准确科学。④从采集环境上看，传统测量需到实验现场进行记录，人工来完成现场测量，受自然环境影响较大，测量结果缺乏准确性；而视觉测量对测量环境要求较低［12］，即使树木经风雨而姿态发生改变，所标定的4个矩形信息点的间距也是相对稳定的。

5　结论

采用双目视觉系统平台和传统测量方法对树木标定点的图像信息进行了采集和处理，并对两者间隔6个月的测量结果进行了比较研究。从结果上看，基于视觉的测量方法树木标定点的高度增长（2.40 mm）是粗度增长（1.50 mm）的1.6倍；而传统测量高度上与粗度上的数据变化相近，与实际不符。研究表明：①基于视觉技术的测量方法较传统的测量方法测量结果更合理，符合树木生长规律；②树木标定点水平方向和深度方向增长可近似代替信息点粗度上的变化，垂直方向增长代替高度上的变化，即用xz方向代替粗度方向，y方向代替高度方向。本研究只对给定树木标定点的空间变化进行了分析和研究，下一步将探索扩展测量参量，并利用多目相机来研究树木的生长变化，为实现对树木生长的远程无线监测，促进林业信息化提供必要的数据支撑。

6　参考文献

［1］周博.基于图像拼接的扩大树木图像采集视野研究［D］.南京：南京林业大学，2008. ZHOU Bo. Field-of-View Expanding for Tree Images Capturing Based on Image Mosaic［D］. Nanjing：Nanjing Forestry University, 2008.

［2］张广军.机器视觉［M］.北京：科学出版社，2005.

［3］李庆中，汪懋华.基于计算机视觉的水果实时分级技术发展与展望［J］.农业机械学报，1999，30（6）：1 - 7. LI Qingzhong, WANG Maohua. Delelopment and prospect of real time fruit grading technique based on computer vision［J］. Trans Chin Soc Agric Mach, 1999, 30（6）：1 - 7.

［4］胡天翔，郑加强，周宏平.基于双目视觉的树木图像测距方法［J］.农业机械学报, 2010, 41（11）：158 - 162. HU Tianxiang, ZHENG Jiaqiang, ZHOU Hongping. Measurement method of depth information of tree images based on binocular vision［J］. Trans Chin Soc Agric Mach, 2010, 41（11）：158 - 162.

［5］张超，王雪峰，唐守正.立体视觉技术应用于林木个体分布格局测定研究［J］.林业科学研究，2004，17（5）：564 - 569. ZHANG Chao, WANG Xuefeng, TANG Shouzheng. Research on the application of stereo vision technology on measuring tree distribution pattern［J］. For Res, 2004, 17（5）：564 - 569.

［6］蔡健荣，孙海波，李永平，等.基于双目立体视觉的果树三维信息获取与重构［J］.农业机械学报，2012，43（3）：152 - 156. CAI Jianrong, SUN Haibo, LI Yongping, et al. Fruit trees 3-D information perception and reconstruction based on binocular stereo vision［J］. Trans Chin Soc Agric Mach, 2012, 43（3）：152 - 156.

［7］项荣，应义斌，蒋焕煜，等.基于双目立体视觉的番茄定位［J］.农业工程学报，2012，28（5）：161 - 167. XIANG Rong, YING Yibin, JIANG Huanyu, et al. Localization of tomatoes based on binocular stereo vision［J］. Trans Chin Soc Agric Eng, 2012, 28（5）：161 - 167.

［8］章毓晋.图像工程：下册.图像理解与计算机视觉［M］.北京：清华大学出版社，2000.

［9］HIRSCHMÜLLER H, INNOCENT P R, GARIBALDI J M. Real-time correlation-based stereo vision with reduced border errors［J］. Int J Comput Vision, 2002, 47（1/3）：229 - 246.

［10］李海军，潘晓露，李一民，等.平行双目视觉系统中深度图像的生成与分析［J］.计算机与数字工程，2006，34（2）：50 - 52. LI Haijun, PAN Xiaolu, LI Yimin, et al. Creating and analysis of depth-map in parallel two-eyes-visual system［J］. Comput & Digital Eng, 2006, 34（2）：50 - 52.

［11］马凯.基于立体视觉的树木图像深度信息提取研究［D］.南京：南京林业大学，2007. MA Kai. Depth Information Acquisition for Tree Images Based on Stereo Vision［D］. Nanjing：Nanjing Forestry University, 2007.

［12］严涛，吴恩华.基于多幅图像的树木造型方法［J］.系统仿真学报，2000，12（5）：565 - 571. YAN Tao, WU Enhua. Multiple-image-based modeling of trees［J］. J Syst Simulation, 2000, 12（5）：565 - 571.

［13］李伟，林家春，谭豫之，等.基于图像处理技术的种子粒距检测方法研究［J］.农业工程学报，2002，18（6）：165 - 168. LI Wei, LIN Jiachun, TAN Yuzhi, et al. Measuring method of seed pacing on test rig based on image processing techniques［J］. Trans Chin Soc Agric Eng, 2002, 18（6）：165 - 168.

［14］张汗灵. Matlab在图像处理中的应用［M］.北京：清华大学出版社，2008.

［15］STEGER C, ULRICH M, WIEDEMANN C. Machine Vision Algorithms and Applications［M］. Berlin：Wiley-VCH, 2008：241 - 257.

［16］吕朝辉，陈晓光，郑元杰，等.立体视觉技术在秧苗直立度测定中的应用［J］.农业工程学报，2001，17（4）：127 - 130. LÜ Chaohui, CHEN Xiaoguang, ZHENG Yuanjie, et al. Application of three dimensional vision technique inmeasuring seedling perpendicularity［J］. Trans Chin Soc Agric Eng, 2001, 17（4）：127 - 130.

［17］CLARK M L, CLARK D B, ROBERTS D A. Small-footprint lidar estimation of sub-canopy elevation and tree height in a tropical rain forest landscape［J］. Remote Sens Environ, 2004, 91（1）：68 - 89.

［18］童雀菊，华毓坤，黄元生.用图像处理法采集原木形状参数的研究［J］.林业科学，1998，34（3）：87 - 96. TONG Queju, HUA Yukun, HUANG Yuansheng. A study of gathering the log shape data by image processing［J］. Sci Silv Sin, 1998, 34（3）：87 - 96.

［19］向海涛,郑加强,周宏平.基于机器视觉的树木图像实时采集与识别系统［J］.林业科学, 2004, 40（3）：144 - 148. XIANG Haitao, ZHENG Jiaqiang, ZHOU Hongping. Real-time tree image acquisition and recognition system based on machine vision［J］. Sci Silv Sin, 2004, 40（3）：144 - 148.

［20］吴继华，刘燕德，欧阳爱国.基于机器视觉的种子品种实时检测系统研究［J］.传感技术学报，2005，18（4）：742 - 745. WU Jihua, LIU Yande, OUYANG Aiguo. Research on real time identification of seed variety by machine vision technology［J］. J Transcluct Technol, 2005, 18（4）：742 - 745.

［21］AHUJA N. A transform for multi-scale image segmentation by integrated edge and region detection［J］. IEEE Trans Patt Anal Mach Intell, 1996, 18（12）：1211 - 1235.

［22］MÜHLMANN K, MAIER D, HESSER J, et al. Calculating dense disparity maps from color stereo images an efficient implementation［J］. Int J Comput Vision, 2002, 47（1/3）：79 - 88.

Feature point extraction based nondestructive measuring methods of tree growth status

XU Jie1，QI Dawei2
（1. College of Information Technology, Heilongjiang Bayi Agricultural University, Daqing 163319, Heilongjiang, China；2. College of Science, Northeast Forestry University, Harbin 150040, Heilongjiang, China）

Abstract:The research aims to improve the accuracy of tree growth status measurement, overcome the deficiencies in the traditional measuring methods. From the perspective of disparity processing, based on the tree image information collected at different time points, and through the method of feature point extraction, the changes of tree growth status within a period of time were examined. In the experiment, red rectangular information points were marked on the tree and two cameras were used to capture feature points, then the collected color information of two images was extracted and compared to calculate the space change of calibration points in a certain time interval. And the experimental results showed that the traditional method measuring height and thickness did not conform to the actual growth status of the trees. But height and thickness measuring based on vision technology was in line with the actual growth process of trees. The visual measuring method is able to conduct nondestructive measurement of tree growth, and judge the change of growth status of trees. ［Ch, 4 fig. 1 tab. 22 ref.］

Key Words:forest measuration；binocular vision；image processing；target matching；corresponding point

中图分类号：S785.1

文献标志码：A

文章编号：2095-0756（2016）03-0403-06

doi：10.11833/j.issn.2095-0756.2016.03.005

收稿日期：2015-05-14；修回日期：2015-08-07

基金项目：国家自然科学基金资助项目（31170518）；黑龙江省科技攻关项目（GC01KC156）；黑龙江省教育厅科研项目（12531445）

作者简介：许杰，副教授，博士研究生，从事图像处理及农、林业信息化等研究。E-mail：byndxj@163.com