匹配点云结合HSI色彩分量的无人机RGB影像信息提取方法

杨 栩，朱大明，杨润书，左小清，谢文斌，付志涛

•研究速报•简报•

匹配点云结合HSI色彩分量的无人机RGB影像信息提取方法

杨 栩1，朱大明1※，杨润书2，左小清1，谢文斌2，付志涛1

（1. 昆明理工大学国土资源工程学院，昆明 650093；2. 云南省地矿测绘院，昆明 650217）

无人机通常搭载可见光波段传感器获取红-绿-蓝（Red-Green-Blue，RGB）影像，由于无人机RGB影像波段较少，影像的地物信息提取存在一定难度。该研究提出了一种匹配点云结合色调-饱和度-亮度（Hue-Saturation-Intensity，HSI）空间色彩分量的无人机RGB影像信息提取方法。首先以饱和度分量和红光波段构造了饱和度与红光比值指数，再结合可见光波段差异植被指数以及由匹配点云获得的地形特征对研究区正射影像进行分类。试验结果表明，本文方法的总体分类精度达到了91.11%，Kappa系数为0.895，证明匹配点云结合HSI空间色彩分量的方法提取无人机RGB影像信息是可行的，提取结果具有较高精度。相较于基于光谱特征的传统方法，该文方法引入匹配点云可以简单高效地提取影像中高程差异明显的地物，同时，结合HSI色彩分量能够有效弥补无人机RGB影像光谱特征较少的不足。

无人机；遥感；光谱分析；匹配点云；RGB影像；HSI颜色空间；信息提取

0 引 言

从无人机红-绿-蓝（Red-Green-Blue，RGB）影像中提取植被信息的技术目前已经逐步成熟，利用可见光波段的反射信息构建的植被指数被大量应用[1-4]。例如，可见光波段差异植被指数（Visible-band Difference Vegetation Index，VDVI）、归一化绿蓝差异指数（Normalized Green-Blue Difference Index，NGBDI）、归一化绿红差异指数（Normalized Green-Red Difference Index，NGRDI）等[5-7]。基于可见光波段构建的植被指数能够实现植被信息的高精度提取，然而，对于其余地物的提取，仅利用植被指数是远远不够的。HSI颜色空间中的色彩分量能够表达地物色调、亮度及饱和度信息，将HSI色彩分量引入无人机遥感影像信息提取中可以弥补无人机遥感影像波段较少（仅包含红、绿、蓝3个可见光波段）的劣势。

近年来，影像匹配点云开始应用于无人机遥感影像信息提取。影像匹配点云（以下简称匹配点云）是将无人机飞行过程中所拍摄的大量高重叠度影像进行密集匹配而获得的一种过程数据，广泛应用于三维建模中[8-9]。通过匹配点云结合滤波算法[10-12]可快捷高效地获得高精度数字表面模型（Digital Surface Model，DSM）[13]、数字高程模型（Digital Elevation Model，DEM）以及归一化数字表面模型（normalized Digital Surface Model，nDSM）。

目前，基于匹配点云对无人机RGB影像进行信息提取的相关文献较少。王燕燕等[10]以及李莹等[14]均对不同种类植被进行提取，且都能达到较高的精度，而其余光谱特征相近的地物提取精度还有进一步提升的空间，另外，研究区域的地物种类也相对较为单一。

本研究综合考虑匹配点云数据和HSI色彩分量的优势，尝试将匹配点云数据和HSI色彩分量相结合，提出一种匹配点云结合HSI色彩分量的无人机RGB影像信息提取方法，对无人机遥感技术应用于土地覆盖类型识别与提取上的发展提供参考作用。

1 材料与方法

1.1 数据来源

研究区位于云南省文山州丘北县（104°29′10″E，24°01′48″N），地形情况复杂，地物种类包括草地、树木、水泥地、建筑、河流、裸地、耕地、水体8个类别。数据来源为大疆精灵Phantom 4 Pro无人机（深圳市大疆创新科技有限公司，中国）拍摄的低空影像，拍摄时间为2018年10月11日。无人机搭载1英寸CMOS传感器，镜头有效像素2 000万，光圈范围2.8～11，焦距为24 mm。影像中无云影、烟雾、大面积反光、污点等缺陷。对航拍影像利用三维实景建模软件Context Capture进行数据预处理，生成分辨率为0.03 m的研究区RGB正射影像，并标记出各类别的样本点分布情况（图1）。

1.2 研究方法

1.2.1 影像匹配点云

获取影像匹配点云的过程，主要是利用运动恢复结构（Structure From Motion, SFM）算法通过特征检测、特征匹配、矩阵计算、三维重建及参数优化5个步骤进行三维点云重建，得到稀疏的三维点云[15-16]。然而，稀疏的三维点云在表达地表物信息时往往达不到较高的精度[17]。本文通过多视图聚簇/基于面片模型（Cluster Multi-View Stereo/Patch-based Multi-View Stereo, CMVS/PMVS）密集匹配算法进一步获得高密度和高精度的密集匹配点云。

1.2.2 数字高程模型（DEM）、数字表面模型（DSM）和归一化数字表面模型（nDSM）生成

在密集点云中，提取地面点的过程称为滤波，本研究采用布料模拟滤波（Cloth Simulation Filtering，CSF）方法[18-19]得到研究区的地面点（图2a）。对地面点和整体点云进行不规则三角网插值得到DEM（图2b）和DSM。DSM中包含了诸如建筑物、树木等高于地面的地物信息，而DEM描述的是地表形态，不包含高于地表的信息。因此，二者的差值可以反映地物的绝对高程信息，即归一化数字表面模型（normalized Digital Surface Model，nDSM）（图2c）。

1.2.3 可见光波段植被指数

无人机RGB影像仅含有红、绿、蓝3个可见光波段，NDVI无法运用于此类影像的信息提取。因此，本研究选用在RGB影像信息提取中具有代表性的可见光波段差异植被指数（Visible-band Difference Vegetation Index，VDVI）进行植被与非植被的划分，其计算如式（1）所示。

式中、、分别为红、绿、蓝3个波段的像元亮度值（Digital Number，DN）。

1.2.4 饱和度与红光比值指数（SRRI）及其扩展指数的构造方法

为了探究不同地物在RGB和HSI颜色空间中的差异，在研究区影像中随机选取240个对象作为样本，其中各地物的样本数量为耕地43，建筑22，裸地39，河流24，水体2，水泥地37，草地23，树木50（样本点分布如图1所示）。分别统计各样本红、绿、蓝3个波段和色调、饱和度、亮度3个色彩分量的均值，并绘制各地物3个波段的DN值柱状图和HSI分量值柱状图，结果如图3所示。

由图3可知，裸地的红光波段DN值为该地物在红、绿、蓝3个波段的最大值（图3a），饱和度值同样是HSI空间中的最大值（图3b），并且，对于不同地物，红光波段与饱和度的比值具有明显差异。由于HSI空间中的3个分量值均为0～1，而红、绿、蓝3个波段的DN值均为0～255，为了使红光波段与饱和度的比值不至于过小，故将HSI空间中的3个分量值扩大100倍，使其均值范围在0到100之间。各地物的特征均值如下：建筑为0.156、水泥地为0.048、耕地为0.136、草地为0.394、裸地为0.178、河流为0.054、树木为0.597、水体为0.294。裸地与其他地物的特征值有着明显差异，因此，本研究基于红光波段和饱和度分量构建了饱和度与红光比值指数（Saturation-Red Ratio Index，SRRI）用于裸地的提取，其计算如式（2）所示。

河流与裸地具有相似的可见光光谱特征，区别在于河流的红光波段标准差比其他地物大。因此，将SRRI指数与红光波段的标准差相乘即可得到SRRI的扩展指数，记为SRRI·σ，用以区别含泥沙水体（即本研究区中的河流）与裸地，其计算如式（3）所示。

式中σ为红光波段值的标准差。

1.2.5 饱和度与红光比值指数（SRRI）的裸地提取性能验证

改进型土壤调整植被指数（Modified Soil-Adjusted Vegetation Index，MSAVI）可以消除土壤对植被提取的影响，相比于目前常用的植被指数，该指数对裸地的识别效果相对较好[20]。通过分析SRRI指数与MSAVI指数的相似性可以验证SRRI指数的可行性。本研究利用相关性分析方法，对MSAVI指数和SRRI指数进行回归分析，并计算决定系数（coefficient of determination，2）。同时，利用MSAVI指数和SRRI指数的提取结果结合人工判读结果，绘制受试者工作特征（Receiver Operating Characteristic，ROC）曲线，并计算曲线下面积（Area Under Curve，AUC）定量评价SRRI指数的优劣。其中，ROC曲线越靠近纵轴、越远离横轴表示指数的提取效果越好；AUC值越接近1，代表指数的分类性能越好。

1.2.6 提取结果的精度评定

遥感影像分类后，需要对分类结果进行可信度的检核，即精度评价[21]。本研究通过用户精度（User Accuracy，UA）、生产者精度（Producer Accuracy，PA）、总体精度（Overall Accuracy，OA）和Kappa系数4个指标进行精度评价，其计算如式（4）～式（7）所示。

式中X为类地物正确分类的像元数，X表示分类图中类地物的总像元数，X表示验证样本中类地物的总像元数，为地物类别数，为所有地物的总像元数。

2 结果与分析

2.1 饱和度与红光比值指数（SRRI）的裸地提取验证结果

本研究以GF-2卫星的多光谱影像作为验证影像，对MSAVI指数和SRRI指数进行裸地提取试验，影像来源于地理空间数据云站点（http://www.gscloud.cn）。利用ArcGIS平台的创建随机点工具，在验证影像中随机选取60个对象作为样本点（图4a），并进行MSAVI值和SRRI值的相关性分析，得到2为0.739，表明两指数具有一定相关性（图 4b）。根据SRRI指数和MSAVI指数的ROC曲线可知（图4c），两条曲线非常接近且形态差异较小，可判断SRRI指数和MSAVI指数对裸地的提取效果基本相当。曲线下面积（AUC）值分别为0.950和0.938，验证结果表明SRRI指数具有一定的裸地识别能力。

利用阈值法分别计算MSAVI指数和SRRI指数的阈值，并对裸地进行提取，结果如图5。通过MSAVI指数提取结果、SRRI指数提取结果与真彩色验证影像进行对比可知，MSAVI指数在提取出裸地的同时，部分建筑物和水体也被提取，而SRRI指数提取结果中，则有少部分光谱信息与裸地相近的耕地被错分。精度评价的计算结果显示，SRRI指数的总体分类精度（OA=97.31%）略高于MSAVI指数的总体精度（OA=94.08%）。由于SRRI指数的构建中仅涉及到红、绿、蓝3个波段，故该指数可以应用于RGB遥感影像的裸地信息提取。

2.2 地物提取结果

本研究通过建立提取规则对草地、树木、水泥地、建筑、河流、裸地、耕地、水体8个类别进行分类。首先利用VDVI指数将植被与非植被进行区分，通过阈值法计算出VDVI≥0.04的部分为植被，反之为非植被。无人机RGB正射影像中的建筑具有光谱、纹理特征复杂的特点，从影像中提取建筑信息并不容易。然而，匹配点云的引入可以提供大量的地表形态特征，即利用nDSM可以简单快速地对非植被地物中的建筑信息进行提取，避免了复杂的光谱计算以及纹理分析。通常而言，标准建筑物高度一般不低于2.8 m，且高程分布均匀[22]，为保证建筑信息的有效提取，本文将nDSM≥2.4 且nDSM的标准差（nDSM）≤0.7的非植被信息归类为建筑。河流通常处于低洼地带，因此在利用SRRI·σ指数设定阈值的同时还需对DEM进行限制。裸地的提取则需利用SRRI指数，通过对SRRI和SRRI·σ指数的阈值分析可知，裸地的提取规则为SRRI>0.17且SRRI·σ>1。对于耕地和水体的提取，除了利用光谱特征和地形特征之外，还需利用语义特征中像元到直线的距离（）。其原理是通过任意2个坐标点确定1条直线，设置一定的半径值对直线两边半径范围内的对象进行分类，半径范围外的对象不受影响，由于研究区耕地分布集中，故利用该特征可实现耕地的有效提取。波段值标准差能够反映波段值的离散程度，标准差越小数值分布越稳定，因此水体的提取还需对蓝波段标准差（σ）进行限制。水泥地的光谱特征同样与研究区内部分耕地、裸地和河流相似，其提取过程需要在除植被及建筑之外的地物均提取出之后进行，根据阈值分析结合目视判读，SRRI·σ≤2.41的区域均为水泥地。草地和树木都属于植被，二者之间的区别在于nDSM不同，nDSM直接反映植被的高度。因此，通过分析植被地物的nDSM值分布可知，仅设置nDSM≤0.15即可提取出草地，反之则为树木。各地物的具体提取规则如表1所示。

表1 各地物提取规则

注：σ为蓝光波段值的标准差；nDSM为归一化数字表面模型值的标准差；为像元与某直线的距离；VDVI为可见光波段差异植被指数。

Note: σis the standard deviation of the blue band value; σnDSMis the standard deviation of thenormalized Digital Surface Model (nDSM) value;is the distance between the pixel and a certain line; VDVI is Visible-band Difference Vegetation Index (VDVI)..

2.3 提取结果精度评价

依据以上规则（表1），对研究区的8类地物进行提取（图6）。结果显示，建筑物与河流的提取结果基本正确，植被（树木和草地）与非植被的区分效果良好。裸地、耕地、水泥地3种地物之间存在不同程度的混淆，其原因是影像拍摄期间为作物收割时期，此时耕地的光谱特征在可见光波段接近水泥地的光谱特征，导致了少数耕地对象的错分。同时，在裸地、耕地、植被相互交错的地区，本研究提出的方法可以有效识别出3类地物。就整体性而言，各类地物提取结果的整体性较好，错分地物多为零散对象，基本不存在大面积错分的现象。

为定量评价本研究所提出方法的提取效果，通过研究区内的240个样本（图1），计算各地物提取结果的生产者精度、用户精度、总体精度和Kappa系数（表2）。观察表2可知，河流的提取结果用户精度最高，其提取过程中运用了由匹配点云获得的DEM特征，但部分地区的匹配点云精度较低，导致少数对象的高程发生突变，因此少量零散对象被错分为河流。nDSM是区分草地和树木的关键特征，根据精度评定结果，0.15这一阈值的设定能够实现草地的正确提取。然而，研究区中存在少量紫叶李，因其叶片颜色特殊（呈紫红色）而导致光谱特征与裸地类似，因此少量树木被错分为裸地。裸地的提取结果生产者精度达到了90.92%，用户精度达到了84.23%，提取效果较好。

表2 研究区地物提取结果的精度评价

总体而言，研究区中各地物的总体提取精度为91.11%，Kappa系数为0.895，且所有类别的生产者精度和用户精度均达到84%以上。其中，生产者精度和用户精度最高的分别是草地和河流，达到了100%和99.15%，体现了匹配点云和HSI色彩分量在无人机RGB影像信息提取中的重要作用，本研究提出的方法是可行的。

3 结 论

本研究针对无人机RGB影像，发展了一种匹配点云结合HSI色彩分量对影像进行精细分类的方法，通过匹配点云获取数字表面模型（Digital Surface Model，DSM）、数字高程模型（Digital Elevation Model，DEM）以及归一化数字表面模型（normalized Digital Surface Model，nDSM），并结合饱和度分量与红光波段构建的指数对云南省丘北县的正射影像进行信息提取试验，得到如下结论：

1）由匹配点云获取的高分辨率DEM、DSM和nDSM提供了丰富的高程信息，在提取建筑、树木、草地以及河流4类地物信息时均被作为关键特征，这4类地物的生产者精度（Producer Accuracy，PA）均超过87%，用户精度（User Accuracy，UA）均超过89%。匹配点云的引入，可以在不借助纹理特征以及复杂光谱分析的条件下，快速高效地提取影像中高程差异明显的地物。

2）由红光波段均值、标准差与HSI颜色空间中饱和度分量构造的饱和度与红光比值指数（Saturation-Red Ratio Index，SRRI）及其扩展指数能够对裸地以及因含有泥沙而呈现硬木色的水体（即本文中的河流）具有较高的识别能力。裸地提取结果的PA和UA分别为90.92%和84.23%，河流提取结果的PA和UA分别为92.54%和99.15%

3）通过对提取结果及精度评价的分析，本研究提出的匹配点云结合HSI色彩分量的分类方法可运用于无人机RGB影像的地物信息提取中，弥补了无人机RGB影像仅有红、绿、蓝3个可见光波段特征的不足，提取结果的总体精度达91.11%，Kappa系数达0.895，证明了该方法的有效性。

本研究所提出的方法旨在将匹配点云和HSI色彩分量引入无人机RGB影像信息提取中，从而提高无人机RGB影像信息提取的精度。研究过程中构建的SRRI指数及其扩展指数的作用在于突出红光波段与饱和度比值之间的差异，以达到有效区分研究区中裸地和河流的目的，对于指数是否存在通用性阈值，拟进一步探究与验证。HSI色彩分量应用于RGB影像中可构造出大量的适用于不同环境情况的指数，不局限于本文所构造的两个指数。在本文指数构造过程中，仅涉及HSI颜色空间中的饱和度分量，下一步研究中，还将会重点考虑色调与亮度分量是否在影像信息提取中具有重要价值。

[1] Zhang C B, Yang S T, Zhao C S, et al. Topographic data accuracy verification of small consumer UAV[J]. Journal of Remote Sensing, 2018, 22(1): 185-195.

[2] 杨栩，朱大明，杨润书，等. 一种提取不透水面的可见光波段遥感指数[J]. 农业工程学报，2020，36(8)：127-134.

Yang Xu, Zhu Daming, Yang Runshu, et al. A visible-band remote sensing index for extracting impervious surfaces[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(8): 127-134. (in Chinese with English abstract)

[3] 李德仁，李明. 无人机遥感系统的研究进展与应用前景[J]. 武汉大学学报：信息科学版，2014，39(5)：505-513.

Li Deren, Li Ming. Research advance and application prospect of unmanned aerial vehicle remote sensing system[J]. Geomatics and Information Science of Wuhan University, 2014, 39(5): 505-513. (in Chinese with English abstract)

[4] Bryson M, Reid A, Ramos F, et al. Airborne vision‐based mapping and classification of large farmland environments[J]. Journal of Field Robotics, 2010, 27(5): 632-655.

[5] 汪小钦，王苗苗，王绍强，等. 基于可见光波段无人机遥感的植被信息提取[J]. 农业工程学报，2015，31(5)：152-159.

Wang Xiaoqin, Wang Miaomiao, Wang Shaoqiang, et al. Extraction of vegetation information from visible unmanned aerial vehicle images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(5): 152-159. (in Chinese with English abstract)

[6] 杨柳，陈延辉，岳德鹏，等. 无人机遥感影像的城市绿地信息提取[J]. 测绘科学，2017，42(2)：59-64.

Yang Liu, Chen Yanhui, Yue Depeng, et al. Information extraction of urban green space based on UAV remote sensing image[J]. Science of Surveying and Mapping, 2017, 42(2): 59-64. (in Chinese with English abstract)

[7] 毛智慧，邓磊，贺英，等. 利用色调—亮度彩色分量的可见光植被指数[J]. 中国图象图形学报，2017，22(11)：1602-1610.

Mao Zhihui, Deng Lei, He Ying, et al. Vegetation index for visible-light true-color image using hue and lightness color channels[J]. Journal of Image and Graphics, 2017, 22(11): 1602-1610. (in Chinese with English abstract)

[8] 杨润书，苏建平，马燕燕，等. 云南首次大面积利用低空无人机进行航摄及1∶2 000 DOM的制作[J]. 地矿测绘，2014，30(1)：1-4.

Yang Runshu, Su Jianping, Ma Yanyan, et al. A large area of aerial photography images being first obtained using low-altitude UAV in Yunnan and production of 1: 2 000 DOM[J]. Surveying and Mapping of Geology and Mineral Resources, 2014, 30(1): 1-4. (in Chinese with English abstract)

[9] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[10] 王燕燕，于海洋. 基于倾斜摄影综合SVM与模糊规则的城市不透水面信息提取[J]. 地理与地理信息科学，2018，34(6)：20-26.

Wang Yanyan, Yu Haiyang. Urban impervious surface extraction by integrating SVM and fuzzy rules based on oblique photography[J]. Geography and Geo-Information Science, 2018, 34(6): 20-26. (in Chinese with English abstract)

[11] Su W, Sun Z P, Zhao D L, et al. Hierarchical moving curved fitting filtering method based on LiDAR data[J]. Journal of Remote Sensing, 2009, 13(5): 827-839.

[12] Zhang W M, Qi J B, Wan P, et al. An easy-to-use airborne LiDAR data filtering method based on cloth simulation[J]. Remote Sensing, 2016, 8(6): 501-522.

[13] 冯飞，冯建辉，赵艳艳. 无人机影像密集匹配方法[J]. 遥感信息，2016，31(5)：122-125.

Feng Fei, Feng Jianhui, Zhao Yanyan. UAV image matching about dense point based on SIFT[J]. Remote Sensing Information, 2016, 31(5): 122-125. (in Chinese with English abstract)

[14] 李莹，于海洋，王燕，等. 基于无人机重建点云与影像的城市植被分类[J]. 国土资源遥感，2019，31(1)：149-155.

Li Ying, Yu Haiyang, Wang Yan, et al. Classification of urban vegetation based on unmanned aerial vehicle reconstruction point cloud and image[J]. Remote Sensing for Land & Resources, 2019, 31(1): 149-155. (in Chinese with English abstract)

[15] 王志胜. 无人机影像密集匹配点云的滤波方法研究[D]. 成都：成都理工大学，2018.

Wang Zhisheng. Research on Filtering Method of UAV Image-Dense Matching Point Cloud[D]. Chengdu: Chengdu University of Technology, 2018. (in Chinese with English abstract)

[16] 杨阳. 基于双目视觉的运动恢复结构[D]. 成都：电子科技大学，2016.

Yang Yang. Structure from Motion Based on Binocular Vision[D]. Chengdu: University of Electronic Science and Technology of China, 2016. (in Chinese with English abstract)

[17] 姚富山. 无人机影像匹配点云的处理与应用[D]. 郑州：解放军信息工程大学，2017.

Yao Fushan. The Processing and Application of UAV Image Matching Point Cloud[D]. Zhengzhou: PLA Information Engineering University, 2017. (in Chinese with English abstract)

[18] Guan H Y, Li J, Yu Y T, et al. DEM generation from lidar data in wooded mountain areas by cross-section-plane analysis[J]. International Journal of Remote Sensing, 2014, 35(3): 927-948.

[19] 张昌赛，刘正军，杨树文，等. 基于LiDAR数据的布料模拟滤波算法的适用性分析[J]. 激光技术，2018，42(3)：410-416.

Zhang Changsai, Liu Zhengjun, Yang Shuwen, et al. Applicability analysis of cloth simulation filtering algorithm based on LiDAR data[J]. Laser Technology, 2018, 42(3): 410-416. (in Chinese with English abstract)

[20] 张添佑，王玲，曾攀丽，等. 基于MSAVI-SI特征空间的玛纳斯河流域灌区土壤盐渍化研究[J]. 干旱区研究，2016，33(3)：499-505.

Zhang Tianyou, Wang Ling, Zeng Panli, et al. Soil salinization in the irrigated area of the Manas River Basin based on MSAVI-SI feature space[J]. Arid Zone Research, 2016, 33(3): 499-505. (in Chinese with English abstract)

[21] 杨永可，肖鹏峰，冯学智，等. 大尺度土地覆盖数据集在中国及周边区域的精度评价[J]. 遥感学报，2014，18(2)：453-475.

Yang Yongke, Xiao Pengfeng, Feng Xuezhi, et al. Comparison and assessment of large-scale land cover datasets in China and adjacent regions[J]. Journal of Remote Sensing, 2014, 18(2): 453-475. (in Chinese with English abstract)

[22] 赵翠晓，陈曦，杨辽，等. 数字表面模型的建筑物容积率提取[J]. 测绘科学，2017，42(5)：94-99.

Zhao Cuixiao, Chen Xi, Yang Liao, et al. Extraction of floor area ratio based on DSM[J]. Science of Surveying and Mapping, 2017, 42(5): 94-99. (in Chinese with English abstract)

Method for extracting UAV RGB image information based on matching point cloud and HSI color component

Yang Xu1, Zhu Daming1※, Yang Runshu2, Zuo Xiaoqing1, Xie Wenbin2, Fu Zhitao1

(1.,,650093,;2.,650217,)

Unmanned Aerial Vehicle (UAV) remote sensing can be widely used to capture large-scale high overlapping and high spatial resolution images from the ground in a low-cost way. However, the UAV Red-Green-Blue (RGB) images are usually obtained, because the UAV sensors can only contain the wavebands with the visible light range, such as the red, green, and blue. It is difficult to extract the feature information from the UAV RGB images because of the fewer wavebands. Taking the UAV RGB orthophoto image as the research object, an image extraction was proposed to integrate the point cloud matching with the Hue-Saturation-Intensity (HSI) color component. Firstly, the high overlapping ground images were acquired by UAV, thereby constructing the point cloud matching using dense matching, where a digital surface model was generated. Then, the ground points and non-ground points in the study area were obtained by a cloth simulation filtering. Specifically, the ground points were interpolated to generate the digital elevation model. As such, a normalized digital surface model was obtained via the difference between the digital surface model and digital elevation model. Secondly, a saturation-red ratio index was established to extract the bare land using the color components of HSI color space and visible light bands. A bare land extraction was then carried out to verify the model. Thirdly, the expansion index was constructed by multiplying the formula of saturation-red ratio index by the standard deviation of the red band to extract the water with the sediment. Finally, two models and three indexes were achieved to classify the UAV RGB orthophoto images in the study area, including the digital elevation model, the normalized digital surface model, the visible-band difference vegetation index, the saturation-red ratio index, and the expansion index. Afterwards, an experiment was then carried out to verify the extraction model. The results showed that the saturation-red ratio index presented a higher accuracy in the bare land extraction from the UAV RGB images. The normalized digital surface model performed better to obtain the key feature that distinguished from the trees and grasslands using the matching of point cloud interpolation. Furthermore, the river and bare land were successfully extracted, using the saturation-red ratio and the expansion index under the HSI color components, while the digital elevation model features that obtained from the point cloud matching. The overall accuracy of the rule-based classification was 91.11%, where the Kappa coefficient was 0.895. In the classification, the highest producer’s accuracy and user’s accuracy were the grass and rivers, which reached 100% and 99.15%, respectively. Moreover, there was an outstanding elevation difference in the high-precision digital elevation model, digital surface model, and normalized digital surface model. Additionally, the saturation-red ratio and expansion indexes were composed of the visible light band and the color component of saturation, particularly for the extraction of bare land and sand water. Consequently, it can be feasible to combine the point cloud matching and the color components of the HSI color space in the extraction of UAV RGB orthophoto image information.

UAV; remote sensing; spectrum analysis; matching point cloud; RGB image; HSI color space; information extraction

杨栩，朱大明，杨润书，等. 匹配点云结合HSI色彩分量的无人机RGB影像信息提取方法[J]. 农业工程学报，2021，37(22)：295-301.doi：10.11975/j.issn.1002-6819.2021.22.034 http://www.tcsae.org

Yang Xu, Zhu Daming, Yang Runshu, et al. Method for extracting UAV RGB image information based on matching point cloud and HSI color component[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 295-301. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.22.034 http://www.tcsae.org

稿日期：2020-11-02

2021-11-04

国家自然科学基金(41961053)

杨栩，博士生，研究方向为遥感影像信息提取、无人机摄影测量。Email：jkllvbnm950707@163.com

朱大明，博士，副教授，研究方向为3S集成、土地规划。Email：634617255@qq.com

10.11975/j.issn.1002-6819.2021.22.034

TP753；P231

A

1002-6819(2021)-22-0295-07