基于全卷积神经网络的侗族聚落景观图像分割与美景度评价

郑文俊 吴曼妮 周茂杰

（桂林理工大学旅游与风景园林学院，广西 桂林 541004）

“十四五规划”建议提出“实施乡村建设行动”“保护传统村落和乡村风貌”。侗族传统聚落具有丰富的自然和人文景观，彰显了地域性的建筑艺术魅力与传统山地生态文明智慧，是西南地区人居环境建设和旅游开发的重要载体。提高聚落景观品质、提升聚落景观的视觉美感和营造具有吸引力的民族特色乡村景观，是新时期侗族地区乡村可持续发展面临的现实需求，也是规划设计学科领域亟需研究的重点课题。在乡村景观视觉质量评价研究领域，刘滨谊、谢花林等较早提出并构建了乡村景观评价指标体系[1-2]；也有学者尝试将景观视觉质量评价从单纯的美学角度向生态角度衍生[3-4]，或通过视觉现状质量、敏感度及吸收力等构建评价体系，将指标转化为数值进行叠加，对景观视觉研究区域的管理及未来发展提出具体对策，重塑乡村归属感[5-6]。不同群体对于典型乡村景观元素的审美具有一致性，不同景观要素在不同乡村群落中体现出差异性[7]。VR技术[8]、眼动仪分析法[9-10]等现代科学技术也引入乡村视觉景观质量评价中，这些技术从机体反应层面为景观视觉感知与审美偏好研究提供了客观证据。总体而言，通过构建指标体系，以问卷调查的方法过度依赖人为评价，受评价主体的专业、学识、认知的影响较大。所以建立客观评价模型，从认知尺度和物理特征出发，以多种方式结合建立新的视觉评价模型成为当下主要的研究方向。

美景度评价法(scenic beauty estimation，SBE)以实景照片（幻灯片）作为评价的媒介载体，评判者通过观看以实景照片制作的幻灯片后，依据主观直接感受进行评价。这种方法可操作性较强，优点显著，被认为是景观评价心理物理学派最严格且准确的方法[11-12]。利用SBE，可以从人的感知角度分析景观的质量[13-15]。图像分割方法将图像分成若干不相交的区域，现有的图像分割方法大多基于边缘、纹理等，可以将图像分成前景和背景两个部分[16]。随着深度学习的发展，利用全卷积神经网（FCN）可实现图像的像素级分类，解决图像的语义分割问题[17-19]。利用图像分割法可以将图像细分成不同的语义单元，实现景观资源精细化评价。本文针对景观评价中对景观要素内容、构成比例分析的不足，利用SBE与全卷积神经网络图像分割法相结合构建景观评价模型，建立景观评价值与景观图像构图比例的关联，通过图像的语义组合比例分析图像构图对美景度的影响。这些研究有利于解决景观美景度与图像构图的定量分析问题，更全面有效、精细化地解译景观图像美感。

1 研究地概况与分析方法

1.1 研究地概况

湘桂黔侗族聚居区主要包括贵州省南侗地区（从江县、榕江县、黎平县），湖南省南侗地区（通道侗族自治县、靖州苗族侗族自治县），广西壮族自治区三江侗族自治县、龙胜各族自治县等，总面积约2.0万km2。该区域分布有300余座“中国传统村落”“中国少数民族特色村寨”等国字号侗族村寨，还有1 000余座保护相对较好的侗族聚落[20]。为了保证研究案例的有效性与代表性，选取3省（区）中知名度较高、保存完整并已经进行了不同程度旅游开发的3处典型村寨为案例地，即广西三江程阳八寨、湖南通道芋头古侗寨和贵州黎平肇兴侗寨。程阳八寨是知名的少数民族旅游村寨；芋头侗寨拥有保存完整的明清古建筑群[21]，被列入第5批全国重点文物保护名录；肇兴侗寨距今有860多年的历史，占地约18万m2，是全国最大的侗族村寨之一[22]。

1.2 分析方法

1.2.1 美景度评价法

（1）图像选取

众多研究证实，在景观评价中采用照片作为实景替代材料具有较高可靠性与可操作性，突破现场评价对人力、物力的限制并对评判内容和程序进行有效监督。同时，为保证观察视角更丰富多元，避免单一拍摄者主观偏好，选取马蜂窝、携程、同程等网站游客上传的案例地实景照片作为研究素材。剔除像素较低、过度处理、镜头畸变等不合格图像，并咨询多位专家意见，最终确定210张案例地景观照片为评价对象，每个案例地各70张，并按照景观要素特征分成复合景观、农林景观、滨水景观、街巷景观、建筑景观等5类。

（2）被试选择及评判方式

选择不同专业在校大学生作为被试者，将其分为专业组（风景园林专业）、非专业组社科（旅游管理专业）、非专业组工科（环境工程、给排水等专业）三类，最终共招募350人，男女比例接近1∶1。采用7分制李克特量表为评价尺度（1分=非常不美，4分=一般，7分=非常美），以纸质问卷形式进行[11]。由于不同个体的审美尺度存在差异，其原始评价分值不能直接用于比较，需进行标准化处理，本文采用改良后的SBE标准化方法[20]。

（3）评价流程

评价在装有投影设备的教室中进行。将选取的210张聚落景观照片按随机序列标号导入PPT，并分为A、B、C三组，每组各70张，避免同类景观连续出现导致视觉疲劳。每张图像播放时间为6 s，每一组播放完休息1 min，图像不回放，评价结果不修改，使评价者集中注意力、凭第一印象给予分值。具体步骤为：①工作人员发放问卷，讲解评价步骤。②在正式评价开始前，播放3张类似照片引导被试者预练习。使被试者了解评价内容，适应播放时间与打分模式，再开始正式评判。③开始正式测评并回收问卷。

1.2.2 基于全卷积神经网络的图像分割方法

（1）全卷积神经网络模型

全卷积神经网络采用卷积化、上采样、跳跃结构相结合的方法构建深度学习模型[23]。卷积运算部分采用经典VGG16模型的前5层，每层缩小200/100，总共缩小3 200/100[16,24]。然后采用fcn-8s反卷积与跳跃结构结合，将卷积化缩小后的结果通过转置卷积扩大2倍，与第4层下采样的结果相加，再通过转置卷积扩大2倍，与第3层下采样的结果相加，最后通过转置卷积扩大8倍得到和输入形状一样大的结果。

（2）图像预处理及增强

基于小样本的机器学习方法，为了获得足够的学习样本，通常采用图像扩充法处理图像并加入图像库。图像的本质是一个多维矩阵，一般是N×M×K的矩阵，可以理解为有K个N×M的二维矩阵叠加；图像的处理是对这样的矩阵进行计算操作，使用卷积神经网络进行图像分类识别也是图像处理的一种，但它的操作是对图像特征的提取和分类，利用图像预处理是对图像中的数值进行改变形成新的图像。

图像处理可以对图像进行统一化和扩充。项目中主要对图像的大小进行统一，采用灰度化、对比度等方式进行图像库的扩充，包括图像缩放、归一化、随机旋转、对比度增强等方法。

利用现有的210张侗族景观图像进行预处理及增强，每张图像扩充成30张，得到总共6 300张图像，用于深度学习模型训练。图像中的语义单元分成6类，分别是天空、建筑、水面、森林、农田、道路。

（3）模型训练

基于全卷积神经网络的图像分割分成4个步骤，首先将图像分成训练集、验证集、测试集3个部分[25]。然后采用Labelme软件分别对训练集、验证集的图像内容进行分类标注，图像中每类语义单元用一种颜色值表示。最后训练集数据训练图像分割模型，并用验证集数据验证模型的分割精度，完成训练后保存模型并用测试集观察图像分割效果，用全卷积神经网络模型实现图像分割。

图像分割训练时采用batch大小为15，训练次数为2万次，采用交叉熵评价图像分割效果。采用酷睿i7处理器、20G内存的计算机进行机器学习模型训练，完成一次训练约20 h，训练交叉熵值和验证交叉熵值约为1.83。

2 结果与分析

2.1 侗族聚落景观美景度（SBE）分析

在SBE景观质量评价实验中，聚落景观美景度分值整体分布在-4.62~9.01；平均美景度为2.24；其中分值在0~4分最为集中。使用聚类分析将SBE值进一步划分为4等级，美景度等级划分如表1所示。结果表明：美景度为高等级的个案数有32个，占比15%；美景度为中等偏上的个案数有77个，占比37%；美景度为中等偏下的个案数有74个，占比35%；美景度为低等级的个案数有27个，占比13%。整体来看，案例地大多数景观样点视觉质量处于中等水平。

表1 美景度等级划分

各类型景观的SBE值分布情况，可从一定程度反映不同类型景观之间的视觉质量差异与公众景观偏好。本研究中5类景观的SBE均值比较结果为：复合景观（3.35）＞农林景观（3.12）＞滨水景观（2.58）＞街巷景观（1.76）＞建筑景观（1.46）。复合景观SBE分值上限、下线均为最高，说明其更受人们喜爱，且被认为具有更高美学价值；其次是农林与滨水景观，较高分值上限表明田园风光在聚落视觉景观中占据重要地位，但其中也存在视觉质量较低的部分；街巷与建筑景观SBE值下限最低且出现了最低离群值，说明这两类景观视觉质量大多不佳；全体图像中得分最低的样点出现在建筑景观中，同时，与其他类型相比，建筑景观分值波动最大，说明其景观视觉质量最容易受到干扰和破坏。

2.2 侗族聚落景观图像的语义分割结果分析

利用全卷积神经网络实现图像分割，在训练完深度学习模型后，将原有的210张原始图像作为输入，测试其输出分类图像，输出的图像中将每个素都归为一类，而不是具体的像素值。图像分割效果如图1所示。

图1 图像分割效果

图1中左边是原始图像，右边是为分割后的图像，其中绿色区域表示建筑，红色表示天空，紫色表示森林，粉色表示田地，黄色表示道路。经过图像分割，可以将一副图像分成语义实体的有机组合。每张图像用一个6维向量表示，分别代表5类语义块的占比，用各语义块的像素数量与图像的总像素相除得到。

2.3 美景度与图像构景要素占比回归分析

为解决图像拍摄中诸多条件不一致引发的美景度值变化的问题，利用专家分析法，筛选出95张阳光充足、景观内容本身没有瑕疵的图像进行统计分析，旨在找到美景度与图像内容构成比例之间的关系。其中滨水类13张，道路类12张，全景类27张，建筑类37张，农林类6张。利用SPSS进行回归分析，得到SBE值与6类语义块之间的关系。

经过线性回归分析得到R值为0.69，R方值为0.476，与0.5差别不大，更改F值为16.195，因为因变量有6个，所以基本可以说明用回归方程可以拟合描述出变量与SBE值的关系。

因为建筑的面积占比与其他5个变量具有线性相关性，所以便排除在回归方程之外，最后得到SBE值与道路，水面、田地、树木、天空等要素面积占比之间的关系回归方程为公式（1）：

其中，X1为天空，X2为树木，X3为田地，X4为水面，X5为道路。回归分析中除了道路的sig值为0.101，大于0.05外，其他的值均小于0.05，显著性较强。

3 讨论

本文利用全卷积神经网络图像分割算法，实现侗族聚落景观图像语义分割。构建了美景度与图像语义单元占比回归方程，对美景度进行了定量分析。采用的图像分割方法与阈值法、边缘检测法、区域生长法等传统的分割方法相比，不仅分割前景和背景，且实现了图像的内容识别，图像元素间具有语义联系，符合人对图像的理解。与基于卷积神经网络算法[16,19,25-27]以图像为单位进行分类不同，全卷积神经网络实现了像素级分类，对图像进行了深层次分析,应用于侗族景观图像分割，可以分析复杂的场景，开拓了新的图像分割应用领域。利用图像语义块的像素占比向量表示图像，构建美景度与图像语义块的线性回归方程，发现美景度与构图、图像内容的关联性，实现图像构成与美景度的联系。本方法在图像评价过程中减少了专家依赖，为建立全自动图像景观评价系统，大规模自动识别、评价景观图像打下了基础。实验分析表明美景度与图像内容之间具有有机关联，可以用线性方程表示。从SBE值与图像内容的回归方程中可看出，侗族聚落景观的美景度与树木关联性最强，其次是天空，与道路和田地的关联性最弱。

由于本文景观图像来源于网络，拍摄人员、环境、自然条件不统一，全部图像不能用一个方程表示，需要介入专家进行人工筛选，挑选出拍摄条件一致的图像进行回归分析，而人工介入，会导致误差叠加，回归方程的拟合效果需要提升。在后续研究中，可通过控制拍摄条件并统一景观区域，来提升图像内容分析的精确度。