视听觉融合下的“参与式建筑”研究

范成佳

湖南师范大学美术学院 湖南 长沙 410012

1 概述

情感表达=55%面部表情+38%声音+7%其它，语音信号及面部表情是人类传递信息及表达情感的主要模态，即听觉模态与视觉模态。视听觉双模态融合下，以格式塔完形心理学及卷积神经网络（CNN）信息识别处理模式与扩展现实（XR）技术为依托，对空间虚实融合断裂问题及完形心理学视角下空间不连贯体验弥合进行分析，探究双模态下信息处理及识别较之于单模态下识别性能优劣，基于此基础上，分析研究其对于“参与式建筑”未来发展的影响。

2 视听觉融合下的信息甄别及处理

2.1 视听觉一致性融合

情感心理学研究表明信息传递及情感表达多半通过面部表情完成，其余则主要依靠听觉进行，声音通常被用来强化信息主题性或起到视觉辅助功能。同一对象同时输出视觉及听觉信息时传播速度不同，则其到达人眼及人耳时间不同，人脑在处理此类信息时自动进行信息时间同步性校正，予人视知觉同步性错觉。

2.2 信息传递及处理

视觉听觉系统传递及处理信息进行分层处理，光电信号及声波信号由感受器转换为电信号，后经下丘脑及侧膝体传至大脑皮层或初级听皮层，各种细胞协同合作及大量神经元细胞组合构成视听觉感知系统。人脑基于记忆及反馈机制，对于视听觉系统所获得信息进行识别处理，判断实时情感状态。

情感随时间变化，大脑对于动态信息处理机能至关重要。视觉系统因“视觉暂留效应”，可观察到动态视觉信息，听觉系统声波连续刺激及听觉神经传导通路延时性同样存在时序性表现。大脑连续不断通过视觉听觉系统接收信息，进行判别，接收下一信息前调整反馈先前判别，循环往复，得出结论。

3 基于CNN及XR技术下的三维空间信息整合

3.1 XR及CNN技术

XR （扩展现实技术）指通过计算机技术创建一个虚实融合的人机交互环境，其包括 VR、AR、MR、HR等多种形式。卷积神经网络（CNN），深度前馈人工神经网络，三维卷积神经网络则常用于医学图像及视频类数据识别。

3.2 XR&CNN

三维卷积神经网络冗余参数数量较小，基于多时序影像的研究与发展具备更多优势。稠密三维语义建图，以结构化语义信息数字化重构现实世界，其对于其应用领域包括了机器人感知和基于视觉交互（XR）相应的经典实现，利用经典计算机视及部分卷积神经网络（CNNs）作为分类的辅助感知理解。

3.3 三维场景空间语义信息融合

三维场景下的信息整合，全局化对于空间几何信息的提取及感知场景的语义信息提取，实现局部视图深度图及完整视图结合的完整场景构建，并对三维空间构建进行优化及修正。

3.4 深度神经网络语义信息整合下的参与式建筑

3.4.1 参与式场景搭建

深度神经网络（CNN）语义信息整合下的参与式建筑场景搭建，视听觉融合，基于模型进行测算整合，用以判断主体即时情感状态及意向选择。

3.4.2 参与式住宅设计

甲乙方合作式住宅设计，因知识背景等差异性存在，二者意见无法短期达成一致。基于共识区域及矛盾区域通过视听觉信息整合分析搭建平台对于提高沟通效率十分重要。扩展现实的参与式设计平台ModRuleke即可满足以上需求，基于WebGl 构架下的物联网三维可视化平台，可为用户生成各种个性化选项。

4 基于格式塔心理学下的交互模式分析

4.1 格式塔心理学完形认知原理

格式塔心理学（完形心理学），考夫卡等学者认为人类对于某事物的视觉整体感知不是各部分简单联合，是由视觉认知的经验组成的整体。主体通过视觉感知外物后进行视觉形象再组织，使其具备完整性及有序性。

4.2 完形心理学与交互设计

4.2.1 虚实融合空间体验断裂

个人终端沉浸式体验常“大尺度低密度”，如CAVE 沉浸体验，虚拟摄影机需与观众视角进行配合，计算机需在主体改变运动状态时进行三维场景的刷新与优化，间隔若变化不当则会“出戏”，同样若大尺度空间，数字影响投影覆盖比例与体验节奏搭配不当，同样会导致体验连贯性被打断。

4.2.2 格式塔弹性“粘合”不连贯体验

阿恩海姆提出视知觉形式的“力”贯穿其美学思想，在进行虚拟场景搭建时，主体的知觉力，可弥合不连贯体验，将断裂的元素有序组织，构建“完形”格式塔。[7]格式塔理论多二维平面对于“力”进行讨论，因空间三维性质，其定位定向与体验感知更为重要。听觉信息对于参与式建筑空间定向感知起到重大作用，眼动信息也能不同程度地加强耳间时间差与声级差分辨，从而提高听觉空间信息分辨率。“视知觉”“听知觉”结合的参与式建筑场景搭建及场景体验更具完整性。

5 视觉听觉双模态下的融合衔接

5.1 RECOLA数据集视听觉融合

视觉及听觉融合模型性能验证，RECOLA数据集进行试验，基于 Arousal 及Valence 维度，利用原信号及图像，不进行人工提取几何纹理及特征，消除因特征识别对结果的影响。（图1）

图1 声音特征提取模型及RECOLA 数据集图像模型结构

5.2 视听觉获取信息融合渠道对比

完形心理学基于心理学及人类视觉特性角度对空间体验进行分析，提出在进行虚拟场景搭建时主体知觉力可弥合不连贯体验，构建“完形”格式塔。卷积神经网络（CNN）及扩展现实（XR）技术则基于人类视觉及听觉系统捕捉信息原理，进行信息整合处理，模拟主体角度进行情感即时判断识别，提升其舒适度及易操作性，弥合虚实空间断裂，且后者双模态下对主体情感意向判断识别准确率更高。

6 结语

未来“参与式建筑”沉浸式的理想场景体验会更完善，数据及算法支撑下情感识别及判断模式可作为辅助工具提升生活舒适性及便捷性，单方面唯数据论，提倡数据中心主义，会导致思维及标准的固定化，在设计领域积极开发应用新技术的同时，注重个性化、实用性及直接性表现，重视主体与对象直接沟通。