日本立命馆大学的科学家们开发了一种神经网络,可以将2D照片转化为逼真的3D数字模型。这项技术近期被用于重建婆罗浮屠寺埋藏浮雕的三维形态。婆罗浮屠寺是世界上最大的佛教寺庙建筑群之一,也是联合国教科文组织收录的世界遗产。这些浮雕雕刻于石块上,历经岁月,逐渐被埋于地下。
这次研究所依赖的关键图像,是一张拍摄于134年前的老照片。照片记录了当时因寺庙修复工作而短暂露出的浮雕雕刻。在它们再次被掩埋之前,摄影师用镜头永久保存了这些石雕的面貌。尽管这些照片为研究提供了珍贵资源,但由于拍摄条件和深度信息的缺失,之前的重建尝试都面临重重困难。
立命馆大学的田中聪教授表示,以往团队尝试过利用单目照片进行3D重建,取得了约95%的重建精确度。然而,这种方法难以恢复浮雕中人脸和装饰等精细细节。问题的根源在于,2D图像中的深度值高度压缩,特别是边缘区域的深度变化提取难度极大。
新研究团队的突破在于开发了一个多模态神经网络,能够同时完成语义分割、深度估计和软边缘检测三项任务,从而显著提升3D重建的精确性。核心技术是创新的软边缘检测器和边缘匹配模块。
传统的边缘检测通常仅基于亮度变化进行二元分类,而软边缘检测器则以多分类方式处理图像中的边缘,将它们视为曲率和亮度变化的综合体现。这种方法能够捕捉到浮雕的微妙边缘特征,并对其“柔软度”进行评估,从而在深度估计中提供更多细节。
为了实现这一目标,研究团队的神经网络采用了以下三步工作流程:
1.软边缘检测:通过两个软边缘检测器提取浮雕图像中的多类软边缘图和深度图,分析图像中边缘的柔软度和变化。
2.边缘匹配模块:比较两组图像中软边缘的差异,聚焦于关键区域,提升深度估计的细腻程度。
3.动态优化损失函数:通过整合语义分割、深度估计和边缘检测的损失,优化重建结果,生成更加清晰且细节丰富的3D模型。
最终,经过多任务协作和动态优化,这套系统能够高效生成细节清晰、深度准确的浮雕3D图像。
这一研究成果不仅让埋藏的婆罗浮屠寺浮雕重现光彩,也为历史文物的数字保护带来了新希望。随着人工智能技术的不断进步,类似的方法有望被应用于更多遗址和文物的修复与重建中,为后人提供了解古代文化的新途径。
正如田中教授所言:“通过结合创新的深度估计和软边缘检测技术,我们正逐步解决历史照片3D重建中的难题。这不仅是一次技术上的突破,更是一次让历史遗产焕发新生的重要尝试。”