基于机器视觉的施工图识别技术与应用

文|李伯犀 杨百合 赵玉栋 孔杨 吴自成

1.住建领域人工智能的发展

随着近年来人工智能在深度学习算法的突破，迎来了新一轮科技革命和产业变革。自2017年以来，人工智能作为国家的战略目标多次被写入政府工作报告，并迅速在医疗、教育、金融等行业逐渐落地，顺利孵化了新的行业应用场景，在计算机视觉、自然语言处理和数据挖掘等人工智能核心技术的赋能下解决了行业痛点，提升了行业效率，帮助多行业实现了智慧化转型。建筑行业作为我国经济发展的支柱产业之一，近年来也在国家政策和产业界的双重推动下，不断探索人工智能在建筑行业的赋能应用。2020年4月，国家发改委新闻发布会首次明确人工智能作为七大领域之一列入了“新基建”建设范围。同年，住房和城乡建设部发布的《关于推动智能建造与建筑工业化协同发展的指导意见》中明确提出要围绕建筑业高质量发展总体目标，以大力发展建筑工业化为载体，以数字化、智能化升级为动力，形成涵盖科研、设计、生产加工、施工装配、运营等全产业链融合一体的智能建造产业体系。

机器视觉技术在住建领域发展现状。机器视觉是指利用相机等成像传感器采集图像，输入进计算机后，配合人工设计的算法使得计算机具有类似人的视觉的功能，从而完成识别、检测、分类等任务。机器视觉作为计算机领域的一个重要分支，自起步发展至今已有悠久历史，随着科技和工业自动化的不断发展，机器视觉技术也在不断的进步和完善。从最初对二维图像的模式识别，到对三维场景的标定和重建，到成体系的Marr 理论框架，再到现在的基于深度学习的识别和检测等，机器视觉的理论和算法也在不断地丰富和创新，大大促进了制造和生产的自动化、智能化。如今，基于深度学习的视觉算法已然成为机器视觉相关系统的标配，其快速、准确、高度自动化、灵活化和通用化的特点适用于解决行业中复杂耗时、重复性高的视觉任务，并在多个行业得到了广泛应用。

图1 建筑行业机器视觉平台

“人工智能+”的各类相关研究已经成为建筑行业科技创新的热点，各类机构、个人都在积极探索人工智能在建筑全生命周期中的应用，其中对工程图纸的识别是目前研究的主要方向之一。图纸作为工程施工的主要依据，从设计图到施工图再到深化后的竣工图，每一份工程图纸都汇聚了多名设计师的优秀经验，图纸作为经验与知识的载体在项目建设的各阶段、各环节具有非常重要的作用。然而海量项目图纸在项目完成竣工后就被束之高阁，无人问津，人工智能作为新兴技术，已经开始改变项目图纸的“命运”。

基于机器视觉的人工智能技术可以让图纸等非结构化的数据转换成结构化数据，通过对大量的工程图纸进行整理、分析，寻找其中的规律，实现对图纸中核心要素的识别，并进一步研究利用现存各类图纸的方式，最终实现将图纸中蕴含的信息进行知识化和智能化的应用。随着新一轮科技革命和产业变革的快速演进，人工智能的发展得到了极大的动力支持，为工程图纸带来了新的活力，正在渐渐地影响改变现有的图纸应用方式。

2.构力AI 机器视觉平台建设

构力科技依托建筑行业技术的资源和优势，利用云计算、大数据、人工智能等现代信息技术，立足设计、审查等各核心业务智能化应用实际需求，建立行业级机器视觉云服务，实现二三维数据流动，助力政企客户实现提质增效。构力AI 机器视觉平台主要覆盖了4 个方面的功能：总图识别、图签识别、设计说明识别和建筑/结构施工图识别。平台主要运用基于深度学习的机器视觉技术，对图纸中的关键信息加以识别和提取，从而支撑三大专业应用：AI 识图建模、AI 审查和图档数字化。

功能-总图识别

区分出总图中不同地块、用地红线、建筑单体、小区出入口、小区道路线等关键信息，从而有效的辅助绿化面积、消防等相关方面的审查工作。

功能-设计说明识别

识别出设计说明中的文字信息并对关键信息进行抽取和分析，结合条文规定可以有效辅助各项审查工作。

整体识别流程如图3所示，系统接收用户图纸后进行图像增强、降噪、区域分割等前处理操作；然后将处理后的图像输入进OCR 系统识别出文字及其位置框；接着将文字输入进NLP 系统中进行关键信息的抽取和分析；最后将分析结果输入进审查系统生成审查报告。

图2 总图识别应用流程

图3 设计说明识别应用流程

图4 图档数字化管理

功能-图签识别

识别出图签中项目、设计单位、图纸等方面的相关文字信息，可应用于辅助项目相关审查、设计单位资质审查等工作当中，同时可应用于图档数字化管理。

整体识别流程如图5所示，系统接收用户图纸后进行图像预处理，包括二值化、图像增强、降噪等；接着采用CV 和目标检测相结合的方式进行图签区域定位；然后将图签区域输入进OCR 系统中进行文字识别；最后通过补全、位置匹配等后处理操作将文字内容转化为键值对的形式存储；最后接入审查或档案系统中进行后续业务操作。

图5 图签识别应用流程

图6 AI 识图建模

功能-建筑、结构施工图识别

识别出施工图中各类构件元素（墙柱梁门窗等）信息，包括位置、尺寸、相互关系等，主要应用于识图建模的工作当中，可以根据图纸快速建立出相应模型。

整体识别流程如图7所示，在系统接收到图纸后先进行一系列的图像前处理操作，如格式转换、图像降噪、图像增强等；然后对其进行AI 语义分割，识取各构件的尺寸和位置信息，同时进行OCR 处理，提取出尺寸、编号等文字信息；接着通过后处理操作，主要根据专业知识、业务逻辑和OCR 识取的文字信息校正构件的位置、尺寸、相互间的连接关系等；导出的结构化数据可接入各建模软件中直接生成模型。

图7 建筑、结构施工图识别应用流程

3.机器视觉在施工图识别技术的应用趋势及推广

数据是人工智能技术的基础，也是产业智能化的前提。建筑行业在多年的发展过程中，已经积累了大量以二维图纸为主的技术资料，文件格式包括手绘、扫描等图像格式与PDF、DWG 等矢量图格式。在技术水平的限制下，既有数据多以存档为主，其中蕴含的知识和规律无法重新运用，严重制约了建筑设计行业的智能化发展。为充分挖掘建筑行业的数据价值，关键是要将现有图纸解析为可进一步利用的数据。机器视觉以图像为输入，在大数据、云计算和人工智能等技术的支持下，完成施工图纸的语义解析，实现图纸元素的自动识别，从而将既有图纸整理成便于计算机理解和存储的结构化数据，为智能设计、智能审查、智能运维提供坚实的数据基础，让图纸活起来。

二维图纸作为行业主要交付产品，促进了设计施工规范化、标准化发展。然而，随着产业信息化、数字化、自动化、智能化的变革，二维图纸已经无法适应行业智能化改革的需要，BIM 正向设计作为全新的设计流程逐渐得到推广。但目前BIM 设计仍不成熟，行业仍处于二维图纸到BIM 模型的过渡阶段。由于相关技术人员稀缺、经验不足，且目前行业仍然以二维图纸交付为主，国内大多中小型企业并没有应用 BIM 技术正向设计的能力，多数公司需要同时进行绘制二维图纸与BIM 建模，加重了设计人员的负担，阻碍了BIM 技术的推广。为保障设计行业的平稳过渡，实现二维图纸到三维模型的自动变换变得尤为重要，而实现这一目标的前提首先就是实现二维图纸中各项元素的识别。相关研究表明，基于逻辑的二维图纸识别技术存在适用性差的缺点，无法实现图像类图纸的识别，而基于机器视觉的技术从图像出发，结合业务知识，能够实现图纸各项元素的高效、稳定识别。

“新城建”为建筑行业的发展提供了新的方向，同时也提出了新的要求。在“新城建”建设的号召下，建筑行业需要完成产业资料的信息化、数字化，进而走向自动化、智能化的道路。