图像识别在材料研发中的应用与展望

任姿颖，宋宝宇

（鞍钢集团北京研究院有限公司，北京 102211）

材料科学作为通过物质的性质，研究材料的制备，采用加工工艺对材料微观结构进行科学合理整合应用的一门跨学科科学，是未来科技发展的基础。随着新的工业革命时代的到来，加速材料研发进程已经成为材料研究者乃至全行业共同关注的目标，如何以低成本、高可靠性获取材料研发过程中的实验数据也成为亟待解决的课题。数据时代的发展使得机器学习算法和大数据技术已经逐渐结合应用到材料研发的各个方面。例如，Kiyohara［1］研究参杂剂在晶界处的偏析行为，通过运用数据挖掘技术和随机树、遗传等机器学习算法获得合金元素在晶界偏析的稳定结构。Wen等［2］通过机器学习算法辅助进行高熵合金的Al-Co-Cr-Cu-Fe-Ni系统合金成分设计，并通过迭代循环和机器学习模型相结合，获得了具有高强度的高熵合金成分，加快了钢铁材料的成分实验进程。Rehaman等［3］在研究高性能钢及其热处理过程中通过收集包含2 277个唯一条目的马氏体与合金组成的数据库，利用机器学习手段预测出钢铁材料中马氏体初始温度。V.Stanev等［4］通过材料的超导性与化学和结构性质之间的联系，利用机器学习算法模型在整个无机晶体结构数据库（ICSD）中搜索潜在的新超导体，并确定了大于30种非铜酸盐和非铁基氧化物作为超导的候选材料。但是，目前关于如何更好解决材料实验过程中的信息提取和识别的研究较少，是迫在眉睫需要解决的课题。本文从材料科学和计算机算法应用两个方面对材料微观图像识别和大数据处理技术展开讨论。

1 图像识别应用算法的技术发展

材料组织图像识别是指通过利用计算机对材料相关组织图像进行处理，理解与分析识别各种不同状态下的目标和对象的技术，是基于深度学习和机器学习相关算法的实践应用。

1.1 基于机器学习的图像识别技术

随着人工智能的发展，机器算法逐步应用在图像识别中，常见的算法包括贝叶斯分类法、模式匹配等。贝叶斯分类法基于对不同特征进行分类，并通过相似度判断是否为同一类，但存在局限性，因贝叶斯分类法的前提条件是假设一个属性值对判断是否同类时的影响独立于其他属性值，实际情况很难成立，所以分类过程中的准确率会下降。

1.2 基于深度学习的图像识别技术

Facebook人工智能负责人YannLeCun发明的卷积神经网络（Cnn）促使整个计算机科学在人工智能领域的应用有了新的方向。神经网络的前身是由 Mcculloch 和 Pitts［5］建立的 M-P 模型，之后Frank定义了一个感知器模型，实现了一个真正意义上的神经网络模型。该模型由两层神经元构成，并对输入和输出层的两层神经元连接，实现了输入的线性分类。图1为神经元结构示意图。图1中，xn为第 i个神经元的输入；wi为权重；θi为阈值；f为函数；y为输出。

图1 神经元结构示意图Fig.1 Schematic Diagram for Neuron Structure

随着多层感知器模型的发展，误差反向传播模型（BP网络）进入机器学习研究者的视野，其包含一个输入层、一个输出层、一个或多个隐含层。同层网络无连接，前后两层全连接，具有高度并行性和非线性处理能力，并在正向和反向过程中不断循环直至达到极小误差。BP网络一般分为四道程序，首先对数据进行预处理，然后对模型构建、优化，最后对模型进行评价得到较优解。上述过程中可以通过优化权值和阈值找到最优解。

浅层神经网络包括误差反向传播模型（BP网络）、径向基神经网络（Rbf模型）、Crff模型等，存在无法解决特征维度过大，网络层数过多，神经网络梯度消失过拟合不足等问题，尤其在图像处理与识别过程中。所以基于深度学习的大规模数据集自动学习图像特征的卷积神经网络出现在研究者的视野中，而图像识别研究重点也逐渐转变成优化卷积神经网络技术，使计算资源占用情况得以改善，训练参数得到简化从而提升整个算法的运行效率。因其不需要对图像进行预处理和特征提取等相关操作，所以成为图像识别最显著、最常用的研究方法和手段。在处理二维图像过程中，通过多层处理特征自动提取图像颜色、纹理、形状及图像的拓扑结构。

卷积神经网络一般由输入层、卷积层、激励层、池化层、全连接层和输出层构成。因其具有局部感知视野，空间域或时间域上的池化和权重共享功能，在图像识别领域得到了广泛的应用。就目前算法发展而言，卷积神经网络作为图像识别领域的主流算法正在广泛应用于不同的领域。图2为卷积神经网络示意图。

图2 卷积神经网络示意图Fig.2 Schematic Diagram for Convolution Neural Network

在材料研究方向中，现阶段神经网络被广泛应用于材料研究中的成分设计、工艺设计、服役性能预测、加速模拟、辅助表征等方面，极大促进了材料研究的发展。但因材料图像的组织复杂，可训练数据集过少等问题，现阶段在图像识别领域的应用亟待突破。

2 材料组织图像识别技术的应用现状

2.1 金相组织图像识别研究方法

在铸铁金相组织识别过程中，兰州理工大学徐健林等［6］建立球墨铸铁等级的评价模型并借助应用软件对铸铁金相检验标准的球化级别分级图进行了处理和分析。华中科技大学的吴雪平等［7］利用筛选法开发出镁铝合金半固态金相组织分析软件可以得到固相率，在经过颜色过滤后利用计算像素个数得到晶粒尺寸。甘肃工业大学王智平等［8］通过边缘检测提取算法识别图像并运用二值化处理图像获得铸铁金相相关组织识别结果。辽宁工程大学冯欣等［9］利用大量金属样本组织显微的图像分析所取得的特征参数与合作单位的显微暗室成像参数进行实验对比，结果显示金相组织显微图像分析算法对金属晶粒特征参数测量具有较好的准确率。图像识别也可以通过对焊接接头金相组织的定量分析实现按已知成分和组织预测接头的性能，为合理选择焊接方法、焊接材料和焊接工艺参数提供理论依据。

早期的定量金相分析只是采用人工方法如网格法进行标注，不仅误差大、准确性差而且劳动强度大，现在计算机和模式识别技术已越来越多地被应用到焊接质量评价上来。西安交通大学焊接研究所的王雅生等［10］利用取得的碳钢焊缝组织石墨化显微图像的自动测量研究成果，针对压力锅炉中温中压机组主蒸汽管道碳钢部件焊缝处金相组织石墨化程度的检测问题，将数字图像处理和模式识别技术运用于显微金相组织测量之中，选择适合的算法，编程建立了一套对石墨进行形状表征和粒度测量的图像检测系统。

一直以来，在图像处理领域不断引入一些新理论和新算法，如张红旗等［11］对12Cr1MoV钢金相图像进行图像识别，运用直方图均衡化的方法对金相图像进行了增强处理，使用中值滤波器对图像进行了降噪处理后，分析小波算法的降噪机理并使用，对空间域滤波和频域滤波的效果进行了比较，利用数学形态学的方法对图像效果进行改善，使得珠光体的轮廓变得平滑、清晰，使用Sobel算子、LoG算子进行珠光体的边缘提取，利用LoG算子对目标物的边缘检测取得了比较满意的效果。

李新城等［12］采用改进的分水岭方法对晶界进行了有效提取。于洋等［13］将边界追踪及Freeman码的方法应用于金相的定量分析也取得显著的成效。

随着图像识别基于神经网络的算法革新，陈丹等［14］利用BP神经网络算法对金相图片中的粒子进行识别，并在图像识别的降噪预处理时运用了区别于传统二值化分割的全局和局部阈值法来进行图像分割。

杨根涛等［15］基于HALCON机器视觉算法对铆钉型电触头线材进行金相分析，通过提取金相图像的共生矩阵并分析其特征向量，实现颗粒物形貌、尺寸、分布特征等量化分析。

赖传滨等［16］提出了基于卷积神经网络的虚拟边界模型，通过转换为二分类任务，将每个图像的中心像素点作为检测模型的输入，并将该图像的输出作为检测模型的输出类别，同时在基于钛合金的图像数据集上进行了训练，得到了比较好的训练效果，但也发现了虚拟边界不连续等问题。

2.2 基于金相组织结构分析的图像识别技术

由于材料性能和结构之间有一定的相关性，所以人们在材料研究领域逐渐应用图像识别技术，例如，根据金属材料金相显微组织结构（如图3所示）研究其性能、成分、组织结构、加工工艺之间的关系。而传统的分析方法一般是经验性的定性或半定量分析，耗费大量时间才能得到结果。

图3 钢铁金相组织形貌（×500）Fig.3 Appearances of Metallurgical Structures in Iron and Steel

随着图像识别技术在材料科学领域应用的发展，在分析晶粒感较明显、晶粒边界模糊、内部晶粒块混乱时有所突破。该技术分析金相图像的方法有很多，包括分割算法与识别算法，前者主要有基于灰度阈值、基于边缘检测和基于深度学习的方法。

（1）基于灰度阈值

基于灰度阈值的分割方法大部分是通过人工经验值，或者通过图像的灰度直方图的特点，自适应选取一个合适的阈值对金相图像进行分割。现阶段，自适应阈值［17］、最大类间方差（Otsu）［18］是常用的最优阈值选择方法。王桂棠等［19］提出了基于数字图像处理技术的金相组织定量分析，基于直方图均衡化和基于区域生长及数学形态学的两种方法对金相组织进行图像处理。

（2）基于边缘检测

理想情况下，晶粒内部强度是一致的，且晶粒内部和边界区域之间存在强度变化。因此，基于边缘检测的识别技术有望将边界检测为边缘，它假设图像中的对象有清晰的边界，其中存在明显的强度差异。

边缘检测方法包括 Canny 算法［20］、Sobel算法［21］、基于拉普拉斯算子［22］的边缘检测方法、基于高斯差分算子的DOG方法［23］等。其中DOG方法利用两个高斯算子构建了一个带通滤波器，可以在去除噪声的同时，将图像中的平滑区也过滤掉，只剩下边缘部分，从而达到提取边缘的目的。此外，基于分水岭［24-26］的方法可以用于金相图像分割，但在分割出闭合的轮廓时，极易产生“过分割”的现象，导致金相晶粒过分割。

近年来，主动轮廓模型已经广泛应用于图像分割领域中，代表性的是传统的CV模型及其变形模型［27-29］，由于主动轮廓方法是利用图像拓扑结构的变化对图像进行边缘检测，该方法迭代次数多，运行时间较长。 Heilbronner［30］开发了一种缩短时间自动检测晶界的方法，该方法能够捕捉特定视场的多幅图像，使用梯度滤波器从每个图像中检测重要边界，这些界限最终都结合在一起，但是它可能无法提供闭合轮廓。该方法与不同图像的配准有关，因此存在复杂性。上述边缘分割法均是基于图像全局的边缘检测方法，然而对于某些金相图像，例如由多个不规则颗粒及其边界构成的晶粒图像，基于全局的边缘检测算法并不适用，这时需要根据每个晶粒的局部特征对其边缘进行检测，从而达到分离每个晶粒的目的。在大部分基于局部的分割方法中，基于超像素的图像分割法适用性最广。超像素是由一系列位置相邻且颜色、亮度、纹理等特征像素相近的像素点组成的小像素块区域，大多保留了进一步图像分割的有效信息，且一般不会破坏图像中物体的边界信息。

（3）基于机器学习

机器学习方法是通过提取出图像中微观组织的特征信息（包括纹理、灰度值、空间关系、角点和形态），利用可学习的分类器做出决策。例如，Papa等［31］使用分类器 Optimum Path Forest（OPF）提取纹理和灰度值来获得铸铁中的石墨晶粒；Bulgarevich等［32］利用快速随机森林自动分割铁素体、珠光体、贝氏体和马氏体微观结构；Azimi等［33］利用全卷积神经网络（FCNN）和最大投票方案来实现图像像素级分割；Choudhury等［34］将分水岭与卷积神经网络（CNN）相结合，实现了钢中相的识别；Mingchun Li等［35］提出一种基于多任务学习的更丰富的卷积特征（RCF）体系结构检测晶界和分割金相图像。

分布不规则的金相图像由于标注难，晶粒小，且缺少纹理信息，边界模糊等，可学习的内容相对较少，无法直接使用基于学习的方法进行分割。

3 存在的问题与展望

由于材料复杂的显微组织结构甚至原子结构，很难判断其组织与材料性能、表征特点的关系，要通过大量的实验和相关经验来判断。为了缩短实验周期，更合理地指导实验方向并判断材料的组织结构，将机器学习神经网络等算法与大数据技术相结合势在必行。更先进的算法手段对材料微观组织识别并建立相关组织和功能特性的研究尤为重要，其中金相图像识别和定量分析在推动和促进材料科学高效化发展具有重要作用。如何更好地响应国家提出的，材料大数据时代建立有效完善的材料图像性能数据库，为之后更好的材料产品研发作准备，是未来发展的新方向。未来材料图像识别软件也将朝着智能化、自动化、完善化、高清化的方向发展，材料研究也将步入一个崭新的时代。

4 结语

图像识别技术主要通过研究照片中的微观结构和力学性能之间对应的关系，有助于根据已知成分和组织结构对材料的力学性能进行预测。利用计算机图像识别技术自动分析材料的结构性能关系研究，既能加速材料研发进程，又能推动材料科学发展，而其中一个亟待解决的问题便是材料图像的准确自动分割，由于材料的金相组织特殊，更好结合机器学习技术与大数据技术，将材料图像组织与性能相结合，利用图像识别技术得到更真实精准的结论，突破材料组织图像图片少、较难获得复杂组织等困难的壁垒是现阶段亟待解决的问题。