基于机器视觉的光纤智能碳纤维构件路径识别方法

谢啸博 朱萍玉 黄孟姣 李永敬



基于机器视觉的光纤智能碳纤维构件路径识别方法

谢啸博 朱萍玉 黄孟姣 李永敬

（广州大学机械与电气工程学院）

为获取布设在碳纤维预浸料内的光纤路径，提出一种基于机器视觉的光纤路径提取方法。首先，利用Forstner特征提取算子提取各分段图像上的光纤特征点，并对相邻的图像进行逐次拼接；然后，获得构件全景图像，并采用最大类间方差法分别提取所需区域图像；最后，通过快速傅立叶变换去除纹理噪音，并利用线条提取算子获得光纤完整路径。实验表明：运用该方法获得的完整光纤路径与实际吻合。

机器视觉；光纤；碳纤维预浸料；图像拼接；边缘提取

0　引言

光纤传感器具有灵敏度高、动态范围大、抗电磁干扰等特点，且光纤本身纤柔轻细，使得光纤传感器体积小、重量轻、几何形状可塑，不仅便于布设安装，并对埋设部位的材料性能和力学参数影响甚小，可实现无损埋设，与待测材料有着良好的相容性，能以网络铺设实现全方位监测，提高安全监测的有效性。而碳纤维增强复合材料具有比强度高、比模量高、耐疲劳和尺寸稳定性好等特点，将光纤埋入碳纤维复合材料中可制作成光纤智能碳纤维构件。该构件属薄板类结构，可粘贴于所需监测的零部件表面，如海上风电的风叶上。光纤被碳纤维复合材料包裹后，具体分布位置难以确定，需提前将光纤内部的分布位置确定，以保证监测的准确性。对于相机视野范围内的光纤智能碳纤维构件，只需进行简单的拍照取样即可获得光纤的具体分布位置；但对于超过相机视野范围的光纤智能碳纤维构件，则需通过图像拼接技术来确定分布位置[1]。本文提出一种基于机器视觉的光纤智能碳纤维构件路径识别方法。经验证，可有效解决超过相机视野范围的光纤智能碳纤维构件图像拼接问题。

1　基于机器视觉的光纤智能碳纤维构件路径识别

光纤智能碳纤维构件内部结构如图1所示，光纤由2块碳纤维预浸料夹在中间。

基于机器视觉的光纤智能碳纤维构件路径识别主要由光纤智能碳纤维构件路径图像采集和图像处理2部分组成。

图1　光纤智能碳纤维构件内部结构图

1.1　光纤智能碳纤维构件路径图像采集

1.1.1 硬件组成

照明方式是影响图像质量的关键因素，其设计直接影响解决方法的成败。因此，为凸显光纤的形状特征，本方法采用方形光源照明的图像采集方式，其硬件组成如图2所示。图像采集系统主要包括支架、工业相机、镜头、光纤智能碳纤维构件、方形无影光源、计算机以及显示器。其中，方形无影光源位于光纤智能碳纤维构件上方；工业相机位于光纤智能碳纤维构件的正上方；镜头为定焦镜头。

1.1.2 路径提取方法

目前针对光纤智能碳纤维构件中光纤路径提取的方法较少。本文基于Halcon平台提出一种针对光纤智能碳纤维构件的光纤路径提取方法：1）以方形无影光源照明的方式凸显光纤特征，并采集张图像；2）利用Forstner特征提取算子[2]提取特征点进行图像拼接；3）采用最大类间方差法（Otsu）提取所需区域图像[3]；4）利用快速傅立叶变换去除碳纤维的纹理噪声[4]；5）利用线条提取算子提取光纤路径。图像处理流程如图3所示。

图2　 采集系统整体结构

图3 　图像处理流程

1.2　光纤智能碳纤维构件路径图像处理

1.2.1 图像采集与图像配准

利用实验平台采集张图像，然后对所采集的图像进行图像配准。

图像配准是整个图像拼接的核心，本文采用Forstner算子提取特征点。Forstner算子基本思想是：对最佳窗口内通过每个像元的边缘直线（垂直于梯度方向）进行加权中心化，得到角点的定位坐标；对最佳窗口内通过每个像元的梯度直线进行加权中心化，得到圆心的坐标。

1.2.2 图像拼接

特征点完成提取后，通过重叠区域的特征点对比关系可求得投影变换矩阵；然后经过特征点匹配，采用Ransac算法[5]进行鲁棒性匹配，剔除不合适特征点；最后根据合适的特征点，完成图像配准及图像拼接，得到所需的光纤智能碳纤维构件全景图。

1.2.3 图像预处理与线条提取

对光纤智能碳纤维构件全景图进行图像处理步骤：1）获取图像区域，利用图像腐蚀缩小图像区域；2）采用最大类间方差法Otsu，对所采集的图像进行自动阈值，选取感兴趣区域作为检测ROI；3）去除检测ROI的其他区域像素。

利用正弦带通滤波器增强区域内光纤路径；再利用快速傅立叶变换去掉纹理噪声；最后对全景图进行光纤轮廓提取，获得光纤在智能构件内部的分布图。

2　实验验证

实验采用型号为MER-500-14GM的工业相机；200 mm×300 mm的方形无影光源；长、宽为450 mm×100 mm的光纤智能碳纤维构件作为实验对象。

2.1 图像采集

在实验平台采集12张图像，采集顺序由小到大序号，如1,2,3,4,…,12进行排序，每张图像均有一定的重叠部分，重叠部分以灰色显示如图4所示。采集图像效果如图5所示，可以看出图中光纤路径清晰可见，但也带有一定的纹理噪音。

图4　图像采集顺序示意图

图5 　源图像

2.2 图像配准

两两图像进行特征点的提取与配对，12张图像的配准如图6所示。其中，位于图形内的斜纹及短的密集线条为2个特征点直接的配对线。可以看出，特征点主要位于图像的边缘。由于图像采集过程中操作的误差，导致图像重叠部分特征点配准过程中存在一定的角度偏差，但由图像纹理可知图像配准正确。

图6 　特征点匹配图

2.3 图像融合

图像融合得到检测的全景图如图7所示。由图7可见，图像间无明显的拼接线，融合效果良好。根据碳纤维与光纤图像纹路特征匹配，确认图像融合的正确性。

图7　图像融合效果

2.4　边缘提取

对得到的全景图进行正弦带通滤波，然后提取图像边缘，最后经过筛选得到光纤的路径分布。如图8所示，粗线条为光纤路径（为使得光纤的路径分布更容易观察，增加了所提取路径的线宽）。

图8 　光纤路径提取图

实验结果表明：图像经处理后，光纤路径能完整呈现，可实现光纤智能碳纤维构件内部光纤路径的识别。

3 结语

光纤智能碳纤维构件结合碳纤维复合材料以及光纤传感器的优点，其内部封装的光纤路径的识别有利于构件实现在线监测。本文基于Halcon平台提出一种光纤路径的提取方法，通过工业相机采集图像后，利用计算机图像处理技术实现了光纤路径的提取。实验表明：该算法能稳定提取光纤智能碳纤维构件的光纤路径，具有一定的理论及实用价值。

[1] Zhu Pingyu, Xie Xiaobo, Sun Xiaopeng, et al. Distributed modular temperature-strain sensor based on optical fiber embedded in laminated composites[J]. Composites Part B, 2019,168:267-273.

[2] 李天硕.基于改进的FORSTNER算子特征点提取方法[J].江西测绘,2017(1):30-32.

[3] 李永敬,朱萍玉,孙孝鹏,等.基于形状模板匹配的冲压件外形缺陷检测算法研究[J].广州大学学报(自然科学版),2017, 16(5): 62-66.

[4] 王蕾,厉征鑫,刘建立,等. FFT和Hough变换在织物纹理方向检测上的应用[J].计算机工与应用,2014,50(18):39-43.

[5] Schnabel R, Wahl R, Klein R. Efficient RANSAC for point-cloud shape detection[J]. Computer Graphic, 2007, 26: 214-226.

Path Recognition Method for Optical Fiber Smart Carbon Fiber Components Based on Machine Vision

Xie Xiaobo Zhu Pingyu Huang Mengjiao Li Yongjing

(School of Mechanical and Electric Engineering, Guangzhou University)

An optical fiber path extraction method based on machine vision was proposed to obtain the fiber path of carbon fibre prepreg surface. Firstly, forstner operator was used to extract the segmented image optical feature points, then successive in stitching the adjacent image, and then got the panoramic images, and respectively OSTU method to extract the needed area image, at last, by fast Fourier transform to remove texture noise, and using fiber line extraction operator to obtain the full path. Examples show that the proposed method can obtain the complete optical path which has better tally with the experimental object, and lay a foundation about how to locate the sensing optical fiber in the intelligent structure.

Machine Vision; Optical Fiber; Carbon Fibre Prepreg; Image Mosaic; Edge Extraction

谢啸博，男，1994年生，硕士研究生，主要研究方向：测试技术与仪器。

朱萍玉（通信作者），女，1971 年生，博士、教授，主要研究方向：光纤传感技术、智能制造与维护。E-mail：pyuzhu@gzhu.edu.cn