舵面角度测量中结构光光条图像自动定位方法

冯 萍,刘 震

(北京航空航天大学 精密光机电一体化技术教育部重点实验室,北京 100191)

舵面角度测量中结构光光条图像自动定位方法

冯 萍*,刘 震

(北京航空航天大学 精密光机电一体化技术教育部重点实验室,北京 100191)

本文提出了一种在舵面角度测量中多平面结构光光条的自动定位方法。该方法首先基于Steger方法提取舵面中多个平面的光条图像中心；然后基于直线约束和距离约束提取出各小直线段，并根据各直线段的直线方向将各小直线段归类为最后的光条直线；最后根据光条直线的位置判断各光条直线所在光平面及所在舵平面。经实验验证，本文方法切实有效，具有较高的鲁棒性。

结构光；光条图像；角度测量；平面识别

1 引言

飞行器主要依靠舵面来控制飞行姿态。实时动态测量舵面转动角度，对飞行器的研制和生产具有重要意义。

目前，飞行器舵面转动角度测量主要有两种：第一种是采用人工手动测量。该方法通过卡尺手动测量舵面上标记点的位置来计算舵面转动角，但该方法只能实现静态角度测量，并存在人为误差，测量精度差、效率低。第二种是依靠飞行器内部的角位移传感器。但由于舵机和舵面之间依靠机械传动装置联接，机械联接装置之间存在间隙，因此角位移传感器测量舵面转动角度存在误差。基于图像的光学检测技术［1-4］具有自动化程度高、速度快、非接触等优点，可实现舵偏角度的动态测量［5-9］。但由于被测舵面较复杂(由多个平面构成)，给舵面光条图像中光条直线的自动提取带来一定难度。在处理舵面光条图像时，需要自动区分不同平面上光条，确定中心平面区域内的光条直线。

本文针对以上问题，提出一种舵面角度测量中多平面光条中心的自动提取方法。该方法采用Steger方法［10］提取出舵面中多个平面的光条图像中心，以直线约束和距离约束连接出小直线段，最后根据各直线段的直线方向将各小直线段归类为多个光条直线，并判断各光条直线所在光平面及所测舵面平面。

2 光条图像中心点亚像素定位

为了保证舵面角度测量精度，舵面光条中心点的提取精度需要达到亚像素级。Steger博士提出了一种光条图像中心快速提取方法，它首先利用Hessian矩阵确定图像中线条中心的法线方向，再通过求解法线方向上的极值点得到线条边缘的亚像素级位置，该算法具有很高精度。本文采用该方法提取光条图像中光条中心点。

计算像素P的Hessian矩阵：

式中：rxx，rxy和ryy是二维图像灰度函数I(x，y)的二阶偏导数。

H(x，y)最大特征值对应的特征向量表示光条的法线方向，用n(t)=(nx，ny)T表示。利用(x，y)作为参考点，则光条中心的亚像素坐标(px，py)可以表示为：

如果-0.5≤tnx≤0.5，-0.5≤tny≤0.5，则一阶导数为零的点位于当前像素内，且(nx，ny)T方向的二阶方向导数大于指定的阈值，则认为该点(px，py)为光条中心点。详细算法可见文献［5］。在实际使用中，卷积计算可以通过GPU实现，这会大大提高光条中心点的提取速度。

3 多平面光条直线连接

舵面图像光条中心点主要包括多平面上光条中心点(如图1中1)、背景的光条中心点(如图1中2)、光条尾部虚假光条中心点(如图1中3)。针对舵面图像光条中心点特点，在光条中心点连接阶段，加入直线性约束和方向性约束，用以去除虚假光条中心点，将满足约束条件的光条中心点连接成小的光条直线段，再将同一条光条直线上的所有小的光条直线段连接在一起，以此提取出所需光条直线。

图1 光条图像中直线段分布示意图Fig.1 Distribution diagram of stripes in the image

下面详细介绍多平面光条直线的连接过程。

(1)直线性约束

光条图像中舵平面上光条为直线，光条中心点的法线方向变化相对很小，加入直线约束可以将法线方向满足一定条件的光条中心点连接在一起，剔除不满足约束条件的光条中心点。光条中心点的线条法线方向是Hessain矩阵绝对值最大的特征值对应的特征向量。首先在图像中，由左至右、由上到下的顺序依次搜索舵面光条图像。以第一个光条中心点作为光条直线初始点，在该点邻域内搜索光条中心点。如果没有光条中心点，重新搜索，继续寻找下一个光条直线初始点。如果存在光条中心点，比较两点法线方向，如果两点法线方向夹角小于事先设定的阈值(实际使用中阈值设为0.1°)，则将该点设为光条直线连接点，再在光条直线连接点邻域内继续搜索下一个光条直线连接点，直到在光条直线连接点邻域没有找到下一个连接点为止。

在直线连接中相邻两点需满足两个条件：

①两点的线条法向方向夹角小于阈值；

②两点之间距离小于阈值，在连接中如果出现多个候选点，距离光条直线连接点最近的点作为下一个光条直线连接点。

结束了一个直线段的连接后，继续依次搜索图像，寻找下一个光条直线初始点。重复以上步骤，直到完成整个图像搜索。

图2为通过直线约束提取光条直线的示意图。直线段1和直线段2为不同平面上的光条直线。直线段2和直线段3为一个同一条直线，因为中间有图像缺陷，所以连接成2个小直线段，直线段2和直线段3。直线段4的连接过程显示了直线约束对去除了虚假光条中心点的有效性。

图2 直线约束后提取光条结果Fig.2 Extracted stripes after line constraints

(2)方向性约束

根据实际测量条件，各光条直线一般在一定范围内变化。完成直线连接后，根据经验设定直线方向阈值，可将不满足直线方向约束的光条去除，可有效去除背景光条。

(3)光条直线拟合

经过直线性约束和方向约束后，舵面光条直线被分割为很多小的直线段。通过计算直线方程，将属于一条直线的多个小直线段合并在一起。具体实现过程如下：

①拟合连接成的各直线段，确定直线段的直线方程，得到直线段的斜率k和截距b。

②选取直线段中点数最多的直线段为初始直线段。分别针对k、b设置两阈值tk、tb。在其余直线段中选择可以合并的直线段，该直线段的斜率kn和截距bn需满足|kn-k＜tk|和|bn-b|＜tb。将2个直线段合并，重新计算k、b，再在剩余线段中寻找下一个可以合并的直线段，直到全部找完为止，这就完成了一个直线的合并工作。

③在剩余线段中再选择一个点数最多的直线段作为下一个直线的初始直线段，再重复②的过程，直到拟合完全部的光条直线为止。

如图3，直线段1和直线段3分别为光条直线1、2的初始直线段。直线段1、2拟合确定为光条直线1，直线段3、4拟合确定为光条直线2。

图3 多平面光条直线拟合示意图Fig.3 Multi-planar strip after linear fitting

4 光条直线所在光平面识别

统计在3节中各光条直线拟合后的光点数量，根据光点数量完成各光条直线排序，再根据激光光平面数量按照排序先后选取所需直线段。例如激光光平面有2个，舵面由2个平面构成，则直接选取4个点数最多的光条线段，根据各直线段中心上下左右位置之间的关系确定光条所属光平面及舵平面。如果舵平面由一个主要平面构成，则直接选取2个点数最多的光条线段，根据光条中心的上下位置确定光条所属光平面。

5 实验

为了验证本文算法的有效性，本文采用一个由2只激光器和一个摄像机构成的激光视觉传感器测量一个有2个平面的舵面的转动角度。激光视觉传感器如图4，其中摄像机为DH SV-1410FM CCD数码摄像机，镜头为Computar TEC-M55焦阑镜头，激光器为两只StockYale SNF-701L-660-35-30°单线激光器。

图4 激光视觉传感器Fig.4 Laser vision sensor

本实验的主要测量原理是：在舵面转角中，根据视觉传感器标定结果，分别计算两个平面上2个光条直线上各点在视觉传感器坐标系下的三维坐标，再通过平面拟合计算2个平面在视觉传感器坐标系下的法向矢量，将2个平面法向矢量的矢量合定义为舵面在视觉传感器坐标系下的法向矢量，根据不同舵面位置的法向矢量计算舵面转动角度。具体舵面情况见图5。

下面是采用文献［11-12］中的标定方法完成视觉传感器标定：

摄像机内参标定结果：

图5 舵面上光条图像处理结果图Fig.5 Processing results of strip image on rudder planar

光平面标定结果：

图5(a)为拍摄的激光光条图像，图5(b)为提取的光条图像中心点的图像，图5(c)为经过直线拟合和定位的光条直线。由图5可以看出该方法有效地分割出不同平面的光条直线，其中红色为舵面左平面上的光条直线，黑色为舵面右平面上的光条直线。

激光视觉传感器根据标定结果计算不同光条直线的三维坐标，并计算出舵面的法向矢量，进而计算出舵面转动角度。在实验中，舵面在周期为6 s、幅值为30°的正弦转动，图6和7分别为舵面舵控信号角度与测量的舵面转动角度的对比图和偏差图。由图6和7中可以看出本文介绍的光条提取方法切实有效，通过将测量角度数据与控制角度数据进行比对，得出系统角度测量的RMS误差优于0.1°。

图6 舵面舵控信号角度与测量的舵面转动角度的对比结果Fig.6 Comparison results between control angle and measurement angle

6 结论

图7 舵面舵控信号角度与测量的舵面转动角度的偏差图Fig.7 Errors between control angle and measurement angle

本文针对不规则舵面上结构光光条图像定位困难问题，提出了一种结构光光条图像自动定位方法。由于舵面不同平面之间角度很小，且舵面加工精度原因，舵面平面并不是严格平面，采用Hough变换方法无法分割出不同平面的直线段。本文方法采用Steger方法得到亚像素级的光条中心点及线条矢量方向。采用该矢量方向，通过比较不同点之间的矢量方向，去除直线中的噪声点，将符合要求的直线段连接在一起，得到平面上的光条直线。该方法可以准确、灵活的去除噪声点、区分不同平面上的光条直线，提高角度测量精度。目前，本文方法已在多套视觉测量系统中得到应用［8］。

［1］赵海丽，姜会林，王晓曼，等.空间光通信中高帧频相机动态调光技术研究［J］.液晶与显示，2012，27(2)：267-270.

ZHAO H L，JIANG H L，WANG X M，et al..Dynamic light-adjusting technology of high frame frequency CCD camera in space optical communication system［J］.Chinese J.Liquid Crystals and Displays，2012，27(2)：267-270.(in Chinese)

［2］唐艳秋，张星祥，李新娥，等.基于人眼视觉灰度识别特性的图像动态范围小波变换处理方法［J］.液晶与显示，2012，27(3)：385-390.

TANG Y Q，ZHANG X X，LI X E，et al..Image processing method of dynamic range with wavelet transform based on human visual gray recognition characteristics［J］.Chinese J.Liquid Crystals and Displays，2012，27(3)：385-390.(in Chinese)

［3］冯小勇，赵忠华，刘新明.日间恒星实时探测的视频图像处理［J］.中国光学，2011，4(6)：622-628.

FENG X Y，ZHAO ZH H，LIU X M.Video image processing of real-time star detection in day light［J］.Chinese Optics，2011，4(6)：622-628.(in Chinese)

［4］马庆坤，乔彦峰，王晓明，等.基于光学测量手段实时动态测量船体水平姿态［J］.中国光学，2012，5(2)：189-193.

MA Q K，QIAO Y F，WANG X M，et al..Real-time measurement of dynamic horizontal attitudes of ships based on optical method［J］.Chinese Optics，2012，5(2)：189-193.(in Chinese)

［5］金占雷，刘雪峰.多目标探测的摆镜动态角位置测量方法［J］.光学与光电技术，2012，10(1)：18-21.

JIN ZH L，LIU X F.Dynamic angle measurement method for swing mirror based on multi-targets detection［J］.Optics Optoelectronic Technology，2012，10(1)：18-21.(in Chinese)

［6］张广军，刘震，魏振忠，等.基于线结构光的四通道舵偏角同步动态测量系统［J］.仪器仪表学报，2010，31(8)：1910-1915.

ZHANG G J，LIU ZH，WEI ZH ZH，et al..Four-channel synchronous dynamic measurement system for elevator angles based on line structured light［J］.Chinese J.Scientific Instrument，2010，31(8)：1910-1915.

［7］李磊刚，梁晋，唐正宗，等.飞机结构件运动数据的动态视觉测量系统［J］.光学精密工程，2012，20(9)：1929-1938.

LI L G，LIANG J，TANG ZH Z，et al..Optical and dynamic measuring system for movement data of aircraft structural parts［J］.Opt.Precision Eng.，2012，20(9)：1929-1938..

［8］胡浩，梁晋，唐正宗，等.数字图像相关法测量金属薄板焊接的全场变形［J］.光学精密工程，2012，20(7)：1636-1644.

HU H，LIANG J，TANG ZH Z，et al..Measurement of full-field deformations in metal sheet welding processes by image correlation method［J］.Opt.Precision Eng，，2012，20(7)：1636-1644.(in Chinese)

［9］胡文川，裘祖荣，张国雄.大尺寸空间异面直线夹角的检测［J］.光学精密工程，2012，20(7)：1427-1433.

HU W C，QIU Z R，ZHANG G X.Measurement of large-scale space angle formed by non-uniplanar lines［J］.Opt.Precision Eng.，2012，20(7)：1427-1433.(in Chinese)

［10］STEGER C.An unbiased detctor of curvilinear structures［J］.IEEE，1998，20(2)：113-125.

［11］ZHANG Z Y.A flexible new technique for camera calibration［J］.IEEE，2000，22(11)：1330-1334.

［12］ZHOU F Q，ZHANG G J.Complete calibration of a structured light stripe vision sensor through planar target of unknown orientations［J］.Image and Vision Computing，2005，23：59-67.

Automatic localization method of the multi-planar strip in rudder angle measurement

FENG Ping*，LIU Zhen
(Key Laboratory of Precision Opto-mechatronics Technology，Ministry of Education，Beijing University of Aeronautics&Astronautics，Beijing 100191，China)

An automatic localization method of light strips in multi-planar structures is proposed in order to solve the problem that it is difficult to distinguish light strip regions of irregular surface in rudder angular measurement based on the vision system of line-structured light.Firstly，the sub-pixel centers of curvilinear structures are extracted by Steger algorithm.Secondly，pieces of line segments are detected and labeled using line constraints and distance constraints to calculate the distances and orientations of points.Finally，different planes are located according to light strips positions.Experimental results show that the presented method is convenient and effective.

structured light；strip image；angle measurement；planar recognition

TP391

A

10.3788/CO.20140706.0911

2095-1531(2014)06-0911-06

冯 萍(1982—)，女，山东青岛人，硕士，助理实验师，2009年于北京科技大学获得硕士学位，主要从事精密测量及实验方面的研究。E-mail：fengping@buaa.edu.cn

刘 震(1975—)，男，辽宁沈阳人，博士，讲师，2010年于北京航空航天大学获得博士学位，主要从事光电检测及计算机视觉方面的研究。E-mail：liuzhen008@buaa.edu.cn

2014-08-17；

2014-10-19

国家自然科学基金资助项目(No.51175027)；北京市自然科学基金资助项目(No.3132029)

*Corresponding author，E-mail：fengping@buaa.edu.cn