吴艳青
(中船第九设计研究院工程有限公司,上海 200063)
海洋工程试验设备的水下摄像系统是为水下科学试验而研制的,用于监控水下试验过程和记录水下电视图像,供试验现场调试参考和对试验过程进行分析研究[1]。
图像抖动会造成图像模糊、观察困难、视觉疲劳,为获得直观、清晰、稳定的图像反馈,克服设备在高速运行中产生的低频抖动和水流引起的图像模糊扭曲,是水下摄像系统设计首要考虑的问题。
目前设计的某项海洋工程试验设备规模大、复杂程度高、动作快速,并需对水下动作的机构进行连续观察。本文在充分研究该项设备运动特征的基础上,将结构减震和电子稳像两种技术应用到水下摄像系统的抖动补偿中,保证了海洋工程试验设备的平稳运行。
成像链路的各种缺陷,如光学系统和成像器件本身设计的局限性、加工装校的误差、工作温度的变化、平台振动、传播介质(如水流、气流)的实时变化等环境因素的不稳定和空间景物层次的复杂三维结构,都会造成图像的模糊,即像质退化[2]。
目前,常规型水下监控设备强调在结构防水、入水深度等方面的特殊处理。多数设备在视频图像的抖动、扭曲、信号干扰、视角不到位以及使用寿命不长等问题上无法进行有效处理。
水下摄像系统的摄像机安装在水下钢结构平台上。平台运动速度较快,体积庞大,工作时存在轻微振动现象。因此,摄像机需要承受水流的冲击以及钢结构平台振动所引起的浪涌。
摄像机产生振动,会引起视频图像抖动,特别是低频振动。常规的水下摄像机采用镜头、速度等方法,对高频振动有一定的抑制作用,对低频振动或晃动无效。
视频抖动会影响实际监控结果,造成操作人员判断失误,给现场作业带来安全隐患。因此,水下摄像系统实现正常运行及维护的监测管理尤为重要。
对于上述水下摄像系统问题,主要采用两种类型的抖动补偿技术:结构减震和电子稳像(electric image stabilization,EIS)。
结构减震也就是所说的被动稳像,采用减震装置来隔离载体的振动[3]。结构减震运用高强度机械结构设计理念,要求摄像系统的抗震动、抗冲击力强,适合水中作业的大型机械设备使用;能在各种恶劣环境中使用,具有多功能监视特性。
电子稳像(EIS)就是利用日益成熟的数字图像处理的方法对图像进行处理,达到稳定图像输出的目的[4]。当本设备关键视频图像模糊不清时,主要通过电子稳像的抖动补偿技术来获取图像的运动矢量,以便进行稳像处理。
当摄像机等输入设备捕捉实际的画面时,就产生了数字图像(即由像素点阵构成的位图)。图像序列的运动可以分解为沿水平方向的运动Δx、沿竖直方向的运动Δy和以图像中心为转轴旋转的角度θ。因此在选定基准图像的前提下,后续图像相对于基准图像的运动可以依照上述3个分量进行计算,从而确定后续图像的稳像补偿量。
电子稳像的原理是提取基准图像的特征点M(x,y),在后续图像中寻找特征点M'(x',y')与基准图像的特征点进行匹配[4]。因此,利用数字信号处理技术实现实时、高精度的稳定动态图像[5],需要通过对其中每个像素点的颜色或者是亮度等进行数字化的描述,从而得到可以进行处理、供试验人员进行人眼观测的画面。
采用电子稳像技术,在不增加硬件的前提下,用软件就可确保图像处理的实时性,并在下一幅图像采集进来前完成相关数据处理。
与传统的光学稳像、机械稳像相比,电子稳像具有易于操作、更精确、更灵活、成本低、智能化等特点[6]。
水下摄像系统共有10路水下视频信号,分别经过专用视频抖动补偿设备后传输至监控室的视频矩阵。该系统采用Palco带环接输出的视频矩阵(32进6出)。将环接输出的视频信号连接至硬盘录像机(16路嵌入式),同时将分屏显示信号作为输入,再接入监控室的视频矩阵。
视频矩阵的2路输出分别接到2台监视器,可实现多画面实时显示与循环切换显示方式的图像监视模式。播放速率为每路25帧/s,同时支持单帧进退、快进快退、倍速(2×、4×、1/2、1/4)等效果。同时硬盘录像机支持边录边监视、边录边回放功能,还可连接备用的RJ45以太网口(10 MB/100 MB自适应)进行网络视频相关服务。如多服务器多分控联网,网络回放服务器的录像文件,通过网络开、关机实现对主机系统参数的设置等,同时可进行功能扩展。
摄像系统流程图如图1所示。
图1 系统流程图Fig.1 Flowchart of the system
水下摄像头采用具有坚固构造的铝合金HE30T6标准外壳的摄像头,其内部无可移部件,具有抗冲击和耐震动能力。摄像头体积小,可减小水流冲击的面积。同时,摄像头自带LED照明功能,发光效率高,使用寿命超过50000 h。
由于水的折射比空气大,摄像机画面视角比在空气中窄1/4左右,因此摄像头选择带高透镜率的广角透镜,可在较广泛范围内观察水下运行机构。
摄像头水平分辨率为480电视线,低信噪比,感光度为0.02 lux,景物亮度为 0.28 lux,传感器类型为隔行传送1/4英寸(1英寸=25.4 mm)电荷耦合元件(charge-coupled device,CCD)图像传感器,视角控制为36°(水中对角线)。
另外,利用自动快门和自动增益控制(automatic gain control,AGC)可得到更好的光补偿效果。
水下线材采用水下专用线缆组件C-2301。该线缆组件可保证系统在水下连续、长期地稳定工作;保证系统在传输图像时能够屏蔽各种干扰,抗击水流冲击,确保图像传输的精度。
水下摄像系统的视频信号通过水下专用线缆传输至水面以上,再转接至SYV75-7的监控专用线缆,送达远端监控室。这样既能保证视频信号质量,也能最大程度地节省工程费用。
水下高速摄像具有其特殊性,主要体现在以下两个方面:①光受到水的吸收等因素影响,在水中传播随距离增加按指数形式衰减;②另外,散射作用使水下物体影像的对比度下降,图像容易变得模糊,造成水下实际观测距离变小[7]。因此,必须提供水下照明设备,保证水下高速摄像机的正常工作。
水下专用照明要素主要由配置光源、选择照明的位置和照射方向3方面组成。
水下不同深度的光照度可用式(1)进行估算:
式中:Ⅰ为水下深度在z处的照度;Ⅰ0为水面的光照度;z为水下的深度;k(λ)为水衰减系数,它随波长λ变化而变化。
如果海水混浊,其透明度小于4 m,则同深度的光照度要减少一个数量级。当然,水下照度也会随太阳位置、云层情况发生变化,所以水下30 m处的照度一般为5~20 lux,水下40 m 处的照度一般为1 ~5 lux[8]。
类比现场条件,水下自然光照条件十分差,因此,须根据水下30~40 m处光照度特点,设置合适的水下照明设计方案[7]。同时兼顾考虑上部钢结构对光线的遮挡,将专用水下照明灯安装在摄像头附近位置,进一步保证水下摄像的光照度,同时使环境散色达到最低[8]。
摄像系统共采用以下3种结构减震的措施。
第一种:双层摄像机房。采用高刚度的抗震钢结构,减弱或消除外部冲击力对内部摄像机的影响。两层之间进行了隔振设计,使精密摄像装置保持处于相对稳固的环境;摄像机房密封设计,降低了水下较多不良因素对摄像机的侵害;双层结构可抵御温度变化,有效防止电子部件的损坏,使其处在最优工作环境。
第二种:隔振设计。首先,双层摄像机房中两层之间进行隔振设计,逐级减弱或消除振动影响。同时,双层摄像机房与安装结构底座之间设置吸振能量高的装置,以隔断水流冲击的影响,起到隔振作用。其次,水下摄像装置与安装结构底座之间也设置吸振能量高的装置,起到隔振作用,用于多级阻断水下设备移动对水下摄像装置的影响。
第三种:使水下摄像装置及双层摄像机房的固有频率远离工程试验设备的固有频率(工程试验设备相应固有频率根据机械设计进行具体有限元计算获得),从而避免由设备振动造成的水下摄像装置和双层摄像机房的同步共振。
采用电子视频抖动补偿装置进行图像处理,能自动调整摄像头监视位置,且抗摇动、抗摆动,尤其是能消除固定相机的结构震动(低频振动),能在抖动状态的作业中得到稳定的图像效果,从而提供高质量实时画面。
电子视频抖动补偿装置使用在前端设备和后端设备之间,以便为后端设备提供清晰稳定的图像。前端设备主要为彩色、黑白、红外、热成像等摄像机,后端设备主要为DVR、矩阵切换器、显示器等。
稳定的图像提供了更有利于压缩的视频源。在相同的码流下,后端的数字视频记录设备可获得压缩比更高的图像质量。
图像处理的运算量很大,如果全盘搜索图像,位移运算量会更大。因此,需选择图像的特征点,找出图像有限部分的特征点,降低图像需要处理的像素,提高运算速度。
在图像处理过程中,计算方法为基于图像特征点的方法。基于图像特征点的算法顺序如下。
①采样运动视频中选定的某一帧画面,将其作为首要参考值,按照特征值排序,并从中提取相应数目的特征点。
②针对每个特征点,利用前一帧中对应特征点进行匹配对比,获得该特征点在两幅相邻图像的偏移量。
③对所有特征点的偏移量进行处理,消除运动方向不一致的偏移量,并根据其余特征点的平均偏移量对后一幅图像进行运动补偿,获得稳定后的图像。
④ 重复上述偏移量的查找和对比步骤[3]。
如果任何时间的一幅图像表示函数为z=f(x,y),其在所见平面区域D内具有一阶偏导数,则对于属于区域D的每点P(x,y)都可定义出一个向量,这一向量就称为函数z=f(x,y)在点P(x,y)的梯度。
特征值的计算基础为图像在x方向和y方向的梯度数据。
本方案选择图像亮度有明显变化的点,也就是采用图像中与相邻部分有明显区别的点,同时也是一些相邻像素的集合。而边缘线是比较符合的特征区域,因为图像边缘是区域属性的交界处,也是区域属性发生突变的地方[3]。边缘主要存在于目标与目标之间,是图像分割、纹理特征提取和形状特征提取等图像分析的重要基础[9]。
利用图像二维梯度搜索技术,找到最大的匹配度所需要的图像位移调整值,即通过特征点匹配获得所有有效特征点在两个图像帧的坐标,进而可以快速、准确地找到抖动补偿所需的二维位移结果。找出每幅图像发生的抖动偏移量后,利用软件的图像显示进行每幅图像的动态位置调整。
本系统采用的是480电视线摄像系统,即视频分辨率为640×480,而特征值选取采用隔点采样,因此采样得到的图像为320×240的图像[3]。该采样方法可加快运算速度,保证实时性。
校正模式设置为X/Y方向抖动的校正,即上下左右4个方向和X/Y方向的矢量方向校正。
补偿速度可设置为快、中、慢3种。为适应水下设备高速运行的特点,主要采用快、中两种模式。这两种模式适合对视频进行实时控制,不牺牲图像分辨率(即清晰度)。
由于系统在振动频率过高或幅度过大的情况下无法进行有效防抖,因此,事先设置一个关于系统的光学成像设计,确定摄像机的视觉范围和最大可防止的抖动频率和幅度。当出现振动频率过高或幅度过大的状况时,系统会还原出原始图像,并在图像的右上角出现一个红色的小圆点进行提示。此外,也可通过调整摄像机的视觉范围,减小振动频率或幅度。
人的视觉延迟感应时间一般在0.2~0.4 s之间,而图像输出延迟时间通常小于0.1 s,其小于人的视觉延迟感应时间,对人而言几乎没有时间延迟。因此,设置图像输出延迟时间小于0.03 s,系统就可以确保实时控制。
上述抖动补偿技术为该项海洋工程试验设备的水下摄像系统提供了高质量、清晰的实时画面,保证了操作人员对关键部件的观察效果。但当外界的噪声加入到图像中时,会降低图像质量,干扰图像的可测性,给后续图像的边缘检测工作造成极大影响[10]。今后需要在这方面加强研究。
目前系统运行平稳正常,为外围辅助配套系统的正常使用奠定了基础。同时,该系统在具有震动、移动、冲击运动的大型装卸设备上也可推广应用。
[1]吴中平.水下电视摄像与照明系统[J].电视技术,1999(9):56-58.
[2]冯华君,陶小平,赵巨峰,等.空间变化PSF图像复原技术的研究现状与展望[J].光电工程,2009,36(1):1-6.
[3]张宇,黄亚博,焦建彬.一种适用于高分辨率图像的实时电子稳像算法[J].计算机技术与发展,2009(3):9-11.
[4]陈志坚,李哲,石磊.一种基于图像特征块匹配的电子稳像算法[J].科学技术与工程,2007,7(11):2512-2515.
[5]赵红颖,金宏,熊经武.电子稳像技术概述[J].光学精密工程,2001,9(4):353-359.
[6]张栋翔,葛运建.基于OpenCV的电子稳像[J].自动化与仪表,2009(4):43-46.
[7]沈凌敏,张琦,何俊华.水下微光高速摄像照明技术的研究与应用[J].微计算机技术,2010(1):111-112,143.
[8]沈凌敏,何俊华,张琦,等.水下微光高速摄像系统在潜艇试验中的应用[J].舰船科学技术,2009(11):55-58.
[9]王晓雪,苏杏丽.数字图像处理在车牌识别中的应用[J].自动化仪表,2010,31(7):22-25,28.
[10]吴德刚,赵利平.一种去除图像混合噪声的滤波算法[J].自动化仪表,2012,33(9):11-13.