基于TI双核处理器的舰船嵌入式稳像技术

李 冰

(西安航空职业技术学院，陕西 西安710089)

0 引 言

随着网络和视频技术的发展，视频设备越来越多地应用于各类航空、船舶、监控等领域，人们对于视频质量的要求越来越高。不单单是要求拍摄的视频分辨率足够大，画面足够清晰，同时还要求视频稳定无抖动。视频清晰稳定也是机器视觉自动处理的关键前提。但由于摄像载体大部分都是运动的，这部分运动不单包括载体的主动运动，同时还包括载体的随机抖动。正是这种随机抖动的存在，导致了成像不稳定，给视频观察者和针对此视频的后续处理工作带来问题。船舶工作环境比较恶劣，上面搭建的摄影平台一般也都处于比较恶劣的工作环境，得到的视频图像都是抖动不稳定的，影响视频图像观测者的观看与分析，导致误判和漏判现象，因此需要将这些抖动的视频信号转化为高质量的稳定视频［1］。

1 稳像技术理论

稳像技术是为了解决船舶这种运动载体上摄像机抖动问题造成的视频不清晰，对获取的抖动不稳的视频图像采用一定的技术手段进行修正和补偿，使其变得平稳流畅。稳像技术的发展从20 世纪80 年代经历了3 个阶段，即从机械稳像到光学稳像，再到电子稳像。

每种稳像技术都有其优缺点，适用于不同的应用场合。其中电子稳像技术由于其体积小、成本低、精度高等优点，得到了广泛的使用。电子稳像技术通过数字图像处理技术，对采集到的视频图像进行运动估计，得到视频图像中的抖动、旋转等非正常偏移量，然后再针对性的对其进行运动补偿来除去这些非正常偏移，得到比较稳定的视频图像。电子稳像的核心部分是获取视频图像中相邻帧之间的位移部分，按照其处理方式的不同，一般可以分为传感器检测方式和算法实现方式2 种。

传感器实现方式是利用各种距离、位置等传感器件对摄像平台的抖动等参数进行检测，然后针对采集的抖动参数再进行相应的补偿。传感器实现方式比较容易实现，其稳像精度主要取决于所采用的传感器的采集精度，一般精度较高的传感器价格也比较高，所以为了达到一定的精度，整个稳像系统的价格会比较高［5］。

算法实现方式是目前采用比较多的一种稳像方式，主要工作原理是通过一定的计算机算法对得到的视频图像进行分析，得到视频图像中相邻帧之间的相对位移，然后进行处理，分离出主要影响视频稳定性的高频随机抖动参数。最后针对分离出的高频随机抖动进行相应的补偿，得到较为稳定的视频图像。其流程如图1 所示。基本的工作流程:输入抖动视频;然后进行图像的预处理，滤除原始图像中的噪声;估计出图像的全局运动参数;在估计出的运动矢量中分辨出摄像机运动和图像中小目标的运动及抖动矢量，滤除抖动，保留原来摄像机的正常扫描运动;根据估计出的抖动参数来补偿原来的抖动图像，以获得稳定图像;最后输出稳定视频。

图1 电子稳像工作流程框图Fig.1 The flowchart of the electronic image stabilization

2 电子稳像算法设计

2.1 灰度投影稳像算法

一般电子稳像算法按照其处理方式可分为离线处理和在线处理两类。离线处理是指在视频采集完成后，通过计算机进行后期的稳像处理，这种算法一般追求较高的稳像效果，可处理包含平移、旋转、变焦等多参数抖动视频的稳定，不过多考虑算法实时性和系统的复杂度。在线处理是指采集的同时将视频稳定，此类算法一般对实时性要求特别高，且多应用于嵌入式平台。由此可见，实时性和处理效果往往是一对矛盾同时存在，在硬件性能固定的前提下，只能在实时性和处理效果中折中考虑。

目前实现电子稳像的算法也有很多种，基本原理都相似，只是算法不一样。本文采用的是一种基于灰度投影的实时数字电子稳像算法，其主要工作原理是是将复杂两维的视频图像信息转化为一维的投影曲线，然后在一维层面上进行一次相关运算，即可求出运动矢量，进行补偿。因此计算量比较小，可以实现较快的处理速度。同时灰度投影算法是对灰度图像进行直接处理，减少噪声等干扰信号，因此灰度投影算法在计算量较小的同时还可以保证较高的准确度。

灰度投影算法的工作过程可以分为图像灰度映射过程和位移计算过程2 个阶段［3］。

1)灰度映射

图像灰度映射过程第1 个阶段是灰度映射，主要是负责把输入的视频图像先进行滤波预处理，然后将二维的视频图像的灰度投影映射成2 个独立的一维波形。具体的投影公式为:

式中:Gm(i，j)为第m 帧图像上具体坐标(i，j)处的灰度投影值;Gm(i)和Gm(j)为图像的二维向量，表示第m 帧图像的第i 行和第j 列的灰度投影值。

2)位移计算

相关位移计算是灰度投影稳像算法的第2 个阶段。在前一阶段转化好的一维波形的基础上，将得到的某帧图像的行、列灰度投影与预先选定的参考帧图像的行、列灰度投影进行对比和计算，得到相应的行、列位移矢量值。

具体的计算公式如下:

式中:N 为投影图像列的长度;n 为位移矢量相对于选定的参考帧的距离宽度;vmin为使C(v)取最小时v 的取值。

位移矢量的计算公式为

式(3)可以用于得到固定帧水平方向和垂直方向相对于参考帧的位移矢量，其中δ 的正负表示位移的方向，数字表示位移距离的大小。在得到了当前帧相对于参考帧的水平、垂直方向的位移矢量后，就可以对图像进行相关补偿，即将当前的图像向参考帧的相反方向移动δ 大小的距离，就得到补偿后相对稳定的视频图像［4］。

2.2 优化的灰度投影稳像算法

上一节中对灰度投影法算法进行了介绍，虽然计算量比较小，可以实现较快的处理速度。但灰度投影法自身也有一定的缺陷，在图像存在旋转运动的情况下，很难计算出运动矢量，比配精度不高，因此其应用范围比较局限。

为了取得更加理想的稳像效果，针对普通的灰度投影算法自身存在的缺陷，可以采取一些相应的办法对算法进行优化，在保证原有算法优良的处理速度和精度等优点的前提下，提高算法的整体性能，增强稳像效果。

1)图像预处理

灰度投影算最重要的是要得到相对运动矢量，所以对投影图片的对比度有一定的要求，对于一些对比度较低的灰度图像，对比不够明显，很难得到正确的运动矢量。因此，需要预先对图像进行直方图均衡化预处理操作，来增强图像的对比度，方便下一步的处理和分析。

2)优化投影区域的选择

针对分辨率不同的视频图像可以采用不同的投影测量方法，对于分辨率较低的图像序列，可以讲投影区域扩大，或者可直接将全部图像作为投影区域，对于分辨率较高的图像序列，可以仅选择其中的部分作为投影区域，优先选择灰度变化较大、对比强烈的区域。

3)优化参考帧的选择策略

考虑船舶摄像平台的成像特点，以及摄像平台所处的运动状态，在整个算法中一直采用固定帧进行对比和匹配不太适合。因为采用固定帧匹配的方法，由于其误差会慢慢积累，越来越大，导致计算量也慢慢增加，所以在一定程度上影响到整个算法处理的速度和精度。因此，可以根据待稳图像的抖动参数，采用变参考帧的选择策略，动态的选取参考帧，这样就既可以有效降低积累误差，保证稳像处理的速度，又可以在一定程度上保证稳像的精度［8］。

通过以上3 点优化策略，对灰度投影算法进行优化，提高其稳像精度和速度。优化过的算法流程如图2 所示。

图2 优化的灰度投影稳像算法流程图Fig.2 Flow chart of optimized gray projection image stabilization algorithm

3 嵌入式稳像器设计

目前，多核处理器因具有结构简单、效率高、扩展性强等优点已成为市场的主流。多核处理器是将2 个以上完全功能的核心集成在一个芯片内，通过这样的设计提升了处理器的并行性能，增强了处理器的运行效率和计算性能［6］。

TI 公司生产的TMS320VC5421 芯片是一款基于多核技术的双核DSP 芯片，它拥有2 个功能核心，即两个相对独立的DSP 子系统。2 个DSP 子系统共享1 套片外总线，彼此之间可以进行互相通信。此外，2 个DSP 子系统都有独立的数据和程序存储空间，而且每个DSP 子系统都有2 K16 比特的片内ROM［2］。

本文设计了一种基于DSP VC5421 双核DSP 处理器的电子稳像器，整个系统如图3 所示。主要实现以下功能:

1)实现对抖动输入视频的实时稳像;

2)支持模拟视频或数字视频等格式的视频输入;

3)支持模拟视频、数字视频、SDI 视频等格式的视频输出;

4)支持视频信息的获取，包括海拔高度信息、GPS 信息和惯导姿态信息等;

5)支持视频的本地存储，以备以后的使用。

软件流程如图4 所示，具体过程可分为以下6 个环节:

图3 基于DSP VC5421 双核处理器的电子稳像器设计框图Fig.3 Diagram of electronic image stabilization device based on DSP VC5421 dual core processor

1)采集环节。输入模块实现对船舶摄像平台拍摄的视频图像信号的采集，然后送至下一个环节。

2)保存环节。将上一环节采集到的视频图像保存在事先就已经分配好的双缓冲区中，同时将采集后的视频图像传递给预处理模块进行图像预处理等操作。

3)计算环节。对缓冲区域之中的视频图像数据采用优化的灰度值投影算法进行稳像，根据投影对比度优化投影区域的选择，选对投影图像进行直方图均衡化预处理，增强图像的对比度。然后采用动态的参考帧选择策略，分别计算出投影图像的行、列的灰度值，计算出当前帧图像与选定的参考帧图像之间的相对偏移矢量。

4)滤波环节。采用均值滤波法对得到的视频图像的帧间全局运动矢量的运动轨迹，进行平滑滤波，得到船舶摄像平台所受到的随机的机械振动的矢量。

5)补偿环节。在获取了全局运动矢量后，补偿模块通过对当前帧图像向位移矢量的相反方向进行移动操作，对视频进行反向补偿。

6)输出环节。将经过改进的灰度值投影电子稳像算法进行处理之后所得到的当前帧图像在内存之中的起始地址输出给视频图像输出模块，可以直接通过模拟或数字形式输出稳像后视频，也可以综合视频信息采集模块获取的海拔高度、GPS 和惯导姿态信息，通过SDI 接口发送视频。系统同时支持将稳像后的本地视频保存，以备后期应用［7］。

图4 软件流程图Fig.4 The software flow chart

4 结 语

本文对船舶稳像技术进行了阐述，重点对灰度投影稳像算法进行了研究。为了克服传统的灰度投影稳像算法缺点，在传统算法的基础上提出了3 点改进优化的方法，可以有效提高灰度投影实时稳像算法的精度。之后本文设计了基于TI 双核处理器DSP VC5421 的舰船嵌入式稳像系统，采用优化的灰度投影实时稳像算法，对船舶摄像平台上的抖动视频进行实时稳像操作，输出稳定的视频图像。

［1］ZHOU Yu-bin.Real-time electronic digital image stabilization system based on multi-core computation［C］//The Ninth International Conference on Electronic Measurement ＆Instruments，2009(4):308-314.

［2］周明宇.电子稳像理论研究及DSP 实现［D］. 哈尔滨:哈尔滨工业大学，2012.

［3］张国栋，王明泉，郭栋.基于灰度投影算法的实时电子稳像研究［J］.微电子学与计算机，2010，27(10).ZHANG Guo-dong，WANG Ming-quan，GUO Dong.Research on real time electronic image stabilization based on gray projection algorithm［J］. Microelectronics ＆Computer，2010，27(10).

［4］张宇，黄亚博，焦建彬.一种适用于高分辨率图像的实时电子稳像算法［J］.计算机技术与发展，2009，19(3).ZHANG Yu，HUANG Ya-bo，JIAO Jian-bin. A real time stabilization algorithm for high resolution video［J］.Computer Technology and Development，2009，19(3).

［5］赵天云，郭雷，余博.基于灰度投影的快速电子稳像算法［J］.微电子学与计算机，2008，25(11).ZHAO Tian-yun，GUO Lei，YU Bo. Fast digital image stabilization algorithm based on gray projection［J］.Microelectronics ＆ Computer，2008，25(11).

［6］梁小龙.基于DSP 的嵌入式电子稳像技术研究［D］.哈尔滨:哈尔滨工程大学，2012.

［7］范华春，王钰，许大浦.车载实时视频稳像系统研究与设计［J］.计算机测量与控制，2007(7):922 -924.FAN Hua-chun，WANG Yu，XU Da-pu. Research and design of vehicle-borne real time video image stabilized system［J］. Computer Measurement ＆ Control，2007(7):922 -924.

［8］龚卫国，王小立，李正浩.一种特征匹配的高精度电子稳像方法［J］.计算机应用研究，2010，27(7):2751 -2753.GONG Wei-guo，WANG Xiao-li，LI Zheng-hao. Highaccuracy electronic image stabilization method using feature matching［J］.Application Research of Computers，2010，27(7):2751 -2753.