基于Nios II的光学定位跟踪系统

漆为民，周 俊，张 霞

（江汉大学 物理与信息工程学院，湖北 武汉 430056）

基于Nios II的光学定位跟踪系统

漆为民，周 俊，张 霞

（江汉大学 物理与信息工程学院，湖北 武汉 430056）

介绍了一套由SOPC开发平台构成的定位跟踪系统，该平台核心为Altera的FPGA及内嵌的软核Nios II CPU。系统采用DE2开发板、OV7670数字摄像头以及数字触摸屏实现。该装置操作方便，能进行一定范围内运动物体的光学定位追踪，同时还具备手动式协调定位功能。实验结果表明，该系统功耗低、设计灵活、可拓展性强、能稳定精确地定位被跟踪目标。

光学定位跟踪；FPGA；Nios II；触摸屏

0 引言

传统图像检测一般采用模拟图像、人工判读方式，无法适应目标自动检测、识别、跟踪等问题。随着数字图像分析处理技术的发展与应用，光测图像判读设备的硬件组成越来越简单，性能越来越强大。目前，众多研究者专注于运动目标的自动检测与跟踪定位的有关技术，研发高精度、高可靠性以及自动化的图像判读系统，从而使其在人体运动测量、数字医疗、安防、智能交通、航空航天等领域得到广泛应用。

传统的运动物体定位跟踪检测技术大多依靠PC或DSP实现。PC实现图像处理成本高、体积大、不便于携带，且速度无优势。DSP虽然处理速度快，但其功能和相关参数固定，灵活性不足。采用FPGA配合Nios II软核实现本系统具有较强的优势，关键数据处理及算法可以用HDL在硬件中实现，系统及功能扩展方便，兼顾了处理速度和灵活性，同时具有嵌入式系统固有的低成本、便携的优点；且软件开发周期短，代码可移植，结合用户自定义硬件逻辑，可以并行地完成复杂的图像处理任务，极大地体现了FPGA的优势。对本系统来说，相关组件可以很容易整合，被跟踪运动物体图像数据处理过程中的相关参数可以方便调节，这对于实现不同的性能指标，满足不同条件下的用户需求是很有利的。

1 光学定位跟踪技术

光学测量通常以光学望远镜、摄像机、红外、激光等技术的测量设备对目标进行跟踪测量［1］，具有测量精度高、可获得目标影像、直观性强、可事后复现、不受电磁波干扰的特点。但光学测量的作用距离较近，并受到气候条件的限制。采用激光测量可在一定程度上提高测量距离及精度。

定位跟踪技术最早用于航空航天领域，目前已广泛应用于医疗、安防等领域。光学定位跟踪是目前使用最广泛、精度最高的一种定位方法［2］。光学定位跟踪一般通过摄像机等观察目标，然后根据立体视觉原理重建出目标的空间位置。在需要高精度的场合，常采用激光对目标进行定位。

2 系统架构

本系统主要由FPGA开发板、OV7670数字摄像头以及数字触摸屏构成。FPGA对高清CMOS摄像头采集的视频数据进行存储、分析与处理，获取图像中的指定物体并进行定位锁定，然后通过光源系统跟踪该物体的运动位置，同时可用数字触摸屏的串口数据处理手动协调激光定位，通过VGA显示屏输出，通过数据处理提取出来的相关参数调控舵机与激光探头，实现对运动中被锁定物体的精确跟踪。

系统充分利用了FPGA开发板所配资源，时钟信号由FPGA内嵌的PLL获得。通过特定算法对图像中提取出的相关参数进行运算，调控舵机与激光探头对指定物体实现定位跟踪监测任务。利用数字触摸屏手动操作，辅助协调光学定位。系统结构如图1所示。

图1 系统结构图

3 运动目标检测算法

就国内外已发表的文献看，运动目标检测的算法非常多，本文采用了基于统计模型的目标检测算法。根据贝叶斯理论构造出如下运动估计模型［3］：

其中gk、gk-1表示观察到的序列图像，(m1，m2)表示运动估计值。等式右边分子第一项是条件概率，其物理意义在于：在给定前一帧观察图像gk-1及估计的(m1，m2)情况下，如何更好地解释观察的当前图像gk。第二项是运动场的先验概率，它反映了有关实际运动场的先验知识。

首先利用较简单的算法对运动场进行粗略估计，然后根据马尔科夫（Markov）随机场理论，构造运动场的间断点分布模型，利用此模型来检测运动场间断点，以此来实现运动目标的检测［4］。实验表明这一方法十分有效且运算负担较小，采用Cyclone II系列的FPGA可以实现实时检测。

4 系统硬件方案

本系统采用Altera FPGA以及内含的软核处理器Nios II构建片上可编程系统（SOPC），选用友晶公司的DE2-70作为硬件开发平台，配合OV7670 CMOS摄像头进行视频信号采集，通过对视频图像信号进行处理，再由算法程序控制S3010型号舵机改变激光探头锁定目标以及手动调节串口数字触摸屏的串口数据，调节激光探头方向，实现实时定位被跟踪运动物体的检测，最后由普通的VGA显示器或彩色液晶显示屏进行输出。FPGA主要完成对CMOS摄像头和S3010舵机的控制、数字触摸屏的串口数据传输处理、Bayer Pattern到RGB的转换、物体定位、运动物体跟踪检测、参数提取、串口数据调试传输和VGA输出等工作，其中Nios II构建的SOPC系统完成视频信号到SDRAM的存储与处理并控制显示输出。光学定位跟踪系统硬件组成见图2。

图2 系统硬件组成

4.1 图像采集和存储子模块

为实现实时跟踪运动物体，必须要保证视频显示的流畅性和质量，摄像头产生图像的分辨率及帧率也应达到一定的要求，且摄像头产生的图像质量要好，要求具备较好的感光性能［5］。所以本系统采用摄像头型号为OV7670的CMOS摄像头图像处理方法，设置分辨率为320×240，输出为16位Bayer Pattern颜色值，转换为10位RGB图像数据存储，VGA显示分辨率设置为640× 480，场频60 Hz。

数字摄像头传输过来的图像数据首先经过摄像头自带缓存，再通过缓存中的图像数据存入DE2开发板的SDRAM中。FPGA将在SDRAM中对图像数据进行处理。

4.2 核心处理子模块

本系统使用友晶公司的DE2开发平台，该平台有丰富的外围设备接口，采用Altera公司的EP2C35F672C6芯片。系统使用SOPC技术，利用了FPGA可重复编程的特性，嵌入了NiosⅡ软核处理器，系统程序和运行数据均存放在SRAM里。这种设计增强了系统的灵活性和完整性，缩短了前期开发周期，提高了设计效率，具有良好的可扩展性和可升级性，且价格低廉，具有极强的市场竞争力。

4.3 图像数据显示处理子模块

系统基于FPGA配合Nios II实现图像数据处理。图像的关键数据处理及算法可用HDL在硬件中实现，系统功能方便扩展，兼顾了处理速度和灵活性。采用HDL和C语言编程，使得整个系统具有较短的开发周期，代码可移植。结合用户自定义硬件逻辑，可完成复杂的图像处理任务。

4.4 光学定位跟踪子模块

本模块利用光源系统对指定物体进行定位跟踪。由于小光斑激光探头具有强抗干扰性、高稳定性、抑制浪涌电流及缓启动等特点，以其为定位光源效果较理想。使用的舵机型号为S3010，具有反应速度快、无反应区范围小、定位精度高、抗干扰能力强等优点。两者配合组成光学定位跟踪模块，可以实现光源系统在摄像头所摄范围内的任意一点定位跟踪测试［6-7］。

4.5 系统硬件配置

本系统的硬件配置采用了多个IP核的共同协调工作（见图3）。首先需搭建基本的CPU处理器及其他通用外设，再加入本系统所需要的一些针对性的IP核。如DMA控制器用于图像采集的大量数据搬运工作；Character Buffer IP核用于在VGA显示屏的图像背景上添加字符；Scaler IP核用于对图像像素的扩大与缩小处理等。各种IP的搭配构成了本系统。

图3 系统的硬件配置图

FPGA中模块采用Verlog HDL语言以及SOPC Builder定制实现，SOPC Builder能根据定制结果自动生成针对特定硬件环境的C语言和汇编语言的头文件以及HAL函数库，通过调用HAL函数，可以不必去过多地关心硬件底层构架。Altera提供了丰富的IP模块资源，可以使设计更为快捷。SOPC Builder中提供的各IP模块以及软核CPU通过Avalon总线连接。

5 设计描述

5.1 图像输出显示

图像采集模块的主要功能是依据OV7670采集产生图像的时序，设计相应的接收程序。图像采集模块还应考虑系统的可控性和如何将数据存入SDRAM，方便进行处理。VGA的数据输出基本时序如图4所示。

图4 VGA输出时序图

图4中水平时序HSync和垂直时序VSync由高电平变为低电平且需经过0.607 ms（Back Porch）后，视频信号才可有效传输，且传输数据需满足Top/Left Border→Addressable Video→Bot⁃tom/Right Border的时序要求。再经过0.026 ms（Front Porch）后，水平和垂直时序才可变为下一次高电平。

由于显示输出时需要从SDRAM连续读取数据，而输出数据又要满足VGA的时序要求，为此应按Avalon ST总线封装设计显示控制模块。

5.2 图像信号转换

摄像头传来的信号为Bayer Pattern形式，如图5所示，必须经过一些转换才能供普通VGA显示输出。由于要送入VGA显示的数据是一行一行地读，系统通过Quartus II所带的Shift_Register核，构建出Pixel_Buffer进行缓存操作，实现了两行数据对应位依次同时输出，这样就能解决RGB数据获得的问题［8］。

图5 Bayer模式转换方法

在有些图像处理中，选用YCbCr的图像格式更合适。其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。人的肉眼对视频的Y分量更敏感，因此在通过对色度分量进行子采样来减少色度分量后，肉眼将基本察觉不到图像质量的变化。主要的子采样格式有YCbCr 4∶2∶0、YCbCr 4∶2∶2、YCbCr 4∶4∶4和YCbCr 4∶1∶1。

转换公式如下：

用HDL语言描述如下：

5.3 运动物体图像显示处理

摄像头实时输入的图像数据可显示在VGA显示屏上。由于对VGA显示屏有分屏处理，必须在图像数据的传输过程中对图像像素进行裁剪与添加。摄像头输出的图像像素是320×240，但是显示在VGA上的图像中的摄像头部分是320× 480。因此必须对摄像头输入进来的图像像素通过Scaler IP将图像像素的纵向扩大为320×480（见图6）。为使VGA以最佳效果显示图像，需让VGA一半的空间显示摄像头获取的画面，另一半则显示操作界面和系统信息，这部分不需要实时刷新，在保证最佳的显示效果的同时也节约系统资源。为了让两边的画面匹配，右侧的静态画面的分辨率也设置为360×240，这样，当前画面的分辨率为640×240。

图6 Scaler IP核结构

5.4 系统界面

通过软件编程让640×480的液晶显示屏分左右两屏。在显示过程中，首先对屏幕进行清屏处理，然后在显示屏上显示初始化二分屏图像。方显示输出图像，右方显示跟踪对象像素坐标，最后通过摄像头视频输入，让液晶屏实时显现视频图像。效果展示如图7所示。

图7 图形化界面

同时系统还扩展了800×600的数字触摸屏，在触摸屏上虚拟出一些多功能按键，从而使用户更易于操作。

6 结语

本文详细讨论了基于Nios II的光学定位跟踪系统设计方案。该系统采用FPGA开发，扩展功能强，硬件设计灵活，由于大量地使用Altera提供的IP Core，大大缩短了开发时间。各个子系统模块的控制器都集中在一片FPGA中，使得系统具有较高的可靠性，同时也降低了成本。该系统跟踪精度高、实时性好，在舞台人员报幕跟踪、家庭安保等实际应用领域中取得较好效果。

［1］ 何照才.光学测量系统［M］.北京：国防工业出版社，2002.

［2］ 孙九爱.计算机辅助外科手术中被动式多眼定位器的研究［D］.上海：上海交通大学，2001.

［3］ 魏波.点时空约束图像目标跟踪理论与实时实现技术研究［D］.成都：电子科技大学，2000.

［4］ 马颂德，张正友.计算机视觉：计算理论与算法基础［M］.北京：科学出版社，1998.

［5］ Rosin P L，Ellis T J.Image difference threshold strate⁃gies and shadow detection［C］//BMVC’95 Proceedings of the 1995 British Conference on Machine Vision，Bir⁃mingham，1995：347-356.

［6］ Okada R，Shirai Y，Miura J.Object tracking based on optical flow and depth［C］//Proceedings of International Conference on Multisensor Fusion and Integration for In⁃telligent Systems，1996：565-571.

［7］ Tsaig Y，Averbuch A.Automatic segmentation of mov⁃ing objects in video sequences：a region labeling ap⁃proach［J］.IEEE Transactions on Circuits and Systems for Video Technology，2002，12（7）：597-612.

［8］ Zhu S，Ma K K.A new diamond search algorithm for fast block-matching motion estimation［J］.IEEE Trans⁃actions on Image Processing，2000，9（2）：287-290.

Optical Orientating and Tracking System Based on Nios II

QI Wei-min，ZHOU Jun，ZHANG Xia
（School of Physics and Information Engineering，Jianghan University，Wuhan 430056，Hubei，China）

Introduces a optical orientating and tracking system based on SOPC platform，the core of the platform consist of FPGA of Altera and embedded Nios II CPU.The system adopts DE2 development board，OV7670 digital camera and digital touch screen.It is easy for operating and can automatically locate and track the moving object in a certain range.It also can be adjusted with manu⁃al operating.Experiment shows it has low power consumption，flexibility，expansibility，and it can locate and track targets steadily and accurately.

optical orientating and tracking；FPGA；Nios II；touch screen

TP273

：A

：1673-0143（2013）02-0018-05

（责任编辑：曾 婷）

2012－12－25

武汉市教育局教研项目（2011055）

漆为民（1975—），男，副教授，硕士，研究方向：嵌入式系统。