基于DSP和FPGA的全景图像处理系统设计与实现

陆军，高乐，刘涛

（1.哈尔滨工程大学自动化学院，黑龙江哈尔滨150001；2.中国科学院沈阳自动化研究所，辽宁沈阳110000）

全景图像实时处理系统可以获取周围方向上的场景图像，可广泛应用于军事侦察、视频监控、机器人视觉等领域[1]。

对于高分辨率折反射全景图像处理系统，如果按照分辨率为2 048×2 048、帧率为15 f/s、每个像素为8 bit的灰度来计算，相机的数据吞吐量为480 Mb/s。在图像采集、缓存、解算以及显示输出过程中，需要选择合适的算法进行大量的计算，一般单独的处理器组成的嵌入式系统很难完成高分辨、实时性的图像快速采集[2]，因此需采取多个并行嵌入式处理器结构完成折反射全景成像处理[3-4]。

本文利用并行嵌入式处理结构，设计了基于FPGA和DSP的双核全景图像处理系统。主要包括基于FPGA的SDRAM控制器设计以及采用双SDRAM在乒乓模式下轮流存储采集图像的策略，实现了高速全景图像的存储。在FPGA与DSP之间建立合理的握手机制，避免在同一时刻对同一个SDRAM进行读和写；设计了DSP与FPGA通信接口，实现了二者之间的高速数据通信。本系统为后续算法处理提供了更加充足的时间裕度，为高速实时图像处理提供了坚实的基础。

1 全景图像处理系统结构

图1 DSP+FPGA高分辨折反射全景图像处理系统

DSP+FPGA构成的高分辨率折反射全景图像处理系统的结构如图1所示。由Camera Link接口的CCD相机采集的灰度图像数据经过LVDS串并转换芯片转换，在FPGA的控制下，完成图像的采集,通过FPGA进行乒乓缓存操作，64 bit SDRAM控制器完成对缓存器的突发式读写控制，为整个系统提供高速缓存器；FPGA利用DSP的EMIF接口将已经存储的图像数据以DMA方式传送给DSP，DSP接收数据后完成全景图像柱面展开、分割识别等算法；DSP再通过EMIF接口把数据以DMA方式传送回FPGA；利用FPGA把数据写入到缓存器中，最后发送到显示器进行显示。

2 乒乓缓存模式下SDRAM控制器的设计及实现

2.1 SDRAM控制器的结构设计

SDRAM控制器的结构组成包括：系统控制接口模块、命令接口与解析模块、刷新模块、操作信号生成模块、数据通路模块。其中，系统控制接口模块用以接收系统的控制信号从而产生相应的CMD命令组合；命令接口与解析模块用以接收CMD命令解码并生成相应操作指令；操作信号生成模块用以接收操作指令，并根据相关时序生成对SDRAM的操作信号；数据通路模块用以控制数据流的方向以及产生有效的数据输入输出；刷新模块包含在命令接口与解析模块中用以产生刷新以及自动刷新逻辑。

2.1.1 系统控制接口模块

该模块包含初始化进程以及系统指令分析机制。初始化进程要完成对SDRAM器件和SDRAM控制器的初始化，以保持SDRAM控制器与外部SDRAM器件的工作模式匹配[5]。初始化完成后，系统的指令分析机制就可以接收并且分析外部数据、地址、控制信号以及从命令接口与解析模块返回的命令响应信号(CMDACK)，从而以此产生对应的CMD命令和SADDR地址信息给命令接口与解析模块。此外，SADDR是分时复用的，在初始化阶段SADDR用来传输用户设定的工作模式控制字,而正常读写操作中，SADDR又可作为分时复用的地址线传输SDRAM所需要的row、column以及Bank地址。

2.1.2 命令接口与解析模块

此模块对由系统控制接口模块接收到的CMD命令进行判断并解码，其输出就是发送给下一级即操作信号生成模块的操作指令。同一时刻只允许输出一个有效操作指令。该模块中含有模式寄存器用来预设控制器的模式参数，为控制提供具体的依据。

2.1.3 操作信号生成模块

此模块根据命令接口和解析模块发送过来的操作指令，按照SDRAM读写时序规范产生操作动作以及相应的操作信号。程序中，CMD命令WRITEA和READA是实际上隐含了ACTIVE命令的WRITE和READ，它的实际工作过程是：当该模块收到do_write或do_read指令后，其反馈给命令接口及解析模块的CMDACK置为1，表示响应命令标志，同时发出ACTIVE激活操作；紧接着产生一个延时动作，经过初始化时配置规定的CAS Latency延时时间后再进行写或读操作。

2.1.4 数据通路模块

此模块在OE信号控制下，保持数据的输入输出和相应的操作指令在时序上同步，并且根据SDRAM器件的时序参数加入一定的延时以满足宏观的时序符合数据手册的要求。当OE=1时，数据由控制器经过DQ引脚写入SDRAM器件；当OE=0时，数据由SDRAM器件的DQ引脚读入到控制器。

2.2 乒乓缓存模式

将输入数据流通过输入数据选择单元实时地分配到两个数据缓存区。分别利用两组SDRAM作为乒缓存器和乓缓存器，使用“空间换取时间”的方法，使两组缓存器在同一时间分别作为读和写的缓存，达到并行的目的。

在乒状态时，乒乓操作控制器向SDRAM B中写入数据，与此同时从SDRAM A中读取状态交换之前已经存入的数据；在乓状态时，乒乓操作控制器向SDRAM A中写入数据，同时从SDRAM B中读取状态交换之前已经存入的数据，同时乒乓操作控制与其他的采集、算法和显示模块进行数据交换。乒乓缓存结构如图2所示。

图2 FPGA实现乒乓缓存控制结构

2.3 SDRAM控制器实现及时序仿真

SDRAM控制器实现：SDRAM控制模块与FPGA端的SDRAM存储器相连，以FullPage模式从FPGA端的SDRAM存储器中高速读写数据；触发FullPage的REFRESH的命令，既保证数据不丢失，也能保证刷新的完成。在发出FullPage命令以后，必须给出一段空操作的延时或读操作。时序仿真分别如图3、图4、图5所示。

图3 初始化时序图

图4 突发写操作时序图

图5 突发读操作时序图

3 DSP与FPGA的数据通信

为了提高数据传输的吞吐量，DSP与FPGA之间使用DMA方式进行数据传输[6]，每次突发传输一行图像数据，使传输速率最大化。DSP采用EMIF接口，EMIF数据接口可以配置为多种传输方式并且可以DMA传输，而且是无缝接口。由于DSP与FPGA是跨时钟域系统，所以必须利用FPGA做好跨时钟域处理，使用FIFO作为接口进行数据缓存。

FPGA将采集到的数据经过预处理之后以64 bit的数据宽度开始向DSP传送，同时FPGA通过发出脉冲沿触发DSP外部中断管脚来触发DSP的全局中断。全局中断触发EDMA把外部数据传送给DSP内部的RAM，当EDMA（接收）传输完成后，DSP的EDMA传输事件管理器会触发“EDMA传输完成中断”，此时DSP可以进行相应的算法处理并且将处理后的目标数据存放到内部RAM中；然后再触发EDMA（发送）数据传输，通过EMIF数据接口将处理后的数据传回给FPGA。数据流向示意图如图6所示。

图6 数据流向示意图

DSP与FPGA之间传输数据通信速率为100 MHz，传输一行图像数据时间为2.56 μs(传回仍然为2.56 μs)。由于前端每一行数据的采集时间为30.85 μs，留给处理每行数据的算法时间为25.73 μs，因此，在DSP的算法程序必须使用效率更高的线性汇编，才能满足时间冗余度。

4 系统实现及结果

实验采用ALTERA公司的CycloneII系列的EP2C35-F672-8 FPGA以及2片Hynix公司的32 bit SDRAM HY57V283220LTP-7，其中电路板由直流稳压源供电。由2 048×2 048的4百万像素，每秒15帧的Camera Link接口的CCD相机采集得到的灰度图像数据经过LVDS差分串行信号转并行芯片DS90CR288A进行转换，FPGA通过该控制器进行整页突发写操作将图像数据写入到SDRAM A器件中。在乒乓缓存作用下，控制器将进行突发读操作，将SDRAM B中的图像数据通过DMA方式与DSP进行数据交换。DSP接收数据后完成全景图像解算，然后将数据通过DMA方式传送回FPGA,最后再将数据经过LVDS并行转串行转换芯片DS90C385A转换为Camera Link信号，输出到Camera Link接口的液晶显示器上，以1 024×768的分辨率进行实时显示。实验采集的全景图如图7所示。

本文设计了一种基于DSP+FPGA的全景图像处理系统，该系统设计的高效的64 bit SDRAM控制器完成了对缓存器的突发式读写控制，以解决由于高分辨率和高帧率导致的数据传输速率高，以及必须给算法的解算预留足够时间的问题；通过FPGA进行乒乓缓存操作，系统提供了高速缓存器，保证了DSP与FPGA协调地并行工作，解决了某些要求连续不间断的时序要求；设计了用于DSP与FPGA通信的FPGA端接口模块和DSP端接口程序。调试结果表明，系统可以稳定可靠地完成高分辨率全景图像的采集、缓存、处理和显示。

图7 DSP+FPGA折反射全景图像处理系统采集的全景图

[1]NAYAR S K.Catadioptric omnidirectional camera[C].Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Juan.PR：IEEE Press，1997.

[2]陈立栋，张茂军，王炜，等.异构双核的高分辨率折反射全景高速处理系统[J].电子与信息学报，2009，31(4)：822-826.

[3]谭志刚.全景环形成像的嵌入式DSP处理研究[D].杭州：浙江大学，2005.

[4]Yan Luxin，Zhang Tianxu，Zhong Sheng.A DSP+FPGA-based parallel architecture for real-time image processing[C].Proceedings of the 6th World Congress on Intelligent Control and Automation，Dalian，China，Jun．21-23，2006：10022-10025.

[5]曹华，邓彬.使用Verilog实现基于FPGA的SDRAM控制器[J].今日电子，2005(1)：53-55.

[6]李乐，熊志辉，王斌，等.DSP+FPGA折反射全景视频处理系统中双核高速数据通信[J].电子与信息学报，2010，32(3)：649-654.