基于FPGA 的简易偏振成像系统设计

朱达荣，何 峰，汪方斌，严瑞阳，董必春

（1. 安徽建筑大学 电子与信息工程学院，安徽 合肥 230601；2.安徽建筑大学 机械与电气工程学院，安徽 合肥 230601；3. 安徽建筑大学 建筑机械故障诊断与预警技术实验室，安徽 合肥 230601；4. 安徽省工程机械智能制造重点实验室，安徽 合肥 230601）

与普通彩色图像相比，偏振图像可以获取目标物光波的不同偏振态[1]，可以将目标物表面的物理信息从三维扩展到七维，被广泛应用于目标识别探测[2]、大气环境监测[3]、医学诊断[4]等领域。

传统的简易偏振成像系统由普通彩色相机前加旋转偏振片组成，易因镜头抖动造成误差，同时操作不便，旋转角度的精度也难以保证。Hu 等[5]设计一种偏振图像采集系统，采用单目相机、线性偏振器和四分之一波片搭建，能够在水下浑浊条件下进行图像采集；张志刚等[6]设计一种偏振片阵列，每2×2 单元偏振方向分别设置为0°、45°、90°、135°，与CCD 相机集成，实现单张图像实时记录场景的不同偏振态；Jessica 等[7]设计了一种基于QT 支持的多媒体任务平台下的手持式显微偏振光相机，方便轻巧，实现物体表面细微结构的观测成像。

现场可编程门阵列（Field Programmable Gate Array，FPGA）是可编程阵列（Programmable Logic Array，PLA）和通用阵列（Genericarray Logic，GAL）进一步发展的产物，克服了传统定制电路的缺点，具有可无限编程的灵活性和快速并行处理能力。因此，本文采用偏振分光棱镜，并利用FPGA 的优点，搭建一种简易的偏振成像系统，实现偏振图像数据的实时采集、传输与图像显示。

1 偏振成像原理

本文根据菲涅尔公式[8]理论，采用偏振分光棱镜搭配FPGA 驱动的图像传感器，获取目标物正交状态下的两偏振图像。设计基于FPGA 的偏振图像获取系统，图1 为具体的系统偏振成像原理图。系统核心器件为偏振分光棱镜，所选偏振分光棱镜材质为H-ZF3 型，尺寸为20.0 mm，误差为0.2 mm，消光比大于1000 dB。依据偏振光学的基础理论，任意偏振态的光矢量可分解为两个相互垂直的分量，即平行方向的P分量和垂直方向的S分量[9]。菲涅尔分别研究这两个分量，图2、图3 分别表示从电场强度E垂直、平行入射面的两种情况研究。图2、图3 中标识分别为电场强度的垂直分量Es和相对应的磁场强度的平行分量Hp，其中i表示入射光的光波，r表示反射光的光波，t表示透射光的光波[10]。

图1 系统偏振成像原理图

图2 电场强度E 垂直于入射面

图3 电场强度E 平行于入射面

由光在不同介质面的反射光和透射光的偏振特性可得出菲涅尔公式，公式如下：其中rs表示电场强度的垂直分量的振幅反射比，rp表示电场强度的平行分量的振幅反射比，ts表示电场强度的垂直分量的振幅透射比，tp表示电场强度的平行分量的振幅透射比；n1、n2为介质折射率，θ1为入射角，θ2为折射角。根据菲涅尔反射公式的定义和强度反射率的定义，可推出反射光的P 分量和S 分量的光强反射率表达式[11]如下：

其中n=n2/n1为相对折射率，自然光电矢量的两正交分量光强相等，即Is=Ip。界面反射情况下，两分量的光强反射率不同且没有固定的相位关系，反射光一般为部分偏振光。部分偏振光的偏振度表示如下[12]：

其中Imax和Imin分别为光通过偏振分光棱镜后的光强极大值和极小值。将Imax=IpRp、Imin=IsRs代入上式得：

式中P 表示出射光的平行分量，即图1 中CMOS2摄像头采集的平行方向偏振光强图像；S 表示出射光的垂直分量，即图1 中CMOS1 摄像头采集到垂直方向偏振光强图像。基于公式（8）和采集到的P 分量和S 分量图像，利用matlab 软件进行偏振解析，可得出目标物的偏振度图像。

2 偏振成像系统设计

传统的简易偏振成像系统所需的驱动设备较多，且适用的场景较少，一般仅在实验室条件下进行偏振图像采集。同时，前置旋转台自身的旋转误差以及旋转过程中因镜头抖动造成的误差，都可能造成偏振图像的解析误差。因此，设计了本文简易偏振成像系统，只需USB 数据线连接笔记本电脑，即可实现室内外多场景下的偏振图像采集，同时，偏振方向定标后的偏振分光棱镜可克服偏振方向上的角度误差。

2.1 系统整体模块设计

偏振成像系统由图像传感器模块、数据采集处理模块和上位机显示模块组成，图2 为成像系统的框图。图像传感器模块采用两个OV7725 型CMOS图像传感器，传感器内部的感光序列和A/D 转换器可将图像信息由输入的光信号转换为输出的8 位数字信号，便于数据采集处理模块直接接收。数据采集处理模块接收图像传感器传输的图像数据，通过写操作将其缓存在FIFO 存储器中。数据输出控制模块通过读操作将需要显示的图像数据传输至上位机，上位机根据输出数据显示相应的P 分量图像或S 分量图像。

图4 偏振成像系统框图

2.2 系统工作流程

系统工作状态流程图如图5 所示。系统工作流程：首先上电，运行主程序，判断系统是否处于复位状态。若处于复位状态，给予触发信号，开始图像数据采集。采集到的图像数据写入FIFO 存储器缓存，数据输出控制模块则判断输入的控制信号，根据控制信号从FIFO 存储器中读出需要的图像数据。若为低电平信号，则读取CMOS1 采集的图像数据；若为高电平信号，则读取CMOS2 采集的图像数据。其次，若为CMOS1 采集的图像数据，即为S分量图像，需要进行水平镜像翻转操作。因为两个CMOS 图像传感器的引脚分布完全相同，垂直分布在偏振分光棱镜的两个面，所成像关于竖直方向对称。至此，一帧图像的传输完成，上位机显示模块根据传输过来的图像数据显示并保存图像，断电退出程序。

图5 系统工作状态转移图

2.3 图像数据采集传输

图像数据采集控制包括图像传感器的初始化配置、数据采集处理的配置、数据传输的配置等。FPGA 主芯片通过IIC 协议中的SCLK 和SDATA总线对图像传感器内部寄存器进行初始化配置，以调节分辨率、帧率、自动白平衡、自动曝光、曝光时间等，如本文中调节分辨率为640×480、帧率为30 fps 等参数。图6 为图像传感器与FPGA 的硬件接线图。

图6 CMOS 与FPGA 硬件连接图

数据采集处理配置的主芯片为Cyclone IV 系列的FPGA，内部子模块包括图像数据输出控制模块，通过外加高低电平信号控制输出目标图像；FIFO 读写缓存控制模块，通过读写操作存储并显示目标图像数据。配置采用JTAG 模式，将Quartus环境下编译好的.sof 文件下载到主芯片的内部存储器中运行，此方法的缺点是断电后需要重新下载，主要用于前期调试。程序调试成功后，通过JTAG 模式将编译好的.jic 文件下载到Flash 中，断电后无须重新下载。

数据传输的配置通过USB 驱动控制实现，采用Cypress USB 转换芯片，型号为CY7C68013A。此芯片的GPIF 编程接口可实现完全并行配置，不需要外加逻辑即可通过USB 数据线连接上位机显示模块与FPGA，实现目标图像数据在FPGA 主芯片与上位机之间的实时传输，最高可支持480 Mbps的传输速度。USB 驱动控制模块从数据输出模块接收图像数据，并将其输出给上位机，同时接收上位机传达的指令，工作模式采用协处理器模式，协处理器件Cypress USB 转换芯片主要负责高速数据的传输。图7 为Cypress USB 转换芯片作为协处理器与FPGA 的接线图。

图7 Cypress USB 协处理器与FPGA 接线图

2.4 上位机显示设计

上位机显示模块进行数据采集处理，实现上位机与用户间的信息交互[13]，采用Cypress 官方提供的Windows 平台下的USB 接口驱动程序，通过配置VS 开发环境，将驱动程序进行软件封装用以实现与FPGA 的通信，软件设计语言采用C++语言。本文中图像数据采集开始后，将采集到的图像数据生成图像，并在上位机显示模块中显示。上位机显示模块可读取数据后转换显示格式，图像显示格式可转换为RAW 或RGB 格式。由2.2 节可知，经偏振分光棱镜后，采集的图像关于竖直方向对称，上位机显示模块中可实现图像的水平翻转，保证经偏振解析后图像信息的准确性。图8 为上位机显示界面与FPGA 通讯后采集的图像。

图8 上位机显示界面

3 系统误差分析与标定

系统安装完成后，直接解析两相机获得的图像，解析结果与设计理论值之间会存在一定偏差，因此需对偏振分光棱镜的偏振方向进行标定。

装配过程中两CMOS 图像传感器与偏振分光棱镜的相对位置存在误差，采集同场景图像时，采集的两分量偏振图像之间存在像素的偏移。系统各元件皆为固定装配，像素偏移主要体现在水平和竖直方向上，且偏移量固定，不随场景改变而改变，需对系统进行像素偏移的标定。

受制造工艺限制，偏振分光棱镜实际分光量与理论值可能不符，另外，两CMOS 传感器对同一光强的光强响应不同，因此需对两CMOS 传感器灰度响应一致性进行标定。

3.1 偏振方向的标定

根据马吕斯定律知，强度为I1的偏振光经检偏器后，光强I2满足下式：

式中θ为起偏器与检偏器偏振方向的夹角，若θ=0°，I2最大；若θ=90°，I2最小。根据此特点，设计偏振分光棱镜实际偏振方向的标定实验，标定装置简图如图9 所示。由THQPZ-1 型光偏振实验仪激光器提供光源，将已知偏振方向的偏振片安装在Zolix 公司生产的RAK 100 型高精密电动旋转滑台上作为起偏器，偏振分光棱镜作为检偏器。在0°～360°范围内每5°旋转一次，光源不变的情况下分别采集相应的P 分量和S 分量图像，多次实验计算图像中间同一区域灰度均值，用最小二乘法拟合，结果如图10 所示。根据图中响应峰值，确定实际的偏振方向为：2°、86°。

图9 偏振方向标定装置简图

图10 偏振分光棱镜偏振方向曲线拟合结果

3.2 像素偏移标定

分析像素偏移量的误差，发现两分量图像间的像素偏移主要体现在水平和竖直方向上，且偏移量固定。故像素偏移模型可用下式表示：

式中（xp，yp）表示P 分量图像的像素点坐标，为基准图像；（xs，ys）表示S 分量图像的像素点坐标，为待配准图像；（Δx，Δy）表示S 分量与P 分量在水平和竖直方向上的像素偏移量。为确定像素偏移量，采集不同场景的图像，利用Harris 角点检测算法[14]提取两分量图像中的共同特征点，求解图像特征点相对位置的像素偏移量，在同一条件下多次重复实验求解均值，得到Δx=1.2，Δy=12.3。图像原始像素大小为640×480，经配准后有效像素区域减少，为确保偏振信息计算有效性，结合像素偏移量，求得像素有效区域值如表1 所示：

表1 两分量图像有效像素范围

3.3 灰度响应一致性标定

本文中CMOS 传感器的镜头固定，曝光时间等参数已通过IIC 协议初始化设置，无须逐一标定，只需求出两CMOS 传感器间的响应系数。以P 分量图像为基准，根据下式求出S 分量相对P 分量的灰度响应系数k21。

实验过程采用迈点的双通道光源控制器提供光源，选取图像中心区域计算灰度均值，多次进行实验求均值，求出灰度响应系数k21=1.0 626。

4 实验过程与分析

4.1 实验过程

为验证本文成像系统的实时性和稳定性，利用标定后的系统分别在室内、室外和实验黑屋场景下进行图像采集。以下图11 为室内场景采集的图像，图12 为室外场景采集的图像，图13 为实验黑屋场景采集的图像。

图11 双目采集成像系统采集室内场景图像

图12 双目采集成像系统采集室外场景图像

图13 双目采集成像系统采集黑屋场景图像

图11（a）、图12（a）、图13（a）为CMOS1 图像传感器采集的S 分量图像；图11（b）、图12（b）、图13（b）为CMOS2 图像传感器采集的P 分量图像，图11（c）、图12（c）、图13（c）为S 分量图像和P 分量解析所得的偏振度Pol 图像。

4.2 实验分析

实验过程表明，本文设计的偏振成像系统可以稳定、实时地采集多场景下的S 分量和P 分量的偏振光强图像。基于S 分量和P 分量的偏振光强图解析生成偏振度图像，可以清晰看出目标物的边缘轮廓信息，在保留原有信息的基础上增添细节信息，同时加强了目标物与图像背景的对比度。均方误差（MSE）、平均绝对误差（MAE）值越小，表示与原始图像的偏差越小；峰值信噪比（PSNR）值越大。表示图像的失真越小；结构相似性（SSIM）值越大，表示与原始图像的相似度越高，则图像质量越好。表2 以MSE、PSNR、MAE、SSIM 为评价指标，分析各场景的P 分量图、S 分量图和偏振度Pol 图。从表中可知，解析所得的偏振度图与P 分量图和S 分量图相比MSE、MAE 值明显更小，SSIM、PSNR值明显更大。

表2 各场景图像评价指标值

5 结论

本系统以FPGA 为主控制器、偏振分光棱镜为主光学器件，借助OV7725 型图像传感器采集图像数据、USB 在FPGA 与上位机显示模块之间传输图像数据、上位机显示模块负责实时显示图像，并将控制指令传给FPGA，实现图像显示格式的转变、图像水平翻转等。基于FPGA 的简易偏振成像系统，结合了CMOS 图像传感器的高帧频、FPGA 的并行处理和USB 数据传输的优势，整个系统造价低廉，拍摄条件宽松，经检验，在多场景下均成像稳定。实验过程中获取的图像可以验证本文成像系统的有效性。