基于双芯片DM642的Bayer格式图像修复系统

李晓磊，张明明，王磊，陈玉民

（1.河北工业大学电子信息工程学院，天津 300401；2.廊坊职业技术学院电气工程系，河北廊坊 065000；3.河北工业大学电气工程学院，天津 300130）

基于双芯片DM642的Bayer格式图像修复系统

李晓磊1,2，张明明2，王磊2，陈玉民3

（1.河北工业大学电子信息工程学院，天津 300401；2.廊坊职业技术学院电气工程系，河北廊坊 065000；3.河北工业大学电气工程学院，天津 300130）

提出了一种基于数字信号处理器（DM642）和可编程逻辑门阵列（FPGA）架构的Bayer格式图像修复系统，可应用于高速图像采集和实时处理．该系统采用双处理器流水线体系结构，DM642计算出改进的四点像素Bayer格式图像校正参数，FPGA根据校正后的参数对失去的像素进行恢复，再按一定的数据格式打包传给DM642进行双线性插值运算．实验结果表明：该系统修复一幅大小为752×480像素的Bayer图像大约需要15 ms，完全可以满足实时性的要求，解决了采用传统的Bayer图像恢复算法所产生的边界模糊以及局部图像有团块等问题．

DM 642；FPGA；CMOS图像传感器；双线性插值

在煤矿中，为保证安全生产，在各主要部门和生产环节都架设了视频监控系统．以我国最常见的深井综采为例，在地面上，需要将地面变电站、井口人工进口和物料进口等主要部门的生产环节进行实时监控．在综采井底，需要对罐笼人员和物料的出口、井下中央变电站、水泵房、采掘面供配电硐室等重要生产环节进行视频监控．而后将地面和地底所有的监控信号实时传至地面中央集控室，进行统一管理．在各主要环节的视频信号的实时监控是煤矿安全生产的一个主要的保障措施．

高精度图像实时处理技术在机器视觉、通信、医学、雷达成像、红外探测、航天航空等领域得到越来越多的应用．由于图像传输数据量大，数据处理实时性要求高，这就需要运算和处理速度快的中心处理系统．这里提出了一种针对工业质量检测中CMOS传感器Bayer格式图像进行像素修复和转换为RGB格式的图像进行实时处理的解决方案：数据处理模块主要以数字信号处理器（DM642）和可编程逻辑控制器（FPGA）为主要处理芯片，极大地提高了Bayer格式数字图像变换的精度，提高了系统设计的灵活性和运算速度，降低了系统设计和制造成本．

1 Bayer图像格式

市场上所售的CMOS图像传感器大多是由Bayer滤光片组成，该滤光片把外界照射的光信号分解成RGB 3种基色，一个像素点代表一种颜色的亮度．本系统中所使用的CMOS图像传感器，最大能输出752×480 ×8 bit的Bayer图像数据（由于输出图像本身就是数字图像，故无需对图像进行模数转换），Bayer格式图像数据如图1所示，其代表一幅图像的数据量，由纵横排列的小方格表示，其中每个小方格都代表一个像素，并且是3种颜色分量中的一种，奇数行由G、R偶数行由B、G交替进行，通过观察，可以看到含有G分量的绿色像素越多，大约占据总量的一半，而R分量和B分量一共占据了剩下的一半，即红色和蓝色各占了1/4．由于人眼对绿色最敏感，所以绿色像素占的比例稍大．为了得到更加逼真的彩色图像，采用插值方法是一个不错的选择，通过运算可以恢复另外两个丢失的颜色分量，称这种插值方法为彩色插值(Color Interpolation)．在插值方法的选择中，G分量所使用的插值方法作用重大．效率较好的G分量插值法不仅能提高G像素分量的恢复质量，而且也使R和B像素分量的质量恢复的效率大大提高．DM642接口数据总线采用8位，FPGA先将输出的图像数据按每4个像素提取出一个通道数据包，分别取出R、G、G、B 4个通道数据，然后打包后传送给DM642进行双线性插值算法，最后得到的是一片被恢复转换为24位的RGB彩色图像．

图1 Bayer彩色滤光阵列Fig.1Bayer color filtering array

2 Bayer图像处理算法

2.1 Bayer图像数据的传统处理算法

物体被光照射会吸收一定的温度，从而发出不同的光线，此光线既包含了亮度成份又包含了颜色成分．当色温高时，蓝色成分较多，图像偏蓝；相反，色温低时，红色成分较多，图像偏红．因此，物体反映出的色彩会随着照射物体的光线变化而发生变化，从而影响到后期算法处理的结果．此时，需要对数据图像进行像素修正，相关插值算法是经常采用的算法，可以分为以下两类：

1）单通道独立插值算法：红、绿、蓝通道分量值（其中红、绿、蓝的分量值未知）直接由相应的已知像素值进行估算而不考虑它们之间的相关性，如双线性法．由于忽略各通道间的相关性以及边缘区像素的方向性，容易造成一定程度的边缘模糊．

2）信号相关插值算法：考虑多通道的相关性及图像细节而进行插值运算，但算法比较繁琐，需要消耗很多的硬件资源，而且此种算法大都是串行执行，实时处理效果不佳．

针对以上两种算法的不足，采用4点像素修复法．即，将一帧大小为752×480的图像数据按照上下左右4点数据的关系按式(1)进行修正，然后提取出各1/4帧数据大小的r、g1、g2、b四个通道数据进行处理．

2.2 Bayer格式图像的改进处理算法

Bayer图像数据格式的组成中，其图像的一半像素分给G通道的亮度信号，另一半像素分给R通道和B通道的色度信号．所谓格式转换就是将经过彩色滤光阵列（CFA）得到的Bayer格式图像进行像素复原，并转换为24位RGB格式的彩色图像的过程，即是上面提到的彩色插值的过程．如图2所示，修正后的Bayer格式数据采取一种改进的线性插值算法，分两步进行．

1）边缘像素点即图像周围两圈的像素的插值

以上是对左上角第一个2×2区域内的像素处理方法，其它周围两圈像素的求取依此法类推．

2）剩余像素点的插值

即在2x2区域内对相邻对应元素求平均值．

类似于红色分量，也可以得出蓝色分量的计算式．

图2 修正后的Bayer阵列Fig.2Modified Bayer array

图3 系统总体结构图Fig.3Structure of system

3 系统的硬件实现

基于DM642的Bayer格式图像恢复系统由CMOS图像传感器、DM642、FPGA、FLASH存储器、SDRAM可扩展内存和EMAC组成，系统总体结构如图3所示．

该系统是以DM642和FPGA为结构组成的Bayer图像处理系统，工作流程如图4所示．电源开启后，第1步：通过上位机PC网络配置其传感器参数，采集一帧图像原始数据，FPGA将数据传输通道切换到到DM642的VP0口，将数据传递给DM642．DM642对采集出来的第一张图像进行核心算法计算，得出算法参数（公式(1)中的参数矩阵数据）；第2步：通过串行外设接口SPI总线传回FPGA参数配置写入Flash存储器中．系统重新上电后，FPGA按最新算法参数对图像数据进行r、g1、g2、b通道提取数据．这样，利用1/4原始数据帧，就可以重新组成一帧大小为752x480规格的数据包发送到DM642的VP1口．DM642通过增强型直接内存存取(EDMA)完成RGGB 4通道数据的转移；第3步：将各个数据通道分别传到算法线程接口，运行双线性插值算法，将其转换成一帧24位的RGB图像，通过以太网接口按照TCP/IP协议将其传输到上位机进行PC图像实时显示和后续算法的处理．

图4 系统工作流程图Fig.4Flowchart of system

4 实验结果

4.1 传统算法和改进算法处理图像效果的比较

实验使用MT9V024传感器采集Raw格式图像，大小为752×480像素，如图5a）所示．传统的单通道独立插值算法处理图像如图5b）所示．采用改进的双线性插值算法处理图像如图5c）所示．改进算法处理后的图像不但增加了亮度，而且对比度也明显提高，边界也更加突出，避免了使用传统算法处理所出现的红格现象．

4.2 算法实时性分析

在DM642上运行图像处理算法时，为确保数据的准确性，必须使FPGA数据传入的频率是DM642的计算频率的1/2倍（FPGA会同时采集相邻上下两行的数据），以确保图像数据恢复的准确性．以实验所采用的CMOSMT9V024为例，本文选取3幅大小均为752×480的图像，分别用传统的双线性插值算法和改进的双线性插值算法进行恢复，试验结果如表1所示．

图5 两种算法处理图像效果的比较Fig.5Comparison between two methods of image processing

表1 时间比较Tab.1Running time by two methods

显然，改进算法与传统算法相比较，处理速度得到了提高（其处理速度达到60 fps以上）．实验结果表明：改进算法在硬件上的处理速度足以满足实时性的要求．

5 结论

本文提出了基于DM642的Bayer图像恢复系统，FPGA可以高速、实时地对MT9V024 CMOS图像传感器采集的Bayer格式原始图像进行预处理，抽取各像素通道值进行打包发送给DM642，减少了DM642运行改进的双线性插值算法的运算量，整个数据传输处理的准确度和实时性得到了改进，系统开发的周期也变短，该系统已经成功运用到煤矿生产综采视频监控系统中．此外，该系统较容易进行更新和扩展，性价比很高，具有广泛的应用前景．

[1]TMS320DM642 Video/Imaging Fixed-Point Digital Signal Processor（Literature Number：SPRS200J）[R]．Texas Instruments，2005．

[2]黄文增，孙锦杏，蔡政翰，等．高品质和快速彩色影像内插算法之设计[J]．台北科技大学学报，2007，40（2）：13-25．

[3]Vega M，Molina R，Katsaggelos A K．Bayesian Reconstruction of Color Images Acquired with a Single CCD[M]．LNCS：Springer Berlin/ Heidlberg，2005，343-350．

[4]ZhouY，WeiP A．Real-timeImageCorrelatingSpeedometerBasedonFPGAParallelProcessing[J]．OpticalTechnique，2006，32（1）：108-110．

[5]张雄伟，陈亮，徐光辉．DSP芯片的原理与开发应用[M]．北京：电子工业出版社，2004．

[6]徐欣，于红旗，卢启中，等．基于FPGA的嵌入式系统设计[M]．北京：电子工业出版社，2004．

[7]Dierichx B，Meynants G．Missing Pixel Correction Algorithm for Image Sensors．SPIE，1998，34（10）：200-300．

[8]杨莉珺，刘铁根．基于CMOS图像传感器的嵌入式图像采集与格式转化[J]．电子产品世界，2008，6：96-98．

[9]陈春宁，王延杰．基于TMS320DM642 BAYER格式图像色彩复原[D]．长春：中国科学院研究生院，2007．

[10]张变莲．一种基于边缘信息的贝尔模板彩色插值方法[J]．科学技术与工程，2009，9（11）：1671-1819．

[11]MT9V024 1/3-Wide-VGA Digital Image Sensor Table of Contents[R]．Mickon．2009．

[12]卞红雨，纪祥春．TMS320C6000系列DSP的CPU与外设[M]．北京：清华大学出版社，2007．

[责任编辑 代俊秋]

A Bayer image restoration system based on double chips DM642

LI Xiaolei1,2，ZHANG Mingming2，WANG Lei2，CHEN Yumin3

(1.SchoolofElectronicEngineering,HebeiUniversityofTechnology,Tianjin300401,China；2.DepartmentofElectricalEngineering, Langfang Polytechnic Institute,Hebei 065000,China;3.School of Electrical Engineering,Hebei University of Technology,Tianjin 300130,China)

This paper presents a Bayer image restoration system with the architecture of dual-processor pipelines:digital signalprocessor(DSP)and fieldprogrammable gate array(FPGA),which canbe appliedto high-speedimageacquisition and data processing.Firstly,the DM642 executed core processing algorithm and returned it to the FPGA for data preprocessing to recover the lost pixels.Then,an image in a certain format was packaged and transferred to the DM642 for the bilinear interpolation operation.The results showthat the systemcan process a Bayer image of752×480pixels within 15 ms,and can solve traditional problems such as edge blurring and lumps in images.

DM642;FPGA;CMOS Image Sensor;Bi-linear Interpolation

TP338.6

A

1007-2373(2015)04-0018-04

10.14081/j.cnki.hgdxb.2015.04.004

2015-03-10

河北省高等学校科学技术研究项目（ZD2014026）

李晓磊（1983-），男（汉族），助教．

数字出版日期：2015-08-06

数字出版网址：http://www.cnki.net/kcms/detail/13.1208.T.20150906.1535.006.html