傅志中, 赵宇飞, 周 宁, 李晓峰, 徐 进
(电子科技大学 通信与信息工程学院, 成都 611731)
基于Matlab图像采集工具箱的图像处理实验平台设计
傅志中, 赵宇飞, 周 宁, 李晓峰, 徐 进
(电子科技大学 通信与信息工程学院, 成都 611731)
基于Matlab的图像采集工具箱,设计了一套集图像采集与处理的图像数据处理软硬件平台。该平台利用Matlab的图像处理与采集函数,实时从图像传感器采集并处理图像数据。较传统的图像处理平台,该实验平台能提供更多的实验项目和实际体验,提高学生的临场实验效果,并使学生专注于图像处理实验项目的创新思路与算法设计过程。
图像处理; 图像采集工具箱; 实验项目; 算法设计; 实验平台设计
数字图像处理技术的迅速发展得益于广泛的应用需求以及数学、电子技术和计算机技术的发展,其理论性和实践性都很强。“百闻不如一见”凸显了图像在人类认知与信息获取方面的重要性。基于理论模型描述进行图像处理算法的教学模式,学生不能深刻地理解、认知图像处理技术内容,不能激发学生对图像处理课程的学习兴趣和对学生创新能力的培养。
Photoshop、Corel draw、美图秀秀等软件,侧重于图像编辑、美化与特效制作,与教材内容切合度较差,不利于学生学习与理解图像处理基本原理及算法。对此,许多教学工作者对图像处理平台和实验项目展开了广泛研究与探索。
自INTEL公司推出OPENCV以来,基于C/C++的图像处理实时应用技术得到了快速发展,使得VC或VS开发环境成为图像处理技术应用的一个重要开发平台。基于VC平台数字图像处理教学实验[1-3],有助于学生通过实验直观地认识和掌握图像处理的原理和用途,但该实验系统对学生的C语言使用熟练程度要求较高,学生容易陷于繁杂的编程工作,而忽略了本该重视的图像处理任务及算法设计问题,不适合于课程教学实验。
MathWorks公司推出的用于算法开发、数据可视化、数据分析以及数值计算的商业数学软件Matlab,在高校和业界都得到了广泛的应用,得到了教育者和业界技术开发人员的高度认可和推崇[4-5]。基于Matlab的图像处理实验软件与实验项目[6-10],为图像处理技术实验开展提供了重要手段,降低了学生对C语言等的实践环节难度,使学生专注于问题发现、问题解决和算法设计过程,提高了学生对课程内容的学习兴趣。但这些实验还是基于Matlab或VC平台环境的软仿真,还仅停留在软件仿真方面,学生没有接触到实际的图像获取与处理系统,缺乏真实的实际体验。
基于DSP或FPGA的图像处理实验[11-13],有助于学生从算法设计到嵌入式系统的应用,但需要耗费学生较多的精力去学习并掌握DSP相关技术或过多的硬件实现细节,不利于学生专注于图像算法设计过程,不利于培养学生在算法设计方面的创新能力。采用LabVIEW和Matlab混合编程模型[14],实现了在线“信号与线性系统”教学的交互性实验。该模型提供了一种较好的图像处理实验平台,但是,由于LabVIEW是基于图形化的编程语言,Matlab编程处于协处理器地位,不利于充分发挥Matlab灵活及强大的数值计算能力。
另外,上述实验平台或项目,侧重在图像复原与重构、图像增强、图像分割、图像编解码及图像分析等内容,缺失数字图像采集等预处理过程。
本实验平台基于Matlab图像采集工具箱,在产学研科研项目研究基础上,开发一套集数字图像采集和处理的图像处理平台。① 为产学研项目提供技术支撑[15],② 为实验教学提供真实、现场的图像处理数据,提升学生的实验临场体验,激发学生在现场发现问题,解决实际问题的能力,加强学生创新能力的培养。
考虑到实验平台的可扩展性和经济性,同时提供图像预处理实验并紧跟业界发展,实验平台拟采用USB摄像头和自制图像成像与图像采集模块相结合的图像采集混合系统结构,满足不同实验经费额度和实验项目需求。
1.1 实验平台架构
该实验平台由图像成像、图像采集和图像处理3个模块构成,实验平台结构如图1所示:
图1 图像处理实验平台硬件结构
图像处理模块内装Matlab软件的通用计算机,完成图像数据的采集与处理,提供实验教学的相关实验项目的软硬件实验环境。
图像成像与采集模块的设计基于两种情况:① 图像成像与采集模块采用USB摄像头,则这两个模块都包含在USB摄像头内部,USB摄像头与图像处理模块直接用USB数据链路连接。② 采用分离的图像成像与图像采集模块方式。
1.2 图像成像模块设计
图像成像模块包括图像传感器、电源管理和图像传输接口和辅助控制电路等单元构成,实时将场景信息转换为电信号并以一定的传输协议传输至图像处理模块。其实现框图如图2所示。辅助控制电路完成模块的基本控制及传输信号驱动,电源管理实现模块的电源电压管理。
图2 图像成像模块结构
图像传感器采用TRUESENSE的KAI0340,该图像传感器在640X480像素分辨率时可达200帧/s,在缩小视场时,最高可达3 400帧/s。图像传输接口由通用的FPGA实现,FPGA采用Lattice公司的非易失性器件LFXP2系列芯片,该型号体积小、功耗低、逻辑及IP资源丰富,完全满足图像成像模块的资源需求。该单元接收来至图像传感器的图像数据,实时将图像数据以CameraLink传输协议进行传输。
1.3 图像采集模块设计
图像采集模块实现将图像成像模块的基于CameraLink传输协议的图像数据流转换为图像处理模块可识别的数据格式,缓存并及时通知图像处理模块。采集卡可以采用货架产品如Siiconsoftware公司的MicroEnable IV VD4-CL图像采集卡,该采集卡可实时采集两路基于CameraLink传输协议的图像数据流,也可基于如PLX公司的PCIe的低成本接口芯片如PEX8114,Lattice的LFXP2系列FPGA芯片和存储器构成,PLX提供了全套的系统开发工具,能快速实现采集卡的开发。图像采集卡模块结构如图3所示。
图3 图像采集卡模块结构
1.4 实验软件结构设计
图像成像模块与图像采集模块连接后,图像成像模块将图像传感器获取的数据实时传输至图像采集模块。此时,需要设计基于Matlab图像采集工具箱的图像采集、处理与显示平台。
图像采集工具箱是Matlab计算环境能力扩展的一个功能集合,其提供了一系列函数,允许用户将各种相机连接至Matlab或Simulink数值计算环境。同时,该工具箱允许用户交互式地检测与配置硬件环境、实现了在线图像处理、硬件触发图像采集、图像后台采集、多相机同步采集等功能。该工具箱对主流的硬件厂家,如USB3 Vision、 GigE Vision等提供了驱动支持。同时,为扩展系统的硬件支持能力,工具箱提供了高级适配器定制能力,使得用户可以将第三方设备连接至工具箱。基于Matlab图像采集工具箱的图像实验平台软件结构如图4所示。
图4 图像实验平台软件结构
其中平台硬件环境是如图1所示的实验平台硬件,图像采集卡驱动动态库是基于采集卡硬件厂商或自制采集卡提供的硬件驱动程序,Matlab的Adapter适配器是连接Matlab图像采集工具箱与硬件厂商驱动的标准适配器接口,以动态库形式供Matlab动态加载或卸载。该动态库基于C++框架,用户可以根据该框架创建适合于任意采集卡硬件的适配动态库软件。通过该适配器,实现了Matlab图像采集工具箱与采集硬件环境的连接。通过Matlab图像采集工具箱提供的丰富函数接口,实时从现场采集图像数据,从而在Matlab或Simulink环境下实现各类图像处理实验项目。
根据图像处理教学任务和创新性实验的需求,本实验平台可支撑的实验项目如表1所示。
表1 平台可支撑的实验项目
根据本文设计的实验平台如图5所示。该平台采用自制的图像成像模块,见图5(a),该模块除传输图像的CameraLink接口外,还有一个串口控制接口,用于控制成像模块的参数。图像采集模块采用商用的图像采集卡IV VD4-CL,插入到通用计算机的图像处理模块,见图5(b)。图像成像模块与图像采集模块之间采用CameraLink电缆连接。
图6是基于该实验平台采集的图像。图6(a)是采集的画报上人物图像,图6(b)是采集标准测试图像。图像采集至Matlab环境中后,可充分利用Matlab强大的数值计算能力,进行相关项目的实验任务。该实验平台达到了设计要求,能支撑表1所列的实验项目。同时,基于该实验平台,也可以开展相关的科研项目。
(a)成像模块(b)插入有采集卡的计算机
图5 实现的图像实验平台
(a)采集的画报图(b)采集的标准测试图
图6 Matlab环境下的采集图像
本实验平台硬件环境由图像成像模块、图像采集模块和图像处理模块3个部分构成。基于不同硬件环境构成的实验平台,其价格存在较大差异,将实验平台分为最小系统和基本系统两类实验平台,其构成类型见表2。用户可根据实验室经费建设额度和拟开展的实验项目,对实验平台硬件环境和进行增减配置。
表2 实验平台构成类型
最小系统由1台通用计算机和1个USB摄像头构成,其需求的经费最少。因为USB摄像头的输出是经过预处理后的图像,所以最小系统不能开展图像预处理类的相关实验项目。
基本系统是在最小系统基础上,增加自制成像模块和图像采集卡。除计算机外,基本系统的成像模块和CameraLink采集卡的自制成本可控制在3 000元以内。由于自制的成像模块能提供图像传感器的原始成像数据,因此,相对于最小系统,可以进行所有实验,满足现有图像处理课程教学的所有实现项目需求。同时,也可用于相关产学研项目的前期研究。最小系统和基本系统的软件实验系统是相同的,没有差异。
本文提出了一种基于Matlab图像采集工具箱的图像处理实验平台。该平台扩展性强,可根据实验室建设经费额度,构建不同成本的图像处理实验平台。也可根据实验项目差异,构建不同结构的实验平台。基于该实验平台开展实验,使得学生能更好地理解相关技术理论,增强学生的动手能力,提高学生的现场实际体验,调动学生的学习积极性和创造性,培养在工程实践中发现问题、解决问题的创新型技术人才。
[1] 邹焕新,周石琳.“数字图像处理”实验教学系统的构建[J].电气电子教学学报,2012,34(6): 48-51.
[2] 印 月. 基于VC++6.0的数字图像处理综合性设计实验[J]. 实验科学与技术, 2011,9(3): 10-11.
[3] 汪 沛. 基于OpenCV库的C语言编程学习方法[J]. 电气电子教学学报, 2012, 34(4): 93-95.
[4] Gonzalez R C, Woods R E, Eddins S L. Digital Image Processing Using Matlab Third Edition[M].阮秋琦等译(数字图像处理Matlab版).北京:电子工业出版社,2013.
[5] 易 婷. 基于图像处理的综合性实验[J]. 电气电子教学学报, 2014(3): 71-73.
[6] 黎 宁,徐晓波,牛 征. Matlab平台下图像处理实验教学软件的实现[J].电气电子教学学报,2001, 23(5):55-58.
[7] 柏 均,闫红梅,张 鸣. Matlab在“数字图像处理”课程教学中的利弊分析[J]. 电气电子教学学报 ,2010,32(4):82-86.
[8] 杜云明,王 全,徐建东.基于Matlab的“数字图像处理”教学[J].电气电子教学学报,2015, 37(4):111-114.
[9] 安 平,王朔中.建立在Matlab平台上的数字图像处理教学实验系统[J].实验室研究与探索,2001(1):61-62.
[10] 吴全玉,刘晓杰,潘玲佼,等.“数字图像处理”课程实验教学研究与探索[J].电气电子教学学报,2016,38(1):121-124.
[11] 鲁亿方,蓝金辉,迟健男.基于DSP的数字图像处理实验的探究[J].实验技术与管理,2014, 31(3):109-113.
[12] 周冬跃,王 博,陈 丽.基于DSP实验平台的“光电图像处理”课程探索[J].电气电子教学学报, 2011,33(1):17-18.
[13] 范哲意,周治国,刘志文.基于FPGA和模型化设计的图像处理实验平台[J].实验室研究与探索, 2013,32(4):63 - 66.
[14] 董 玲,曾 佳,杨晶晶,等.基于LABVIEW和Matlab混合编程的在线信号与线性系统实验[J].实验室研究与探索,2014,33(12):113-116.
[15] 曹江中,戴青云,何家峰.产学研背景下工科院校实验教学的改革探索[J].实验室研究与探索, 2011,30(6):287-290.
Platform Design for Image Processing Experiments Based on Matlab Image Acquisition Toolbox
FU Zhizhong, ZHAO Yufei, ZHOU Ning, LI Xiaofeng, XU Jin
(School of Communication and Information Engineering, University of Electronic Science and Technology of China, Chengdu 611731, China)
Based on Matlab image acquisition toolbox, an image data processing software and hardware platform is proposed in this paper. With the help of Matlab image processing and acquisition functions, real-time image can be captured from the image sensor and processed at once. Compared with the state-of-art image processing platform, the proposed experimental platform can provide more experimental projects and experimental experience, improve the effect of students' on-the-spot experiment, and make students focus on the innovative ideas and algorithm design in processing experiment projects.
image processing; image acquisition toolbox; experiment project; algorithm design; experimental platform design
2016-11-15
国家自然科学基金项目(61075013,61671126)
傅志中(1970-),男,重庆人,博士,副教授,现主要从事信号检测、图像处理与实时实现技术研究及相关教学工作。
Tel.:18010625062; E-mail:fuzz@uestc.edu.cn
TP 334
A
1006-7167(2017)08-0100-04