仿真假体视觉下的拼图任务研究

赵瑛　翟璐　耿秀琳　谷宇

摘 要： 为了研究视觉假体佩戴者完成拼图任务时所需时间与原始图像复杂度、被试性别、光幻视的分辨率以及是否能够识别实验图片之间的关系，借助计算机编程技术，将仿真假体视觉下的拼图任务呈现给视力正常的被试者，并在实验过程中调整实验图片的复杂度（分为简单，中等，复杂三组）和不同的仿真光幻视的分辨率（16×16，24×24，32×32，48×48，64×64，128×128六个分辨率）等参数。实验结果表明，中等难度组的实验用时最多，从简单组到中等难度组识别时间有增长的趋势，从中等难度组到复杂组，识别时间有减少的趋势。男性的平均识别情况好于女性，且随着分辨率的增加，用时整体呈现减少的趋势。

关键词： 图像处理； 视觉假体； 拼图任务； 图像复杂度

中图分类号： TN911?34； R318.6； R318.18 文献标识码： A 文章编号： 1004?373X（2017）20?0104?04

Abstract： In order to study the relationships among the needing time when the visual prosthesis wearer conducts jigsaw task， original image complexity， gender of the tested staff and resolution of pseudopsy， and whether experiment images can be recognized， the jigsaw task in visual prosthesis simulation is presented to the testee with normal eyesight by means of computer programming technique. The parameters are adjusted in the experiment process， including the low， medium and high complexities of the experiment images and resolutions （16×16， 24×24， 32×32， 48×48， 64×64， 128×128） of the simulated pseudopsy. The experimental results show that the experiment with medium complexity consumes the longest time； the recognition time from the low complexity to medium complexity presents the trend of increase； the recognition time from the medium complexity to high complexity presents the trend of decrease； the average recognition effect for male is better than that for female； the whole time consumption appears the trend of decrease while the resolution is increasing.

Keywords： image processing； visual prosthesis； jigsaw task； image complexity

人们接受的外部信息超过70%是来源于视觉[1]，视觉早已成为了人们认识和理解客观世界的前提和基础，并且能够帮助人们进行日常的生活。然而，对于老化、疾病、意外事故等原因造成的视力下降目前仍缺乏有效的治疗措施。科学家们在人工耳蜗的研制和应用中找到了灵感，开发出一种植入式电子装置来帮助盲人恢复视力，这就是视觉假体[1?8]。在本文中，借助计算机编程技术，模拟了假体视觉下的视觉效果，邀请被试完成一系列的拼图实验。并在实验中调整一些参数，研究这些参数对任务完成时间的影响。

1 实验准备工作

1.1 实验平台

一台Dell台式电脑（型号：OptiPlex7010，Intel[?] Core（TM） i5?3470 CPU@3.20 GHz）；一个双头转接口（DVI?VGA）；一台头戴式显示器（800×600解析度，48万像素，18位元色阶显示，单色显示频率120 Hz，可提供最大40°对角的真实视野），录音软件（GoldWave），鼠标，键盘，耳机。实验平台示意图见图1。

1.2 实验场所

准备一间安静且明亮度较为舒适的房间作为实验场所。

1.3 筛选被试

本次实验被试均筛选自视觉正常的在校大学生，共4名（男女各2名），其接触过拼图游戏但并不熟悉拼图规律，且之前未接触过仿真假体视觉类的行为学实验。

1.4 复杂度分类

关于图像的复杂度分类[9]，国内外学者对其早有研究，这些研究也因研究的目的不同而有所侧重。针对图像数据本身的特点及拼图任务实验的特点，并综合考虑灰度级出现情况（由信息熵表示）、像素分布（由边缘比例表示）及灰度空间复杂性（由能量、惯性矩和相关性表示）三个因素对本文实验图片进行了复杂度分类[10]。

（1） 灰度级出现情况。其中灰度级反映的是图像灰度级的个数以及每个灰度级像素的出现情况，具体对应于广义集合内部状态的复杂度，可由信息熵这个量来描述[11]。信息熵H的计算公式为：

式中，C为广义集合内部状态复杂度。从广义集合引出的N個个体的复杂度和从信息论中引入的一次抽样时得到的信息熵是成正比例关系的两个物理量，其比例系数是个体总数N。对应图像的信息熵，N为灰度级的个数，ni为每个灰度级出现的个数。实验素材如图2所示。

（2） 像素分布。目标对象的出现情况主要反映图像中目标个数的多少，其可以直接反映图像的复杂程度。如果目标个数较多，则该图像一般比较复杂，反之亦然。图像中对象的出现情况，可以用边缘比率来描述，因为边缘是目标的显著特征[13]。边缘比率R的计算为：

[R=PedgeM×N]

式中：M和N分别为图像的行数和列数；Pedge为图像中边缘像素的个数。图像中目标的边缘表现为图像灰度显著变化的地方，可以由差分算法来求得，一般通过边缘检测算子即可求出图像中边缘像素的个数。图像中对应目标边缘的多少可以直接用来反映图像中目标物的多少及其复杂程度，因此可以用来描述图像的复杂程度。但是此方法易受噪声和边缘检测算法提取边缘准確程度的影响。

在求取边缘像素个数之前，需要进行边缘提取，本文选取的是经典的索贝尔算子（Sobel operator）进行边缘提取，如图3所示。在技术上，它是一离散性差分算子，用来运算图像灰度的近似值。在图像的任何一点使用此算子，将会产生对应的灰度矢量或是其法矢量。该算子包含两组3×3的矩阵，分别为横向及纵向，将之与图像作平面卷积，然后选取合适的阈值以提取边缘，采用3×3邻域可以避免在像素之间内插点上计算梯度。Sobel算子也是一种梯度幅值，即：

公式中的偏导数Sx和Sy可以用卷积模板来实现。Sobel算子根据像素点上下、左右邻点灰度加权差，在边缘处达到极值这一现象检测边缘。对噪声具有平滑作用，提供较为精确的边缘方向信息，边缘定位精度不够高。当对精度要求不是很高时，是一种较为常用的边缘检测方法。

（3） 灰度空间复杂性。灰度的空间分布是图像特有的，对于二维图像而言，涉及到空间位置关系是不可避免的。由于灰度分布规律可以反映图像中各灰度级像素的空间分布情况，因此可以用于描述图像中灰度斑块的大小和多少及其空间分布状态。从另外一个角度来说，灰度的空间分布状况也能用来描述图像的相关性和对称性等，具体可以反映灰度分布是集中还是分散，灰度一致性怎样，是否存在重复性，对称性如何等。

对于灰度空间复杂性的描述，选取惯性矩和纹理特征这两个量来表述，其中纹理特征又可以用能量和相关性这两个物理量来表示。图像的纹理计算方法有很多种，其中基于灰度共生矩阵提取纹理特征的方法是一个经典的统计分析方法，也是目前公认的一种图像纹理分析方法[12]。本文中图像的特征主要由灰度共生矩阵来进行统计分析，用以描述图像的整体复杂度和灰度的空间分布情况。能量是一种表示灰度分布一致性的统计量，是图像灰度分布均匀性的度量。当灰度共生矩阵中图像的灰度分布比较均匀时，此时元素p（i，j）分布较集中于主对角线附近。从图像整体看纹理较细，J值相应较大；反之，J值较小。能量的公式为：

在这5个量中，前2个影响因素（信息熵和边缘比率）对于图像复杂度而言为正相关因素，而后3个影响因素（能量、相关性和惯性矩）对于图像复杂度而言为负相关影响因素。所以当算出一个图片的信息熵及边缘比率后以加权值为1相加，当计算出图像的能量、相关性和惯性矩时，则以-1为加权值。将5个量求加权和，就得到了图像复杂度值，将复杂度为0～3的图像分到简单组，复杂度值在3～6的分到中等组，复杂度值在6以上的分到复杂组。图像复杂度分类数据表见表1。

1.5 图像处理

图像处理的过程主要是对分类后的图像进行低像素化处理。将分组后的图片，每组分别匹配16×16，24×24，32×32，48×48，64×64，128×128的方形光幻视模版。模版编写时，保证点的大小不改变，仅改变点间距，即仅使模版的点密度发生变化。图4为简单组的图案匹配完模版后的示意图，匹配完模版后的3组图像就是最后的实验用图。

2 实验过程

2.1 预实验部分

请2名被试（1男1女），在实验环境下，先统计被试对实验图片的识别程度。实验前让被试练习两次拼图（与实际实验环境完全相同，所用图片为光幻视效果，但与实验用图不同）。然后，分别在简单组、中等组、复杂组进行实验，并注意每次的时间间隔，防止学习效应产生，统计被试完成任务的时间。根据预实验来调整实验计划，准备开始正式实验。

2.2 正式实验

4名被试（2男2女）每人在实验平台下，在3个实验图片组（简单组、中等组、复杂组）内分别完成各分辨率下的拼图实验。由实验员利用计时软件记录完成任务的时间，每一组实验都是从低分辨率开始，严格按照分辨率从低到高进行实验。实验过程全程由录音软件记录，当被试准备好后，语音示意实验员实验开始，实验过程中被试通过键盘上下左右四个键进行操作。实验界面里有一个3×3块的拼图模块，如图5所示，左边为原图，右边为模块，操作模块中有8块图案正常显示，1块为空白，用于移动其他图案块。实验开始时由实验员点击界面上方相应按钮选择实验图片，开始实验。当被试认为完成任务时，自行点击界面上的对应判别按钮，若拼图正确，空白的一块将自动填充，复原完整的实验图，否则提示错误，继续计时。当程序确认任务完成时，实验员提示实验结束。

在实验开始之前，所有被试先以预实验图片进行拼图练习，当实验过程熟练后，再开始正式的实验。在实验过程中，为了避免学习效应，同一个被试每次的实验图片均不相同。且除第一次实验前，其他时间不再预留时间给被试进行实验环境的熟悉。

3 实验结果及讨论

本文所述实验主要通过统计完成任务的时间来探究在仿真假体视觉下，完成拼图这一行为学任务和图像复杂度、受试者性别、实验图像的识别程度以及模板分辨率之间的关系。在实验结束后，将实验平台中的头戴式显示器换成笔记本电脑，利用眼动仪监测了实验中被试的眼动轨迹。

从图6中可看出每个被试都是在中等复杂度的图像组中，完成任务所需的时间最长，从简单组到中等组，完成任务的时间有增加的趋势，而从中等难度组到复杂组，完成任务的时间整体有所降低。图中的数据均为多次实验取平均值得出，以1号被试为例，一号被试在简单组的完成任务时间，由该被试在简单组的所有分辨率下的实验完成时间取平均值得到，其余数据同理。

图7描述了随着分辨率的变化，完成任务的时间的情况。图中的数据由4个被试取平均值得到，从图中可以看出随着分辨率的增加，完成任务所需的时间先是减少，在达到48×48后，有所增加。但是总体的趋势是，随着分辨率的提高，完成任务所需的时间是在减少的。

实验数据表明，男性被试完成一个实验的平均时间为115 s，女性被试平均需要154 s，经显著性检验具备显著性差异（P<0.05），说明女性被试完成任务所需要的平均时间比男性被试明显多。在实验中发现，当被试者能够识别实验图像时，平均的识别时间为203 s。当由于分辨率过低等原因不能识别实验图像时，完成任务的平均时间为300 s。证明能够正确识别实验图像对于完成拼图任务，是有帮助的。在后期的眼动仪实验中，发现被试在实验的后半程，眨眼次数较前半程而言较多，这可能是由于疲劳和被试的心理情绪造成的。而出现扫视的情况基本分为两种类型，一种是在拼图界面的左右两个部分之间扫视，第二种是在右边的未复原的9个模块之间扫视，定点注视多发生在拼图界面右边未完成的区域的中心块，及右下角的空白块处。

4 结 语

本文在图像的复杂度分析中主要依据影响比较大的两个因素，信息熵及边缘比率。但是由于在计算过程中各个步骤积累起来的不可避免的误差，加入了能量、惯性矩、相关性这三个影响较小的因素来减小误差，在眼动仪的使用上也还有很大的改进空间，这将在后续的工作中，做进一步的探究。

参考文献

[1] 任秋实.视觉假体的研究进展与面临的挑战[J].生命科学，2009，21（2）：234?240.

[2] NORMANN R A， MAYNARD E M， ROUSCHE P J， et al. A neural interface for a cortical vision prosthesis [J]. Vision research， 1999， 39（15）： 2577?2587.

[3] DOBELLE W H. Artificial vision for the blind by connecting a television camera to the visual cortex [J]. ASAIO journal， 2000， 46（1）： 3?9.

[4] RIZZO J， WYATT J L， LOEWENSTEIN J， et al. Perceptual efficacy of electrical stimulation of human retina with a microelectrode array during short?term surgical trials [J]. Investigative ophthalmology & visual science， 2003， 44（12）： 5362?5369.

[5] HUMAYUN M S， WEILAND J D， FUJII G Y， et al. Visual perception in a blind subject with a chronic microelectronic retinal prosthesis [J]. Vision research， 2003， 43（24）： 2573?2581.

[6] BOYLE J R， MAEDER A J， BOLES W W. Region?of?interest processing for electronic visual prostheses [J]. Journal of electronic imaging， 2008， 17（1）： 1?12.

[7] THOMPSON R， BARNETT G， HUMAYUN M， et al. Facial recognition using simulated prosthetic pixelized vision [J]. Investigative ophthalmology & vision science， 2003， 44（11）： 5035?5042.

[8] ALAN R， LI P， STRICKLAND R N. Image complexity metrics for automatic target recognizers [C]// Proceedings of 1990 Automatic Target Recognition System and Technology Conference. USA： Naval Surface Warfare Center， 1990： 1?17.

[9] 高振宇，杨晓梅，龚剑明，等.图像复杂度描述方法研究[J].中国图象图形学报，2010，15（1）：129?135.

[10] CARDACI M， DI GESU V， PETROU M， et al. On the valuation of images complexity： a fuzzy approach [J]. Fuzzy logic and applications， 2006（3849）： 305?311.

[11] MARIO I， CHACON M， ALMA D， et al. Image complexity measure： a human criterion free approach [C]// Proceedings of 2005 IEEE Annual Meeting of the North American Fuzzy Information Processing Society. Detroit： IEEE， 2005： 241?246.

[12] 冯建辉，杨玉静.基于灰度共生矩阵提取纹理特征图像的研究[J].北京测绘，2007（3）：19?22.

[13] 陈彦燕，王元庆.基于惯性矩的图像融合算法[J].计算机测量与控制，2009（6）：1190?1191.