尚宪刚 董 军 张兆臣* 李发权
扁平足是足部的一种多发病,给人们的生活和健康带来极大的困扰。据资料统计,目前扁平足患者的数量呈现上升的趋势,在青少年中占25%~49%。因此,寻找出一种合适的检测方法意义重大。目前,常见的扁平足测量方法有目测法、X射线片测量法和印迹法(足印法)等[1-5]。但以往的方法操作不方便、设备要求高、误差大、数据不易保存以及价格昂贵等,不适用于普查检测。为此,提出一种基于足印影像关键点的扁平足检测新方法。此方法依据足印法进行设计,包括足印影像采集、图像预处理、关键点的提取和参数计算4步骤。①图像采集:即通过采集装置采集足部影像;②图像预处理:将采集到的足部图像进行噪声滤除;③关键点的提取:在获得的二值图像中提取需要关键点;④参数计算:利用提取的关键点采用比值法进行计算,利用获得的数值进行扁平足的判断。扁平足自动检测的总体流程如图1所示。
图1 足印影像关键点扁平足检测总体流程
图像获取装置[6]是一个内部装有8个灯管,上方为玻璃板的灯箱。灯箱前侧有阶梯,被测者通过阶梯站在玻璃板上,采用安置在灯箱内部的摄像机捕获图像。可以使用滑轮调整摄像头高度,摄像机捕获的图像通过USB接口传入计算机(如图2所示)。
图2 图像采集装置
图像预处理包括两部分内容:①在含有足印的影像中将无用信息去除,即背景去除;②足部图像的预处理,对获得的足印影像进行有用信息的增强和噪声干扰的去除,即对滤波和对比度扩展,为后续的关键点提取做好准备。
由于在采集的图像中足部影像只占整幅图像的一部分,图像中的背景如采集装置摄像视野内的边框、足部与边框之间的空隙部分会对足印影像的关键点提取造成干扰,这就要求在采集的影像中去除图像的背景部分。
背景去除过程采用了区域扫描的方法。具体算法有3个过程:①模板图像边缘提取,获得较为清晰的该模版的边缘图像信息;②对此模版边缘图像进行扫描,获得其边缘像素点的坐标;③对原足印图像逐点扫描并和模版的边缘坐标进行比较筛选,达到去除背景的效果,其算法步骤如下。
(1)从上至下逐行扫描边缘图像。
(2)若出现f(i,j)=1(i表示行,j表示列,f(i,j)表示像素点的取值),则令y1=i,保存i的值(即边缘图像的最高点),并退出扫描,否则转Step1继续扫描。
(3)从下至上逐行扫描边缘图像。
(4)若出现f(i,j)=1,则令y2=i,保存i的值(即边缘图像的最低点),并退出扫描,否则,转Step3继续扫描。
(5)按照i从y1到y2,j从左到右的方向逐行扫描图像,若出现f(i,j)=1,则令a(i)=j,保存j的值,并转入下一行继续扫描,直至到第y2行结束。
(6)按照i从y1到y2,j从中间往左的方向逐行扫描图像,若出现f(i,j)=1,则令b(i)=j,保存j的值,并转入下一行继续扫描,直至到第y2行结束;
(7)逐点扫描原始图像,如果y1<i<y2且a(i)<j<b(i),则f(i,j)不变,否则令f(i,j)=0,直至扫描完整个图像。
在去除采集图像的背景的基础上,将通过图像的预处理来进一步突出有效部位。这部分处理在灰度图像中进行,对去除背景后的图像进行线性对比度扩展,即将图像的动态范围扩展至[0,255],突出与灯箱底部接触的足印部分。
线性扩展采用公式(1):
对比度扩展后的足部影像含有噪声,导致提取边缘时带来误差,这对后续的关键点的提取将造成困难,因此需要通过中值滤波对图像进行滤波处理。中值滤波是一种基于排序理论的非线性平滑滤波器,对于某些类型的随机噪声具有极佳的降噪能力,典型的应用就是消除椒盐噪声[7]。以3×3二维中值滤波为例,要对像素点A进行滤波,则选择与A相邻的8个点,与A组成3×3的矩阵;然后先对此矩阵逐行进行排序,再逐列进行排序,用得到的中间像素点的值来覆盖原来的值,即完成了对中间像素点的滤波。对每个像素点重复此步骤则完成了整个图像的中值滤波。
对经过背景分离和对比度扩展的图像分别采用3×3、5×5及7×7方形窗口进行反复测试,对提取的足印影像采用7×7的二维中值滤波器对此图像进行噪声滤除操作后效果最佳。故在此步骤中采用7×7方形窗口作为滤波器窗口。
在经过背景去除和预处理所得到增强的足部图像后,可进行关键点的提取。关键点的提取是为了在足印影像的边缘中寻找出用于结果计算的有效点。整个提取过程包括足印影像提取与修整和关键点提取两个步骤。首先对足部影像进行二值化处理,以分离出与灯箱底部接触的足印部分。在足部影像中灰度分布呈明显的双峰形态,而且双峰所对应的足印和非接触部分具有明显的灰度差别,因此采用固定阈值的方法作为二值化手段。二值化后的足印影像周边会有毛刺,内部可能会出现孔洞,影响关键点的提取,通过二值图像的修整加以去除,对处理过的图像进行边缘提取,并需要对获得的二值图像进行修整。
经过前两部处理的足部图像包括足印影像和足部非接触部分图像。足印影像提取主要目的是去除足部图像的多余部分,保留足印部分。由于足印部分的亮度值远高于足部非接触部分,足印的提取主要采用了阈值法[8]。在提取的过程中需要选择一个合适的阈值来实现两部分图像的分离(将大于阈值的足印部分变为0,小于此阈值则设为255)。通过统计多幅足印影像的直方图特征可知,阈值选择为0.44时可有效,可完整地提取足印影像。
提取出的足印影像中,边缘曲线上的毛刺内部的小孔洞会影响关键点的提取,需要进行修整,即进行膨胀和腐蚀操作。
膨胀和腐蚀是图像形态学中的两个问题。
(1)膨胀的作用是将与物体接触的所有背景点合并到物体中使目标增大,可填补目标中的空洞。膨胀的具体操作是:用一个结构元素(3×3的矩阵)扫描图像中的每一个像素,用结构元素中的每一个像素与其覆盖的像素做“或”操作,从而得到新的图像。
(2)腐蚀的作用是消除物体边界点而使目标缩小,可以消除小于结构元素的噪声点。腐蚀的具体操作和膨胀类似,只需将“或”操作改为“与”操作,其余相同。二值图像的膨胀和腐蚀往往重复操作且配对使用。通过腐蚀和膨胀操作可有效地去除足印图像的边缘毛刺和内部小的孔洞,消除在下一步关键点提取中的干扰。选择SE为元素全为1的3×3的矩阵(即8邻域),对原二值图像进行2次膨胀,2次腐蚀操作。
关键点的提取首先进行边缘提取。利用边缘提取算子得到的边缘图像可以大幅度的减少数据量,并且剔除不相关信息,保留足印影像重要的结构属性。常用的边缘提取算子有[9-15]:①基于一阶导数的Roberts算子、Sobel算子和Prewitt算子;②基于二阶导数的高斯-拉普拉斯算子;③Canny算子。其中Canny算子的边缘定位精确性和抗噪声能力效果较好,故选用Canny算子进行边缘提取。边缘图像中仍然还有无用信息,会对下一步找关键点带来不便。关键点的提取所需要的有效边缘是接触面积最大的区域(如图3所示)。
所要用到的5个关键点分别是最凹点A,足前部最右点B,足前部最左点C,足后部最右点D,足后部最左点E,用直线BD和CE来近似代替足两侧的切线。5个点中,B、C和E3个点较为方便提取。以此图像竖坐标方向的形心为标准将图像分为上、下两个部分,则上方图像中j值为最大和最小的像素点时即分别为B和C点,下方图像j值为最小的像素点时为E点。在这幅图像中,D点也是方便提取的,但是有些图像的D点会被最凹点右侧的噪声干扰而不易提取。因此选择用下面的方法同时提取A点和D点。
此时的B点和E点的坐标是已知的,选择B为起点,依次检测与B相邻的8个像素点(方向依次为左,左下,下,右下,右,右上,上,左上)是否为边缘上的点,如果是,则保存这个点的坐标,并再以此点为起点继续检测,直至检测到E点结束。这时,从B点往下至E点的有效边缘部分的每个像素点的坐标即被保存,而A点和D点也在其中。选择其中在形心下方的像素点,求出其j为最大值的点—D点。再选择B至D之间的有效边缘,找出其j为最小的点—A点。至此,5个关键点全部得到,其算法步骤如下。
(1)计算边缘图像j值的均值average;
(2)以average为标准,将边缘图像分为上下两部分,找出上部分j为最大值和最小值的像素点,即分别为B和C,找出下部分j为最小值的像素点,即为E。
(3)以B为中心点,分别扫描与B相邻的8个像素点(方向依次是左,左下,下,右下,右,右上,上,左上)的值是否等于1,若f(i,j)=1,则保存此点的坐标,以此点为中心点继续扫描,直至扫描到E点结束,就可以得到B点至E点的完整有效边缘。
(4)选出B点至E点的边缘中i<average的部分,找出其j为最大值的像素点即为D点;
(5)在B点至D点的边缘中,找出其j为最小值的像素点即为A点。
图3 关键点图像
计算A点至两条切线的距离之比,可根据三角形的面积法,分别计算A点至BD边和CE边的高,然后求比值。由于已知的是点的坐标,根据两点间的距离公式(2)可以直接计算出两个三角形6条边的长度。公式(2):
已知三角形3条边,选择用海伦公式来计算三角形的面积。海伦公式(3):
式中的a,b,c是三边长,p是周长的一半,结果计算部分的步骤:①由式(2)计算三角形的各边长;②由式(3)计算三角形的面积S;③由S和对应边的边长得出对应的高,也就是点A到直线BD和CE的距离;④求比值则得出最终结果。
为了证明算法的实用性,利用Matable作为开发平台[16],共采集了61幅图像采用这种方法检测验证。图4~8为其中一幅足印影像的识别过程。
图4 原始图像和背景去除后的图像
图5 对比度扩展后的图像
图6 二值化图像
图7 膨胀和腐蚀后的图像
图8 边缘图像
采用数字图像处理方法,针对足印影像进行采集和检测,提出一种基于足印影像的扁平足检测方法。在足部图像预处理的过程中,充分利用采集图像的位置特性,进行背景的分离,同时进行对比度扩展和滤波,使该过程具有较强的抗干扰性。在关键点提取中,考虑到提取足印影像边缘中的干扰及5个关键点的位置分布的规律性,采用简单而高效的膨胀、腐蚀操作和基于区域提取的方法,提高了检测的准确性。所有算法均在Matable平台实现。实验证明,该方法切实可行,具有较好的足印影像识别效果。
[1]王安利.运动医学[M].北京:人民体育出版社,2008:2.
[2]Tareco JM,Miller NH,MacWilliams BA,et al.Defining flatfoot[J].Foot Ankle Int,1999,20(7):456-460.
[3]Krishan K.Establishing correlation of footprints with body weight-forensic aspects[J].Forensic Sci Int,2008,179(1):63-69.
[4]Shibuya N,Jupiter DC,Ciliberti LJ,et al.Characteristics of adult flatfoot in the United States[J].J Foot Ankle Surg,2010,49(4):363-368.
[5]Telfer S,Woodburn J. The use of 3D surface scanning for the measurement and assessment of the human foot[J].J Foot Ankle Res,2010,3:19.
[6]董军,宫敏,刘夏.自行研制扁平足筛选装置的应用研究[J].中国矫形外科杂志,2011,19(19):1646-1649.
[7]赵高长,张磊,武风波.改进的中值滤波算法在图像去噪中的应用[J].应用光学,2011,32(4):678-682.
[8]潘春雨,卢志刚,秦嘉.基于区域阈值的图像分割方法研究[J].火力与指挥控制,2011,36(1):118-121.
[9]Patricia Melin,Olivia Mendoza,Oscar Castillo.An improved method for edge detection based on interval type-2 fuzzy logic[J].Expert Syst Appl,2010,37(12):8527-8535.
[10]Raman Maini,Himanshu Aqqarwal.Study and Comparison of Various Image Edge Detection Techniques[J].International Journal of Image Proce ssing,2007,23(2-3):299-301.
[11]Tian Jing, Yu Weiyu,Ma. Lihong AntShrink:Ant colony optimization for image shrinkage[J].Pattern Recognition Letters,2010,31(13):1751-1758.
[12]Jae Hun Jung,Sigal Gottlieb,Saeja Oh Kim.Iterative adaptive RBF methods for detection of edges in two-dimensional functions[J].Applied Numerical Mathematics,2011,61(1):77-91.
[13]宗晓萍,徐艳,董江涛.多信息融合的模糊边缘检测技术[J].物理学报,2006,55(7):3223-3228.
[14]陈彦燕,王元庆.常用边缘检测算法的定量比较[J].计算机工程,2008,34(17):202-204.
[15]何文浩,原魁,邹伟.自适应阈值的边缘检测算法及其硬件实现[J].系统工程与电子技术,2009,31(1):233-237.
[16]张德丰.MATLAB数字图像处理[M].北京:机械工业出版社,2009:54-55.