手部三模态图像采集系统的设计与实现*

苑玮琦，王黎黎，张宁宁

（沈阳工业大学视觉检测技术研究所，辽宁沈阳 110870）

0 引言

手掌皮下静脉和掌纹具有很好的稳定性和唯一性，自然状态下手掌为半握状态，特征信息不易被获取;手掌掌形特征简单，测量量小，认证速度快 ，可作为静脉和掌纹识别的重要条件。虽然手部指纹特征也具有不变性［2］，但指纹特征极易被窃取。与单一模态系统相比，采用手掌静脉、掌纹和掌形3种模态相结合设计的采集系统优势互补，降低了检测复杂度，能更好地适用于安防、考勤等要求较高安全性的场合，并结合非接触方式采集，避免了疾病的传染。

本文设计了一种在非接触条件下采集手掌静脉、掌纹和掌形三模态图像的采集系统，它为非接触手多模态信息融合识别技术搭建了理想的硬件平台。

分析手部三模态成像原理和特征，设计并选择能够同时清晰获取3种模态特征的图像传感器和镜头，使三幅图像手掌位置不发生改变。配合图像传感器采用可见光与850 nm近红外光补光系统，设计系统光源的均匀性排布和控制电路。拍摄的三模态图像数据通过千兆网线上传到计算机中，通过手限定区域定位功能使手掌限定在可识别的范围内，解决了非接触式手掌位置不固定影响识别的问题。最终，对三模态图像进行融合识别，通过上位机软件实时显示识别结果。本系统可实时快速获取手部三模态特征图像进行身份识别，实用性强。

1 系统总体硬件结构

图1为系统总体框图。此系统为非接触式采集图像，被采集者站立时水平自然伸出手掌，即可进行采集。控制电路主要用于光源切换和光强调整。采用可在多光谱下成像的双CCD摄像机，符合系统焦距、景深、视角等要求的镜头，以及由近红外及可见光LED组成的系统光源。摄像机、镜头、光源和采集箱体构成了采集环境。另外，若实验需要，本系统也可以单独采集任一模态的手部特征图像。

图1 系统总体框图Fig 1 Block diagram of system

2 手部三模态特征成像原理

计算机视觉系统中的红外光主要用于半透明等的物体检测，而在近红外区域内体液和软组织相对透明，720～1100 nm波长的近红外光能够较好地透射进入皮下组织［3］。而血液中的血红蛋白对近红外光谱有较多的吸收，此时采用对近红外光敏感度高的图像传感器就会获取到静脉图案。掌纹、掌形特征分布在手掌表面，主要获取掌纹的纹理特征和掌形的尺寸特征，肉眼在可见光下可观察到，因此，采用对可见光敏感度高的图像传感器，即可获取包含掌纹、掌形特征的图像。

3 成像单元设计

图像传感器和镜头对成像质量起着非常关键的影响，必须在极短的时间内拍摄3种模态特征的图像，并使成像的分辨率、对比度、景深等能够达到系统的使用要求。

3．1 光学摄像机

本系统要求的摄像机能够同时采集手掌静脉、掌纹、掌形3种模态特征的图像，即能够在可见光波段和近红外波段都能清晰地成像，并且3种模态特征的图像手掌位置一致，以便识别时能准确定位，简化算法。电荷耦合器件（charge coupled device，CCD）摄像机解析度高、灵敏度高、分辨率高、畸变小、噪声低，能够很好地满足本设计要求。

采用双CCD多光谱摄像机，内部集成双图像传感器，图2［4］为本系统图像传感器光谱，对可见光和近红外都有较好的感光特性，并且采用1/3 in逐行扫描传感器，有效像素为1024×768，对于手掌静脉和掌纹的细微纹理特征都能够清晰地捕获。该相机内部集成可见光和近红外2只感光元件和分光棱镜，如图3，可将入射相机里的光线分离成2路射入可见光传感器和近红外传感器，分别进行光电转换。2片CCD上可以获得2张角度和视场完全一致的图像。因此，采用本摄像机在成像时，三模态特征可以分别成像，互不干扰，通过对上位机软件的二次开发，实现了同时采集。

图2 图像传感器近红外与可见光响应曲线Fig 2 Response curve of sensor in NIR and visible light

图3 双CCD相机成像过程Fig 3 Imaging process of dual CCD camera

3．2 镜头的计算与选择

镜头应用于多光谱成像，成像距离为200 mm左右，并应使手掌能够成像完整。摄像机的传感器尺寸为1/3 in，即4．8 mm ×6．4 mm，焦距可计算为

其中，f为镜头焦距，D为被摄物体距镜头的距离，W和H分别为被摄物体的宽度和高度，w和h分别为CCD靶面的宽度和高度，如图4，计算得到系统镜头焦距f约为4mm，此时修正的手掌表面距离镜头为222．22 mm。

图4 镜头成像原理示意图Fig 4 Schematic of lens imaging

镜头需拍摄全整个手掌以便进行识别，即镜头的视场角（如图5）。水平和垂直视场角θw，θh由下式计算得到

式中 垂直视角 θh=58．76°，水平视角 θw=48．49°。只有大于或等于该值镜头才能使手掌全部被捕捉到。另外，为了使3幅图像能够有相同的焦点，需选用不带红外滤光片的3CCD镜头。基于以上计算，选择镜头焦距为4 mm，靶面大小为1/2in，视角为64．5°×49．2°，能够与摄像机配套使用。

图5 镜头视场角计算图Fig 5 Calculation of lens field of view angle

本系统为非接触设备，被采集者手掌放置位置会有偏差，需考察所选镜头的景深（图6），即在手掌被聚焦清晰后，在该位置前面和后面也可聚焦清晰的区域大小，通过下式计算

图6 镜头景深示意图Fig 6 Schematic diagram of lens filed depth

其中，F为镜头焦距与镜头有效孔径之比，T1为前景深，T2为后景深，C为最小模糊圆周，1/2型=0．015 mm，计算得H=592．59mm，T1=162．58mm，T2=352．59mm。前景深与后景深范围合理，被测者手掌采集位置可以有一定偏差，满足系统要求。

使用该摄像机和镜头，拍摄到的手掌静脉、掌纹及掌形图像如图7，3幅图像手掌位置不变，大小适中，掌纹纹路特征清晰，静脉特征明显。

图7 系统采集的手掌静脉、掌纹、掌形图像Fig 7 Image of palm vein，print and shape acquired by system

4 补光模块设计

机器视觉系统中，合适的补光模块可以使图像获得最佳的对比度、亮度以及鲁棒性。结合三模态成像原理、手掌尺寸及纹理特征等规律设计系统补光模块。

4．1 光谱的选择

上述近红外光可适用皮下静脉成像。设计760，850，890，940 nm 4个波段光源板选择本系统的静脉最佳成像波段，采用50人分别在4种波段下采集10幅静脉图像，共计2000幅。

图8（a）～（d）为其中一名被采集者在4个波段采集的静脉图像，使用FDR手掌静脉成像清晰度模型计算手掌静脉像素与周围组织像素灰度值的对比度

式中RFDR（vt）为静脉及其周围区域像素集合的FDR，μtissue为静脉周围区域灰度值的平均值，μveir为静脉区域灰度值的平均值 ，σ2tissue为静脉周围组织像素对应灰度值的总体方差，σ2vein为静脉像素对应灰度值的总体方差，掌静脉图像清晰度越好，则RFDR（vt）值越大。对2000幅图片分别计算RFDR（vt）均值，以此评价手掌静脉图像清晰度［5］，如表1，由上述实验数据看出:850nm波长的RFDR（vt）最大，即采用850 nm光源作为手掌静脉最佳成像波长。

图8 同一被测者四波段静脉图像Fig 8 Four-band vein image of same person

掌纹成像是由于屈肌纹处留下光源的阴影，使掌纹与非掌纹区域对比度增大。波长小的光穿透性弱，且不易发生衍射，有利于掌纹成像。同一光强下蓝光与红光、绿光对比成像效果如图9，蓝光下掌纹主线清晰、对比度大、反光少，采用470 nm蓝光光源作为掌纹成像光源。掌形特征获取轮廓，需要手掌与背景产生较大的对比度。本系统采用能使掌纹成像的最大光强作为掌形的成像光源，系统更加便捷、经济、使用度高。

表1 各波长下手掌静脉图像FDRTab 1 FDR of palm vein under each wavelength

图9 蓝光、红光、绿光掌纹图像Fig 9 Image of palm print under blue，red，green light

4．2 光源的均匀性优化设计

光源光照要能够均匀覆盖手掌，并且亮度保持稳定。光源的均匀性取决于手掌表面与光源的距离，光源的入射角度，被测试手掌的反射率等。采用常见的LED作为发光光源。

单个LED发光时光强与发光角度无关，LED表面各个方向光强均匀。将单个LED假设为朗伯发光体，光强分布为朗伯分布，并将单颗LED近似为点光源。照度的近似分布为［6］

其中，E0是垂直方向上距离LED为r处的照度值，θ为观察角，m值为

其中，θ1/2为LED的半值角，半值角过小，会眩光，不利于手部特征的采集，选择LED半值角为30°。根据上述公式计算得m值约为4．847，当观察角为半值角方向时，可得对应的像素点的光强约为垂直方向光强的1/2。由于LED为非相干光源，相邻2颗LED的距离小于单颗LED的发光半径时，光强会产生直接叠加，设计光源时单颗LED的半值角方向光线能够与相邻LED发光法向方向的光线汇聚在被测表面上，则LED叠加量相等，能使光源最均匀，如图10。

图10 相邻LED光强叠加示意图Fig 10 Diagram of LED intensity superimposed

采用目前通用的方形排列方式［7］，经统计普通人手掌分布在250 mm×200 mm的矩形内，设计光源排布成4×15的矩形阵列，且光源矩形面积大于手掌。光源强度和光照分布如图11，系统光源光照均匀，亮度稳定。

图11 光源效果与光照分布图Fig 11 Diagram of lighting effects and distribution

使用的LED管压降1．5～1．8 V，额定电流50 mA，光源板集成蓝光光源与近红外光光源。结合矩形阵列LED的光学结构，采用串并行结合方式驱动。可根据不同人手掌脂肪厚度差异，连续调节LED光强，并通过电流表直观观察。另外，设计集成760，850，890，960 nm 4个波段的近红外光源板，可按需求切换。

5 系统应用程序设计

5．1 手限定区域定位设计

采集的图像通过千兆网卡传送到电脑上，在识别之前，根据实验室开发的识别软件要求，需要对采集的图像审核。检测手掌4个方向极限边缘点是否都分布在内外边界之间，是，则图像予以采纳进行识别;如果5点当中的任意一点超出限定区域，则图像不予采纳，提示用户重新摆放手掌进行采集。图12为设计流程图，使用内外边界框限定手掌，其中外边界框180mm×220mm，内边界110mm×140mm。

图12 手限定区域定位流程图Fig 12 Flow chart of hand limited area

5．2 系统识别部分

拍摄的图像除包含手掌静脉、掌形、掌纹，还包含手指、手腕、环境背景等区域，识别时，分别对三种模态的图像进行特征的提取，并且将识别结果进行融合，增加识别的可靠性和准确性，软件流程如图13。

图13 软件识别流程图Fig 13 Flow chart of software

6 结果与分析

本系统实物如图14，系统开关、控制旋钮及电流表均排布于面板上，使用本系统实时采集到三模态特征图像如图15，图像清晰，特征明显，图像手掌姿势和位置没有发生变化。

图14 采集系统实物图Fig 14 Physical image of acquisition system

图15 系统采集的三模态图像Fig 15 Three-modal image acquired by system

设计一种完整的非接触式手多模态特征采集系统，能够同时清晰获取手掌静脉、掌纹、掌形三种模态特征图像。采用带有双图像传感器的双CCD摄像机，配合850，470 nm补光系统，很好地解决接触式采集方法的局限性和单一模态采集方法的识别率受限等问题，为非接触手多模态信息融合识别技术搭建了理想的硬件平台。

［1］ Brunelli R，Falavigna D．Person identification using multiple cues［J］．IEEE Transactions on PAMI，1995，955 －966．

［2］ 李 俊，吴怀宇，李鹏飞，等．指纹图像采集系统的设计与实现［J］．传感器与微系统，2005，24（1）:38 －42．

［3］ Matcher S J，Elwell C E，Copper C E，et al．Performance comparison of several published tissue near-infrared spectroscopy algorithms［J］．Anal Biochem，1995，227:54 － 68．

［4］ Manual digital 2CCD progressive scan multi-spectral camera user’s manual［EB/OL］．［2009—10—09］．http:∥www．jai．com/camerasolutions/products/ad－080ge．

［5］ 吴 微，苑玮琦，林 森，等．手掌静脉识别典型波长选择［J］．光学学报，2012，32（12）:1211002．

［6］ Wood D．Optoelectronic semiconductor devices［M］．Upper Saddle River:Prentice Hall，1994:84 －88．

［7］ Narukawa Y．White-light LEDs［J］．Opt＆ Photon News，2004，15:24－29．