移动设备生物特征识别多模态融合标准研究及展望

林冠辰，王智飞

（1.蚂蚁科技集团股份有限公司，北京 100004；2. 人力资源和社会保障部信息中心，北京 100013）

1 引言

随着生物特征识别技术的日益成熟和相关产业的快速发展，目前国内外很多领域都面临着大规模应用生物特征识别技术的机遇，生物特征识别产业的发展前景非常可观。目前，移动设备上的生物特征识别技术已有广泛应用。它对于实现在智能移动设备上个性化及授权、增强安全性、提高使用方便性和用户体验具有重要意义，对于实现基于移动通信网络的远程支付、注册、授权可提供安全保障，对于推进我国社会信息化的深度和广度具有重要的作用。

以金融行业应用为例，中国移动支付产业正在高速发展，中国支付清算行业社会责任报告（2019 年）显示，2018 年中国共处理移动支付业务5 328.14 亿笔，金额445.22 万亿元，分别同比增长92.48%和44.53%。其中，生物特征识别支付占移动支付的很大比例，以占据中国移动支付市场超过一半份额的支付巨头支付宝为例，其2019 年的交易中，有78%是通过指纹识别和人脸识别多模态融合完成的。生物特征识别多模态融合技术同风险防控技术相结合，在这样高频次的交易下，其资损率保持在千万分之一的水平。生物特征识别多模态融合技术作为生物识别技术发展方向，将在高安全需求的行业得到越来越广泛的应用，并且创造更大的价值。

以人力资源和社会保障（即人社）行业应用为例，社保卡与多模态生物特征识别融合发展，已逐渐成为趋势。自1999 年首发后，20 年来，社保卡持卡人数已超过13 亿人，电子社保卡已签发数亿张，广泛应用于就业创业、社会保险、人事人才、劳动关系、智慧城市、政务服务、金融服务等领域，全面支撑就医购药结算并作为跨省异地就医结算的唯一载体，加快推动建立以社保卡为载体的“一卡通”服务管理模式。随着社保卡应用对身份识别、支付结算安全方面“人卡合一比对”要求的普及，第三代社保卡芯片已加载人脸、指纹、指静脉等多模态生物特征，推动生物特征传感芯片、算法处理芯片的产业级发展；电子社保卡已结合人脸进行实名、实人、实卡安全认证，未来虹膜、声纹等将进一步融入，构建线上/线下、联机/脱机一体的人社生物特征应用架构；ISO/IEC JTC 1/SC 17&SC37 框架下的社保卡多模态生物特征识别应用系列标准也在同步研制，结合互联网+新技术研究，推动“一卡（码）通”体系的创新。

对于某些应用场景，很难通过使用单一生物特征识别技术满足它们对技术性能及安全的要求，需要将不同模态进行融合，例如人脸识别与眼纹识别的融合应用、人脸识别与声纹识别的融合应用等，或者无法为某些生物特征识别特征类型提供可靠样本时，都需要采用多模态融合方式进行生物特征识别。移动设备端的计算性能和用户使用习惯决定了移动设备生物特征识别多模态融合既可采用完全独立的生物传感器、识别算法或多种特征类型采集多模态生物特征测量数据，也可以采用各模态对应各自不同的测量方法的方式，以提高生物特征识别的技术性能并降低风险。

一方面，产业界对于移动设备生物特征识别多模态融合技术有强烈的需求，并且将大量应用；另一方面，国内外相关的技术标准缺失严重，生物特征识别多模态融合技术及应用概念混淆、实现方案各异、水平不一，亟须补充移动设备生物特征识别多模态融合技术标准，指导移动设备生物特征识别多模态融合技术应用及推广。

2 国内外相关标准化现状

2.1 国际相关标准化现状

ISO/IEC 29159-1:2010 《信息技术 生物特征识别校准，增强与融合数据 第1 部分：融合信息格式》（Information technology-biometric calibration, augmentation and fusion data-part1: fusion information format）》规定了融合的信息格式，属于数据格式标准。

ISO/IEC TR 24722:2015 《信息技术 生物特征识别多模态及其他多生物特征融合（Information technology biometrics-multimodal and other multibiometric fusion）规定了多模态融合的融合层级、呈现方式以及融合方法等，属于方法类技术报告。

笔者也在IEEE CES/SC/BUMFWG 立项了“Standard for biometric multi-modal fusion（生物特征识别多模态融合标准）”IEEE 国际标准（P2859），该标准将规定移动设备生物特征识别多模态融合技术框架、业务流程、技术要求、性能要求、安全要求等，属于技术标准，是国际上首次针对多模态融合的技术实现提出要求。

2.2 国内相关标准化现状

2016 年，在国家标准化管理委员会、工业和信息化部的支持下，全国信息技术标准化技术委员会生物特征识别分技术委员会（SAC/TC28/SC37）成立了移动设备工作组，工作组规划移动设备生物特征识别标准体系（如图1 所示），截至目前，已经制定并发布的3 项国家标准名分别是GB/T 37036.1−2018《信息技术 移动设备生物特征识别 第 1 部分：通用要求》、GB/T 37036.2−2019《信息技术 移动设备生物特征识别第2 部分：指纹》和GB/T37036.3−2019《信息技术 移动设备生物特征识别 第3 部分：人脸》。该3 项标准分别规定了移动设备生物特征识别通用、指纹识别系统以及人脸识别系统的技术架构、功能要求、性能要求和安全要求等。

GB/T 36460−2018《信息技术 生物特征识别多模态及其他多生物特征融合》由ISO/IEC TR 24722:2015 修改采用转化，规定了融合层级、呈现方式及融合方法等，属于方法类标准。

图1 移动设备生物特征识别标准体系

2.3 国内外相关标准同本标准的关联分析

国际上目前发布 ISO/IEC TR 24722:2015 关于多模态融合方法的标准，并被已发布的国家标准GB/T 36460−2018《信息技术 生物特征识别多模态及其他多生物特征融合》采用，规定了多模态以及其他多生物特征融合的方法、融合层级等，属于方法类标准，不涉及多模态融合的技术要求。在指导产业实践上，该标准无法解决如何运用、怎么应用以及如何评价多模态融合技术的问题。本标准在多模态融合定义及类型、融合层级划分等同GB/T 36460−2018 保持协调一致，并且拟进一步规定移动设备生物特征识别多模态融合技术框架、不同层级融合的具体业务流程、功能要求、性能要求以及安全要求等，以期为多模态融合技术的具体落地应用提供很好的指导和规范。

本标准是GB/T37036《信息技术 移动设备生物特征识别》系列标准第7 部分。在技术架构上，本标准将与《信息技术 移动设备生物特征识别第1 部分：通用要求》以及正在制定的系列标准保持一致。

3 标准研制的目的和意义

移动设备生物特征识别应用过程中，一直面临着便捷性、识别精度、安全性的挑战。单一生物特征模态被应用于移动设备时，由于模态本身的特点、传感器、算法等限制，在保障用户便捷体验的同时可能带来安全隐患，比如指纹识别，可能由于移动设备上传感器采集面积过小使恶意攻击容易实施，单一2D 人脸识别也可能被人脸照片轻易攻击。多模态融合是能够同时提高识别性能、安全性、便捷性的有效手段，例如人脸识别与虹膜识别的融合使用、人脸识别与声纹或者2D和3D 人脸融合识别使用等。通过多模态融合技术，提高识别精度的同时也能大大降低风险，比如利用3D 人脸识别完成活体检测保障安全并且同2D 人脸识别进行融合，可以达到远高于单独2D 人脸识别的性能指标。

移动设备应用对于生物特征多模态融合有非常强烈的需求，并且已经得到了广泛的应用。但是，目前国内外仅有多模态融合数据格式以及方法标准，缺乏相关技术标准。为了继续补充相关技术标准以引导及规范移动设备多模态融合识别的技术以及应用，基于前述生物特征识别产业面临的挑战和当前标准化现状，提出本标准，用于指导移动设备生物特征厂商多模态融合技术研发、应用、检测等，提升行业生物特征识别多模态融合技术水平，促进多模态融合技术的应用推广，促进行业健康有序快速发展。

4 多模态融合标准技术框架

移动设备生物特征识别多模态融合标准研究包括多模态融合分类研究、应用模式研究、融合层级研究、融合技术框架研究等，给出了当前研究的进展、难点以及研究思路等。

4.1 研究思路及难点分析

当前移动设备多模态融合涉及的生物特征识别模态涵盖人脸（2D、3D）、指纹、声纹、虹膜等多种模态，不同模态对于传感器、环境、采集方式、应用模式等要求都不同，由不同模态因素组成的多模态融合实现方式较为复杂，如何找出多模态融合的共性技术及要求是本标准研究的难点。

本标准在已经发布的相关标准基础上，基于移动设备生物特征识别的技术原理，以多模态融合的不同层级要求为脉络展开研究，将错综复杂的多模态融合组合方式的共性提炼出来形成标准，从而开展移动设备生物特征识别标准化工作。

4.2 多模态融合分类

生物特征识别多模态融合通常是指以多特征、多算法、多实例、多传感器等某种组合形式使用，并得到一个特定的生物特征识别或验证结果。

（1）多特征

这种生物特征识别多模态融合系统从采集两个或更多不同特征类型的单一或多个传感器获取输入。例如，一个将人脸和虹膜信息组合用于生物特征识别的系统可看作一个“多特征”系统，在人脸和虹膜图像由不同或同一个成像设备采集的情况下。此外，多特征不要求对各种不同的度量值进行数学组合。例如，一个具有声音和指纹识别功能的系统可看作“多特征”系统，同时适用于“或”规则。

（2）多算法

这种生物特征识别多模态融合系统从一个传感器接收单一样本并使用两个或两个以上算法进行样本处理，这种技术可应用于任何特征类型。从那些基于完全不同且独立原理的算法中可能得到许多好处。例如，既可针对提取自生物样本的特征（指纹和手指细节），也可针对比对方法（比对细节的不同算法）。

（3）多实例

这种生物特征识别多模态融合系统使用一种或多种传感器获取同一生物特征识别特征的两个或更多不同的实例。例如，从多个手指提取图像的系统被看成“多实例”系统，而不是“多特征”系统。然而，提取（例如）面部和虹膜图像序列帧的系统被看成多呈现生物特征识别系统，而不是“多实例”系统。

（4）多传感器

这种生物特征识别多模态融合系统使用两个或多个不同的传感器采集一个生物特征识别特征的同一个实例的样本，多样本的处理可采用一种算法或多种算法的组合。例如，人脸识别可以同时使用可见光和红外摄像机（配合某特定频率或多频率的红外光源）。

4.3 标准应用模式

移动设备生物特征识别多模态融合可以基于移动设备端本地完成识别，即多模态融合的特征比对是在移动设备完成的，这种模式称为本地模式。移动设备生物特征识别多模态融合的特征比对也可以在服务器端完成，这种模式称为远程模式。本地模式和远程模式所对应的融合层级也可能不同。

4.4 标准融合层级

移动设备生物特征识别多模态融合层级可以分为样本级融合、特征级融合、分数级融合和决策级融合4 个层级。

（1）样本级融合，是指每个单一生物特征识别过程输出一组样本，将多组生物特征样本数据融合为一个样本。

（2）特征级融合，是指每个单一生物特征识别过程输出一组特征，将多组生物特征融合为一个特征集或者特征向量。

（3）分数级融合，是指每个单一生物特征识别过程通常输出单一匹配分数，也可能是多个分数，将多个生物特征识别分数融合成一个分数或决策，然后与系统接受阈值进行比较。

（4）决策级融合，是指每个单一生物特征识别过程输出一个布尔值，利用混合算法如和与或，或者采用更多参数，如输入样本质量分数将结果进行融合。

4.5 标准技术框架

移动设备上的生物特征识别技术架构主要由移动设备端和服务器端的若干功能模块构成，主要包括生物特征采集模块、生物特征存储模块、生物特征比对模块等。其中，生物特征采集模块包括生物特征样本采集、质量判断、呈现攻击检测、生物特征项提取等子功能模块。生物特征样本采集通过访问移动设备中的生物特征采集元件（如图像采集元件、音频采集元件、指纹传感元件等）进行。出于安全考虑，生物特征存储模块可以基于安全环境（比如TEE/SE）实现。生物特征比对模块依据标准应用模式的不同，可以在移动设备端或者服务器端实现。

通常情况下，移动设备上的生物特征识别过程可在移动设备本地完成，并向调用生物特征识别服务的移动应用输出识别结果。移动应用是移动设备中的生物特征识别的服务调用方，可以是一个独立的移动应用软件、移动应用软件中的一个功能模块或移动设备操作系统提供的一个系统服务。在某些应用场景中，生物特征识别的部分模块或子模块如生物特征采集模块（如质量判断、呈现攻击检测、生物特征项提取等子模块）、生物特征存储模块和生物特征比对模块可在服务器端完成。

移动设备生物特征识别多模态不同层级的融合可以在移动设备端和远程服务器完成。移动设备生物特征识别多模态融合过程中，样本级融合应在样本采集后、特征提取前实现融合；特征级融合应在特征提取过程中实现融合；分数级融合和决策级融合应在特征比对模块被调用之后实现融合。一个生物特征识别系统通常使用上述融合形式或者层级之一完成识别。具体实现上，样本呈现方式根据实际情况采取依次呈现或者同时呈现的方式。移动设备生物特征识别多模态融合技术框架如图2 所示。

图2 移动设备生物特征识别多模态融合技术框架

5 结束语

本文分析国内外移动设备以及多模态融合标准化的现状，相比于蓬勃发展的移动设备生物特征识别应用，当前国内外针对移动设备多模态融合标准亟须补充。研究多模态融合识别分类，涵盖多特征、多算法、多实例、多传感器等；提出样本级融合、特征级融合、分数级融合、决策级融合4 个融合层级，基于前述研究，提出移动设备生物特征识别多模态融合的技术框架。

基于单模态生物特征识别无法避免模态特性本身带来的局限性。例如：应用人脸识别时，双胞胎识别是个世界级的难题，这种问题往往很难通过传统的单一模态人脸识别来解决，但是通过多模态融合技术，却能相对容易地解决，例如通过“人脸+虹膜”“人脸+眼纹”或者“人脸+声纹”的多模态融合方式，巧妙解决双胞胎识别难题。在具体实践中，人脸多模态融合的方式，在很好提升识别性能的同时，可以基于3D 摄像头完成人脸活体检测，安全性也大大提升。多模态融合识别方式是生物特征识别技术的发展方向，作为性能更优、安全性更强的生物特征识别方式，将来必定会更广泛地应用于各种各样的场景中。下一步，笔者将进一步研究移动设备多模态融合的功能要求、技术要求以及安全要求等，为移动设备生物特征识别多模态融合的技术及应用提供完整的标准化解决方案。