基于高光谱成像技术的涂抹掩盖字迹识别方法研究

王鸣久，代雪晶，汤澄清，卢兆一

基于高光谱成像技术的涂抹掩盖字迹识别方法研究

王鸣久1，代雪晶1，汤澄清2，卢兆一1

（1. 中国刑事警察学院 公安信息技术与情报学院，辽宁 沈阳 110035；2. 中国刑事警察学院 刑事技术学院，辽宁 沈阳 110035）

在刑事案件和民事案件中，许多重要文件中的签名、日期、数字等字迹常常被有意涂抹而掩盖其真实信息，因而无法作为证据使用。因此，开展高光谱成像技术（450～950nm）快速无损显现涂抹掩盖字迹十分必要。涂抹掩盖字迹中，黑色签字笔作为书写及涂抹工具占多数，因此从21种黑色签字笔中随机选取两种进行相互涂抹作为样本。同时，选取墨水中含有碳元素和不含有碳元素的黑色签字笔各两支，用同一支笔书写字迹并进行涂抹掩盖作为样本。实验结果表明，用高光谱成像技术在450～950nm波长范围内进行显现肉眼无法辨别的涂抹掩盖字迹，大部分被涂抹掩盖的字迹能够得到完整、清晰的显现，反映出被掩盖字迹的真实形态与信息，具有良好的显现效果。部分显现效果不佳，原书写字迹细节特征残缺，但能识别出原字迹，还有少部分较为模糊，无法达到检验要求。而使用传统红外显现方法时，大部分涂抹掩盖字迹难以显现。

高光谱成像；掩盖字迹；无损检验；黑色签字笔

0 引言

随着黑色签字笔在人们日常书写活动中的普遍应用，对被黑色签字笔涂抹掩盖的字迹进行显现已经成为文件检验工作中的一项重要内容[1-4]。在刑事案件和民事纠纷与经济案件中，许多重要文件、单据、合同、证件等文字材料中的签名、日期、数字等字迹常常被作案人有意涂抹而掩盖其真实信息，无法作为证据使用。对这类涂抹掩盖字迹的显现成为刑事技术领域的重要内容，能够准确、清晰、直观地显现涂抹掩盖字迹在物证鉴定工作中至关重要。

目前涂抹掩盖字迹的显现方法主要有化学显现法（有机溶剂溶解法、压力转印法、加热转印法、透析法）和光学显现法（红外拍摄法、文检仪分析法、反射光谱分析法）。反射光谱分析法即光谱成像技术法，其检验过程属于光学无损检验，对检材没有损伤及破坏，相比之下，用它显现涂抹掩盖字迹更为安全、可靠且灵敏度高。

1 光谱成像原理

光谱成像是通过光谱成像仪来记录待检验的物体在一定的光谱范围内密集均匀分布的多个窄波段单色光的反射光亮度分布或荧光亮度分布情况，由多个不同波段下的单色光影像构成光谱影像集，它记录了被检验物体在多幅等间隔波长位置的窄波段单色光亮度分布影像，因此光谱成像也被称为高光谱成像或超光谱成像[5-8]。光谱成像的原理如图1所示，构成光谱影像集的每幅单色影像记录了物体在各个对应波长下的光亮度分布信息，单色影像的组合则包含了物体在整个波长范围内的光亮度分布信息。这些表达物体表面光谱亮度分布性质的信息可以由两个空间坐标(,)和一个波长坐标()构成的三维坐标来描述，因此光谱影像集也被称为“光谱影像立方体”。

21世纪初，澳大利亚、美国、加拿大等国的法庭科学工作者开始研究将光谱成像技术应用于法庭痕迹物证检验领域，如血痕检验、指印检验、文件检验、纤维检验等方面[9-14]。光谱成像技术基于高灵敏的特点，可以识别检验微小的差异，对同种物质涂抹掩盖的字迹具有良好的检验能力，可以与传统的显现方法形成互补，同时光谱成像技术作为一种光学无损检验方法[15]，可以有效避免化学方法对涂抹掩盖字迹检材的破坏，为后续检验做准备。因此，开展高光谱成像技术（450～950nm）快速无损显现涂抹掩盖字迹具有十分重要的科学意义。

本文制作了多种签字笔涂抹掩盖的打印字迹和签字笔字迹，利用高光谱成像系统测出了涂抹和被涂抹字迹的光谱，无损显现了被掩盖涂抹的字迹。

2 实验部分

2.1 仪器与设备

实验采用NuanceTMMultispectural Imaging Systems高光谱成像系统和Nuance3.0.2影像分析系统（美国Cambridge Research & Instrumentation公司），光谱波段范围为450～950nm，最小波长步进值为1nm。光谱成像系统（如图2所示）包括液晶可调波长滤光镜（Liquid Crystal Tunable Filter，LCTF）、CCD相机、照明光源和计算机分析软件。其中由计算机控制的液晶可调波长滤光镜与照相机连接构成了成像光谱仪，液晶可调波长滤光镜是光谱成像装置的主要器材，用于分离成像记录的单色光，通过电信号调节控制在可见和近红外光谱区一定光谱范围内连续调节透过的窄波段单色光波长。计算机同时控制CCD感应器与液晶可调滤光镜，使CCD感应器能够记录相应波长的亮度分布情况。

图2 光谱成像系统

2.2 光谱成像技术物证光谱特征匹配算法研究

通过光谱成像技术获取成像范围内每一个像元相应的一条连续的光谱特征曲线，各个像元间光谱曲线的差异则代表了不同空间位置上物质不同的光学性质。物证光谱特征匹配算法是基于物质的光谱曲线差异完成的，首先从原始图像中选取感兴趣的区域（Region of Interest，ROI），程序根据已选取的区域得到该区域的光谱信息，然后选择能够反映ROI光学性质特征的特殊吸收信息作为参考光谱，判断其它区域的光谱信息与参考光谱是否具有相同的吸收特征，利用在所选范围的拟合程度来表示其它区域的光谱与参考光谱之间的相似性。

设目标物质的参考光谱()在特定光谱区域内的采样点数量为，则每个采样点对应的光谱强度依次为{(0),(1), …,(－1)}；对应的待测物质观测光谱()在该指定光谱区域内各采样点的光谱强度为{(0),(1), …,(－1)}。两个采样集合的相似性分析可通过一元线性回归分析法完成。

设参考光谱强度集{(0),(1), …,(－1)}为自变量的集合；观测光谱强度集{(0),(1), …,(－1)}为函数的集合。根据同类物质具有相似光谱曲线的特点，两者应满足：

＝＋(1)

的线性关系。由最小二乘法，，应使：

则得到：

通常，值越大，参考光谱与观测光谱的拟合程度越高，表示参考光谱与观测光谱代表的物质种类越接近。

2.3 样本制作

2.3.1 样本制作标准

涂抹掩盖时保持涂抹力度适中，掩盖至肉眼无法识别出原书写字迹为止，在样本制作过程中尽量避免用手直接触摸笔迹部分，防止手部汗液及其他杂质对样本造成污染。

有关Tomita评分临床价值的报道不多［8］，并且PKP治疗脊柱转移瘤的临床效果报道也较少［9-10］，尤其是纳入和排除标准各异，缺乏相关的研究来证明其安全性和效益。作者于2014年1月～2017年7月对31例椎体溶骨性转移癌患者进行Tomita评分，取分值4～7分的患者，对65个椎体采用PVP治疗，取得了较好效果，报告如下。

2.3.2 三种样本的制作

1）黑色签字笔掩盖打印字迹样本制作：选取4种不同品牌的黑色签字笔（编号分别为1#～4#）作为涂抹掩盖工具，随机选择人民日报上的部分字迹作为原书写字迹进行涂抹掩盖。选取4种不同品牌的黑色签字笔（编号分别为2#～5#）作为涂抹掩盖工具，选择同一批次的复印纸上不同部位的字迹进行涂抹掩盖。

2）同种同色互相涂抹掩盖字迹样本制作：以A4中性纸为书写客体，选取同种同色的黑色签字笔，从21种来自不同品牌的黑色签字笔（编号分别为1#～21#）中任意选择两种签字笔两两互相涂抹掩盖，形成实验样本。在用签字笔书写好原字迹后，存放24h待字迹尽可能干燥后再用其他签字笔对其涂抹掩盖，防止签字笔中的墨水成分相互交叉影响检验结果。另外，在书写和涂抹时需用硬质纸板作为衬垫，减少字迹压痕对显现效果的干扰。

3）同一支笔书写字迹并涂抹掩盖样本制作：为了探究同一支笔涂抹掩盖的显现情况，选取墨水中不含碳元素（编号为1#和4#）和含碳元素（编号为9#和10#）的黑色签字笔各两支，用同一支笔书写字迹并进行涂抹掩盖，形成实验样本。

2.4 图像采集

启动光谱成像仪，打开Nuance影像分析系统的影像采集界面，在软件操作页面上选取以8bit的标准数位输出存储光谱影像集。将待检痕迹样本置于拍摄架的载物台上，打开卤钨灯作为照明光源，调节光源角度及亮度，配以均匀照明方法，镜头距检验对象30cm，光圈设置为2.8。点击实时影像复选框（Live），ROI选择1模式，将影像采集的波长范围设置为450～950nm，波长步进值为10nm，点击自动曝光按钮，此时可以在即时影像中观察到样本图像信息。采集过程中将样本放在中间位置，避免成像时出现暗角，同时在样本下方放置黑色衬垫物，防止来自背景客体的干扰。随后使用计算机自带的专用分析软件，对采集到的影像进行处理，将原书写字迹赋予红色，涂抹掩盖笔迹赋予蓝色，叠加部分赋予绿色，客体赋予白色，采用物混合方法进行处理，得出彩色与黑白两幅显现结果图。

3 结果与讨论

3.1 涂抹掩盖报纸上打印字迹显现效果

用4种不同品牌的黑色签字笔（编号分别为1#～4#）依次涂抹报纸上不同部位的文字，用光谱成像技术在450～950nm波长范围内进行显现，用光谱分析软件将原书写字迹赋予红色，涂抹掩盖笔迹赋予蓝色，叠加部分赋予绿色，客体背景赋予白色。显现前、显现后及光谱特征曲线如图3～6所示。

图4 2#签字笔掩盖报纸上打印字迹

根据原打印字迹、涂抹掩盖笔迹与叠加部分三者的光谱特征曲线发现，在450～950nm波长范围内，原打印字迹对光线的吸收反射性质较为稳定，在450～650nm内曲线缓慢下降，字迹对光线吸收稍有增强，在650～950nm内曲线开始上升，字迹对光线的吸收能力减小、反射增加。而涂抹掩盖笔迹对光线的吸收反射性质会因签字笔品牌不同产生变化，即不同品牌的黑色签字笔，其墨水成分差异使得各自的光学特性不尽相同。作为涂抹掩盖笔迹与原打印字迹的叠加部分，其光谱特征曲线与涂抹掩盖笔迹的光谱特征曲线走向相似，即叠加部分对光的吸收反射情况会受到涂抹掩盖笔迹的影响，只是二者在同一波段下的反射亮度值有所不同。

图6 4#签字笔掩盖报纸上打印字迹

3.2 涂抹掩盖复印纸上打印字迹显现效果

用4种品牌各异的黑色签字笔（编号分别为2#～5#）对复印纸上不同部位的字迹进行涂抹掩盖，在肉眼无法辨别的情况下用光谱成像技术在450～950nm波长范围内检验，除了5#黑色签字笔掩盖的字迹无法清晰识别外，其余字迹均能得到良好显现，如图7～10所示。

图7 2#签字笔掩盖复印纸上打印字迹

图8 3#签字笔掩盖复印纸上打印字迹

对复印纸上被涂抹掩盖字迹的显现效果由好到差进行排列，顺序依次为3#、4#、2#、5#签字笔掩盖复印纸上打印字迹。5#签字笔掩盖的字迹中，叠加部分（绿色曲线）与涂抹掩盖笔迹（蓝色曲线）的光谱曲线非常接近，即叠加部分与5#签字笔墨水在450～950nm范围内对光的吸收反射能力近乎相同，分析软件在处理影像时对二者无法进行有效区分，导致显现效果较差。

图9 4#签字笔掩盖复印纸打印字迹

图10 5#签字笔掩盖复印纸上打印字迹

3.3 涂抹掩盖签字笔字迹显现效果

从21种黑色签字笔中（编号分别为1#～21#）随机选取两种进行相互涂抹，用光谱成像仪在450～950nm波段内进行检验，部分实验结果如图11～14所示。

图12 5#签字笔涂抹掩盖6#签字笔

图13 8#签字笔涂抹掩盖1#签字笔

图14 1#签字笔涂抹掩盖8#签字笔

通过对比发现，两种不同品牌的签字笔互相涂抹掩盖后的显现效果不同，如用6#签字笔掩盖5#签字笔书写的字迹其显现效果要明显优于用5#签字笔掩盖6#签字笔字迹的显现效果。观察二者的光谱曲线图可以看出，用6#签字笔（曲线为蓝色）掩盖5#签字笔（曲线为红色）时，在740～950nm红外光谱范围内，涂抹掩盖笔迹对光线的反射能力增强，吸收强度小于原书写字迹，显现效果好。当用5#签字笔掩盖6#签字笔书写的字迹时，涂抹掩盖笔迹在450～950nm波段范围内对光线的吸收程度始终大于原书写字迹，使得被掩盖的字迹无法得到清楚显现。因此，原书写字迹与涂抹掩盖笔迹两者之间的光谱特征变化对显现结果有显著的影响，若前者对光线的吸收强度大于后者时，显现效果较好，反之则显现较差。

3.4 同一支笔书写并涂抹掩盖显现效果

同一支笔书写字迹后并涂抹掩盖，用光谱成像仪在450～950nm波段内进行检验，实验结果如图15～18所示。

从图15～18的显现结果可以看出，墨水中不含碳元素的黑色签字笔（编号为1#和4#）要比含碳元素的黑色签字笔（编号为9#和10#）显现更清晰。虽然原书写字迹和涂抹掩盖笔迹墨水中的物质成分相同，二者光谱曲线差异不大，但由于反复涂抹，叠加部分的光谱特征会略有不同，使得同一支笔书写、掩盖的字迹能够得到显现。此外，当涂抹掩盖笔迹墨水中含有碳元素时，对光线的强吸收性质会阻碍叠加部分微小的光谱特征变化，使得显现效果较差。因此，当用同一支笔进行书写与涂抹掩盖时，显现效果取决于签字笔的墨水成分中是否含有碳元素。

图15 1#签字笔书写并涂抹掩盖

图16 4#签字笔书写并涂抹掩盖

图17 9#签字笔书写并涂抹掩盖

图18 10#签字笔书写并涂抹掩盖

4 与传统红外显现效果比较

4.1 掩盖打印字迹显现效果

使用红外数码相机，镜头前分别加750nm、850nm、950nm红外滤光镜，对2.1和2.2中的掩盖字迹进行检验。实验结果表明，对部分涂抹掩盖笔迹可以显示出原字迹（如图19所示）。而对大部分涂抹掩盖笔迹，红外光线并未完全穿透涂抹掩盖笔迹，因而没有显现出掩盖字迹。

4.2 同种同色黑色签字笔涂抹掩盖显现效果

使用红外数码相机，镜头前分别加750nm、850nm、950nm的红外滤光镜，对2.3中的掩盖字迹进行检验，一部分样本上的涂抹掩盖字迹被红外线穿透，可以显现原书写字迹（如图20所示）。大部分样本上的原书写字迹与涂抹掩盖笔迹都没有消失，由于两者对光线的吸收能力相仿，因而无法显现原书写字迹；有少部分样本上的原书写字迹与涂抹掩盖笔迹在红外的整个波段内都被光线穿透至消失。

图19 传统红外显现掩盖打印字迹效果

图20 传统红外显现掩盖黑色签字笔字迹效果

4.3 同一支笔书写并涂抹掩盖显现效果

使用红外数码相机，镜头前分别加750nm、850nm、950nm的红外滤光镜对2.4中的掩盖字迹进行检验，由于同一支笔原书写字迹与涂抹掩盖笔迹对红外线的吸收和反射性质一样，无法显现掩盖字迹。

5 结论

用高光谱成像技术在450～950nm波长范围内进行显现肉眼无法辨别的涂抹掩盖字迹，大部分被涂抹掩盖的字迹能够得到完整、清晰地显现，反映出被掩盖字迹的真实形态与信息，具有良好的显现效果。部分显现效果不佳，原书写字迹细节特征残缺，但能识别出原字迹；只有少部分较为模糊，无法达到检验要求。而使用传统红外显现方法时，大部分掩盖字迹难以显现。因此，高光谱成像技术作为无损的光学检验方法，在绝大多数情况下可以快速、无损地显现涂抹掩盖字迹，在痕迹物证检验与鉴定领域具有广泛的应用前景和实用价值。

影响涂抹掩盖字迹的检验效果的因素主要包括涂抹掩盖顺序、字迹墨水中是否含有碳元素以及字迹叠加部分的光谱特征，当叠加部分的光谱特征与原书写字迹光谱特征接近时则可以显现，与涂抹掩盖笔迹光谱特征接近时则无法显现。在显现涂抹掩盖字迹实际应用中，如果用450～950nm波长范围的光谱成像仪显现效果不佳时，可以尝试用900～1700nm波长范围的光谱成像仪来显现，使光谱成像技术能够充分发挥其在涂抹掩盖字迹显现方面的优势。

[1] 许小京, 黄威. 光谱成像技术在物证鉴定领域的应用[J].红外与激光 工程, 2012, 41(12):3280-3284.

XU Xiaojing, HUANG Wei. Application of spectral imaging in forensic science[J], 2012, 41(12): 3280-3284.

[2] Edelman G J, Gaston E, Leeuwen T G van, et al. Hyperspectral imaging for non-contact analysis of forensic traces[J]., 2012, 223: 28-39.

[3] Panagou E Z, Papadopoulou O, Carstensen J M, et al. Potential of multispectral imaging technology for rapid and non-destructive determination of the microbiological quality of beef filets during aerobic storage[J]., 2014, 174: 1-11.

[4] Belinda Bastide, Glenn Porter, Adrian Renshaw. Detection of Latent Bloodstains at Fire Scenes Using Reflected Infrared Photography[J]., 2019, 302: 109874

[5] Zapata F, García-Ruiz C. Trac. Emerging spectrometric techniques for the forensic analysis of body fluids[J]., 2015, 64: 53-63.

[6] 张华锋, 王武, 白玉荣, 等. 多光谱成像无损识别冻融猪肉中危害级碎骨[J]. 光谱学与光谱分析, 2021, 41(9): 2892-2897.

ZHANG Huafeng, WANG Wu, BAI Yurong, et al. Non-destructive identification of hazardousbone fragments embedded in the frozen-thawed pork based on multispectral imaging[J]., 2021, 41(9): 2892-2897.

[7] Alsberg B K, Loke T, Baarstad I, et al. PryJector: a device for in situ visualization of chemical and physical property distributions on surfaces using projection and hyperspectral imaging[J]., 2011, 56(4): 976-983.

[8] Schuler R L, Kish P E, Plese C A. Preliminary observations on the ability of hyperspectral imaging to provide detection and visualization of bloodstain patterns on black fabrics[J]., 2012, 57(6): 1562-1569.

[9] Tahtouh M, Scott S A, Kalman J R, et al. Four novel alkyl 2-cyanoacylate monomers and their use in latent fingermark detection by mid-infrared spectral imaging[J]., 2011, 207(1-3): 223-238

[10] Joong Lee, Seong G Kong, Tae-Yi Kang, et al. Invisible ink mark detection in the visible spectrum using absorption difference[J]., 2014, 236: 77–83.

[11] Edelman G, Manti V, van Ruth S M, et al. Identification and age estimation of blood stains on colored backgrounds by near infrared spectroscopy[J]., 2012, 220: 239-244.

[12] Edelman G, van Leeuwen T G, Aalders M C. Hyperspectral imaging for non-contact analysis of forensic traces[J]., 2012, 223: 1-3.

[13] Binu Melit Devassy, Sony George. Dimensionality reduction and visualisation of hyperspectral ink data using t-SNE[J]., 2020, 311: 109874.

[14] Lívia Rodrigues e Brito , André Braz ,Ricardo Saldanha Honorato ,et al.Evaluating the potential of near infrared hyperspectral imaging associated with multivariate data analysis for examining crossing ink lines[J]., 2019, 298: 169-176.

[15] Estelles-Lopez L, Ropodi A, Pavlidis D, et al. An automated ranking platform for machine learning regression models for meat spoilage prediction using multi-spectral imaging and metabolic profiling[J]., 2017, 99: 206.

Research on Identification Method of Covered Handwriting Based on Hyperspectral Imaging Technology

WANG Mingjiu1，DAI Xuejing1，TANG Chengqing2，LU Zhaoyi1

(1. College of Public Security Information Technology, Criminal Investigation Police University of China, Shenyang 110035, China;2. College of Forensic Sciences, Criminal Investigation Police University of China, Shenyang 110035, China)

In criminal and civil cases, signatures, dates, numbers, and other handwritings of several important documents are deliberately covered to conceal the real information such that they cannot be used as evidence. Therefore, it is necessary to study the feasibility of hyperspectral imaging technology (approximately 450–950 nm) for rapid and non-destructive identification of covered handwriting. Black handwriting pens are mostly used such that two pens are randomly selected from 21 kinds of black handwriting pens to cover each other as samples. Simultaneously, two kinds of black handwriting pens with carbon in the ink and two kinds of black handwriting pens without carbon in the ink are selected, and the same pen is used to write and cover by itself as a sample. The experimental results show that most of the covered handwriting can be completely and clearly identified using hyperspectral imaging technology in the band of approximately 450–950 nm with the real shape and information, which has a good effect. Part of the identification effect is not good, and the details of the original handwriting are incomplete, but the original handwriting can be recognized. In addition, few parts are blurred, which cannot meet the identification requirements. However, most of the covered handwriting is difficult to develop using the traditional infrared method.

hyperspectral imaging, covered handwriting, non-destructive identification, black handwriting pen

DF794.2

A

1001-8891(2023)01-0056-08

2022-01-11；

2022-03-18.

王鸣久（1983-），男，讲师，主要研究方向为公安图像技术，E-mail：396105061@qq.com。

代雪晶（1970-），女，教授，主要研究方向为公安图像技术，E-mail：1210724331@qq.com。

公安部科技强警基础工作专项项目（2016GABJC06）。