基于力反馈设备的文检虚拟触摸鉴定方法

汪 军，周鸣争，强 俊

WANG Jun,ZHOU Mingzheng,QIANG Jun

安徽工程大学 计算机与信息学院，安徽 芜湖 241000

School of Computer&Information Science,Anhui Polytechnic University,Wuhu,Anhui 241000,China

1 引言

在司法鉴定领域，文件检验（简称文检）鉴定包括笔迹、印章、着墨时序、后期涂改、伪造票据、证件等文件检材的鉴定。传统的方法是通过放大镜、显微镜在多波段光源的照射下直接对检材进行并列、拼接、重叠、测量比对[1]。目前比较先进的仪器是专用的文检仪，将检材置入多波段光源的照射下，并配合多波段光源用相同波段波长的截止滤光片滤除干扰光，使摄像机接收比较单一波长的检材图像。摄像机的视频信号经过视频采集卡采集到计算机中形成不同波长照射的物证文检图像。在计算机中采用数字图像处理技术对采集的物证文检图像进行软件的对接、重影、测量比对鉴别，找出检材的细节区别进行鉴定。这种鉴定方式虽然通过不同波段的光源实现了对物证细节的观察，但本质上仍然是在一个二维图像上完成，而没有考虑检材的高度信息。这种忽略检材高度信息特征的鉴别对某些文件检验如着墨时序、凹版印刷票据等的真伪检验很难完成[2]。

随着三维虚拟现实技术的发展，认为如果能够获取检材的高度信息，则可将其在三维虚拟现实场景中再现，通过力反馈触摸交互设备进行三维触摸鉴定。这种触摸鉴定不仅能够从视觉上，而且可以从触觉上多方位比对文检物证特征，提高文检的可靠性。本文采用阴影恢复形状法（SFS）[3-4]获取检材图像每个像素的相对高度信息，与图像的二维坐标构成三维数据，在虚拟现实场景中三维重构[5-6]、贴图渲染，并用力反馈交互设备在重构的三维检材模型上触摸（碰撞检测），将碰撞检测的触摸力输出到力反馈设备[7-8]，再现文检图像的触摸特征。实验表明，虚拟三维重构技术将文检等物证图像由二维扩展到三维比对分析鉴别，并且采用的力反馈交互设备触摸比对可以给鉴定人员直观的触摸感受，使文检鉴别由单纯的视觉变为视觉、触觉一体的鉴别，提高了鉴别的可靠性。

2 虚拟重建三维文检图像

2.1 简化SFS条件获取文检物证图像相对高度信息

由单幅图像灰度明暗变化恢复三维形状（Shape-From-Shading，SFS）是计算机视觉中物体表面形状三维测量、重构的关键技术之一。SFS是在一定的约束条件下从平滑变化的灰度图像恢复出表面各点的相对高度信息或法向信息，即根据物体表面反射模型建立物体表面三维形状与采集的图像灰度之间关系的反射图方程，并根据某先验知识建立对物体表面形状参数的约束条件，对这些关系的求解可得到物体表面三维形状。从图像成像过程可知，空间物体表面法向量的变化引起图像灰度变化，SFS可以看作图像成像过程的逆过程。SFS求解方法一般是假设光源为无限远处的点光源，物体的表面反射为Lambertian[9]表面反射，并基于正交投影求得一个近似的非线性反射图方程，从而建立一个物体表面方向和图像亮度之间的函数关系，再通过各种数值方法求解该方程，最后得到方程的解，求出表面各点的对应的高度值。

设二维灰度图像的灰度矩阵为I(x,y)，文检物证图像表面方程为Z=z(x,y)，点(x,y,z)处的法向量为(p,q,-1)，p=∂z/∂x ，q=∂z/∂y ，光源方向为 S=(ps，qs， -1)，其中，σ是光源的倾角，τ是光源的仰角。

根据Lambertian表面的特性和反射方程，可得：

式（1）中 R(p，q)是Lambertian曲面的反射图。

SFS算法可以大致分为四类，最小值方法、演化和偏微分方程方法、局部方法和线性化方法。最小值方法是将物体表面的特性反射方程和光滑表面模型均表示为能量函数的形式，再将它们联合表示为一个泛函极小值问题或最优化控制问题，最后求出SFS问题的解。演化和偏微分方程方法本质是从图像中一组已经确定高度的点开始，以此为参照高度，逐步递推演化求出整个表面的解。局部方法则是基于对曲面形状的局部假设，进而推出曲面形状信息，是将反射模型与假设的物体表面局部形状相结合来构成关于物体局部形状参数的线性偏微方程组，再利用已知边界条件来求得该方程组的唯一解，从而确定物体的局部三维表面形状，该方法只能恢复曲面的方向信息，而无法得到曲面的高度值。线性化方法认为在反射函数中，低阶项占主要部分，将反射函数进行Taylor展开后，舍去非线性项的结果仍与原反射函数非常接近，从而将原SFS非线性问题转化为一个线性问题并进行求解。这种线性化方法虽然没有明确提出一种表面模型，但线性化反射函数Taylor展开时，对变量高阶项的舍弃已暗示了物体表面形状是缓慢变化模型。从算法的实现难易程度和处理速度方面考虑，线性化方法中Tsai-Shah[10]算法具有容易实现，能快速收敛等特点，适合应用于三维虚拟现实，下面详细说明Tsai-Shah的原理。

Tsai和Shah用有限差分（finite different）方法离散逼近p和q，之后用 Z(x，y)线性化反射图。用式（2）、式（3）逼近p，q。

则式（1）反射方程可表示为：

给定图像灰度 I和对应点(x，y)，将方程（4）进行Taylor展开，可得：

Z(x，y)=Zn(x，y)第 n次迭代的高度可以用式（6）计算：

其中：

假定对于图像中所有的点，初始值为Z0(x，y)=0，根据式（6）即可估计出所有像素点的高度值。

根据三维触摸鉴定方法的思想，首先必须要获取检材的高度信息才能建立文检物证的三维模型。由文检仪的检材图像采集过程可知，文检物证图像像素点灰度主要由检材的三维形状、表面材质的反射特性、相对于光源和摄像机的位置等所决定[11]。在文检的一次检验过程中，需要检验的两种或多种检材与光源和摄像机的位置基本相同，文件物证图像像素点的灰度值的区别主要体现在检材的三维形状和其表面反射特性上，因此采用SFS方法虽然不能准确获得绝对的检材的高度，但在本文提出的文检鉴定方法只需要相对高度就可以比较准确地反映待检验的检材之间的区别。这里将SFS方法用于文检图像的三维触摸比对时，待比对的两幅图像在同一光照和摄像机系统下，无需考虑光源方向与观测方向，则式（6）简化为：

2.2 三角网格重建检材模型

文检物证图像的虚拟三维重构是将2.1节的SFS方法的式（8）获取检材图像的相对高度信息与图像的坐标一起构成的三维数据在计算机中虚拟现实中重建，最终实现在计算机上模拟出真实的检材或场景。

在三维数据重建可视化研究领域中，构建稳定的三角网格方法是最常用的，而在三角网格中Delaunay三角所具有最大最小角和空外接圆的特性，保证了Delaunay三角网格是唯一最优的网格，使得三角网格的构建更加合理与准确，从而具有很好的应用价值。其构建算法主要有三种方法：分治算法、内插算法和生长算法[12]。

本文的三维重建数据是由SFS方法获得的，该组三维数据是在一组有序的二维坐标(x，y)上，增加一维相对高度信息构成 p(x，y，z)，并且x，y数据是等距离采样的，它蕴含了其对应的空间点映射到XY面的邻接关系，因此采用三角形生长算法可快速生成相应的三角网格。以相邻4点构成的邻域为一个基本单位，在这个基本单位中，选择 p0(x，y，z0)为处理的点，找到离它距离最近的相邻点 p1(x，y+1，z1)将其连接，让 P0P1这条线成为一条初始的基线，然后根据Delaunay三角化的条件，在这条基线右侧的离散点中寻找第3个点P3，形成一个Delaunay三角形；再以生成的三角形的斜边P3P1作为基线生成一个Delaunay三角形，一个基本单元生成两个三角网格，如图1所示。

图1 一个基本单元生成的两个三角网格

按照二维图像坐标逐行处理的顺序，选择每一个点，每个点都具有一个包含自身的4点组成的基本单位，每个基本单位构成2个三角网格，一幅分辨率为m×n的图像三维重建的结果则将是由2×(m-1)×(n-1)个三角网格面构成的一个三维模型。

3 检材三维虚拟空间触摸检测

检材在虚拟现实场景中三维重建形成三维网格面，要能够对文件检材的表面“触摸”到，除了有三维输入和力反馈输出硬件设备外，必须在虚拟现实系统中建立一个虚拟手指代理现实中的手指触摸。三维力反馈设备在现实空间中的位置坐标要与虚拟场景中的虚拟手指的位置坐标相互匹配，实现力反馈设备的移动与虚拟手指的移动相一致，触摸过程中虚拟手指与三维检材进行碰撞检测产生的反馈力输出到设备，使操作者能通过力反馈手柄这种输入输出设备触摸文检图像的高度信息，实现触觉鉴定。碰撞检测算法是交互性的虚拟现实中检测虚拟场景中对象之间相对位置随时间发生变化的情况。目前广泛应用于虚拟现实系统的碰撞检测是层次包围盒检测算法和空间分割检测算法[13]。

本文将器械手柄在虚拟场景的代理虚拟手指理想化为一个球体，采用球体包围盒模型，手指对象的中心为三维输入位置，球的半径为中心到手指外表面各点距离的最大值如图2（a）所示。判断手指与检材的碰撞转化为包围球是否与检材的每个三角面相交。由于图像生成的网格面模型中三角网格数据量大，不可能全部检测，这里采用空间分割检测算法的思想，假设球体包围盒直径为D，映射到XY面的4个相邻点为一个正方形基本单元，边长为d，则需要进行碰撞检测区域只有(D/r+1)×(D/r+1)个基本单元，可以大大减少检测的三角面的数目。特例，若假设球体直径为像素间的距离，则根据球中心坐标在XY面的映射，只需要检测球与4个基本单位9个点生成的8个三角面的碰撞即可，图2（b）所示为球与6个面碰撞。

图2（a） 虚拟手指的球包围盒

图2（b） 包围球与6个三角网格

检测球与三角面的碰撞只需要求出球心与三角面的最近距离，若最近距离小于等于半径则与该三角面碰撞。球心P(px，py，pz)与三角面的最近距离的求解用P点正交投影到三角面的某一边的Voronoic特征域中获取最近点Q。设Q的坐标为Q(qx，qy，qz)，虚拟手指球包围盒半径为r，则虚拟手指与三角面发生碰撞后将产生反馈力，反馈力的计算用式（9）表示的胡可定律计算：

方向由Q指向球心P，所有碰撞点的矢量合力反馈到设备手柄，操作者获得力反馈的触觉。

4 实验

根据上述思想，在一台HPZ800（E5606×2，内存8 GB，显卡 NVIDIA Quadro4000，显存2 GB GDDR5）上实现文检图像的三维触摸鉴定方法，力反馈设备为Navint公司的三维输入力反馈手柄Falcon，如图3所示；软件为基于触觉形象化和交互式实时模拟的免费C++库Chai3D作为虚拟现实开发包[14]，在VC开发平台实现本文的三维触摸鉴定的仿真验证系统。为了验证该算法的有效性，以文检系统中难以解决的着墨时序和凹版印刷两种进行鉴别实验，效果如图4～6所示。

图3 力反馈触摸实验环境

图4（a） 在三维场景触摸左边“九”的“丿”

图4（b） 触摸左边“九”的“丿”的力反馈曲线

图5（a） 在三维场景触摸右边“九”的“丿”

图5（b） 触摸右边“九”的“丿”的力反馈曲线

图6（a） 某商标的凹版印刷

图6（b） “手指”水平触摸商标的力反馈曲线

如图4（a）和图5（a）是同一光照和摄像机系统下的图像的“九”字的两幅文检图像，由于力反馈手柄的触摸感觉与力反馈设备的力反馈的精度以及与操作者的主观感觉有很大关系，为了能较为明确地展现实验结果，以触摸的时间为横坐标，以触摸产生的反馈力为纵坐标，三维空间中反馈力为X，Y，Z三个方向，这里分别用红绿蓝三色曲线表示这方向的力，实验判断“九”的“丿”和“乙”哪一笔画先写。根据书写的先后分析，如果先写“丿”，再写“乙”，则“丿”的着墨将会被“乙”划断，高度将有较大起伏；如果先写“乙”，则“丿”的着墨是完整顺滑的。因此实验是分别顺着“九”的“丿”书写移动触摸感知，并将反馈力实时绘制曲线，如图4（b）和图5（b）所示。从触摸力反馈曲线可以反映出左右两幅图像的“九”字的笔画着墨顺序是不同的，图4（b）表明左边“丿”先写，后写的“乙”将“丿”的着墨划断，反馈力形成了有两个尖峰；图5（b）表明右边“乙”先写，后写的“丿”的着墨顺滑，反馈力无较大起伏，和实际情况分析吻合。

另外，为了更能说明问题，又实验了凹版印刷商标，验证是否能够反映凹版印刷的凹凸性，从图6（b）所示的沿着水平方向Y触摸产生触摸力反馈数据曲线可以看出，力反馈数据的起伏跳跃与印刷的凸起一一对应，可以用力反馈手柄直观地感觉到其凹凸性，从而易于判断商标的真伪。

5 结束语

本文采用SFS的方法从光源和摄像机位置参数基本相同条件下的不同检材图像数据中获得三维数据；分析了获取的三维数据在XY面投影的特点，并运用Delaunay三角形的方法在三维虚拟现实场景中三维重构；在检材三维模型的虚拟场景中建立“虚拟手指”代理力反馈交互设备，实现了检材和“虚拟手指”之间基于手指球包围盒模型和空间分割检测相结合的触摸碰撞检测的触摸鉴定。

在虚拟场景中以力反馈交互设备实现对司法鉴定领域的文检图像的触摸鉴定，变传统的图像平面鉴定为三维鉴定，同时力反馈触摸给鉴定人员直观的触摸感受，使文检鉴定由单纯的二维视觉鉴别转变为三维视觉、触觉一体的鉴定，提高了鉴别的可靠性。

本文的文检触摸鉴定可以有效地提高鉴定的正确性，但也存在一定的不足，存在的主要问题主要体现在两个方面：其一，SFS方法求取的高度信息并非真正的高度信息，虽然本文是在同一光照和CCD的采集条件下，检材之间的高度信息具有相对可比性，有明显的比对鉴定效果，但仍然存在一定的误差，需要借助高精度的三维测量设备获取真正意义上的检材高度信息；其二，在进行碰撞检测的时候将力反馈设备在虚拟现实系统中的“虚拟手指”模型理想化为一个刚性球，文检检材也是刚性模型，碰撞检测为刚性检测，比较生硬，手感不佳，而实际的手指应该是柔体，能够变形，关于柔体变形触摸的研究是本文进一步研究的方向。

[1]杨旭，施少培，徐彻，等.VSC文检仪在文件鉴定中的应用研究[J].中国司法鉴定，2007，7（6）：16-21.

[2]连园园，梁鲁宁，黄建同，等.拉曼光谱阵列面扫描判断蓝色签字笔与印泥的时序研究[J].光散射学报，2012，24（1）：75-85.

[3]Lkeuchi K，Horn B K P.Numerical shape from shading and occluding boundaries[J].Artificial Intelligence，1981，17（3）：141-184.

[4]须明，赵荣椿.SFS方法及其与立体视觉方法的集成方案综述[J].计算机工程与应用，2006，42（8）：1-6.

[5]蔡泽民，闫敬文.人脸识别：从二维到三维[J].计算机工程与应用，2011，47（11）：155-159.

[6]邹常青，刘健庄.基于优化算法的从线画图精确重构三维物体[J].计算机辅助设计与图形学学报，2012，24（12）：1585-1591.

[7]Beyer L，De Troyer J，Mancini J，et al.Impact of laparoscopy simulator training on the technical skills of future surgeons in the operating room：a prospective study[J].The American Journal of Surgery，2011，202（3）：265-272.

[8]Loukas C，Nikiteas N，Kanakis M，et al.Deconstructing laparoscopic competence in a virtual reality simulation environment[J].Surgery，2011，149（6）：750-760.

[9]Horn B K P.Height and gradient from shading[J].International Journal of Computer Vision，1990，5：37-75.

[10]Tsai P S，Shah M.Shape form shading using linear approximations[J].Image and Vision Computing，1994，12（8）：487-498.

[11]Zheng Q，Chellappa R.Estimation of illuminant direction and shape from shading[J].IEEE Trans on Pattern Analysis and Machine Intelligence，1991，13（7）：680-702.

[12]余杰，吕品，郑昌文.Delaunay四面体软组织建模方法[J].中国图象图形学报，2010，15（8）：1158-1165.

[13]赵伟，谭睿璞，李勇.复杂虚拟环境下的实时碰撞检测算法[J].系统仿真学报，2010，22（1）：125-129.

[14]Miles H C，Pop S R，Watt S J，et al.A review of virtual environments for training in ball sports[J].Computers&Graphics，2012，36（6）：714-726.