林雪华,陈新
福州大学 物理与信息工程学院,福建 福州 350108
双目视觉系统精度分析及在经络可视化中的应用
林雪华,陈新
福州大学 物理与信息工程学院,福建 福州 350108
为提高双目立体视觉测量系统的测量精度,采用三角法建立双目立体视觉测量系统的结构参数模型,分析系统结构参数对测量结果的影响。通过仿真得出各结构参数对测量结果的精度影响趋势,归纳出小误差的结构参数取值范围,并将分析结果应用于经络可视化研究中。通过在电极探针上粘贴定位标靶,利用标靶与电极探针的关系计算出探针的坐标,从而间接得出经络点的位置。通过对标靶中X角点的定位精度进行分析,得出实验操作的有效工作区域,为经络的准确定位奠定了良好的基础。最后,根据理论与实验结果总结出提高系统精度的方法。
超声仪;经络可视化;角点检测;双目立体视觉;结构参数;误差分析
中医认为,经络调控人体气血的运行,是人体脏腑联络体表及全身各部的通道[1]。对经络、穴位的准确定位,特别是在人体体表上实时显示,对于临床诊断、治疗和疗效的评估具有重要的意义和临床应用价值。目前常用的经络定位方法有超声定位、红外定位、磁定位和光学定位,其中光学定位与其他方法比较具有测量误差小、受环境影响小和无伤害等优点。
本文结合经络的低阻抗电学特性[2],利用双目立体视觉系统,研究一种经络的实时定位和显示的新方法,在人体体表上直接测量并实时绘制经络的准确位置。其实现思想为:在探针表面粘贴定位标靶,利用双目立体视觉系统对标靶进行定位,之后根据标靶与探针的相对位置关系,计算出探针的位置。当探针与人体体表皮肤所接触位置的电特性符合低阻抗特性时,探针所在的位置即为经络候选点。经络的准确定位依赖于双目立体视觉系统对标靶的准确定位,因而双目立体视觉系统的精度对经络点的定位准确性至关重要。
双目立体视觉是计算机视觉的一个重要分支,原理是从两个或更多的视点观察同一景物,从而获取不同视角下的感知图像,通过三角测量原理计算图像视差来获取被测目标的三维信息[3]。
双目立体视觉系统如同人的眼睛,具有一定的可视范围,即称为有效视场。假设两摄像机具有相同的参数,且对称放置,见图1,其中o1、o2分别表示两摄像机的光心,z1、z2表示光轴,光心的连线为基线距B,摄像机的视场角为2ω,光轴与Z轴的夹角为φ,w为视场宽度。空间中任意目标点到基线的距离为d,可得双目视觉系统的有效视场满足关系:
图1 双目立体视觉可视区域
双目立体视觉测量系统模仿人眼的功能,基于视差原理,利用空间点在摄像机像面上的成像点坐标求取空间点的三维坐标。一个完整的双目立体视觉测量过程通常分为图像获取、摄像机标定、特征提取、立体匹配、三维重建等5个步骤。在实际测量过程中,一旦系统标定后,系统中的摄像机的焦距,摄像机之间的夹角和相对位置等都必须保持固定不变,因此测量工作开始之前有必要对系统结构进行优化[4]。
双目立体视觉测量系统在XO1Z平面的投影图,见图2。图中两台摄像机为水平交向放置,O1,O2为其透镜中心,有效焦距为f1,f2,两透镜中心的连线称为基线距B,两摄像机光轴与基线的夹角分别为α1,α2。O1P1,O2P2分别为两摄像机的成像平面,其中P1,P2分别为空间点P在两摄像机成像平面上的像点。ω1,ω2为P点在水平面上与光轴的夹角,即为水平视场角。由图2可知,直线O1P1和直线O2P2相交于点P,因此点P是唯一的,其三维空间位置是可确定的。
图2 双目立体视觉测量系统结构模型
根据图2的几何关系,以左摄像机C1XYZ为世界坐标,可以利用系统结构参数和视场角来表示空间点P的三维坐标为:
双目立体视觉测量系统的结构参数主要有两摄像机光轴与基线之间的夹角α1、α2,基线距B、工作距离Z,焦距f等,这些结构参数存在的约束关系[5]。为得到准确的测量结果,首先需要对相关结构参数进行误差分析和处理。
假设目标点P处于图1的有效视场中,根据误差理论分析[6],用X、Y和Z方向的测量误差表示坐标测量综合误差:
其中:
式中δi为像点坐标值提取误差,i表示像点x1,x2,y1,y2。
为了提高双目立体视觉系统的定位精度,对以下各结构参数进行分析并仿真。
3.1 光轴与基线夹角和视场角对测量精度的影响
对于一个既定的系统,其结构参数是固定不变的,且这些结构参数也经过精心标定,其标定误差也是定值,综合测量误差只是随着目标点视场的变化而变化。视场角分为水平视场角和垂直视场角,系统综合误差随着垂直投影角的增大而单调增大。假设像点坐标提取误差为δx=δy=δ,水平视场角ω1∈[-40°,40°],ω2∈[-40°,40°], 光轴与基线的夹角α1=α2=40°,根据式(3)可得到误差的分布,见图3。
图3 水平视场角与误差分布
由图3可知,两水平视场角在[-20°,20°]范围时,综合测量误差相对较小。当 ω1=ω2=ω∈[-25°,25°]时,误差传递函数将随着光轴与基线的夹角α1=α2=α取值不同而发生变化,为了视图清晰只画出部分曲线,见图4。从图4可以看出,当α取值在[40°,50°]时,系统综合误差较小且均匀分布。
图4 光轴与基线夹角与误差分布
3.2 焦距f对测量精度的影响
焦距f是透镜的主要参数之一。焦距不同的摄像机,视场范围也不同,光路越长,视场范围越小。为了分析不同的焦距对测量精度的影响,假设光轴与基线的夹角α=40°,ω∈[-40°,40°],改变f的值,误差分布,见图5。
图5 焦距对系统误差的影响
从图5可以看出,随着焦距f增大,系统误差减小,且误差分布较短焦距均匀,因此在实际测量中,可以通过适当增大焦距提高系统精度。
3.3 基线距B对测量精度的影响
双目立体视觉测量系统中两摄像机之间的透镜中心距离为基线距。当其增大时,相应的测量角 将随着增大,使得B对精度的影响呈非线性。有文献[7]指出位于摄像机光轴上的点测量精度最低。因此,可通过研究两摄像机光轴的交点位置P的误差来分析基线距B对系统误差的影响。
设α1=α2=α,ω1=ω2=0,k=B/Z为基线距与工作距离的比值,f为摄像机的有效焦距,得空间点P的坐标传递函数为:
P点的综合测量误差为:
当系统固定后,Z和f为定值,则综合测量误 差与 成正比。根据式(6),可得测量误差与基线距的关系,见图6。
图6 测量误差随结构参数的变化关系图
由图6可知,综合测量误差随着k的增大,先减小后增大;当k在0.8~1.8之间变化时,系统的综合测量误差较小,并在k=1.3附近有最小值;当k<0.5或k>2.5时,k的变化对测量精度影响较大。
经络的可视化依赖于双目立体系统对经络点进行定位。本文中采用的方法是在探针上粘贴定位标靶,见图7。通过对标靶上的X角点进行定位,之后根据X角点与电极探针的固有相对位置关系,从而计算出探针的坐标。图7中P0、P1、P2为3个X角点,Ci为第i个电极探针触点,图中探针触点具有以下特征:① 探针触点连线C1C16与直线P0P2平行;② 探针等距离d分布;③ 最右边的探针C1在直线P0P1上。
根据C1点在直线P0P1上以及C1点与P0的距离D1、P0与P1的距离D2三个约束条件,结合标靶中角点的三维坐标,可求得第一通道的探针触点C1的三维坐标(x1, y1, z1)。
根据上述特征①,可以求得直线C1C16的方程,并根据第i通道Ci与C1的距离分布,插值求出Ci(xi, yi, zi),其中1<i<17。
计算出各探针触点的三维坐标后,结合阻抗检测仪对探针所接触的皮肤阻抗的检测数据,根据经络的低阻抗特性可知经络点所处的探针通道,即可得出经络点所处的三维坐标。
图7 标靶及探针关系
根据以上思想,要实现经络的精确定位,需确保X角点三维定位的精度。以左摄像机坐标系为世界坐标系,假设三维重建得到的X角点三维坐标是准确的,则反投影到左摄像机成像平面上的X角点二维坐标应该与左摄像机自身检测到的X角点二维坐标相同。根据此原理及结构参数对系统误差影响的仿真结果设计实验如下。
主要仪器:德国The ImagingSource生产的DMK 41AUC02 USB CMOS单色相机2台(分辨率为1280×1024,像元尺寸为5.2μm×5.2 μm)。瑞士Leica激光测距仪D21台(测程0.05 m~60 m,精度 1.5 mm)。
实验步骤:
(1)先采用张氏标定法[8]对左右摄像机标定,得到左右摄像机的内外参数。根据前文仿真结果可知,当光轴与基线的夹角在[40°,50°]、两水平视场角在[-20°,20°]范围内时,综合测量误差相对较小。因此调整摄像机使α1=α2=50°,水平视场角ω=5°,左右摄像机对称放置,左右摄像机基线距B=900 mm,焦距f=12 mm。
(2)采用Harris[9]检测算法对图7所示标靶上的3个X角点进行检测,并进一步对亚像素级提取,得到亚像素级二维坐标。
(3)实现左摄像机所检测的X角点与右摄像机检测到的X角点的立体匹配,以左摄像机为世界坐标,根据双目立体视觉原理进行X角点三维坐标重建。
(4)把所得到的三维坐标反投影到左摄像机成像平面上,通过计算反投影后二维坐标与左摄像机自身检测到的二维坐标偏离距离来衡量系统的误差。假设左摄像机检测到的X角点坐标为(xi,yi),反投影到左摄像机成像平面上得到的坐标X角点为 ,3个X角点的平均误差公式定义为。
(5)在有效视场范围内改变标靶与摄像机的距离,重复步骤(2)~(4)。
根据以上实验步骤,得到实验结果,见表1。
从实验结果可知,当工作距离在0.7 m左右,基线距为0.9 m时,即基线距与工作距离的比值为1.3左右反投影后所得的坐标与左摄像机自身检测的角点坐标偏差在0.5 pix左右,精度较高。从公式(4)~(6)可知,对于既定的系统,综合误差与e成正比,在k=1.3附近具有最小值(图6)。实验结果与理论分析吻合。在基线不改变的情况下,增大或减小工作距离,X角点的定位精度都将降低,在工作距离1 m时误差最高将达到7 pix左右。
为了验证经络点检测具有可行性,假设工作距离为0.7 m,工作平台为1 m2,沿着与基线平行的方向移动电极探针,重复检测角点并计算误差。实验结果显示,角点的定位误差在工作台的中心区域在0.5 pix左右,以视场中心点为圆心,半径为0.3~0.4 m的圆内精度相对稳定,边缘区域误差将达到3~4 pix,即视场中心的X方向和Y方向测量精度高于边缘的测量精度[10]。因此,只要确保实验操作在以上有效区域内,可以得到精度较高的经络点。
实验中以部分心包经为例,首先计算出角点的三维坐标,结合经络点的低阻抗特性,利用图像融合算法将经络点显示在二维场景图像中。心包经的检测结果,见图8中左图。然后利用曲线拟合的方法连接经络点,见图8中右图。
图8 经络可视化
从以上分析及实验结果可知,误差传递系数是非线性的,从两方面影响系统的综合误差:一方面是系统结构参数(B, α1,α2、 ω1,ω2、f1、f2)和标定值的误差;另一方面是两摄像机图像平面上像点的坐标值(X1、X2、Y1、Y2)及其提取误差δ[11-12]。
表1 实验结果
结合仿真与实验,可从以下几个方面对系统进行优化:
(1)合理选择摄像机内部参数及镜头焦距,尽可能选高分辨率的摄像机。在角点定位实验中,工作距离较小,结合精度和视场要求选择焦距为12 mm摄像机。摄像机的有效焦距越大,系统的精度越高,但是视场范围越小。所以必须根据测量对象和测量环境选择合适的摄像机。
(2)根据被测物体的特点系统的体积等因素初步确定测量的工作距离和基线距。实验中当工作距离为0.7 m左右,基线距为0.9 m时精度较高。如果需要工作距离较大的系统,要求基线距B也必须增大,当两者的比例为1.3时,才能达到比较高的精度。在系统结构已经确定时,工作距离越大,精度则越低。
(3)结合公式(1),根据实验中对有效视场大小的需求,调整摄像机间的夹角。当光轴与基线的夹角为[40°,50°]可得到较小的误差。
(4)被测物体的放置与光轴在同一水平面,即垂直视场角为零,水平视场角在[-20°,20°]范围内为最佳。
(5)Harris 角点检测算法得到的是像素级的坐标,为了提高精度,需进一步亚像素提取。所以为了减小坐标提取误差,必须选择合理软件算法。
本文通过对双目立体视觉系统的可视区域范围和结构参数进行分析,并结合仿真得知结构参数的最佳取值范围,之后设计实验对经络可视化中定位标靶中X角点的三维重建精度进行分析。本文提出的方法为提高经络定位的精度奠定了良好工作基础,通过优化系统结构参数及软件算法的合理选择,可以得到高精度的X角点坐标。
[1] 黄辉.经络[J].中医药临床杂志,2012,24(10):1001.
[2] 祝总骧,徐瑞民,谢君国,等.经络在表皮层和角质层的低阻抗特性及其形态学实质的研究[J].中国医药学报,1988,3(5):33-35.
[3] 吴彰良,孙长库,杨中东.视觉测量传感器系统结构参数设计分析[J].光电工程,2009, 36(12):56-61.
[4] 闫龙,赵正旭,周以齐.基于CCD的立体视觉测量系统精度分析与结构设计研究[J].仪器仪表学报,2008,29 (2):410-413.[5] 刘亚菲,郭慧,聂冬金,等.双目立体视觉系统测量精度的分析[J].东华大学学报,2012,5(38):572-576.
[6] 费业泰.误差理论与数据处理[M].北京:机械工业出版社,2004: 58-59.
[7] 张广军.机器视觉[M].北京:科学出版社,2005:102-104.
[8] Zhengyou Zhang.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000,22(11):1330-1334.
[9] 姚耀,胡仲翔,时小军,等.Harris 角点提取实现亚像素级摄像机自标定[J].电子设计工程,2009,17(5):61-65.
[10] 李海滨,单文军,刘彬.双目立体视觉测距系统误差模型的研究[J].光学技术,2006,32(1):24-30.
[11] 赵萍,李永奎,田素博,等.双目视觉测量系统结构参数理论与试验研究[J].机械设计,2013,30(2):64-68 .
[12] Yubo Guo,Yu Yao,Xiaoguang DI.Research on structural parameter optimization of binocular vision measuring system for parallel mechanism[J].IEEE International Conference on Mechatronics and Automation,2006,25(28):1131-1135.
Accuracy Analysis of Binocular Vision System and Its Application in Meridian Visualization
LIN Xue-hua, Chen Xin
College of Physics and Information Engineering, Fuzhou University, Fuzhou Fujian 350108, China
In order to improve the measurement precision of binocular stereo vision measuring system, a new structural parameter model of this system was investigated with the trigonometric method to analyze the structural parameters affect on the vision measurement accuracy. Then, by simulation, the precision infuence trend of these structural parameters was got to conclude the range of the structural parameters with a small error. And, the simulation result could be applied to the meridian visualization. By pasting the location target on the electrode probe, the coordinates of the probes was calculated by using the relationship of target and electrode probes to indirectly get meridian point position. Also, by analyzing the accuracy of the X corners on the target, this experiment obtained an effective work area which laid a good foundation for the meridian visualization. Finally, according to the theoretical and experimental results, the method of improving system precision was summarized.
ultrasonic apparatus; meridian visualization; corner detection; binocular stereo vision; structural parameter; error analysis
TP391.41
A
10.3969/j.issn.1674-1633.2014.03.005
1674-1633(2014)03-0016-05
2013-09-23
福建省自然科学基金项目(2012J01267)。
本文作者:林雪华,硕士研究生。
陈新,教授,主要研究生物医学,图像处理与网络通信。
作者邮箱:meltingsnow@139.com