重叠畸变区域下PTZ主从摄像机定标方法研究

胡 玮，潘 林

（福州大学计算机图形图像研究所，福州350100）

重叠畸变区域下PTZ主从摄像机定标方法研究

胡 玮，潘 林

（福州大学计算机图形图像研究所，福州350100）

针对传统摄像机覆盖面不足、镜头成像畸变等问题，结合PTZ摄像机可灵活控制的特性，采用镜头畸变处理算法，提出一种重叠畸变区域下PTZ主从摄像机系统的定标方法。利用PTZ摄像机的预置位点对场景进行分区域采集，提取区域视图中的特征点进行重构处理，使用镜头的径向校正算法完成区域视图的校正，将主摄像机视图与重构视图依据映射关系函数进行定标，通过预置位点调整来提高精度，并引入混淆矩阵的概念验证定标的有效性。实验结果表明，该方法不用考虑摄像机中心偏差等问题，与传统定标方法相比速度快、精度高，适合应用于居民小区等监控环境。

重叠区域；PTZ摄像机；畸变；定标；预置位；混淆矩阵

1 概述

近年来视频监控系统在日常生活中发挥着越来越重要的作用，被广泛应用于安防监控、工业控制、智能交通等领域［1］。随着视频监控系统应用范围的不断拓展，对视频图像的监控范围和分辨率提出了更高的要求。受到摄像机有限视野和分辨能力的限制，当监测一个较大的场景时，需要布置多个摄像机对其进行监测，以避免目标漏检并保证较高的分辨率。主从摄像机监控系统是多摄像机方案中的一种，该系统利用固定摄像机作为引导者，控制PTZ（Pan Tilt Zoom）摄像机去聚焦跟踪感兴趣的目标，系统实现的关键是主从摄像机坐标关系的建立。目前的定标方法大致分为2类，一类利用摄像机间的内外硬件参数进行相互关联，文献［2］采用的方法是将外界显示的三维场景坐标直接转换为摄像机的转动参数，并通过控制参数和变换焦距来实现定标过程；文献［3］在硬件参数控制的基础上，结合2幅图之间的对极几何关系完成坐标之间的关联。但上述2种方法采取的定标参数较为复杂，过程繁琐，容易受到安装条件、温度和与光照等因素的变化，不同程度上影响到参数的计算。另一类方法是利用静态场景的图片与PTZ摄像机的场景图片进行弱定标操作，结合插值算法获取2个场景之间的坐标映射关系，如文献［4］中提到的方法，该定标方法优点在于方法简便，但需要长时间的人工操作，且精度较低，适用范围较窄；文献［5］在基于两摄像机的光心重合的假定前提下，利用特定情况计算主从摄像机的坐标变换公式来进行定标，但该方法的缺点是光心位置误差与假定条件相差较大，容易导致定标公式不准确，进而影响定标的准度。

本文提出一种重叠畸变区域下的PTZ主从摄像机系统定标方法，结合PTZ摄像机的预置位点、SURF［6］、图像特征点拼接［7］和摄像机镜头畸变校正［8］算法，在提高系统适用性的同时缩短摄像机定标过程中需要人工耗费的时间。系统架构简单灵活，利用广角摄像机与PTZ摄像机有机结合即可实现，不仅解决了传统摄像机定标时可能产生的镜头畸变问题，而且通过灵活调节PTZ摄像机的预置位点数，使该方法可以兼容不同条件下的场景监控。

2 方法描述

本文中定标摄像机分为2种：（1）静态广角摄像机，负责大范围的场景监控；（2）动态PTZ云台摄像机，用于捕获广角场景区域中的细节。首先，系统通过PTZ摄像机对监控场景采集视图信息，然后对采集得到的视图进行畸变校正处理，再一步利用特征点提取算法得到场景的特征数据，结合处理得到的视图进行场景的拼接重构工作，之后根据重构得到的场景和广角摄像机得到的场景进行配准，最后进行系统定标。广角摄像机根据之前的静态定标结果对镜头中的实时图像进行特征提取，利用特征点对的映射关系控制PTZ摄像机移动至合适预置位点，捕获场景目标并完成定标。

3 定标框架

3.1 主从摄像机模型的建立

空间中某一点P在世界坐标系与摄像机坐标系下的齐次坐标分别为χw=（Xw，Yw，Zw，1）T与χc=（Xc，Yc，Zc，1）T，则有：

其中，R为3×3正交单位矩阵；t=［tχtytz］T为三维平移向量；0T=［0 0 0］T。本文中，设χw为静态摄像机坐标系，χc为动态摄像机坐标系，H为静态摄像机坐标系到动态摄像机坐标系之间的映射，其定标原理如图1所示。其中，H'代表静态广角视图与重构场景视图之间的映射关系；C代表广角摄像机中心；C'代表PTZ摄像头中心。

图1 系统定标原理示意图

通常情况下，要直接准确地得到映射关系H是比较困难的，因此，先利用广角场景之间的映射关系（χ，y）～（χw，yw），再结合静态视图与重构视图的映射关系H'，即可间接得到广角摄像机当前场景视图与重构场景的映射关系H，从而计算出目标的位置坐标。

3.2 预置位采集

在利用静态场景视图进行摄像机定标时，文献［4］提到的方法是利用人工方法将摄像机中心移动到目标所在区域，并通过反复移动和记录得到静态摄像机和PTZ摄像机之间的映射关系。通过繁琐的记录得到一张主从摄像机之间的映射关系表，这样PTZ摄像机就可以通过查询这张表得到获取相应的控制参数，并通过插值计算得到其他位置的参数。

为提高系统效率，结合PTZ摄像机的置位灵活特性，将采集和主从摄像机定标利用预先设置好的预置位点自动完成，根据事先设置好的预置位点让摄像机自动转置预定角度采集场景信息，节省了人工控制转动镜头以及记录数据的时间。

3.3 特征点提取及处理

常用的特征点提取方法有Harris角点检测、Hessian-Laplace、SUSAN［9］、强角点检测等。SIFT算法［10］是一种鲁棒性的特征检测方法，然而其算法复杂度高、计算量大。而SURF算法同样具有尺度不变性和旋转不变性的特点，并且计算速度快，鲁棒性好。SURF算法主要利用Hessian矩阵的行列式判断图像上是否为极值点来获取感兴趣信息。在图像上，I（χ，y）代表图像的像素值，利用尺度归一化的二阶高斯滤波器计算图像的二阶偏导，则尺度为σ的Hession矩阵表示为：

其中，Lχχ（χ，y，σ）是图像在P（χ，y）处与高斯函数二阶偏导的卷积。L（χ，y，σ）和L（χ，χyyyy，σ）与此类似。通过Hession矩阵的行列式即可计算出图像中的特征信息。表1是实验中对SIFT与SURF算法的数据比较结果。

表1 SIFT与SURF算法结果比较

由于SURF算法提取出的特征点仍然可能有误匹配点的产生，因此需要进行错误点的剔除。RANSAC（Random Sam ple Consensus）［11］是一种利用数学迭代的方式估计模型的参数，通过得到的参数模型对不能适应模型的数据进行排除的方法。实际测试中，对于100个样本点平均约经过5次～6次的迭代之后，即可得到较准确的特征数据集。

3.4 畸变校正

本文基于镜头径向畸变模型［12］的校正方法，通过构建定标模板，将畸变中特征点的排列构造出理想特征点图像，然后计算特征点的畸变和理想矢径坐标，建立方程组求解或多项式拟合求出理想矢径ru与畸变矢径rd之间的映射关系，最后取矢径均方误差最小的畸变中心和对应的多项式系数作为校正函数，进一步校正图像。

文献［13］中针对鱼眼镜头并结合鱼眼相机的成像函数，通过SIFT算子进行全景匹配，将畸变的情况直接合并到坐标变换中，继而得到一个全局的旋转变换矩阵T。本文出于一种弱定标重构方法的考虑，在特征提取（以及拼接）的过程中需要将PTZ的畸变考虑在内，因此需要对畸变的场景图像进行校正。

若采用以畸变中心为原点的极坐标系，则径向畸变模型表示为：

其中，ru是理想图像点的矢径坐标；rd是对应畸变图像点的矢径坐标。多数镜头畸变函数的表示形式为：

图2（a）是摄像机所获取到的场景图片，图片边缘附近可以看到镜头的畸变情况，实际测试中取70个～80个点的点阵作为畸变栅格模板，依据栅格模板的畸变状况计算各项多项式的畸变系数。校正后的图像如图2（b）所示。图2（c）表示的是该场景中采用的多项式函数阶数与均方误差、中心误差分别对应的拟合曲线关系。从图中可以看出，针对某种固定畸变程度的镜头，选取合适的阶层的多项式即可拟合出高精度的图像畸变模型，以本文为例，当多项式阶层取4时，中心误差为0.06，矢径均方误差为0.5左右，即可得到结果较为准确的校正图。而且通过图像校正，增加了一定条件下本来在畸变视图下判定失效的匹配对，对后续的拼接以及定标都有很大的帮助。

图2 镜头校正模板与效果比较

3.5 场景拼接

本文图像拼接的基本思路是通过利用n（n≥3）对特征匹配点对2幅图之间进行匹配，然后计算出2幅图之间的仿射矩阵M，使2幅图像融合。基本的仿射变换公式为：

为了使仿射变换得到的效果更佳，对变换结果进行双线性插值，将原图像目标像素点附近的4个邻近象素的值两次加权平均后替换变换图像中的新象素点，以确保不同图像之间的平滑过渡。

3.6 定标及偏差调整

定标通过视图与视图之间的仿射变换关系实现。设定P（a′，b′）表示静态场景的坐标点，P（χ，y）表示重构场景的预置位点，P（a，b）表示重构场景的坐标点。完成场景的拼接建模后，提取广角场景和拼接场景之间的匹配关系，得到一系列特征点匹配对P（mK，nK）～P（mK′，nK′）。根据P（mK，nK）～P（mK′，nK′）之间的映射关系计算出仿射矩阵M，依此得到：

通过变换矩阵M，进一步得到静态摄像机到PTZ摄像机的映射关系P（χ，y）～P（a，b）。对于静态场景中任意一点P（a，b），映射到重构场景的每一个预置位点P（χ，y），有：

定标过程中由于预置位点相对于整个场景的记忆位置是固定的，因此定标结果可能把完整的目标物体显示在视图中央（如图3（a）所示），也可能会产生目标物体不能完整显示在摄像机视图中（如图3（b）所示）。通过设计2组不同的预置位点集合来分别应用与采集和定标2个过程，可以在不影响系统复杂度的前提下提高定标精度。

图3 预置位定标的偏差调整

如图4（a）所示，深色预置位点为采集时所使用的部分预置位点集，浅色预置位点作为定标时额外使用的预置位点集。在系统采集初始场景信息时，使用深色预置位点足以获取到整个场景的各部分信息，但若仅以深色预置位点为中心进行定标，有可能使定标视图中的目标无法完整显示（虚线方框）。若在定标时同时结合浅色预置位点进行计算，就可能提高定标结果的精度，使目标更完整的出现在摄像机中央（实线方框）。图4（b）说明了该方法的主要流程，由于在坐标转换后可供分析的预置位点数增加了，PTZ摄像机在定标空间时的可选择点数也增多了，因此一定程度上增强了系统的可靠性。

图4 预置位调整原理及流程

由于本文定标方法是借助预置位点进行场景目标中心的定位，如何将目标中心归类到正确的预置位点决定了场景定标的精确度。若将空间点阵类比为聚类中心，对于大场景中的目标定位，是否合理的归类于最近的的置位点影响到定标结果的有效性。以实验中的拼接模板为例，取前9个点作为聚类中心点，对于大场景中的任意一点，通过人工统计并结合实际定标结果，若该点经过映射并处于视图的中心的3/4方格区域内，则认为该聚类是正确的，否则认为是错误的（如图5所示）。利用混淆矩阵［14］（Confusion Matrix）的概念分类、统计和比较定标结果的准确度。混淆矩阵主要用于比较分类结果，可以把分类结果的精度显示在一个矩阵之中。本文实验中将每张拼接模板（对应一个置位中心）等价为一个类，每一列中的数值等于测得定标位置在分类图象中对应于相应预置位点的统计概率，各矩阵单位中颜色的深浅程度代表了定标到该置位点的概率的大小。

图5 定标分类决策

4 实验与结果分析

本文在基于VC++6.0的开发环境下进行实验，主监控端为650TVL的CCD彩色摄像机，可清晰获取场景图像，从监控端为红外高速球PTZ云台。实验中选取了32组预置位点，其中12个预置位点作为采集点使用，20个点作为定标辅助点使用，并在实验室场景下结合主从摄像机进行小区域的定标实验，其中重构场景效果如图6所示，图中的数字代表PTZ摄像机采集实验室场景时对各个视图区域的编号。

图6 场景定标匹配效果

广角场景视图如图7（a）和图7（b）所示，图7（a）根据广角场景和拼接场景的坐标映射关系在场景图7（b）中进行定位。在检测到移动的目标物体后，将场景中的人物中心的坐标转换到拼接场景的坐标系中，PTZ摄像机根据映射得到的目标物体坐标信息，计算出对应的预置位中心（见图7（c）），完成目标的捕获。

图7 场景追踪视图及中心偏离程度

本文中PTZ摄像机截取的图像大小为352× 288，若该点落在264×216的视图中心区域内（75%），则判定该点在其对应区域的定标结果是合理的，在混淆矩阵中则表示为area_i映射到area_j中（其中i==j），相对应的概率结果如图8中深色对角线所表示的情况。

图8 混淆矩阵偏差分类比对

从图中矩阵可以看出，可能产生匹配错误的视图基本是离正确的视图在空间距离上较为接近的视图，同时在实验结果分析中也可得出，定标视图的重叠度对分类的结果也有一定影响，若拼接图片之间的重叠区域较大，则点落在75%的区域内的概率越高，则混淆矩阵的分类结果就越好。总体来说，该矩阵在一定程度上准确反映了定标算法的准确度。

表2统计的是若干个分散目标点进行定标获得的数据。广角摄像头根据视图确定目标位置并计算出重构场景的坐标，再进一步映射到最近的预置位点上，PTZ摄像头根据预置位的坐标即可调用对应的预置位编号。实验结果中只有1组数据无法位于定标视图的75%区域内，其他点均可映射到满足要求的位置。

表2 随机选取目标点计算出的定标数据

图9统计的是不同预置位点数与目标显示效果的统计示意图。对于任一定标视图，令gi（0%～100%）表示每个视图中目标的显示程度，则在预置位点数固定的情况下，定义gi的加权平均值G表示平均每个目标的显示程度。针对本文的实验环境，当预置位点数设置范围处于30个～40个点的范围内时，平均每张视图目标的显示程度在90%～95%；但是当预置位数目较少时，平均每张视图的显示程度比较低，而且下降得比较快，只有40%～60%左右，说明有一半左右的视图无法包含目标整体；而在40个点数以上时，曲线变化趋于平缓，即基本所有视图都可以包含到目标整体。

图9 预置位点数对目标显示程度的影响

由于预置位点的数量可灵活调整，因此本文方法对于不同场景，都可通过控制预置位点数提升系统的可靠性，例如针对本文中的实验室场景时，使用32个预置位点和定标偏差调整方法基本可以满足监控需求，而对于更大视角的场景（远景）时，需要设置更多的预置位点提高定标结果的精度。无论对于远景还是近景，只要设置好合适的预置位点个数，就可以在多种情况下满足实际监控应用的需求。

5 结束语

本文针对重叠畸变的定标场景，结合PTZ摄像机预置位功能实现了一种快速的主从摄像机定标方法。相比于一般定标方法，避免计算了计算坐标角度以及PTZ摄像机移动参数，且当预置位点足够多时，主从摄像机定标结果的精度可以进一步提高。该方法对场景以及摄像机摆放位置的要求不高，针对不同场景设置合适的预置位点数即可使用，具有很好的适用性和可靠性。但由于每帧计算预置位点坐标及映射过程中存在位置信息的冗余，因此，下一步研究将主要对目标的移动轨迹进行规划，根据轨迹预测和计算出目标的常用预置位点，对整个定位过程进行优化。

［1］ Belden J.Calibration of Multi-camera System s with Refractive Interfaces［J］.Experiments in Fluids，2013，52（2）：1463-1466.

［2］ Zhou Xuhui，Collins R T，Kanade T.A Master-slave System to Acquire Biometric Imagery of Humans at Distance［C］//Proceedings of ACM SIGMM International Workshop on Video Surveillance.New York，USA：ACM Press，2003：113-120.

［3］ Junejo IN，Foroosh H.Optimizing PTZ Cam era Calibration from Tw o Im ages［J］.Machine Vision and Applications，2012，23（2）：375-389.

［4］ 李 铀，宋 利.基于图像拼接的双摄像机系统自动定标方法［J］.电视技术，2010，34（4）：96-99.

［5］ Zuo Chenglin，Liu Yu，Li Yongle，et al.A Distortion Correction Algorithm for Fish-eye Panoramic Image of Master-slave Visual Surveillance System［J］.Journal Optical Review，2013，20（5）：367-373.

［6］ Bay H，Tuytelaars T，Gool L V.SURF：Speeded up Robust Features［J］.Computer Vision and Image Understanding，2008，110（3）：346-359.

［7］ 苗立刚.视频监控中的图像拼接与合成算法研究［J］.仪器仪表学报，2009，30（4）：857-861.

［8］ 史延东，刘海清，宁 飞.大视场景物非线性畸变校正的仿真［J］.计算机仿真，2011，28（7）：268-271.

［9］ Bellavia F，Tegolo D，Valenti C，et al.Im proving Harris Corner Selection Strategy［J］.IET Computer Vision，2011，5（2）：87-96.

［10］ Low e D.Distinctive Im age Features from Scale-invariant Keypoints［J］.International Journal of Computer Vision，2004，60（2）：91-110.

［11］ Fischler M A，Bolles R C.Random Sample Consensus：A Paradigm for Model Fitting with Applications to Im age Analysis and Automated Cartography［J］. Communications of the ACM，24（6）：381-395.

［12］ 孔 斌，方廷健.一种简单而精确的径向畸变标定方法［J］.中国图象图形学报：A辑，2004，9（4）：429-434.

［13］ 石 皓，赖世铭，刘 煜，等.一种用于鱼眼PTZ主从监控系统的标定方法［J］.系统仿真学报，2013，25（10）：2412-2417.

［14］ Luis F T，Luis C R.Video Object Matching Across Multiple Independent Views Using Local Descriptors and Adaptive Learning［J］.Pattern Recognition Letters，2009，30（2）：157-167.

编辑金胡考

Research on M aster-slave Calibration Method by PTZ Camera Under OverlaPPing and Distorted Area

HU Wei，PAN Lin
（Institute of Image and Graphics，Fuzhou University，Fuzhou 350100，China）

In view of the questions of insufficient coverage and lens distortion，combining with the flexible features of Pan Tilt Zoom（PTZ）and distortion processing algorithms，this paper proposes amethod for calibration by the fast and flexible feature of PTZ camera.It collects the areas respectively by using preset points，then uses algorithms to extract the region feature to splice and reconstruct，and tries to correct the distorted view of regional，makes amapping between main view and reconstruction view.It improves the calibration accuracy by using the preset positions，With a statistical of confusion matrix. The method does not have to consider the center deviation with high speed and precision to living area.Experimental results show that the proposed method can be accurate to do calibratation，With good robustness and accuracy.

overlaping region；Pan TiltZoom（PTZ）camera；distortion；calibration；presetpositions；confusionmatrix

10.3969/j.issn.1000-3428.2015.09.047

胡 玮，潘 林.重叠畸变区域下PTZ主从摄像机定标方法研究［J］.计算机工程，2015，41（9）：255-260.

英文引用格式：Hu Wei，Pan Lin.Research on Master-slave Calibration Method by PTZ Camera Under Overlapping Distortion Area［J］.Computer Engineering，2015，41（9）：255-260.

1000-3428（2015）09-0255-06

A

TP391.41

福建省自然科学基金资助项目（2012105116）。

胡 玮（1989-），男，硕士研究生，主研方向：图像处理；潘 林，讲师、博士。

2014-07-16

2014-10-26 E-m ail：670130115@qq.com