基于模板匹配的细菌鉴定系统摄像机标定方法研究

李梦卓， 陈兆学， 张 奎

（上海理工大学 医疗器械与食品学院，上海 200093）

随着微生物鉴定技术发展及数学、电子、信息和自动化分析等多学科的交叉融合，全自动微生物鉴定系统的出现成为技术发展的必然[1]。运用图像处理技术实现细菌全自动鉴定，将为研发具有自主知识产权的微生物鉴定数据库奠定基础，对微生物鉴定水平的提高与相关技术发展产生深远的影响，具有较大的先进性和研究价值。

传统标定方法需使用特定摄像机标定板，操作要求高且过程繁琐[2-3]，其中张正友棋盘法[4]应用最为广泛，此方法利用一个具有精确定位点阵的模板，需在不同位置多个视点对平面标定板采集图像，利用多个视场计算多个单应性矩阵求解摄像机内部参数[5]。但棋盘法在本文所涉及的基于模板匹配的细菌鉴定系统中，无法提供多个不同角度的场景图像而难以直接使用。基于CCD 和模板匹配的细菌鉴定系统的结构及原理，本文提出了一种基于模板匹配的摄像机标定方法。根据细菌鉴定系统中摄像机获取的96 孔酶标板作为模板图像，建立三维空间点与二维平面点的对应关系，在无需人工干预的条件下，通过计算机程序作图像处理和数学计算来获取鉴定系统中摄像机的重要参数，更适用于细菌鉴定系统中对摄像机的关键参数标定。该方法可为细菌鉴定系统中图像亮度修正、细菌阴阳性判定等技术环节的顺利实施奠定基础。

1 基于CCD 的细菌鉴定系统的结构及原理简介

细菌鉴定系统由计算机控制的上位机和步进电机控制的下位机组成，上位机用于数据采集、处理和分析，下位机包括CCD 摄像头、鉴定试剂板条、10 个进出板和60 个孵育仓等，如图1 所示。

图 1 全自动细菌鉴定系统架构示意图Fig. 1 Schematic diagram of the automatic bacterial identification system

上位机中的图像采集与分析系统是整个全自动细菌鉴定系统中获得细菌相关图像和特征数据的前提基础，包含图像采集装置和图像处理与分析系统两大部分。图像采集装置由光源发射单元、试剂板条单元、图像获取装置（CCD 摄像头）等组成；图像处理与分析系统由计算机和相关图像处理与分析软件构成。整个采集系统的示意图如图2 所示。

图 2 基于CCD 的图像采集系统示意图Fig. 2 Schematic diagram of CCD-based image acquisition system

在微生物鉴定过程中，一块酶标板包含96 种有字母和数字编号的标识碳源，采集装置中主要利用反射镜，通过CCD 摄像获取酶标板照片，再将图像数据转换为数字信号并通过USB 接口传输存入计算机内存。图像数据采样及分析单元利用设计的算法实现，在亮度校正中96 孔酶标板每一点处应该修正的亮度，式中：Im，Ix分别为任意点 x和 酶标板亮度最大点 o的亮度值；x为 线段 ox的 长度；Zc为摄像机外参数，需通过本论文标定得出。求得每一点处亮度修正量，形成亮度修正模板，用于实时序列图像的亮度校正。通过基于模板匹配的板孔高效定位和摄像机标定得到的重要参数 Zc，为后续实现有效的细菌自动鉴定提供了光学系统相关基础数据。

2 基于模板匹配的摄像机标定方法

根据摄像机理想针孔成像模型，在不考虑透镜畸变情况下，设摄像机在不同方向上像点的物理坐标到图像坐标的比例系数一致，场景中任意一点 P(Xc,Yc,Zc)与 其投影到图像平面的像点p(u,v)具有如下关系[6]：

式中： f 为摄像机焦距； λ为比例因子； fu， fv分别表示像素坐标系中u， v 轴的尺度因子， (u0,v0)为坐标系主点坐标；R 为3×3 的旋转矩阵；T 为平移矩阵； M1为 3×4 的矩阵，由 fu， fv， u0， v0这4 个参数决定，即摄像机内参数， M1即内参数矩阵；M2为摄像机坐标系与世界坐标系相对位置关系决定的外参数矩阵；M 统称摄像机参数矩阵。摄像机标定即为计算求解参数的过程[7]。

通常，在摄像机固定而标定物自由移动的情况下，可假设世界坐标系与摄像机坐标系重合，此时R = I，I 为单位矩阵，t = 0，则式（1）变为

式中： p′为图像点p 的齐次坐标矩阵；P 为图像点P 的坐标矩阵。对式（2）表达的摄像机针孔投影模型而言，由于未考虑镜头畸变，在摄像机标定过程中仅需标定光心偏移量 u0和 v0、摄像机内参f， 以及用摄像机外参数 Zc即可。虽然基于此简化针孔模型的标定精度存在一定局限，且针对深度空间小视角摄像机标定，靶点的空间分布范围对标定精度的影响较大[8]，但就本论文所研究问题而言，要求精度并不高，采用该简化模型足以满足模板图像亮度修正和细菌阴阳性判定等后续处理环节的需要。

文献[9-10]根据标定示意图3 给出一种标定方法，证明存在如下关系：

图中，O 为摄像机光心。本文在标定板内选择计算点A，B，C 对应在图像平面中的投影点分别为a，b，c，线段AB 长为L，AC 长为l。A，B，C对应的坐标矩阵A，B，C 的关系为 C=λ1A+λ2B。式中： h=(h1,h2,h3)T； a′， b′， c′分别为图像点a，b， c 的 齐次坐标秬阵， ZcA， ZcB， ZcC分别代表A，B，C 三点的空间深度，即Z 轴方向坐标。

图 3 标定辅助物示意图Fig. 3 Schematic diagram of auxiliary calibration

观察发现，式（4）中 λ1， λ2已 知，a，b，c的齐次坐标可通过设计酶标板孔的检测与标记算法获得，基于式（3）得到 h即 可得到 h1， h2， h3的值，在酶标板测得AB 的实际长度L 后，该四元二次方程方程仅含有 u0， v0， ZcA和 f这4 个未知数。

如图4 所示，本文指定细菌鉴定系统的96 孔标定模板中，通过不同A，B，C 点的选择，可找到多组 h的值。为了计算简便，先取AC=BC，使得式（3）中 λ1=λ2=0.5。特别注意h 的计算过程涉及到目标点在图像坐标系中的坐标相对于图像坐标系原点对应向量间的叉积[11]，当线段选取横平竖直叉积接近0，影响结果准确性，故选点时规避横平竖直的线段选择。如图5 所示，“斜十字”取点法，每一个h 对应一个四元二次方程，即每四条直线段便可求解一组待定参数的值。通过平移A点 位置或变换 AC ， BC 比 例关系（即改变 λ1， λ2的值），可找到多组有效数据，多余直线段可通过最小二乘最优化过程用以保证解的准确性和求解过程的稳定性。运用该方法求出 u0， v0， 以及 ZcA和f的最优解，最终实现全自动微生物鉴定系统中特定摄像机的标定。

图 4 本文特定标定模板示意图Fig. 4 Schematic diagram of the specific calibration template in this paper

图 5 “斜十字”取点示意图Fig. 5 Points fetching in “diagonal cross”

3 实验过程与分析

3.1 实验过程

本文提出的基于96 孔细菌载体板作为标定辅助物的单目摄像机模板匹配标定方法步骤如图6所示。

直接选择如图7（a）所示细菌载体96 孔酶标板作标定辅助装置，其中96 个圆点以12×8 的矩形整齐排列。本文提出的摄像机标定方法是以标定和测量辅助标定模板中各圆点的鲁棒检测和识别为基础的，因此有必要对其进行简单必要的处理。首先通过图像灰度化、二值化和板孔标志点的标识算法获得板孔各点在图像中的相对位置和方位信息，供后续标定环节使用，结果如图7（b）所示。

图 6 模板匹配标定方法的流程图Fig. 6 Flow chart of the template-matching-based calibration method

在二值化基础上基于连通区域标记算法进行各连通区域的标记并进一步对各区域进行滤波，得到去背景后的二值图像，实验结果如图8（a）所示。然后计算所有剩余二值区域的几何中心，将圆环点区域标识出来。由于标定板96 个连通区域是按照矩形整齐排列的，基于这一特性建立坐标系对所得几何中心坐标数据进行分析排列，最终实现板孔点的标识，如图8（b）所示。

标记出各圆心点的中心位置，并获取各点的中心坐标，本实验取图9 所示框内点依次作为“斜十字”交叉点，可选共32 组“斜十字”点。

关 于 u0， v0， ZcA和 f 的 四 元 二 次 方 程 式（4），标定出的32 组“斜十字”点中，每4 组即可联立解出一组解，运用Matlab 的fsolve 函数，使用最优化过程，将32 组数据全部代入，求得最优解，从而实现摄像机参数标定。

在约束方程求解过程中，根据基本约束方程采用线性最小二乘估计摄像机的初值，并以标定点的反投影误差最小为目标函数进行非线性优化得到最终的标定结果[12]。进一步令将式（4）简化为：(x−m)2+(y−n)2+f2=pz2，则四元二次方程组可写成

图 7 模板图像原图与二值化结果对比Fig. 7 Comparison of the original template image with the binarization result

图 8 标定和测量辅助装置中板孔点的检测和标识Fig.8 Detection and identification of elisa plate wells in calibration and auxiliary device

图 9 “斜十字”交叉中心点范围示意图Fig. 9 Schematic diagram of center points of “diagonal cross”

将式（5）4 个等式两两相减得到

于是四元二次方程组的非线性方程求解转变为式（6）所示的三元一次线性方程组求解，大大提高了求解精确性，将此作为第一种直接解法的结果验证，确保了最终结果的准确性。标定结果如表1 所示。

表 1 基于模板匹配的“斜十字”摄像机标定结果Tab.1 Camera calibration results by “diagonal cross ”based on template matching

3.2 实验分析

为了验证本文提出的基于模板匹配的摄像机标定方法的有效性，将该结果与基于空间三角形的标定算法[13]所得结果进行实验比较。该算法标定模型如图10 所示，标定物是一个绕顶点 A作自由转动的△AB1B2，标定物在成像平面上的投影为△ab1b2，可以从酶标板模板图中直接选出如下三角形作为△ab1b2（图11），绕固定顶点a 在酶标板旋转可得4 个三角形，类似a 点在96 孔酶标板中同样有32 个。通过cholesky 分解得到摄像机内部参数，标定结果如表2 所示。

图 10 标定辅助物图像生成示意图Fig. 10 Schematic diagram of image generation in auxiliary calibration

图 11 基于空间三角形的标定法示意图Fig. 11 Schematic diagram of spatial triangle calibration algorithm

表 2 基于空间三角形的摄像机标定结果Tab.2 Camera calibration results based on spatial triangle calibration algorithm

结果表明该算法对CCD 相机的焦距和外参数标定结果均得到了空间三角形标定方法的验证，但光心偏移距离即 u0， v0的值存在很大误差。通过设计仿真实验与张正友棋盘法结果对比，基于空间三角形的标定算法同样无法获得准确的光心偏移距离，说明此类算法仅适用于摄像机内外参数的计算。根据既有经验猜想， u0， v0误差可能与具体应用场景中图像平面和标定物平面平行有关，因基于CCD 的细菌鉴定系统结构固定，仅能获取与摄像机平行的模板图，在未来研究中拟详细地分析、仿真和验证。就本文研究的基于CCD 的细菌鉴定系统而言，后续作图像亮度修正、细菌阴阳性判定所需的重要参数 f 和 Zc，实验数据准确，该方法具有一定的可行性。

4 结 论

针对CCD 照相的细菌鉴定系统提出基于模板匹配的摄像机标定算法，利用针孔摄像机成像模型，在摄像机固定的情况下，设定世界坐标系与摄像机坐标系重合，巧妙地回避了复杂的外参数计算过程。该方法在标定过程中无需人工干预，仅利用一幅系统中CCD 直接获取的模板图像，自动实现酶标板各孔的检测、标记和圆心坐标的提取，找到“斜十字”约束条件，建立方程直接求解获得摄像机重要内部参数。通过与基于空间三角形的标定算法实验结果对比，证明了本算法的准确性。