基于机器视觉的检测技术在接种仪的应用研究

刘聪，侯剑平，赵万里，王驰，马海伟

安图实验仪器（郑州）有限公司，河南 郑州 450016

引言

随着现代医学技术水平的发展，越来越多的科技成果正不断地被快速迭代，并应用于临床检验医学。近年来，临床微生物检测技术也得到了飞速的发展，已经达到了既能准确地分离出病原菌，又能快速向临床报道结果的发展方向[1‐2]。

由于机器视觉系统具有非接触性、速度快、柔性好等突出优点，在现代制造业中有着重要的应用前景。万子平等[3]应用图像处理的方式成功的测量了零件的尺寸；仲月娇等[4]应用基于非下采样轮廓波的亚像素角点提取算法测量了塑料螺母对边长和对角长亚像素距离；吴智峰等[5]主要介绍使用机器视觉非接触测量外螺纹尺寸系统；韩伟聪等[6]将机器视觉技术应用在了竹材的尺寸测量中；戴知圣等[7]运用图像处理实现了手机U盘芯片长度和偏角的非接触式测量；Rahimi‐Ajdadi等[8]将机器视觉技术应用于土壤含水量的测量中；Ding等[9]应用机器视觉技术对此畸变量进行测量；Khalili等[10]将机器视觉技术应用于裂纹几何参数的测量中；Podržaj等[11]提出一种新颖的具有较高的精确性测量方法，极大地提高了生产效率和检测精度。

平板划线接种[12‐14]是将细菌分离培养的常用技术，目的是使混有多种细菌的培养物形成单个菌落或分离出单一菌株，以便于识别和鉴定。目前的微生物实验室大都使用手动的方式进行平板划线接种，这种方式主要有以下缺点：① 接种环人工接种法为主，防护等级要求高，生物危害大；② 受操作者个人水平和接种习惯的影响，主观影响因素较多，重复性差；③ 经典的细菌接种方法工作效率低，难以进行标准化和实施质量控制；④ 无法满足现代化实验室对自动化、标准化的要求。

实现平板接种的全自动化具有非常实用的价值和意义，不仅可以解放更多的人力，而且可以提高接种效率，使接种更加标准化，为了提高全自动平板接种仪平板划线的可靠性与稳定性，论文详细分析了平板接种在实现全自动化的过程中遇到的关键性误差问题，研究出了一种基于机器视觉的接种移液器吸头（Pipette Tip，TIP）的高度检测系统如图1所示。

图1 接种仪平板划线过程与接种平板

1 仪器误差结构分析与方法

1.1 仪器误差结构分析

安图生物公司通过对自研接种仪机械结构的分析，构建出高度计算模型，并根据模型，计算出各个分量的构成，从而调整精准控制整个运动系统，满足实际需求。

接种仪接种的核心高度控制所面临的主要问题：如果TIP距离琼脂表面过高，TIP的运动将无法在接种平板琼脂表面均匀划线，相反，如果高度太低，TIP容易扎入琼脂表面导致吐样时TIP管堵塞如图2所示。因此需要精确的算出TIP头距离接种平板的高度，才能让后续的高度控制得到保障，经过验证，划线距离平板琼脂高度为0.5 mm，误差范围需要保证在±0.2 mm以内。

图2 由于误差导致的失败接种样本

通过对整体误差模型的分析发现，误差主要存在于两个模块如图3所示，虽然机械控制TIP的位置每次都会到固定位置，但是由于TIP本身存在误差如表1，针对厂家生产的不同型号的TIP分别进行了5个批次的测试，原厂盒高度差范围在0.299～0.494 mm，定制金属盒高度差范围在0.237～0.313 mm。分析可知，TIP自身高度误差大于0.2 mm，为了消除此误差，设计了预设的校准台（超声波绝对零点平面），通过计算Dtip的高度，并以此来控制TIP自身的高度误差；由于平板琼脂表面的不平整导致的误差dx，通过超声波测量[14‐17]得到。

图3 TIP高度控制误差分析示意图

表1 TIP高度误差测试结果

根据误差模型分析，整体误差主要由以上两部分组成如式(1)，其中Dtip为TIP尖端到校准台的距离，dx为校准台到琼脂表面的距离。通过两者误差的累加，得到TIP头距离平板琼脂的高度，控制电机进行z轴方向的移动使得TIP头距离平板琼脂的高度保持固定，从而保证了高度的精度控制。

在设计机器视觉检测系统前，接种仪仅使用超声波测量平板琼脂表面距离超声波基准零点的距离而忽视了TIP自身的误差，整体精度为0.2 mm，这是因为超声波检测仅能检测平板琼脂高度的不平整导致的误差，而无法测量TIP自身误差。通过模型分析，在超声波测距基础之上引入视觉，并采用视觉测量计算出TIP头末端到超声绝对零点的校准台的TIP高度误差，从而控制了整体系统的误差，新的设计使高度检测精度达到了0.06 mm，极大地提升了高度的计算精度。

1.2 方法

1.2.1 系统主要功能

针对该需求，公司自主研发了一套软硬件系统，用于TIP高度的检测。软件系统主要包含以下几个功能的实现如图4所示：① 与下位机互连；② 对接种TIP头进行拍照；③ 定位出TIP头所在位置，若没有检测到TIP头，报警返回；④ 定位出校准台所在位置，若没有检测到校准台，报警返回；⑤ 两者都存在的情况下计算两者之间的垂直距离；⑥ 将计算的垂直距离换算成实际距离，发送给下位机。硬件系统主要包括：① 光源系统选型与设计；② 光源系统有效性验证。

图4 软件系统流程

1.2.2 图像TIP高度检测系统硬件部分设计

相机模块安装在移液器龙门架上，移液器穿过甲板以吸取样品。 由一个摄像头，一对交叉极化滤波器，一个基准板，一个漫射器和一个LED背光组成。设计图像处理的一个关键目标是使其保持非常简单、通用、快速和健壮：① 简单，因为它使代码更易于设计，测试和维护；② 通用，以便它可以支持不同的摄像头，照明和TIP；③ 健壮，以便忽略环境照明，相机噪音和模块中一定程度的污垢的变化；④ 快速，因为它处于关键路径上，吞吐量一直是该仪器的主要关注点。

1.2.3 系统光源设计

仪器上安装了大华Technology A3A20CU24 USB摄像头，用于确定是否存在TIP，计算每个TIP的高度。相机组件使用带背光的交叉偏振器，偏振器确保图像中的TIP将显示为明亮的物体，并且没有TIP，背景将非常暗，见图5。

图5 带有交叉偏振光的TIP高度检

该系统使用带有交叉偏振器[18]的背光，因此在没有TIP存在的情况下，相机看到纯黑色区域，只有受限者可见（受限者是非极化的并且显示为纯白色）。当存在塑料TIP时，塑料散射背光的偏振，TIP将作为非常明亮的白色物体显示给相机。与没有极化的系统相比，这会产生非常有利于判别的图像质量。

由于图像在黑色背景下基本上是白色的，因此对其进行阈值处理并获得精确的结果是非常简单的，该结果在很大程度上不受噪声和光照变化的影响，并且当替换不同的相机时几乎不需要改变。

1.2.4 光源系统验证

为了使系统尽可能健壮以及后续的可扩展性，采用“前后”图像处理方法，即在“吸气前”捕获当前TIP的图像；移液器吸取样品并返回到完全相同的位置，此时捕获“后”图像。

从前图像中减去后图像，并且以这种方式消除了TIP之间的变化，此时，两个图像之间的唯一差异是由于TIP中存在的样本。处理所得到的“差异”图像以准确地确定感兴趣区域中存在多少差异（具有一些噪声过滤等）并且如果差异超过特定阈值则确定样本确实存在。

试配备了一组广泛变化的样品用于测试，红色、绿色和黄色模具（包括形成黄绿色，棕色和橙色的组合）的组合，代表一系列生物学上可能的颜色。它们以浓缩的形式制备并稀释100倍。然后通过添加牛奶使所有这些都变得更不透明，以产生不同混浊的样品，通过不同的组合，共形成了24个实验样品。此外，还制备了普通水和两种稀释的普通牛奶以及两个“无样品”的对照，由于散射和折射略微增加，可以检测到清晰的样品。由于通过TIP的光传输显著减少，不透明的样品非常清楚地显示出来，半透明样品也可以很好地显示，因为散射效应使它们通过交叉偏振器显得更亮。

通过对图像的处理检测不同样品的TIP区域内的白色像素的百分比，见图6～8，得出结论：浓缩样品通常产40%～60%的白色像素，稀释样品产生的白色像素的范围为15%～25%。空样本产生0%的白色像素。大约5%～10%的阈值分割即可作为可扩展的样品检测算法，目前测试的样品具有100%的准确度，实验充分验证了光源系统的有效性以及后续的可扩展性，保证了TIP检测的稳定性。

图6 稀释和密集的彩色透明样品

图7 不透明的样品，稀释和浓缩

图8 水和空杯

1.2.5 距离标定

由于电机行进距离是以实际的距离为判别单位进行，因此需要将像素大小与实际距离进行标定[19‐20]。由于相机以平视的角度垂直于接种TIP头所在平面放置，且每次检测，下位机都会控制TIP头到达同一平面。因此选择直接对TIP头所在平面进行距离的校准，根据实际测量物体大小与所占像素进行等比换算即为每个像素对应的实际距离。

1.2.6 TIP高度检测软件设计

进行切分后的待检测接种TIP头图像如图9所示。TIP高度的图像处理算法流程：① 将原始待检测图像转为灰度图像；② 根据自适应阈值化得到对应的二值化图像如图10所示； ③ 对二值图像提取连通区域外轮廓；④ 检测对应轮廓特征，根据面积与形状判断轮廓所属类型；⑤ 若没有检测到对应TIP头或校准台，则给下位机报警。

图9 原始图像

图10 原始图像二值化

1.2.7 接种TIP与超声波绝对零点平台检测

对灰度图像进行二值化之后，需要进行连通区域检测，提取轮廓特征。主要提取的特征为轮廓的长宽比与轮廓在图像中的所占的面积。通过观察可以发现，TIP头的轮廓具有较大的长宽比如式(2)所示，其中ObjboundboxH为检测对象的高度，ObjboundingboxW为检测对象的宽度，以及相对较小的占空比如式(3)所示，其中Objarea为检测对象的面积，Objboundingboxarea为检测对象的最小外接矩形的面积，而零点平台轮廓具有较小的长宽比以及相对较大的占空比，根据轮廓特征，区分出标准台与接种TIP头如图11所示，若没有检测到对应两者，则需向下位机报警。如果分别对两者检测出之后，求出两者的垂直像素距离，换算为实际距离，发送给下位机，从而使下位机控制电机微调距离进行误差校准。

图11 检测出的TIP与超声波绝对零点校准平台

2 结果

论文提出了一种基于图像处理的接种仪TIP高度检测系统的设计方案，从硬件选型到算法设计，具有很强的实用性。

针对光源有效性设计方案，选取了4组不同颜色的真实标本进行目标测试。实验结果如图12所示，针对不同颜色的消化样本，都可以较容易的定位出TIP头以及校准台，表明了光源设计与视觉检测算法的有效性与精确性。

图12 不同消化液样本的检测结果

针对以上视觉测距方案，利用视觉测距的方式将TIP运动至三个固定位置点(高点98000×10‐4mm处、中点65000×10‐4mm 处、低点 32000×10‐4mm 处 )进行视觉检测，统计合计89组数据如图13所示，通过图示曲线可知，数据在比较小的范围内进行波动。

图13 TIP运动至三个固定位置点的视觉测量的高度

将89组机械运动数据的最值点进行筛选及数据转换如表2所示，得出最大误差为613×10‐4mm，远小于接种所需要的±0.2 mm范围内的误差，实验充分证明了视觉测量方式的有效性。

表2 三个位置的误差对比（×104 mm）

在设计平板接种系统中，通过对1042份血平板加样划线，严格按照划线长度符合、均匀加注且加注过程无断线如图14所示，其符合个数为1001，成功率96.07%；没有出现样本加注不上的情形，整体系统设计的有效性达到100%，大大提高了接种仪的接种成功率，进而保证了单菌落分离效果。

图14 接种成功样本

3 讨论

传统的手工平板接种采用接种环来进行，不仅操作复杂，且内容繁复，效率较低，且因操作者的水平不一，直接影响单菌落分离效果。此外当前市场上存在的自动化与半自动化的接种仪器，采用了接种环的方式实现的平板接种，这种方式存在接种环重复使用，如操作不当或杀菌不彻底将会导致交叉污染等生物安全风险，此外，平板琼脂的加样位置具有固定性，不能根据加样位置的平板琼脂表面凹凸状态进行有效调整，且固定加样位置会导致加样位置样本分配不均匀，不能有效利用平板内琼脂。

本文讨论的平板接种方法运用机器视觉技术，通过误差模型分析，采用视觉检测的方式消除了TIP自身的高度误差，提升了加样位置的精度，从而使菌落加样位置可以实现多样化与均匀化，进而有效保证了接种的效率与成功率，同时更换了传统的接种环接种方式，采用了一次性的接种刷进行接种，在保证样本单菌落分离的一致性的同时，也从从根本上解决了交叉污染的风险。

4 结论

论文通过对接种仪误差模型进行分析，创新性的加入视觉模块进行误差的校正，具有较好的实用性与创新性，通过设计针对接种仪误差模型的分析，分解出各个误差的类型，并据此分析分解出误差各个部分的计算方式，有效提升了接种仪接种的成功率，具有较强的实用意义，一定程度上加快并标准化了接种微生物实验室的工作流程，同时研究为同类科室相关的仪器设计等提供了一种较为有效误差的解决方式，具有较好的创新性和参考意义。