基于Vision Builder AI的生物医学图像智能化自动处理分析

查悦明， 陀韦为， 王 卓， 张刚平， 黄耀熊

(暨南大学 生物医学工程系, 广东 广州 510632)

0 引 言

在生物医学实验中往往需要分析大量的图片，仅仅依靠人眼观察比较，只能获得粗略的定性的理解，若要获得定量的数据或对图像进行增强改善，则需要借助图像处理与分析软件。现在一般通用的图像处理分析软件功能比较单一，针对性不强，智能化自动化程度低，很多操作需要手动完成，造成人为误差，检测不准确，且耗时费力[1-2]。在实际使用中，各个实验室实验条件不同，图像千差万别，通用的图像处理分析软件作用很有限。这就需要我们针对特定的实验图像与检测要求设计软件，传统的编程语言系统编写程序工作量大，需要时间长[3-4]，对于编写只针对某一两种实验使用的软件十分不划算。而Vision Builder AI(VBAI)则是NI公司推出的快速生成视觉自动检测生成器，用户基本无需编程，就可以在数小时甚至几分钟内建立好自己的检测程序[5-6]，从而对图像进行自动的，大批量的，客观的，准确的检测，并自动计算、保存、输出结果，十分适合在生物医学实验室中使用。

1 应用于微球内外径等尺度指标的自动测定

1.1 背 景

微球作为载体、传感器等在生物医学领域的应用十分广泛[7-8]，在实验中通常需要对微球进行检测和分析，分析的指标主要有半径[9]、圆度、折射率等等。利用基于VBAI的显微图像分析是比较方便的方式。

1.2 方法

将微球投入溶液中，使其分布较均匀，并置于显微镜下观察，得到清晰的微球显微图像。根据我们先前的工作，通过测定微球的外径D以及其在溶液中所成像的黑环内径的d，可以根据有关理论方程来确定微球或其周边介质的折射率[10]。因此，需要精确测定D与d。下面介绍我们用VBAI编写的程序如何实现对微球像D与d的智能自动测定。

图1 微球显微图像

利用VBAI设计检测的程序流程如图2所示。

进入VBAI的Inspection State编辑窗口，可以编辑整个程序的主要过程，如图3所示。我们的设计是：先在“Inspect”过程中对图像进行预处理并找到物体，得到物体个数；然后在“GO ON?”过程中判断检测到几个物体，是否已经检测完全部物体；随后在“Measure”过程中对当前序号的物体进行检测。

进入每个过程进行具体步骤的编辑，只需双击右侧工具中的相应操作，就可以将该操作加入程序中，在属性窗口中对操作的各项参数进行设定。在“Inspection”过程中，我们首先打开图片，选中循环取图将依次获取目标文件夹中的每个图像文件。如要测量真实尺寸，则要对图像进行标定，VBAI中Calibrate image有多种方式，如图4所示。通常实验室显微镜采用显微标尺进行标定，选择第一种模式，导入显微标尺的图像，标定完成后生成标定文件，检测时自动读取。接着我们对图像进行预处理，这将打开vision assistant窗口，可对图像进行LUT变换、滤波、分割、形态学变换等多项操作，在本实例中将图像处理为适合寻找物体的二值化图像。然后对处理过的二值化图片进行Detect Objects操作，得到物体数列。Select Image操作将原图像读入，代替处理过的二值化图像，为下一步检测做准备。Set Variable的操作是将Detect Objects操作中检测到的物体个数存入代表剩余物体数的X。

图3 Inspection State编辑窗口

图4 Calibration选项

“GO ON?”过程中没有图像处理的具体操作，只在Inspection State编辑中有一个判断，在指向end的箭头定出编辑走向end的条件，为剩余物体数X<1，当X≥1时将执行默认箭头，走向“Measure”过程。如图5所示。

“Measure”过程中，首先Index Measurements读取之前Detect Objects中检测得到的物体数列的的第X个物体。接着，要设置程序可以根据物体的位置、大小等自动建立相应的ROI，即检测区域，由于要进行微球图像直径的检测，因此区域类型选择圆环形。

图5 Measure过程

然后就可以在检测区域内进行圆的直径检测了，利用Find Circular Edge操作可以很方便地做到这一点。其参数设置界面如图6所示。

图6 Find Circular Edge选项

在直径检测中，程序在检测区域内沿径向生成一系列的检测线，图5中下方的曲线为沿检测线方向上灰度值变化曲线的一次导数曲线，反映了灰度值的变化速率，负数部分对应图像由亮变暗，正数部分对应图像由暗变亮，极值处即变化速率最快处，也就是边缘所在位置。曲线上方的参数设定包括判断边缘的阈值，平滑算子的大小，取样宽度，每条检测线之间的间隔等。由于是根据拟合出的曲线确定边缘位置，因此可以超越像素的限制，实现亚像素等级的超分辨率精确度。检测程序首先得到每条检测线上的边缘点位置，再根据所有边缘点拟合出圆形边界，计算出直径数值，程序中给出精确到0.01个像素的结果。结果的稳定性还要取决于拍摄环境、光照、相机稳定性等。图像中微球边缘的黑环是由于光线折射造成的，根据我们先前工作[10]，证明其粗细与微球与溶液的折射率比值成一定比例关系。因此，程序中通过分别测量各微球的D与d，调整Find Circular Edge操作中搜寻方向、边缘种类等参数可以搜寻到内径圆和外径圆。在精确测定D与d值后，可自动根据我们先前工作导出的方程式[10]，给出微球的折射率或是其周边介质的折射率。

Calculator是界面类似LabVIEW图像化编程工具的一项功能，可以由用户自己选择输入输出量、制定复杂的运算程序等，本实例中为利用文献[10]的方程式计算出微球的折射率。Data Logging可以选择需要记录的数据写入指定的txt或csv文件，以便后续的数据分析统计。最后Set Variable将变量X减1。

VBAI应用编写完成后可作为专用的检测软件使用，处理图片时将需要分析的图像放在同一目录下，进入VBAI文件，指定该路径，点击Run Inspection in Loop，就可以自动完成所以图片的分析，并得到记录有数据的txt或csv文件。

这样生成的检测程序智能、客观、准确、快速，实现了图像中微球的识别寻位、移动ROI建立、两个直径的测量、折射率计算、数据保存等操作的完全自动化运行。而且整个操作与运算排除了人为操作中的主观性因素，精度亦达到亚像素水平，平均单个微球的测量时间仅需0.20 s。

为了检验其测定的准确性，在对拍摄系统和环境进行标定和控制之后，选择合适的微球作为检测对象进行多次检测，其检测结果如表1所示。同时，用以往常用的油浸法[11]对微球折射率作对照测定，测得的折射率与本VBAI生成系统测定结果高度吻合，说明VBAI检测程序的测量准确性可重复性较高。

表1 微球折射率检测结果 温度：20℃ 水折射率：1.333 0

油浸法测得微球折射率：1.462 0±0.000 5

2 应用于细胞检测

2.1 背 景

细胞是生物医学研究的重要对象之一，通过分析细胞的显微图像我们可以得到很多有用的信息。红细胞是人类血液中存在的主要细胞，一直是研究的热点。正常的红细胞呈双凹圆盘状，而衰老和不健康的红细胞会呈棘形、双凹消失等不规则的形态[12]。通过观察与分析显微图像中红细胞的形态可以评价其健康程度[13-14]。所以这里以红细胞为例说明如何采用VBAI编写适合于进行细胞图像分析的技术过程。

2.2 方 法

将红细胞悬浮于缓冲液中，置于显微镜下观察，利用数码CCD摄像头拍摄下细胞的图像，如图7-a所示。

检测程序上需要先寻找到各个细胞，再对每个细胞进行检测，与微球检测的过程类似，程序总体设计上依然可以利用上节中微球的检测程序的设计，但需要根据有关图像处理分析的内容更改具体的图像处理分析操作。

(a)原图像(b)处理后的图像

图7 红细胞图像处理前后

在图像预处理操作中需要将原始图像处理为适合物体识别的二值化图像，利用Vision Assistant，先对图像转灰度图像、适当的LUT处理，在分割处理上，由于细胞边缘处明暗对比较大，边缘锐利，因此选用基于移动窗口分割的算法可以较容易地找到边缘。通过实验比较证明，选用Background correction分割，可综合局部和全局的灰度变化信息。分割移动窗口大小设置为边长接近细胞边缘宽度2倍的正方形最为合适。分割完成后再对二值图像进行一定的形态学变换操作，将边缘尽量变得闭合并填充孔洞。最后进行Detect Objects操作，得到图7(b)所示的图像。

接着将对细胞形态进行分析。首先根据Detect Objects操作中所检测到的物体列表，对每个细胞进行检测区域的建立，即设置ROI。然后依然使用Find Circular Edge操作，在该操作中调整参数，使得检测线能较准确的发现边缘。该操作完成后，将输出一项名为Deviation的参数，该参数代表了细胞边缘与标准圆的标准偏差。同时该操作还可以得到细胞直径等相关的信息。将Deviation除以直径后可以得到细胞边缘与标准圆的相对标准偏差，由于健康红细胞的图像是近似圆形的，因此Deviation参数可以一定程度上反映红细胞的健康程度。

将实验中拍摄到的采用不同保存格式、保存不同天数的红细胞图片归类，用VBAI程序进行分析，结果保存在csv文件中。

如图8(a)所示为较健康的细胞，图像中细胞外轮廓近似圆形，Deviation/R=1.2‰；图8(b)所示为发生了一定形变的细胞，Deviation/R=3.2‰；图8(c)所示为严重变形的棘形细胞，Deviation/R=7.3‰。随着细胞变形程度加重，细胞的相对标准偏差值也随之增加。

(a) Deviation/R=0.12%

(b) Deviation/R=0.32%

(c) Deviation/R=0.73%

图8 不同形态红细胞及其Deviation/R的值

通过软件分析的优势在于：可以客观而定量地给出每个细胞的变形程度；可以快速自动地分析大量的图片，得到大量的数据，并对数据进行后续的统计处理，具有统计学意义。除此之外，还可以获得细胞的大小信息，通过视野内细胞个数，得到细胞分布密度信息等。

3 应用于图像的改善

3.1 背景

某些生物医学样品的显微图像，由于各种原因，其清晰度与对比度都不能满意[15]，对此，也可以运用VBAI的图像处理的方式对图像进行改善。下面介绍花粉孢子断层扫描图像中噪音及对比度不理想的断层图作改善的技术过程。

3.2 方法

首先对整幅图像中的噪杂进行去除，通常改善的方法有空域滤波和频域滤波，两种方法都可通过Vision Assistant中的算法实现。其中空域滤波的算子较多，功能更加丰富，其设置页面如图9所示。不仅提供了低通、高通等10多种算子、每种算子3×3，5×5，7×7三种尺寸，还可以由用户自定义算子以满足特殊需要。图10所示为原图像、使用Local Average算子和使用自定义算子处理后的图像。

整幅图像改善完成后对左右对比度及清晰度不理想的花粉孢子断层图像进行增强，首先建立一覆盖图11(a)中央花粉孢子像的区域，使用一可旋转的长方形区域，长方形的方向与左右像平移的方向垂直，宽度等于左右像平移的距离。

图9 Filters设置界面

(a) 原图像

(b) Local Average算子

(c) 自定义算子

(a) 增强前的图像

(b) 左右断层图像增强后的图像

接着利用Calculator操作计算图11(a)左右像的位置。输入中央像的中心点(X0,Y0)、角度α和平移距离L，则左像、右像中心点(X1,Y1)，(X2,Y2)分别为：

以此为中心点坐标参数，长宽与角度参数使用中央区域的长宽与角度，分别建立覆盖左右像的区域，使用Vision Assistant对左右区域内的图像进行对比度、明暗度的调整增强，如图12所示。

得到处理后的图像，三个层面的图像的对比度基本相同，结果如图11(b)所示。

利用VBAI对图像进行处理与改善，不仅功能丰富，适用性强，且操作简单，易于掌握，程序建立完成后还可以快速的对其他同类图片进行处理，大大节省了时间。

图12 明暗及对比度调整界面

4 结 语

使用VBAI创建图像分析处理程序，可对各种生物医学对象进行分析和检测，可对图像进行处理与改善，其优势在于：

(1) 相比起人眼观测和手动测量，本方法能够提供客观和量化的数据，可快速对大量图像进行自动分析并保存检测结果。

(2) 相比起通用化的测量分析软件，本方法针对性强，针对各种特定情况和需要制定适应的程序，准确性、有效性和实用性高。

(3) 相比起使用VC等编程软件编写特定测量分析软件，本方法简单，有大量强大的模块化功能自由选用，程序开发周期短，工作量小，不需要专业编程技能，一般人易于掌握，且程序易于调整改进。

综上所述，使用VBAI可简单快捷的针对不同生物医学图像建立相应检测处理程序，可快速自动地对大量图像进行分析，得到客观量化的数据。VBAI是实验室快速建立生物医学图像处理与分析检测程序的有力工具。

[1] 岳慧琴. 生命科学数字显微图像分析的新进展[J]. 实验室科学, 2006(10): 112-114.

YUE Hui-qin. New advances in the life sciences digital microscopic image analysis[J]. Laboratory Science, 2006(10): 112-114.

[2] 贺赛龙, 杨 鸣, 蒋刚毅. 一种高性能数字显微图像分析系统[J]. 宁波大学学报(理工版), 2003(9): 248-252.

HE Sai-long, YANG Ming, JIANG Gang-yi. New High-Performance Digital Microscopic Image Analysis System[J]. Journal of Ningbo University (NSEE), 2003(9): 248-252.

[3] 黄建灯, 陈庆全. 基于支持向量机的红细胞彩色图像分割[J]. 计算机系统应用, 2009(1): 35-38.

HUANG Jian-deng, CHEN Qing-quan. A red blood cells color image segmentation algorithm based on support vector machines[J]. Computer Systems & Applications, 2009(1): 35-38.

[4] 范一峰, 王义平. 图像分割技术在昆虫识别中的应用[J]. 实验室研究与探索, 2011,30(4):9-10.

FAN Yi-feng, WANG Yi-ping. Application of Image Segmentation in InsectRecognition[J]. Research and Exploration in Laboratory, 2011,30(4):9-10.

[5] 赵伟杰, 高 勇. 机器视觉在光纤端面缺陷检测中的应用[J]. 现代电子技术, 2011,34(19):136-143.

ZHAO Wei-jie, GAO Yong. Application of machine vision in defects inspection of optical fiber end surface[J]. Modern Electronics Technique, 2011,34(19):136-143.

[6] 胡明明, 乔铁柱, 郑补祥. 基于NI机器视觉的胶带纵向撕裂检测系统[J]. 仪表技术与传感器, 2013(11):41-43.

HU Ming-ming, QIAO Tie-zhu, ZHENG Bu-xiang. Inspection System of Belt Longitudinal Tear Based on NI Machine Vision[J]. Instrument Technique and Sensor, 2013(11):41-43.

[7] 邓勇辉, 汪长春, 杨武利, 等. 磁性聚合物微球研究进展[J]. 高分子通报, 2006(5): 27-35.

DENG Yong-hui, WANG Chang-chun, YANG Wu-li,etal. Research progress of magnetic polymer microspheres[J]. Polymer Bulletin, 2006(5): 27-35.

[8] 陆 杨. 明胶微球的研究进展[J]. 明胶科学与技术, 2006(6): 57-68.

LU Yang. Research progress of gelatin microspheres[J]. The Science and Technology of Gelatin, 2006(6): 57-68.

[9] 陈素芬, 李 波, 张占文. 二氧化硅气凝胶微球制备技术[J]. 强激光与粒子束, 2004,16(3): 309-312.

CHEN Su-fen, LI Bo, ZHANG Zhan-wen. Fabrication of SiO2 aerogel microsphere[J]. High Power Laser & Particle Beams, 2004,16(3): 309-312.

[10] 岳粮跃, 王平, 黄耀熊. 处在不均匀介质微区中的微球折射率的简单测定方法[J]. 生物传感器和生物电子学, 2011(30): 216-222.

Liang-Yue Yue, Ping Wang, Yao-xiong Huang. Easy method to determine refractive indices of microspheres and in micro-regions of inhomogeneous media[J]. Biosensors and Bioelectronics, 2011(30): 216-222.

[11] Little D J, Kane D M. 基于图像对比的油浸法测量蜘蛛丝折射率[J]. 光学快报, 2011,19(20): 19182-19189.

Little D J, Kane D M. Image contrast immersion method for measuring refractive index applied to spider silks[J]. Optics Express. 2011,19(20):19182-19189.

[12] Bessis M. 红细胞形态：一种图像分类方法及其原理[J]. 新法国血液杂志, 1972,12(6):721-45.

Bessis M. Red cell shapes. An illustrated classification and its rationale[J]. Nouvelle Revue FranCEaise D'hématologie, 1972,12(6):721-45.

[13] 李周璇, 雷建明, 王 迪, 等. 联合动静态图像分析技术研究鳄鱼血红细胞形态功能随pH值的变化[J]. 光学技术, 2011(6):723-729.

LI Zhou-xuan, LEI Jian-ming, WANG Di, etc. Study on morphology and structure of single living crocodilian erythrocyte as functions of pH using techniques of static and dynamic image analysis[J]. Optical Technique, 2011,37(6):723-729.

[14] Gompper G, Schick M. 软物质：第四卷 脂质双分子层与红细胞[M]. Wiley, 2008.

[15] 于文静, 杨富琴, 冯伟国. 图像修复实验的设计[J]. 实验室研究与探索, 2012,31(6):40-43.

YU Wen-jing, YANG Fu-qin, FENG Wei-guo. Design of the Experiment on Image Impainting[J]. Research and Exploration in Laboratory, 2012,31(6):40-43.

·名人名言·

如果你问一个善于溜冰的人怎样获得成功时，他会告诉你：“跌倒了，爬起来。”这就是成功。

——牛顿