针对检疫物的CT图像着色和自动识别方法研究*

刘扬东 王璐 李栋



针对检疫物的CT图像着色和自动识别方法研究*

刘扬东1王璐2李栋2

（1.中华人民共和国广州白云机场海关 2.同方威视技术股份有限公司）

针对CT检疫设备在识别检疫物时出现误报、漏报等问题，提出一种基于深度学习的CT图像着色和自动识别方法。通过采集检疫物的名称、形态和数量等属性，建立检疫物和安全品数据库；重建CT图像的密度、等效原子序数等三维形状特征；提取三维物体特征的3个归一化正交截面，作为深度学习网络的输入，使用多输入的卷积神经网络进行三维物体识别。同时，对金属、轻薄物、种子和水果等检疫物进行CT图像着色方法的改进，提高了检疫物的显示效果。在Python平台进行深度学习网络训练，结果表明，CT检疫设备检出准确率提高了约20%。

深度学习；图像着色；图像自动识别

0　引言

随着现代电子商务和跨境物流的快速发展，我国与世界各地往来的快件、邮寄物品数量激增，品种逐渐复杂。其中，邮寄动植物产品、诊断试剂、植物种子、化矿、轻纺以及其他禁止出入境物品等检疫物，不断呈快速增长态势[1-2]。这些危险性有害检疫物给我国生态环境、农业生产等国家公共安全带来较大的风险和威胁。

针对此类情况，CT型动植物智能检疫设备在某快件监管中心投入使用。该设备可生成被测行李物品的三维立体影像，多角度观察行李物品内部的分布和层次；并通过获取被测物品密度及原子序数等多维信息，对肉类、乳制品、动物及制品等重点监管对象进行有效识别和自动报警。该设备采用的检疫专用算法，可对检疫物区分赋色、自动报警。但在使用中存在误报和漏报的情况，给查验人员判断成像中的检疫物带来一定困扰。

为了解决此问题，本文研究了针对检疫物的CT图像着色方法和基于深度学习的自动识别算法。根据海关和安检部门列明的主要检疫物种类，建立邮寄物品数据库，提取和重建邮寄物品特征，作为深度学习优化网络的输入，并优化检疫物着色，提高CT检疫设备自动识别能力和显示效果。

1 　基于深度学习的自动识别算法

从CT成像着手，建立检疫物和安全品数据库，采用深度学习优化检疫物自动识别算法。

1.1　搭建数据库

检疫违禁物品种类繁多，用传统的机器学习方法，难以设计有效提取邮寄物品复杂特征和识别违禁物品的模型。深度学习以尽可能多的CT图像作为输入样本，且对输入样本的缩放、平移和扭曲等特性处理保持高度不变性；训练过程的特征融合[3-4]，提高了复杂特征提取算法的准确率。

为提高检疫物的复杂特征识别率和抗干扰能力，本文建立具有良好扩展性的专用检疫CT图像数据库，主要包括检疫物数据库和安全品数据库2部分。

检疫物数据库中采集的检疫物种类主要以中国农业部、原国家质检总局第1712号公告里列明的主要检疫物为准。

安全品数据库采集的非检疫物种类包括检疫物外的所有物品。

采集数据的方式：在CT检疫设备中采集每种检疫物，依次放置在托盘、纸箱及加入干扰物的纸箱中；变换姿态进行采集，并记录检疫物的名称、形态、数量和质量等属性。

为提高自识别模型的抗干扰能力，对原始采集的成像数据进行亮度、对比度调节和随机反转等预处理，并以固定的数据结构形式存入数据库，以备算法后续使用。

1.2　CT图像的自动识别

目前，CT检疫设备主要利用CT重建得到密度、等效原子序数等物质属性，辅以弱形状和纹理特征，对检疫物进行识别和分类。此方法对具有强可分性的违禁物品识别取得良好效果，如爆炸物。但由于检疫物种类较多，其组成和物理属性也比较复杂，CT检疫设备应用存在一定的局限性。

通过对检疫物成像的观察和分析，得知检疫识别的目标多呈现较强的三维形状特征。将三维物体的形状和纹理特征作为深度神经网络优化模型的输入，可进一步区分物理属性重叠的检疫物与安全品，提高三维物体识别的准确率。

三维检测分为三维物体生成、三维物体数据预处理和三维物体识别3个主要步骤。

1.2.1三维物体生成

三维物体生成流程如图1所示。采用CT设备的最大密度投影，获取一定厚度检疫物的最大CT值，建立检疫物的特征概率模型。在体素投影的背景平面上，构建具有所有或部分高强化密度特征的三维标记矩阵。对密度特征值相同或相似区域进行三维标记连通（连通体遍历），得到标记的三维物体。采用合并和筛选优化标记的方法，最终生成三维物体。

1.2.2三维物体数据预处理

为规范卷积神经网络的输入，对每个生成的三维物体进行预处理，如图2所示。考虑到算法的实用性和运算效率，本文提取三维物体的3个正交截面作为卷积神经网络的输入。

在高分辨率下，将生成的三维物体进行三维数据点重采样。利用采样矩阵旋转和平移运算实现三维物体不同视角的变换。统计三维物体面积的总体分布，割离3个正交截面，分别归一化每个通道的三维物体样本数据。

图1 　三维物体生成流程图

图2　 三维物体数据预处理流程图

1.2.3三维物体识别

卷积神经网络是深度神经网络在图像识别领域的一种典型结构，具有局部连接、权重共享、空间上的重采样以及一定程度的平移缩放不变性等。本文采用多输入的卷积神经网络识别三维检疫物。

对CT图像进行卷积运算，以提取检疫物不同特征。卷积层只能提取如边缘、线条和角等低级特征，而多层网络能从低级特征中迭代提取更复杂的着色纹理特征。

在卷积层之后，得到维度较大的CT图像特征图。将特征图切成几个区域，取其最大值或平均值，得到新的、维度较小的特征图。

在多层卷积识别过程中，为降低维度，卷积神经网络引入池化层，通过降采样来避免过拟合[5]。池化（降采样）函数通常取一个区域内神经元输出的最大值或平均值。

训练使用反向传播算法计算梯度，随机梯度下降更新参数为

本文采用的卷积神经网络输入为3个正交截面的归一化图像，每个输入图像对应一个特定方向的二维卷积神经网络。经过多层前馈后的特征向量进行融合，融合后的特征向量进行部分的全连接层处理，最终输出三维物体类别标签概率分布。

2　CT图像着色方法优化

优化检疫物的着色显示，有利于查验人员通过CT图像颜色精细区分物品种类。着色方法优化包括3部分：

1）金属显示优化，对金属弱化显示；

2）轻薄物体显示优化，通过调整看图软件的透明度进行观察；

3）按检疫物种类着色优化，根据检疫物的物理属性，建立物品种类和颜色的对应关系，强化不同有机物类别的视觉区分。原本只呈现橙色的有机物品，根据密度、原子序数等信息的不同，赋予不同的扩展颜色，如种子（苗）、蔬菜等显示为紫色或紫红色；水果等显示为红色或橙红色；肉制品等显示为亮黄色或橙黄色。

3　实验验证

实验的硬件环境为Intel(R) Core(TM) i5-7200U CPU @ 2.50 GHz，内存4 G，实验平台Python for Win10。为验证本文提出的CT图像着色方法和基于深度学习的自动识别算法的有效性，对金属、轻薄物、种子、水果和肉制品检疫物的CT图像进行实验测试。

3.1　着色实验与结果分析

金属（金属罐头）显示优化前后对比如图3所示。

图3　 对金属CT图像的着色

轻薄物体（燕窝）显示优化前后对比如图4所示。

图4　 对轻薄物CT图像的着色

检疫物种类着色优化示例如图5所示。

图5 (a) 种子显示效果示例（紫色&紫红色）

CT原图像受到噪声干扰，成像后的三维图像立体视觉效果较差，可辨识度低；通过CT图像着色方法优化后，增强了角度、轮廓和纹理等细节信息，得到辨别性强的三维立体图具有较好的显示效果。

3.2　CT图像识别与结果分析

采用本文的卷积神经网络模型分别对识别算法优化前后的种子、水果（苹果）和肉制品的CT图像进行检测识别，实验结果如表1所示。

表1 识别算法优化前后的CT图像识别结果

由表1可知：采用深度学习优化CT图像识别算法对3类检疫物进行识别，CT图像识别误报率优化后比优化前低2倍；CT图像识别平均检出率优化后比优化前提高至少20%。

4 　结论

本文构建检疫物品和安全品CT图像数据库，采用深度学习优化CT图像识别方法，并对着色方法进行改进，有效提高CT检疫设备的检出率，大幅降低了误报率。利用优化后的显示效果，可帮助查验人员通过人工方式进一步进行判断。该方法投入使用后，通过数据的不断积累，深度学习网络会继续优化模型，进一步提高自动查验结果的准确性。

[1] Couey H M, Chew V. Confidence limits and sample size in quarantine research[J]. Journal of Economic Entomology, 1986, 79(4):887-890.

[2] 闫世艳,陈艳,边勇,等.从日本进境邮寄物中截获伤残短体线虫[J].生物安全学报,2016,25(4):291-294.

[3] 何鑫,陈迅.基于深度学习与改进Gabor特征融合的FVR[J].计算机仿真,2018,35(11):356-361.

[4] Park S W , Park J , Bong K , et al. An Energy-Efficient and Scalable Deep Learning/Inference Processor with Tetra-Parallel MIMD Architecture for Big Data Applications[J]. IEEE Transactions on Biomedical Circuits and Systems, 2015, 9(6):838-848.

[5] Arino J, Jordan R, Van d D P. Quarantine in a multi-species epidemic model with spatial dynamics[J]. Mathematical Biosciences, 2005, 206(1):46-60.

Research on CT Image Coloring and Automatic Recognition Method for Quarantine Objects

Liu Yangdong1Wang Lu2Li Dong2

(1.Guangzhou Baiyun Airport Customs House of Guangzhou Customs District of the P.R.C 2.Nuctech Company Limited)

Aiming at the faults of automatic alarms such as false alarms and false negatives when CT equipment identifies quarantine objects, the deep learning for coloring and automatic recognition of CT image is adopted. We firstly collect the names, forms, quantities and other attributes of quarantine objects to establish a database of quarantine objects and safety products. Based the database, three-dimensional shape features is reconstructed, such as density and equivalent atomic number of CT images. Then, we extract three normalized orthogonal sections, as an input to the deep learning network, from three-dimensional object features. In the two-dimensional convolutional neural network with specific directions of CT images, multi-layer forward-backward feedback for feature fusion is used to optimize the identification and coloring of quarantine objects. The optimization model based on the deep learning network was established on the Python platform, and the objects such as metal, light and thin things, seeds and fruits are set for simulation. The results show that the detection accuracy of CT quarantine equipment increases by 20%.

Deep Learning; Image Coloring; Image Automatic Recognition

刘扬东，男，1977年生，工程硕士，高级工程师，主要研究方向：海关检验检疫。E-mail: liushipyard@163.com

王璐，女，1982年生，硕士，工程师，主要研究方向：图像处理与模式识别。E-mail: wanglu@nuctech.com

李栋，男，1985年生，硕士，工程师，主要研究方向：计算机视觉。E-mail: li.dong@nuctech.com

国家重点研发计划（2018YFC0809203）；广东检验检疫局科技项目（2018GDK02）。