基于改进FCN的药瓶圆底检测算法研究

王晨烨　陈乐庚

摘要：为提高药瓶圆底的检测精度，文中提出一种基于改进FCN的语义分割算法。该方法根据微量药品数据集中药瓶圆底的特征，将FCN的主干网络由VGG-16替换为ResNet-50，并引入可变形卷积模块，完成了对药瓶圆底的分割。实验结果表明，改进后算法的药瓶圆底的分割精度有所提升，与其他主流算法相比较，也有着更高的检测精度，泛化能力更强，更能适应各种场景。实验数据和预测图证实该方法可以有效提升药瓶圆底检测的准确性与泛化性。

关键词：药瓶圆底; FCN; 语义分割; ResNet-50;可变形卷积

中图分类号：TP391        文献标识码：A

文章编号：1009-3044（2022）34-0023-03

1 概述

药品是一种非常特殊的物质，种类很多，状态和用量要求也各不相同，若使用不恰当则会危及人的生命安全[1]。一些粉末状药品的质量极小，在毫克量级甚至微克量级，传统的称重方法是使用电子秤得到重量，但这种方法不便捷，浪费人力，且成本较高。

近年来，基于深度学习的语义分割方法在图像处理领域中取得了巨大的成功，深度学习方法利用网络模型自动学习目标特征，具有较高的泛化能力和更强的鲁棒性，可以有效提高目标检测的准确率和效率。所以本文将使用深度学习方法进行药瓶圆底的检测，尽可能减小检测误差，为后续的微量药品质量计算做准备。

与传统CNN相比，Jonathan Long等人[2]提出的FCN网络有两大明显的优势：一是不需要所有的图像具有相同的尺寸；二是可以避免重复存储和计算卷积，省时省力。因此，本文考虑在FCN网络的基础上进行改进，将主干网部分换成ResNet-50[3-5]，利用其跳跃连接进行特征补偿；引入DCNv2模块[6]，使网络可以更好地满足药瓶圆底分割的需要，提升检测精度。

2 药品图像识别的基本原理

2.1 可变形卷积

在传统CNN中，卷积核的感受野均为固定的形状（正方形）。可变形卷积（Deformable Convolution Network，DCN） [7-8]是一种新型卷积，将其引入网络，可以改变感受野的形状，增强网络模型适应物体几何变化的能力。

可变形卷积DCNv1通过在每一个神经元上叠加一个任意方向的偏移量Δp，如公式（1） 所示，令感受野进行自由变形，能够较好地适应任意形状的目标检测，更加精准地提取目标的特征，如图1所示。

DCNv1的卷积过程图如图2所示，经过卷积后的offsetfield的尺寸与原图尺寸大小相同，但通道数增加至2N个，这使得在任意位置进行卷积时，都能够叠加一个offset。

可变形卷积DCNv2在DCNv1的基础上增加了卷积数和权重系数，使网络可以精准地辨别感兴趣的区域，如公式（2） 所示。

2.2 算法

FCN网络为编码器-解码器结构[9]，将FCN的原有编码器VGG-16替换为ResNet-50，利用其跳跃连接将前层图像的特征信息直接映射到后层，如图3所示，有效弥补了因网络层数加深造成特征信息损失的现象，更加精准地学习图像中的目标特征，提升检测精度。

如图4所示，将微量药品数据集和标签集以Pascal数据集格式输入网络，并在Conv3_x、Conv4_x、Conv5_x三个阶段中引入DCNv2模块，增强网络适应药瓶圆底检测的能力。在解码器部分，网络通过使用两个3*3大小的卷积核进行解码，并将得到的特征图上采样至Conv5_x输出特征图的尺寸后与之进行特征融合，再上采样至源图像大小，完成对药瓶圆底的分割。

2.3 实验与分析

2.3.1 实验软硬件配置

本文实验在PyTorch框架上进行，实验的硬件配置为Intel（R）Core（TM）i7-10875H CPU， NVIDIA GeForce RTX 2060 Ti GPU；软件环境为Ubuntu操作系统，Cuda10.1，Cudnn7.6.3，Pytorch1.6.0，Python3.8。

根据实验配置，设置batch_size=4。经过多次调试和检测，设置learning_rate=0.005，共迭代训练20000次。

数据采集设备为vivo iQOO Neo5。采集的微量药品为桂林晖昂生化药业有限责任公司生产的昂达吩奇光敏抗菌粉剂。

2.3.2 图像预处理

本文以昂达吩奇光敏抗菌粉剂为例，使用手机采集了一个微量药品数据集，采集条件为红光条件下，共有1308张图片。首先将微量药品数据集中图片进行灰度化处理，并将图片裁剪至[500，500，3]尺寸；其次，利用高斯滤波叠加双边滤波对数据集进行去噪声处理，保护药瓶圆底的边缘信息；然后，使用标注软件Labelme将图像中药瓶底部标记为glass，得到微量药品的标签集；最后，将微量药品数据集制作成Pascal数据集格式，按照6：2：2的比例随机分为782张训练集、263张验证集和263张测试集，并将训练集投入网络进行训练。

2.3.3 药瓶圆底检测结果分析

在同数据集、同环境、网络參数一致的情况下，将本文算法与deeplabv3、deeplabv3plus、FCN_Unet、pspnet、FCN等经典语义分割算法进行检测效果对比，以基于深度学习的语义分割方法的评价指标作为本文药瓶圆底检测的评价标准。通过训练集数量为782的微量药品图片训练20000次后，对验证集中的263张微量药品图片进行药瓶圆底检测，得到几种药瓶圆底检测算法的检测精度，如表1所示，其中，batch_size=4。

由表1知，本文改进后的算法有效提高了药瓶圆底检测的平均交并比和准确率，但由于引入了DCNv2模块，也相应地增加了一些计算量，使得检测的实时性不具备优势。

药瓶圆底的检测效果图如图5所示。

由图5可知，分别在有药品瓶、空瓶、有光线干扰的有药品瓶的三种情况下进行药瓶圆底的检测，由此可以看出，本文算法的检测效果最好，鲁棒性较强，可以较好地适应各种情景，能够较精准地检测出完整的药瓶圆底。实验结果表明，本文算法能够更精准地完成对瓶底边线的检测，证明所提方法有效可行。

3 结束语

本文在FCN的基础上通过ResNet-50的跳跃连接补偿特征信息，并引入DCNv2模块，提升网络学习药瓶圆底特征的能力，提高了药瓶圆底检测的精度。在微量药品数据集下的实验结果表明，本文改进的算法具有更好的分割优越性，但由于引入DCNv2模块增加了计算量，使得检测的实时性不具备优势。本文的药瓶圆底检测实验中，另一个不足之处在于，由于缺少专业的设备，这使得微量药品数据集在采集时，由于光照条件、设备成像等细微差异，会影响到药瓶圆底的检测的精准度，从而影响到后续微量药品质量的计算。就目前的检测结果而言，所提出的方法能够实现像素级别的药瓶圆底语义分割，且泛化性较好，鲁棒性较强。综上，可以看出DCNv2在计算机视觉领域中具有巨大的作用，DCNv2有望在未来替代传统卷积方式，全面提升图像检测的性能。

参考文献：

[1] 黄柳.混淆药品剂量引发的用药不良事件思考[J].中国医院院长，2021，17（1）：19-21.

[2] Long J，Shelhamer E，Darrell T.Fully convolutional networks for semantic segmentation[C]// Boston，MA，USA：2015 IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2015：3431-3440.

[3] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[J].CoRR，2015，abs/1512.03385.

[4] 肖建峰.基于FCN+ResNet的地表建筑物识别[J].现代计算机，2021，27（31）：66-71.

[5] 肖晨晨，陈乐庚，王书强.融合残差和对抗网络的跨模态PET图像合成方法[J].计算机工程与应用，2022，58（1）：218-223.

[6] 周昆阳，郑泽斌，向阳，等.基于改进YOLOv4的交通信号灯倒计时数字检测与识别[J].电脑知识与技术，2022，18（4）：7-9，21.

[7] Dai J F，Qi H Z，Xiong Y W，et al.Deformable convolutional networks[C]// Venice，Italy：2017 IEEE International Conference on Computer Vision.IEEE，2017：764-773.

[8] Zhu X Z，Hu H，Lin S，et al.Deformable ConvNets V2：more deformable，better results[C]// Long Beach，CA，USA：2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.IEEE，2019：9300-9308.

[9] 蒙雙，陈乐庚，肖晨晨.基于改进OctConv的车道线检测算法研究[J].计算机仿真，2021，38（5）：142-145，218.

【通联编辑：唐一东】