一种20kg砝码组智能检定系统的设计

马健 赵迪 郭琳琳 刘桂雄

摘  要：砝码智能化检定有助于提高砝码检定效率、增强检测数据可溯源性。文章从20 kg砝码组智能化检定系统整体设计入手，提出依靠三维堆放20 kg砝码组深度学习识别分割技术、多模态传感定位技术配合设计的软硬件平台，实现日光灯照明下三维堆放20 kg砝码组的智能检定。通过模拟搭建三维堆放砝码组开展系统测试试验，验证了智能检定系统的有效性、准确性，单个砝码实例检定时间约为42 s，可以满足实际20 kg砝码组检定过程需要，实现“机器代人”，大幅提高20 kg砝码组检定效率。

关键词：20 kg砝码组;深度学习;多模态传感;智能化平台

中图分类号：TP391.4;TH715     文献标识码：A 文章编号：2096-4706（2021）12-0001-05

Abstract： The intelligent verification of weights is helpful to improve the verification efficiency of weights and enhance the traceability of test data. Starting with the overall design of the intelligent verification system of 20 kg weight set， this paper proposes a software and hardware platform based on the deep learning， identification and segmentation technology of three-dimensional stacking 20 kg weight set and the multi-modal sensing and positioning technology， so as to realize the intelligent verification of three-dimensional stacking 20 kg weight set under the illumination of fluorescent lamp. The validity and accuracy of the intelligent verification system are verified by simulating the construction of three-dimensional stacking weight set and carrying out system test. The verification time of a single weight example is about 42 s， which can meet the needs of the actual verification process of 20 kg weight set， realize "machine replace people" and greatly improve the verification efficiency of 20 kg weight group.

Keywords： 20 kg weight set; deep learning; multi-modal sensing; intelligent platform

0  引  言

砝碼是质量量值传递、溯源的基准，保证其量值精确意义重大[1]。目前部分计量检测机构实现了基于预设工位的砝码自动检定[2]，检定过程依旧需要人工干预，自动化、智能化水平不高。为实现20 kg砝码组智能检定，须解决砝码实例、砝码提手这类低对比度、低饱和度遮挡对象图像检测问题[3，4]，以及传统单模态传感定位技术无法实现三维堆放砝码组空间定位为复杂环境多深度曲面测量问题。

文献[5]通过微调Mask R-CNN得到Pig Net，可对不同形态、粘连严重的群猪图像准确分割出独立的个体目标。文献[6]基于Mask R-CNN卷积神经网络模型，分别对每组双目图像进行目标检测和掩膜分割，匹配双目图像中相同目标，以准实时速度进行物体识别、定位。文献[7]基于Mask R-CNN网络从高分辨率RGB无人机图像中提取树木，与常规、高成本遥感数据方法相比有更好效果。文献[8]基于FPGA搭建立体计算RGBD动态场景实时三维重建系统，实现对目标场景数据同步采集，实时生成拍摄场景三维空间点云。文献[9]将双通道后融合网络结构用于卷积特征提取、单通道前融合网络结构用于道路检测，可有效克服光照、阴影、路面类型变化等影响。文献[10]基于RGBD图像恢复室内物体、布局面完整三维模型，依靠支持推理来辅助物体识别，并使用卷积神经网络对区域进行分类。文献[11]整合Microsoft Kinect RGBD传感器、YOLO算法与Nvidia Jetson TX2神经网络开发板以用于识别移动机器人路径障碍的静态物体。

可以看出深度学习算法、RGBD多模态传感在遮挡对象识别、测量方面相较传统方法均有不小优势。故本文研究面向低对比度堆放砝码识别的改进Mask R-CNN算法、面向堆放砝码的RGBD多模态传感定位技术实现20 kg砝码组智能检定系统设计，对于促进计量技术自动化以及智能制造技术发展，具有重要学术价值与实际意义。

1  系统整体设计

图1为20 kg砝码组智能化检定系统整体设计图，主要包括五个模块：

（1）图像采集与处理模块，负责图像数据采集及预处理。

（2）20 kg砝码组识别、分割模块，负责20 kg砝码组实例RGB图像定位。

（3）20 kg砝码组定位模块，负责20 kg砝码组实例三维空间定位。

（4）20 kg砝码抓取模块，负责智能化检定过程20 kg砝码抓取搬运。

（5）检定数据溯源模块，负责20 kg砝码智能化检定过程数据溯源。

1.1  20 kg砝码组深度学习识别分割技术

前期试验证明，经典深度学习算法对三维堆放20 kg砝码组提手、砝码间重叠部分识别分割效果较差，主要原因在于20 kg砝码组外表面常为黑、灰色，是典型低对比度物体。

为提升图像中砝码提手实例分割效果，获取高精度砝码组图像坐标信息，从提升图像特征区分度、多算法融合方向入手，对采集原始图像进行Gamma增强、ACE自适应对比度增强，以提升其轮廓特征便于深度学习网络学习;增加Mask R-CNN头部检测分支，对掩膜分割效果不好的实例通过BBox回归框分支连接Canny边缘检测算法代替原Mask掩膜分支输出，以提升砝码提手实例分割效果。

图2为20 kg砝码组深度学习识别分割网络结构图，改进Mask R-CNN模型由图像对比度增强、Backbone骨干网络、RPN（Region proposal network）候选区生成、RoI Align特征图对齐和Head头部网络功能等模块构成，生成Mask掩膜、目标分类、BBox回归定位框结果。

1.2  20 kg砝码组多模态传感空间定位技术

为达到20 kg砝码组智能检定效果还须实现复杂光照环境下砝码提手曲面深度测量。

图3为20 kg砝码组多模态传感定位流程图，RGBD相机采集4通道砝码组图像数据，生成对应RGB图像及D通道深度图像，RGB图像输入改进Mask R-CNN深度学习网络识别、分割20 kg砝码组提手，得砝码提手掩膜与BBox回归框输出;砝码提手掩膜与深度图“求与”得各砝码提手实例所有像素点深度数据，空间圆柱拟合生成对应实例关键点坐标及单位方向向量，用来描述20 kg砝码提手空间姿态及位置;K-means聚类算法按照各实例关键点坐标对空间坐标组分层，层间计算提手关键点与预设原点曼哈顿距离规划调度砝码组检定顺序。

引入多模态传感技术可有效提高20 kg砝码提手空间定位准确性，克服單模态传感定位技术对检定场景适用性差、难以满足砝码检定动态过程不同深度曲面定位精度要求的问题，提高20 kg砝码组智能化检定效率。

1.3  20 kg砝码组智能化检定系统软硬件平台

20 kg砝码组智能检定集成系统由待检砝码抓取装置、标准砝码转运装置、电气控制系统、Intel RealSense D455深度相机、NVIDIA Jetson TX2边缘计算机构成。如图4所示。

图5为20 kg砝码组智能检定系统运行逻辑流程图，具体流程如下：

（1）PC上位机发送开始指令给PLC下位机。

（2）标准砝码转运装置将标准砝码加载至检定天平。

（3）检定天平称量数值反馈至上位机后标准砝码转运装置卸载标准砝码。

（4）待检砝码转运装置移动至待定位置后Jetson TX2边缘计算机获取Intel D455 RGBD相机数据计算得到待检砝码提手空间定位坐标。

（5）坐标信息指导待检砝码转运装置加载待检砝码至检定天平后读取检定天平数据。

（6）检定称量完成后，将待检砝码从检定天平转运码放至完成区域。

（7）判断检定是否完成，完成即结束检定、未完成则进入下一次循环。

按上述结构、逻辑搭建如图6所示的20 kg砝码组智能化检定系统软硬件平台。软件平台用于20 kg砝码组智能化检定关键数据（如：测试项目、委托方、制造厂商、鉴定地点、鉴定时间、温度、湿度、气压、标准值1、待检值、标准值2、误差、合格情况等）实时显示、历史数据溯源等。

2  试验

使用上述20 kg砝码组智能化检定系统对图7系统级测试待检砝码试验堆开展自动化检定试验，待检砝码试验堆由2层共18个20 kg砝码组模拟实际检定过程中砝码堆放情况搭建而成。

按图7（a）中顺序开展各砝码实例检定，得表1砝码检定数据，包含从20 kg砝码组智能检定系统软件平台获取的各砝码实例检定过程的标准值1、待检值、标准值2、合格情况、码放位置、检定用时等关键信息。

从表中数据可以看出，单个砝码检定时间平均在43 s左右，由于在第1、3个砝码检定前调用空间定位算法分别获取上、下层砝码提手空间位置信息，检定时间较其他砝码长，又因检定开始时需先执行一次标准砝码检定，故第1个砝码检定用时比第3个长11 s。

系统试验证明20 kg砝码组智能检定系统可以按设计功能要求实现“机器代人”，提升20 kg砝码组检定效率、准确性。

3  结  论

本文提出20 kg砝码组智能检定系统设计方案。通过深度学习算法、多模态传感定位技术处理堆叠20 kg砝码组RGBD图像数据得到各砝码实例空间坐标，指导硬件系统抓取搬运，最终实现三维堆放20 kg砝码组智能检定。单个砝码检定时间平均为43 s，检定数据精确可靠，可实现“机器代人”、大幅提升20 kg砝码组检定效率。

参考文献：

[1] 全国量和单位标准化技术委员会.国际单位制及其应用：GB 3100-1993 [S].北京：中国标准出版社，1993.

[2] 王益飞，杨圆圆.公斤组砝码自动检定系统 [J].计量技术，2017（7）：61-64.

[3] UIJLINGS J R R，SANDE K E A，GEVERS T，et al. Selective Search for Object Recognition [J]. International Journal of Computer Vision，2013，104（2）：154-171.

[4] JIANG J J，GUI X Q. Target Detection and Recognition Method of Farming Machine Based on Machine Vision [C]//Proceedings of the 2015 4th National Conference on Electrical，Electronics and Computer Engineering.Paris：Atlantis Press，2015：1385-1389.

[5] 高云，郭继亮，黎煊，等.基于深度学习的群猪图像实例分割方法 [J].农业机械学报，2019，50（4）：179-187.

[6] 彭秋辰，宋亦旭.基于Mask R-CNN的物体识别和定位 [J].清华大学学报（自然科学版），2019，59（2）：135-141.

[7] OCER N E，KAPLAN G，ERDEM F，et al. Tree extraction from multi-scale UAV images using Mask R-CNN with FPN [J].Remote Sensing Letters，2020，11（9）：847-856.

[8] 段勇，裴明涛.基于多RGBD摄像机的动态场景实时三维重建系统 [J].北京理工大学学报，2014，34（11）：1157-1162.

[9] 曲磊，王康如，陈利利，等.基于RGBD图像和卷积神经网络的快速道路检测 [J].光学学报，2017，37（10）：124-132.

[10] ZOU C H，GUO R Q，LI Z Z，et al. Complete 3D Scene Parsing from an RGBD Image [J].International Journal of Computer Vision，2019，127（2）：143-162.

[11] REIS D，WELFER D，CUADROS D S L，et al. Mobile Robot Navigation Using an Object Recognition Software with RGBD Images and the YOLO Algorithm [J].Applied Artificial Intelligence，2019，33（14）：1290-1305.

作者簡介：马健（1980—），男，汉族，广东广州人，高级工程师，硕士，研究方向：衡器计量技术研究。