类圆柱标签等效阶梯柱面展开方法

刘千，许敏，徐首帅

工艺与装备

类圆柱标签等效阶梯柱面展开方法

刘千1,2,3,4，许敏1,2,4，徐首帅1,2,4

（1.中国科学院沈阳自动化研究所，沈阳 110016；2.中国科学院机器人与智能制造创新研究院，沈阳 110169；3.中国科学院大学，北京 100049；4.辽宁省智能检测与装备技术重点实验室，沈阳 100179）

针对半径不等的类圆柱标签的全表面展开问题，提出类圆柱标签等效阶梯柱面展开方法。提取4个视角下图像中的类圆柱标签最小外接矩形，根据提取结果建立位姿估计模型。基于微积分的化曲为直的思想，结合标签的位姿和各视角的轮廓，建立等效阶梯的类圆柱标签3D点云。利用双线性插值法对点云进行渲染，并通过NCC算法进行图像拼接，最终实现半径不等的类圆柱标签全表面展开。类圆柱棋盘格标签仿真模型与某品牌口香糖标签全表面展开实验表明，文中提出的算法较传统算法具有较高的精度，针对1号模型，在轴、轴方向上的方差分别为1.37像素和0.58像素。类圆柱标签等效阶梯柱面展开方法可以有效地实现类圆柱标签全表面展开，为后续的标签检测提供基础。

标签检测；类圆柱标签展开；等效阶梯模型；图像拼接

柱状标签在商品识别和商品售卖环节起到了重要的作用，应用机器视觉技术对瓶装标签表面进行检测时，或对标签表面字符进行识别时，通常需要首先恢复其360°全表面图像，常用的方法有利用线阵相机加旋转机构、搭建折反射系统、使用特殊镜头和使用多面阵相机的方法。

应用线阵相机一般需要设计相应的旋转机构，使标签能以几何轴心为中心旋转，再配合编码器等设备控制线阵相机采集图像，由此可恢复圆柱标签360°全表面图像。Ali等[1]利用线扫描相机并使用步进电机带动圆柱物体旋转，实现了圆柱物体的全表面展开。由于线扫描相机的分辨率高，可以获得高质量圆柱物体的表面展开图，但是旋转扫描标签的速度不能满足工业上标签检测的要求。

应用折反射系统一般需要设计圆锥面或球面反射镜，并通过反射成像得到圆柱标签全景图。吴玉 媚[2]设计了凹面反射镜获取环形全景图像的柱形物体成像系统。折反射系统可以快速恢复圆柱标签的全表面图像，但是该系统结构过于复杂，反射镜的质量也会对成像产生影响，此外，该系统对标签的位置要求较为严格，因此不适用于容易发生震动的生产线上。

单个特殊镜头可以放置在圆柱标签的上方获取圆柱标签的全景图，通过拟合圆柱标签的顶部的圆和底部的圆从而确定标签的位姿，最终实现圆柱标签的360°全表面展开[3]。特殊镜头可以不借助反射镜等额外配件实现圆柱全表面的快速展开，但是该方法只适用于一定大小的物体，并且物体可移动范围较小，不适用于有震动的工业生产线。

应用多面阵相机方法一般需要同时获取圆柱标签不同角度的图像，从而获得标签表面的全部信息。再对不同角度的标签图像进行柱面校正，常用的校正方法有2D柱面反投影[4]和3D点云插值的方法[5]。2D柱面反投影方法一般需要建立柱面和平面之间几何映射模型。Zhang等[6]利用3个相机环绕钢丝，并建立了柱面反投影模型，实现了钢丝全表面展开。Lin等[7]利用4个相机对称环绕饮料瓶标签，并建立柱面反投影模型，实现饮料瓶标签的全表面展开。许会等[8]通过建立柱面反投影模型，并对药瓶标签进行二次校正，实现了标签的全表面展开。2D柱面反投影模型简单，可以快速实现圆柱标签展开。该模型通常需要物距和半径等实际物理参数，一旦这些参数发生改变，展开结果也会受到影响。3D点云插值的方法一般需要建立圆柱标签的3D点云，通过相机的成像模型并结合图像的像素信息对点云进行渲染，最终实现圆柱标签全表面展开。Xu等[9]利用环绕圆柱标签的4个相机建立标签的3D点云，通过对点云的渲染实现圆柱标签的全表面展开。此方法的结果不受标签移动影响，但是不能实现半径不规则的类圆柱标签全表面展开。

针对半径不规则变化的类圆柱标签校正问题，孙卫红等[10]通过对蚕茧轮廓进行拟合，并以轮廓的宽度作为柱面反投影模型的参数，实现了蚕茧表面的展开。该方法可以解决类圆柱标签校正问题，但以成像后的标签轮廓作为柱面反投影的参数会引入误差。

文中设计一种四相机图像采集系统，通过获取类圆柱标签不同角度的图像并提取标签区域的最小外接矩形，构建类圆柱标签位姿估计模型。再结合类圆柱标签中心轴和类圆柱标签轮廓点生成类圆柱标签的3D阶梯点云模型。最后利用图像坐标和点云坐标的映射关系，并用双线性插值算法对点云进行渲染，实现类圆柱标签的全表面展开。

1 标签图像采集装置设计

为了快速获取类圆柱标签的全表面展开图，设计类圆柱标签图像采集装置，见图1。4个CCD工业相机以90°增量环绕被检测物体，并同时采集图像。

2 类圆柱标签图像展开算法

2.1 位姿估计

2.1.1 多相机标定

图1 类圆柱标签图像采集装置

2.1.2 求解圆柱标签中心轴线

对于圆柱标签，可利用4个视角下标签轮廓建立几何关系模型，求解其位姿。几何模型见图2。

2.1.3 求解类圆柱标签中心轴线

由于类圆柱标签半径无规则变化，所以无法用2.1.2节方法求解标签的中心轴线。文中通过提取标签轮廓的最小外接矩形解决类圆柱标签问题。首先对图像进行预处理：灰度化、滤波、二值化、边缘提 取[13]，并提取标签轮廓的最小外接矩形，见图3，则该问题就转化为求解圆柱标签中心轴线问题，故可用2.1.2节方法进行求解。

2.2 生成类圆柱标签的3D点云模型

2.2.1 等效阶梯类圆柱标签模型

2.2.2 生成类圆柱体的3D点云

图2 圆柱标签位姿估计模型几何示意

图3 类圆柱标签最小外接矩形位姿估计

图4 类圆柱标签切分示意

图5 类圆柱标签阶梯3D模型转换示意

2.3 类圆柱标签表面展开

根据标签点云和相机成像模型，可以得到点云和像素之间的映射模型，从而利用双线性插值算法对点云进行渲染，最终实现类圆柱标签的全表面展开。其中，由于标签放置的位置不固定，所以每个相机观察的3D点的范围会发生变化。参考Xu等[9]确定每个标签点的归属问题。

3 结果与分析

3.1 实验材料

文中通过仿真模型对算法结果进行量化，并实现某品牌口香糖标签全表面展开。实验采用的工业相机为映美精DFK23G455，工控机硬件为16 G内存，Core i7-8700 3.2 GHz，图像处理软件包为OpenCV。

3.2 实验步骤

在仿真平台中，利用文中算法（算法1）分别对2种不同的类圆柱标签模型进行全表面展开，模型见图6a和图7a，展开结果见图6b和图7b。参考曹济英等[14]，将相邻角点间距的方差作为算法评价标准，结果见表1。

3.3 对比实验

3.3.1 不同模型下3种展开算法结果对比

参考文献[10]中的变径柱面反投影展开算法（算法2）和等径柱面反投影算法（算法3）对1号模型和2号模型进行全表面展开，结果见图8和图9。这里将1号模型和2号模型的轮廓分别拟合成直线和二次曲线。

图6 1号类圆柱棋盘格标签模型全景展开结果

表1 类圆柱棋盘格标签模型全景展开方差

图8 1号类圆柱棋盘格标签模型在2种算法下展开结果

图9 2号类圆柱棋盘格标签模型在2种算法下展开结果

为保证对比实验的可靠性，文中算法提取单 相机下的模型表面展开图。对比结果见表2和 表3。

结合表2和表3可以发现，对于不同的模型，算法1在轴方向和轴方向上的展开结果都要优于算法2和算法3。

3.3.2 不同物距下3个算法展开结果对比

在不同的物距下，采用1号模型，对比3个算法的展开结果，结果见图10。结合图10可以看到，不同物距对3个算法的展开效果并没有太大的影响，但是在不同物距下，算法1的展开精度均高于算法2和算法3。

表2 1号类圆柱棋盘格标签在3种算法下的展开方差

表3 2号类圆柱棋盘格标签在3种算法下展开结果的方差

3.3.3 不同行和不同列在3个算法下展开结果对比

结合图11可以得知，在算法2和算法3的展开结果中，行角点和列角点在轴方向和轴方向并不能完全笔直展开。对于算法1展开结果，棋盘格中角点距离的方差不会因位置变化而发生剧烈的变化。产生这种问题的原因在于算法2和算法3并没有结合类圆柱标签的实际参数进行建模，但是结合实际参数又会造成参数过多，限制了工业应用。算法1有效地解决了此问题。

3.4 实物标签全表面展开

根据文中方法，对某品牌口香糖的全表面标签进行展开，标签图像见图12a。为了防止光照影响，采用归一化互相关算法(NCC)[15—16]对不同角度的标签展开图进行拼接。展开结果见图12b。

图10 1号类圆柱棋盘格标签模型在3种算法下展开结果的方差变化曲线

图11 1号类圆柱棋盘格标签模型在3种算法下展开结果的行列方差变化曲线

图12 口香糖标签全景展开

4 结语

文中在4个相机像素坐标系下，通过提取类圆柱标签的最小外接矩形，建立了标签的位姿估计模型。再通过提取标签图像的轮廓点集，在世界坐标系下，生成类圆柱标签的3D点云。最后利用双线性插值对点云进行渲染，实现类圆柱标签的全表面展开。

通过类圆柱标签仿真模型和某品牌口香糖的包装瓶对文中方法进行验证，实验结果表明，文中提出的方法相对于传统的柱面反投影和变径柱面反投影算法具有更好的展开效果。

参考文献：

[1] ALI M A H, MAILAH M, TANG H H, et al. Visual Inspection of Cylindrical Product's Lateral Surface Using Cameras and Image Processing[J]. International Journal of Mathematical Models and Methods in Applied Sciences, 2012, 6(2): 340-348.

[2] 吴玉媚. 柱形物体360°环视装置设计方法研究[D]. 哈尔滨: 哈尔滨工业大学, 2016: 5-6.

WU Yu-mei. Study on Design Method of 360° Imaging Device for Cylindrical Object[D]. Harbin: Harbin Institute of Technology, 2016: 5-6.

[3] ULRICH M, STEGER C. A Camera Model for Cameras with Hypercentric Lenses and Some Example Applications[J]. Machine Vision and Applications, 2019, 30(6): 1013-1028.

[4] 彭红星, 宋鸿陟, 邹湘军, 等. 柱面全景图生成技术的研究与实现[J]. 计算机工程, 2010, 36(09): 208-211.

PENG Xing-hong, SONG Hong-zhi, ZOU Xiang-jun, et al. Research and Implementation of Cylindrical Panorama Generation Technology[J]. Computer Engineering, 2010, 36(9): 208-211.

[5] 尤磊, 唐守正, 宋新宇. 基于圆柱面投影的树干表面重建算法[J]. 林业科学研究, 2016, 29(6): 812-819.

YOU Lei, TANG Shou-zheng, SONG Xin-yu. An Algorithm of Stem Surface Reconstruction Based on Cylindrical Projection[J]. Forest Research, 2016, 29(6): 812-819.

[6] ZHANG J, WANG S. Obtaining Unfolded Image for Surface of Wire Rope Based on Image Processing and Splicing[J]. Journal of Failure Analysis and Prevention, 2020, 20(2): 425-431.

[7] LIN J, LIAO Q, HE B, et al. Label Inspection of Approximate Cylinder Based on Adverse Cylinder Panorama[C]// 2013 International Conference on Optical Instruments and Technology, Beijing, 2013.

[8] 许会, 刘慧芳, 陆昊, 等. 一种曲面药瓶标签校验方法关键技术[J]. 沈阳工业大学学报, 2019, 41(3): 286-291.

XU Hui, LIU Hui-fang, LU Hao, et al. Key Technology of Checking Method for Curved Surface Label of Medicine Bottle[J]. Journal of Shenyang University of Technology, 2019, 41(3): 286-291.

[9] XU J, CHEN C, XIE H, et al. Cylindrical Product Label Image Stitching Method[C]// 2017 2nd IEEE International Conference on Computational Intelligence and Applications (ICCIA), Beijing, 2017: 331-335.

[10] 孙卫红, 廖艺真, 梁曼, 等. 蚕茧表面图像等效阶梯柱面展开[J]. 中国图象图形学报, 2020, 25(3): 498-506.

SUN Wei-hong, LIAO Yi-zhen, LIANG Man, et al. Cocoon Surface Image Equivalent Ladder Cylinder Expansion[J]. Journal of Image and Graphics, 2020, 25(3): 498-506.

[11] ZHANG Z Y. A Flexible New Technique for Camera Calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[12] 张泽鲁, 许敏, 陈帅. 基于机器视觉的柱状标签拼接算法研究[J]. 包装工程, 2020, 41(17): 221-228.

ZHANG Ze-lu, XU Min, CHEN Shuai. Cylindrical Label Stitching Algorithm Based on Machine Vision[J]. Packaging Engineering, 2020, 41(17): 221-228.

[13] COPE R K, ROCKETT P I. Efficacy of Gaussian Smoothing in Canny Edge Detector[J]. Electronics Letters, 2000, 36(19): 1615-1617.

[14] 曹济英, 陆高勇, 李勃, 等. 一种灵活的柱面反投影算法[J]. 哈尔滨工业大学学报, 2016, 48(11): 75-82.

CAO Ji-ying, LU Gao-yong, LI Bo, et al. Flexible Cylindrical Back-Projection Algorithm[J]. Journal of Harbin Institute of Technology, 2016, 48(11): 75-82.

[15] 刘桂雄, 蔡柳依婷, 王博帝. 机器视觉检测图像拼接配准技术研究进展[J]. 激光杂志, 2019, 40(11): 1-6.

LIU Gui-xiong, CAI Liu-yi-ting, WANG Bo-di. Overview of Image Stitching Registration in Machine Vision Detection[J]. Laser Journal, 2019, 40(11): 1-6.

[16] 刘正琼, 万鹏, 凌琳, 等. 基于机器视觉的超视场工件识别抓取系统[J]. 机器人, 2018, 40(3): 294-300.

LIU Zheng-qiong, WAN Peng, LING Lin, et al. Recognition and Grabbing System for Workpieces Exceeding the Visual Field Based on Machine Vision[J]. Robot, 2018, 40(3): 294-300.

Equivalent Ladder Cylinder Unfolding Method of Quasi-Cylinder Label

LIU Qian1,2,3,4, XU Min1,2,4, XU Shou-shuai1,2,4

(1.Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China; 2.Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences, Shenyang 110169, China; 3.University of Chinese Academy of Sciences, Beijing 100049, China; 4.Key Laboratory on Intelligent Detection and Equipment Technology of Liaoning Province, Shenyang 100179, China)

The work aims to propose a method for equivalent ladder cylinder unfolding of quasi-cylinder label image to solve the problem on whole surface unfolding of quasi-cylinder labels with unequal radii. Firstly, the minimum bounding rectangles of quasi-cylinder label of images from four perspectives were extracted. A pose estimation model was established according to the result extracted. Based on the quasi-cyl' idea of turning curve into straight, the equivalent ladder quasi -cylinder label 3D point cloud was established in combination with the label pose and outline from different perspectives. Finally, the method of bilinear interpolation was used to render the point cloud to get quasi-cylinder label unfolding results of unequal radii through image stitching with NCC algorithm. The quasi-cylindrical checkerboard label simulation models and the whole surface unfolding experiment of the chewing gum label showed that the proposed algorithm had higher accuracy than the traditional algorithms. For model 1, the variance in the-axis and-axis directions was 1.37 pixels and 0.58 pixels respectively. In conclusion, the equivalent ladder cylinder unfolding of quasi-cylinder label can effectively achieve whole surface unfolding of quasi-cylinder label, providing a good experimental basis for the subsequent label detection.

label detection; quasi-cylinder label unfolding; equivalent ladder model; image stitching

TP391

A

1001-3563(2022)01-0210-09

10.19554/j.cnki.1001-3563.2022.01.027

2021-10-15

中国科学院战略性先导科技专项（C类）（XDC04000000）；辽宁省重点研发计划（2020JH2/10100023）；中国航发自主创新专项资金（ZZCX-2018-035）；王宽诚教育基金会、辽宁省“兴辽英才计划”（XLYC2002055）

刘千（1998—），男，中国科学院大学硕士生，主攻机器视觉。

许敏（1982—），男，博士，副研究员，主要研究方向为机器视觉和图像处理技术。