基于像素面元体素法的地缸醅料挖取量评估

田淮锐,田建艳,王素钢,李济甫

(太原理工大学 电气与动力工程学院,山西 太原 030024)

0 引 言

地缸出醅是固态发酵食品生产中的重要环节,大部分企业依赖人力生产、劳动强度大、出缸效率低。为提高机器人出醅效率,亟需设计一种基于挖取量评估的醅料取料机器人快速取料方法,为此需要研究一种地缸醅料挖取量评估方法。

醅料表面数据采集是醅料挖取量评估的基础。尹文庆等搭建结构光视觉计算滑槽谷粒流截面积,根据谷粒流速测算了谷粒流量[1];邵晴等以粮仓专用三维激光研发在线监测系统,实时计算仓粮体积[2];UYAR等通过3D扫描仪获取食品不规则形状,对球体和鸡蛋进行体积估计[3];POLO等采用机载激光雷达记录树冠结构,实现树冠体积估计[4];AJAYI等使用无人机采集土方工程数据,将数字高程模型导入MATLAB估算土方工程量[5]。醅料发酵中,菌种有着至关重要的作用[6-7],数据采集需要避免对菌种造成破坏。同时发酵车间光线昏暗,结构光深度相机具有主动光源,体积小巧,便于安装。因此,选用结构光深度相机采集醅料表面数据。

目前,国内外针对物体视觉测量领域已进行了多方面研究[8]。LI等将对象点云等距离切片,计算各切片面积,根据相邻切片间距,累加计算空间对象体积[9];刘金锦等基于多轮廓边界对点云切片算法进行改进,准确计算截面面积,实现不规则体体积测量[10];KIM等对气泡进行三维重建,计算各像素截面面积,实现气泡体积计算[11];FERNANDEZ-SARRIA等通过激光扫描获取橄榄树外形数据,采用截面法、体素法、全局凸包法、逐层凸包法4种方法测量了树冠体积[12];以上方法均需准确获取物体轮廓,但是醅料通常是兼具粘性与流动性的固态散料,在挖取过程中其分布会发生不规则、不确定的变化,同时发酵时醅料置于缸中,挖取区域三维外形难以准确获取,挖取量测算困难。

三棱柱微元法是一种常用的体积测算方法。杨春雨等训练金字塔立体匹配网络获取双目相机煤料视差图,重建煤料点云,基于三棱柱微元遍历求和法测算煤料体积[13];张春森等使用无人机采集堆体图像生成堆体密集点云,构建德洛内三角网测算堆体体积[14];杨德山等通过数据融合实现散货堆体点云重建,采用德洛内三角剖分法测算堆体体积[15]。以上方法使用均为料堆堆积于平面上,如果可以测算挖取前、后醅料总量,作差求得挖取量,但是固态发酵生产中通常使用不规则的地缸等发酵容器,难以测算醅料总量。

根据挖取后缸口内点云变化情况,设计一种像素面元体素法评估醅料挖取量,以醅料地缸发酵生产中出醅过程为例,分析相应面元处,挖取前、后醅料表面深度变化情况,进行挖取量评估,为研究醅料取料机器人快速取料方法提供依据。

1 图像采集

地缸是固态发酵生产中常用的圆形广口发酵容器,开口小,发酵时埋于地下,缸口与地面相平[16-17],并且发酵车间地缸图像采集环境较为昏暗。选用Intel RealSense D455深度相机,安装于六轴机械臂末端法兰处,在相机旁安装固定外加光源。设定彩色图和深度图采集像素为1 280×720 px,以相机能采集到缸口内全貌图像为目标,机械臂控制相机移动至缸口中心正上方固定高度处,镜头与光源正对缸口平面,设置此位姿为地缸图像采集位姿,采集挖取前地缸彩色图和深度图(图1(a));待醅料滑动停止,机械臂控制相机移动至图像采集位姿,采集挖取后地缸彩色图和深度图(图1(b))。

图1 挖取前后地缸及醅料俯视Fig.1 Top view of ground-pot and fermented grains before and after scooping

划分地缸区域面元,结合深度图重建挖取前、后缸口区域内点云,统一二者坐标系,弥补机械臂运行误差,对比挖取前、后缸口内点云变化情况,实现醅料挖取量评估。

2 区域面元划分

对地缸彩色图进行预处理,检测图像中边缘,几何约束提取地缸口内边缘轮廓,划分地缸区域面元,为后续醅料挖取量评估奠定基础。

2.1 地缸图像边缘检测

边缘检测是对灰度图信息急剧变化区域的检测定位,采用加权平均法[18]将地缸彩色图转换为灰度图。在地缸图像采集过程中,由于光线以及地面水渍、散落醅料等干扰,会使地缸图像中存在噪声,在边缘检测中可能会被误识别为边缘信息。为了提高地缸图像边缘检测的准确性,采用双边滤波对地缸灰度图进行保边降噪。

地缸灰度图中包含边缘信息的区域,灰度值会发生跃变,地缸口边缘就是其中之一。Canny算法能够减少噪声干扰,检测的地缸口边缘更加真实,采用Canny算法[19]检测滤波后地缸灰度图中边缘(图2)。

图2 地缸图像Canny边缘检测Fig.2 Canny edge detection of ground-pot image

采用Sobel算子与地缸灰度图进行卷积,获得地缸灰度图x和y方向灰度函数的近似梯度,求解地缸灰度图各像素点的近似梯度幅值和方向。比较地缸灰度图各像素点和其梯度方向上两侧像素点的梯度幅值,如果该点的梯度幅值最大,则保留其为边缘像素点,否则不是边缘,抑制该点,从而达到细化边缘的目的。为减少噪声,采集大量地缸图像,经过试验对比,设定高阈值为90、低阈值为30,与各边缘像素点处的梯度幅值进行比较,对地缸灰度图中的边缘信息做进一步处理,确定真实边缘像素点。

从图2可以看出,地缸口外边缘干扰较多,不易识别,并且检测结果中存在噪声干扰,而内边缘轮廓清晰且干扰较少,易于识别提取。

2.2 地缸口内边缘轮廓提取

地缸图像边缘检测后进行轮廓点跟踪的结果不仅包括地缸口内边缘,还存在地面散落醅料、噪声等干扰,需要将地缸口内边缘轮廓从所有轮廓中提取出来。对轮廓进行椭圆拟合,结果为一个表征该轮廓外形特征的椭圆。地缸图像采集位姿下,图像中地缸口内边缘应为圆形,但是由于光线等影响,地缸口内边缘轮廓椭圆拟合的结果为近似拟合圆。在地缸图像采集位姿下,采集大量地缸图像并进行边缘检测,对比分析不同图像中地缸口内边缘轮廓特征与其他轮廓的区别,选定对其提取所需的约束条件。评估醅料挖取量时,完成挖取前、后地缸图像边缘检测后,遍历轮廓并进行椭圆拟合,构建几何约束,设置各轮廓拟合椭圆长轴长度的低约束阈值和高约束阈值、长轴长度与短轴长度比值的约束阈值,以去除Canny边缘检测结果中噪声、散落醅料等无用轮廓的干扰,从而提取地缸口内边缘近似拟合圆。依次求取图2中提取的各个轮廓的拟合椭圆,并进行几何约束,将满足约束阈值的拟合椭圆认为是地缸口内边缘近似拟合圆(图3)。

图3 地缸口内边缘轮廓近似拟合圆Fig.3 Approximate fitting circle of the inner edge contour of ground-pot rim

从图3可以看出,通过Canny边缘检测和几何约束可以很好地检测并剔除其他轮廓,抑制噪声,提取出的地缸口内边缘与图像中地缸口内边缘真实位置基本重合,验证了方法的有效性。

2.3 划分地缸区域面元

地缸图像采集位姿下,以地缸口中心为坐标原点,地缸实际区域平面坐标与地缸图像坐标之间的变换关系可以由二者之间缩放尺度,地缸图像旋转角度,以及图像分别在x轴、y轴上的平移量进行解释。地缸图像采集位姿下,相机坐标系原点位于地缸口中心正上方,因此,图像分别在x轴、y轴上的平移量近似为0,地缸图像旋转角度近似为0,误差为机械臂及相机自身误差,二者可认为只存在缩放关系。地缸图像坐标(x,y)的坐标系原点为像素坐标系中(u0,v0)点,即地缸图像中心。地缸图像坐标x、y分别与像素坐标u、v之间存在关系为x与u-u0的比值为f与fx之比、y与v-v0的比值为f与fy之比,f为相机的焦距,fx和fy分别为地缸图像像素坐标系下u轴、v轴的归一化焦距。地缸图像坐标与像素坐标的尺寸之间为比例关系。

地缸图像实际区域尺寸与图像像素尺寸之间可以视为缩放比例关系。将地缸图像实际区域以像素点划分的各个小区域定义为面元,根据缩放比例关系,求解各面元的长度与宽度,计算各面元面积,作为醅料体素的底面积。

3 挖取前后缸口内点云坐标系统一

挖取前、后地缸图像采集位姿虽然设置完全一样,但是机械臂移动存在误差,导致挖取后相机采集地缸图像时的位姿与挖取前相比会出现一定误差,使得挖取前、后相机坐标系不完全统一,影响后续醅料挖取量评估效果,降低评估精度。因此,在进行挖取量评估前,还需要进行挖取前、后缸口内点云重建,将二者点云坐标系统一,以弥补机械臂运动精度问题。

3.1 缸口内点云重建

在地缸深度图像采集过程中,由于光线强度影响、相机自身限制、醅料及地缸材质特点等原因可能导致采集的地缸深度图中出现空洞,表现为其所在像素点像素值为0,这样会对后续醅料挖取量评估造成不利影响。地缸深度图空洞的邻域像素深度信息在一定程度上可以反映空洞处深度信息,根据缸口内空洞的邻域信息,以其中深度值最大值对缸口内空洞进行填充,以弥补地缸深度图缸口内部分深度信息缺失问题。

分别提取挖取前、后地缸图像中地缸口内边缘近似拟合圆制作掩膜,对地缸彩色图和深度图进行图像分割,提取缸口内图像。遍历提取缸口内深度图中深度数据,结合各相应像素坐标,根据相机内参,计算各点在相机坐标系下对应点云坐标,并将深度图与彩色图配准,进行点云重建(图4)。如图4所示即为一次醅料挖取量评估试验的挖取前、后缸口内点云重建结果,可以排除掉缸口外干扰因素对评估结果的影响。

图4 挖取前后缸口内点云重建Fig.4 Reconstruction of point cloud inside the inner edge before and after scooping

3.2 挖取前后点云配准

地缸出醅过程中,缸口内数据会发生变化。为保证特征点提取的充分性和准确性,分割地缸彩色图和深度图,采用挖取前、后缸口及缸口外图像进行配准,获取挖取前、后缸口及缸口外图像上一一对应的特征点,求解2组图像之间的运动关系,即旋转矩阵和平移矢量。采用不同缸口及缸口外图像中满足可再现性和唯一性的特征点进行匹配,可以有效抑制噪声。尺度不变特征变换算法[20-21]可以提取出不受位姿变换、拍摄角度和亮度变化而发生改变的特征点,对于光照影响和干扰场景具有一定的抗干扰性。在发酵车间采集地缸图像时,往往会受到光线强度和空气中粉尘的影响,采用尺度不变特征变换算法分别提取挖取前、后缸口及缸口外图像的特征点。

将缸口及缸口外原始图像作为基层,降采样并进行不同尺度的高斯模糊,以初始尺度1.6构建缸口及缸口外图像尺度空间。再采用差分高斯,对缸口及缸口外图像尺度空间极值检测并筛选,获取缸口及缸口外图像特征点。缸口内侧可能存在误提取特征点,缸口及缸口外图像中缸口内深度值均为零,根据提取特征点的二维坐标信息,结合分割后缸口及缸口外深度图,检测各特征点对应深度值,如果其深度值为0,则认为该点为误识别特征点,并将其剔除。

采用快速近似最近邻匹配算法[22-23]对挖取前、后缸口及缸口外图像进行特征匹配,多次试验后,确定以4倍最小匹配距离筛选匹配对。由于地面环境相近,非匹配的特征点可能描述子相似,导致误匹配对的出现(图5(a)),图中绿色标注为一组正常匹配对、红线标注为误匹配对。由于所针对的匹配场景是由机械臂移动误差引起的,正常相匹配的2个特征点在各自图中的位置信息相近,因此,通过构建约束来对匹配对进行判断。对各匹配对中挖取前、后图像中相应特征点二维坐标分别在x轴与y轴上的间距进行约束,剔除误匹配对(图5(b))。

图5 剔除误匹配对试验Fig.5 Experiment of eliminating mismatches

基于筛选后缸口及缸口外图像特征点匹配对,采用随机抽样一致性算法[24]求解挖取前、后地缸图像间的运动关系,获取点云坐标系变换的旋转矩阵与平移矢量。根据旋转矩阵与平移矢量,将挖取前缸口内点云数据转换至挖取后点云坐标系下,实现挖取前、后缸口内点云数据坐标系的统一。

4 醅料挖取量评估

常用的切片法、凸包法等测量方法需要准确地对物体进行三维重建,获取物体外围轮廓,而醅料填充于地缸中,其挖取区域极不规则,且三维外形难以准确获取,因此,这些方法难以实现地缸醅料的挖取量评估。德洛内三角网法常用于平面堆积物料测量,对于地缸中醅料挖取区域,难以找到平面实现挖取区域中挖取前、后部分的分割。设计像素面元体素法评估地缸醅料挖取量,采用高等数学积分求和计算原理,以缸口内醅料点云中各点分布,将醅料点云划分为很多细小的小长方体醅料体素,对比挖取前、后缸口内醅料点云变化情况,求解各醅料体素的高,完成醅料体素构建。

采集的挖取前、后地缸图像为缸中醅料俯视图,各像素点通道中包含的深度信息表示该像素点代表的实际位置到相机镜头平面的距离。通过上述点云坐标系统一结果,可以获取同一坐标系下,挖取前、后缸口内各面元的深度信息。提取挖取前缸口内各面元深度值,通过相机内参求解挖取前点云坐标系下各面元对应z坐标值;再根据点云坐标系变换,转换为挖取后点云坐标系下对应z坐标值;然后求解挖取后点云坐标系中,挖取前缸口内各面元对应深度值。根据3.2节点云转换结果,求解挖取后缸口内各相应面元处z坐标,计算缸口内同一面元处挖取后相应深度值。在挖取后点云坐标系下,计算同一面元处挖取前、后深度值差值,即相应面元处醅料取料深度,作为醅料体素的高度。若某面元处醅料取料深度为0,代表挖取量为0。

5 结果与分析

5.1 地缸口内边缘提取几何约束阈值

采用像素面元体素法对醅料挖取量进行评估时,划分的小长方体醅料数量越多,即醅料体素越多,评估结果越准确。图像中醅料区域所占比重决定了醅料体素的数量,影响着面元的大小,而图像中醅料区域所占比重是由图像采集时相机高度决定的。以能采集到缸口内全貌图像为目标,设置地缸图像采集位姿为竖直于缸口中心正上方685 mm处,镜头正对缸口平面。

地缸口内边缘轮廓的准确提取直接影响缸口内图像提取的准确性,而地缸口内边缘轮廓准确提取由几何约束阈值设置的准确性所决定。地缸口内边缘近似拟合圆直径的高、低约束阈值,与相机镜头平面和地缸口平面的距离有关。因此,实地采集多幅地缸彩色图像,统计各图像中地缸口内边缘近似拟合圆直径。

从图2可知,地缸口外边缘与地面污渍相连,且地缸出醅过程中取料装置向运料小车移动时可能存在撒料,因此识别检测干扰较多。而地缸口内边缘检测干扰少,从图6可知其近似拟合圆直径统计结果波动较为平缓,因此选择地缸口内边缘进行识别提取,设定地缸口内边缘近似拟合圆直径的高约束阈值为650 px、低约束阈值为635 px。

图6 地缸口内边缘近似拟合圆直径Fig.6 Fitting circle diameter of the inner edge of ground-pot rim

地缸口内边缘近似拟合圆的长轴长度与短轴长度比值的约束阈值,与地缸实际形状有关。

地缸口内边缘为圆形,在地缸图像中地缸口内边缘轮廓椭圆拟合结果为其近似拟合圆,其长短轴比应该接近1,可能有诸如空气中粉尘、光线等因素对地缸图像成像情况产生影响,比值会发生变化,设定地缸口内边缘近似拟合圆长短轴比约束阈值为1.03(图7)。

图7 地缸口内边缘近似拟合圆长短轴比Fig.7 The ratio of the long and short axes of fitting circle at the inner edge of ground-pot rim

5.2 挖取前后缸口内点云配准试验

由于机械臂运动精度问题,可能导致挖取前、后地缸图像采集位姿发生偏移,故而采用点云配准的方法来消除图像采集位姿偏移产生的影响。因此,点云配准的精度会影响后续醅料挖取量评估效果。为了定量评价挖取前后缸口内点云配准结果,使用均方根误差[25]作为评价指标。以配准后挖取前、后点云对应点之间的欧氏距离为对象,其欧氏距离的真值为0,求解均方根误差。

采集多组挖取前、后地缸彩色图和深度图,对挖取前、后缸口内点云进行多次配准试验,计算各次配准试验结果的均方根误差(图8)。

图8 点云配准评价试验Fig.8 Evaluation experiment of point cloud registration

从图8可以看出,均方根误差基本维持在0.16 cm附近,最大值为0.21 cm,挖取前后点云配准结果较为精准。

5.3 醅料挖取量评估试验

为了验证地缸醅料挖取量评估方法的有效性,试验环境为CPU Intel Core i5-5200U,基于Visual Studio 2019、OpenCV 4.4.0和PCL 1.11.1对地缸发酵生产中的多缸醅料进行大量地缸出醅试验,以两缸醅料为例。

醅料具有一定的粘性和持水能力,地缸中填充原料并发酵一段时间后,其中上层醅料水分比下层醅料较小,并且醅料为松软易滑落的散料,相同质量的醅料挤压后体积会显著变小。从地缸中挖取出醅料并倾倒至容器中,倾倒中,醅料会变蓬松,相较于地缸中的状态,体积会变大,不可通过测量容器内挖取出的醅料体积作为实际标准量。

1号缸为已经发酵一段时间的地缸醅料,计算各次挖取质量测量值与挖取区域体积测算值的比值(表1)。由表1可知,随着挖取次数的增加,挖取质量测量值与采用像素面元体素法测算的醅料挖取区域体积测算值的比值逐渐增大。地缸出醅过程中,随着挖取次数的增加,挖取到的醅料处在地缸中的深度逐渐增加,而地缸醅料在填充与发酵过程中上层醅料会对下层醅料产生挤压,且下层醅料湿度高于上层醅料,因此下层醅料密度高于上层醅料,并且挖取过程中取料工具也会对周围醅料密度产生影响。表1中比值变化趋势符合地缸发酵醅料特点,醅料挖取区域体积测算值虽然存在误差,但比值相近区间内,醅料挖取区域体积测算值可以反映挖取质量测量值(图9)。

2号缸为发酵时间较短的地缸醅料,计算各次挖取质量测量值与挖取区域体积测算值的比值(表2)。由表2和图10同样佐证了表1和图9得出的结论,因为表2对象为发酵时间较短的地缸醅料,地缸中上层醅料对下层醅料挤压时间与缸中水分向下迁移时间均比表1对象较短,下层醅料湿度与上层醅料相差不大,因此,地缸中醅料密度变化差异较小。同样,在比值相近区间内,像素面元体素法测算的醅料挖取区域体积测算值可以反映挖取质量测量值(图10)。因此,像素面元体素法测算结果可以有效评估醅料挖取量。

表2 2号地缸醅料挖取量评估试验Table 2 Experiment for evaluating the scooping amount of fermented grains in ground-pot No.2

6 结 论

1)设计像素面元体素法评估地缸醅料挖取量,划分地缸区域面元,统一缸口内点云坐标系,相应面元处挖取前、后地缸中醅料表面深度变化,构建醅料体素,实现了非接触式醅料挖取量评估。

2)醅料挖取质量测量值与像素面元体素法测算的挖取区域体积测算值的比值变化趋势符合地缸醅料特点;比值相近区间内,醅料挖取区域体积测算值可以反映挖取质量测量值。像素面元体素法测算结果可以有效评估醅料挖取量。

3)在后续的研究中,将像素面元体素法应用于基于挖取量评估的醅料取料机器人快速取料方法中,对各取料点挖取区域的挖取量进行评估,选择最优取料点,实现醅料取料机器人智能化自动地缸出醅。