多视角深度相机的猪体三维点云重构及体尺测量

尹 令，蔡更元，田绪红，孙爱东，石 帅，钟浩杰，梁世豪

多视角深度相机的猪体三维点云重构及体尺测量

尹 令1,2，蔡更元2,3，田绪红1，孙爱东4※，石 帅1，钟浩杰1，梁世豪1

（1. 华南农业大学数学与信息学院，广州 510642； 2. 国家生猪种业工程技术研究中心，广州 510642；3. 华南农业大学动物科学学院，广州 510642；4.江苏省农业科学院农产品质量安全与营养研究所，南京 210014）

对活体牲畜三维重构，数据采集方式、快速配准融合方法、表型体尺测量方法缺乏成熟有效的方案，导致目前活体牲畜的自动体尺测量技术难以在养殖场中推广应用。该文以猪为研究对象运用消费级深度相机KinectV2从正上方和左右两侧3个不同角度同步获取在采集通道中自由行走猪的局部点云。局部点云采用邻域曲率变化法去噪，并运用基于轮廓连贯性点云配准融合，最后采用多体尺数据精确估算技术测定包括体长、体高、胸宽、腹围等数据。该文分别对比实验室中模型猪由传输带以5种不同速率经过通道和养殖场内25头猪逐一经过通道，2种情况下采集数据进行各项体尺测算结果。其结果显示模型猪在传输带上以0、0.3、0.6、0.9和1.2 m/s等5种不同速率下测量体长、体高、胸宽、腹围值与实测值的平均相对误差分别为1.77%、1.36%、2.74%和2.17%。养殖环境下对25头猪同样4种体尺值与实测值的平均相对误差分别为2.56%，2.32%，3.89%和4.51%。试验结果发现养殖场活体猪测量最小误差可以达到实验室环境下的效果，但是最大相对误差变化较大，其原因在于养殖场中猪自由行走采集数据时行为姿态发生很大变化。

图像处理；算法；模型；猪；三维重构；体尺测量；KinectV2

0 引 言

在牲畜育种和养殖中，对牲畜遗传改良和大量个体有效管理，需建立个体体型和体况评定方法。体型和体况评定目的是对牲畜的体长、体高、胸围等体型外貌性状进行表型采集。传统方法是人工皮尺测量，容易造成牲畜驱赶应激、人工测量准确性差、测定效率低、复杂性状难以度量等问题。随着牲畜育种和养殖规模越来越大，迫切需要建立更为高效、准确且无应激的方法。通过学科交叉融合，畜牧业正向信息化、智能化的方向转型升级。综合运用三维重构和机器学习等技术，开发人工智能无应激识别系统和体况自动评价系统，建立非接触式自动识别牲畜个体体型、体况信息，实现牲畜精细喂养、种畜筛选、培育与繁殖的体况自动精准评价，可有效解决传统测量方法的效率、精度和动物福利问题。

牲畜体尺参数采集和体况评分方法历经从人工视觉观察和触觉判定、热成像技术、图像识别技术和三维重构等发展过程。热成像技术[1]能较清晰捕获动物表面轮廓信息，但热成像设备昂贵，且需从视频流中手动分离相应数据帧，无法实现完全自动化。

由于图像设备简单、成本低，众多研究者[2-6]提出不同方案尝试从图像中提取牲畜部分特征信息来进行体尺测量或自动体况评分[7-10]。图像处理技术检测牲畜体尺参数大多以像素为单位，当相机参数或物距发生改变时，模型可能不再适用，因此通用性差。另外获取图像时天气、拍摄角度、光照条件影响比较大[8-10]。

随着Kinect、ASUS Xtion sensor、realSense等一系列价格低廉、高性能的三维深度相机出现，近几年，研究者将三维重构技术应用于牲畜体尺侧量合体况评定。单视角获取牲畜背部深度图像提取三维特征，并由此估算体尺特征和体重是研究热点[11-18]。单视角深度图像采集简单不需要融合配准，但只能获取体长、体宽、体高等体尺数据，腹围等体尺无法估测。多视角获取牲畜各部分深度图像进行各部分点云配准融合[19-20]、非刚体三维模型点云匹配[21-22]、体表轮廓描述[23-25]、家畜体测量交互式软件设计[26]等关键技术都有研究报道。

消费级深度相机应用于牲畜体尺特征测量和体况评分中，当扫描较大面积物体时数据精度丢失严重，同时扫描活体动物时如时间较长容易出现非刚性形变。牲畜全局三维点云重构时，处理数据量大对存储和计算能力要求很高，实时处理是难点。

本文设计在测量通道上固定3个KinectV2相机，通道只能有一头猪单独通过，猪进入相机最佳拍摄位置时，3个深度相机瞬间同步抓取局部点云。采用基于轮廓连贯性点云配准融合全局点云，提取猪体长、体高、体宽、腹围等体尺特征实现对猪的非接触式体尺自动测量。该方法对通道预先设定最佳拍摄位置减少扫描范围，提高数据精度；多视角深度相机同步瞬间抓取减少活体动物运动时非刚性形变；提出各种体尺测量方法，尤其测量腹围时极坐标转换法一方面可以弥补由栏杆遮挡和相机视角未覆盖缺失的点云，另一方面对局部点云相交处轮廓精细配准；并且KinectV2为消费级深度设备成本低廉，易于实现产业化。

1 材料与方法

1.1 试验条件

试验由实验室模拟环境下对定态模型猪测量和养殖场活体猪测量两部分组成。定态模型猪前期进行各种算法设计和调整，并能精准测量猪各种体尺参数，而后期养殖场活体猪测量用于验证算法可靠性及准确度。实验室模拟环境设计猪体多源数据采集通道（图1a所示）。整个装置由3个功能部件构成：1）测量通道可调节框架；2）三维数据采集深度相机和同步装置；3）可调速移动传输轨道。

KinectV2深度相机从左、右、上3个方向获取不同视角局部点云，摄像头固定装置设计为上下、左右、前后方向皆可调节的框架，满足测量大小不等的牲畜时调整采集视角的需要。在牲畜自由运动情况下采集局部点云并实现三维重构，局部点云的同步采集非常关键，因此通道采用双触框PLC控制同步方案设计。试验模型猪放置在传输轨道上模拟牲畜自由通行。

养殖场活体猪测量是2019年7月19日－21日在广东省云浮市新兴县簕竹新田村一家养殖户完成，试验现场图如图1b所示。深度相机布置在通道左、右、上方3个方向，测量猪逐一被赶入猪笼完成人工测量后再送入通道进行三维测量。试验一共采集25头长白猪。

1.可调节框架 2.三维采集相机和同步装置 3.调速传输轨道

1.2 试验材料

试验器材采用KinectV2为RGB-D深度相机设备，其深度图像分辨率为512×424像素，水平视角为70°，垂直视角为60°；最大支持60 帧/s的深度数据获取，视距在0.5～3.5 m之间。每一个KinectV2配备一个FitPC作为采集存储传输设备。

实验室采用一个大体型母猪模型（长130 cm×宽38 cm×高67 cm）。养殖场选用25头猪，品种为长白种，体质量范围在54～110 kg之间。

1.3 基于KinectV2多视角猪体三维重构

1.3.1 总体技术路线

本研究中拟采用的技术路线如图2所示，猪行进到采集区域触发PLC发出同步采集指令，左、右、上方3个KinectV2采集不同视角猪局部点云，由采集设备传送到控制计算机。各个不同视角的三维点云背景移除，平滑去噪后，基于轮廓连贯性完成不同视角坐标系下点云配准，完成三维体型重构。采用基于几何特征和统计分析进行三维重构体型特征关键点搜索；通过已标注关键特征点和区域，运用弧微分或极坐标转换法等进行猪体高、体长、体宽、腹围等多体尺数据精确估算。

图2 猪体三维重构及体尺测算技术流程

1.3.2 适应牲畜自由行走的同步瞬间采集

试验针对活体动物在自由运动下因扫描时间长容易出现的非刚性形变问题，设计采集装置KinectV2从上方、左右两侧多角度同时获取瞬间局部点云。同步采集技术采用软硬件双触发方式，待测目标动物进入采集通道，红外触发传感器会向采集控制器发出就绪信号，启动设备检测框检测目标动物是否完全进入检测区域，如动物触碰出框线则由PLC向相连接的3个方向采集器发出信号，连续采集3帧点云数据。

1.3.3 邻域曲率变化法点云去噪

数据采集通道固定后，其大小尺寸也固定，待检测猪在通道内行走，根据采集通道大小分别设置，和轴的取值范围，对主体点云形成长方体型包围盒，只保留盒内的点云。简单包围盒阈值可移除大部分背景，减少大量不必要的点云计算。

被测量动物表面存在过于明亮部分或者突起边缘，红外光发射器等向被测动物表面投射红外光时可能错误识别而产生离群点，使得轮廓边缘产生毛刺，因此需要尽量消除远近离群点。其中依照离群点距离点云主体的远近程度将其分为远离群点和近离群点。远离群点表现为三维空间中一小团聚在一起而又随机分布的孤立点，采用基于距离查询区域增长方法滤除掉远离群点。该方法基于点出发，按点与点距离属性相似原则，将同一距离范围连续的点云集合成同一点云子集，判断远离群点的准则为点云子集点数过少，或者点云子集包围盒体积过小。

对近离群点的消除则采用SVLOF算法[27]，该算法直接从散乱点云计算曲面弯曲程度，其中度量指标曲面变化度为。设三维点云上对于任意一点，其不包含点邻域NB集合定义为

而包含点邻域B定义为

采用离散点求曲率方法计算该点处平均曲率0

式中1，2，3为邻域点3个变化最大的曲率，()即为邻域点的曲率变化。

近离群点的判断值计算为包含点邻域点曲率变化比上不包含点邻域点曲率变化值()

计算潜在离群点中每一点的()值，将()值大于设定容限的点作为离群点，并从点云中滤除。

1.3.4 基于轮廓连贯性点云配准融合

不同视角坐标系下的三维点云数据通过坐标变换转换到同一坐标系下配准生成全局点云。点云配准分为粗配准和精细配准两步。粗配准即多个深度摄像设备标定中得到相邻子区域的空间变换矩阵和平移向量，根据公式（5）计算变换到同一坐标系下。

具体地，假设点在第一坐标系下的坐标为(1,1,1)，该点在第二坐标系下的坐标为(2,2,2)，则2个坐标系的变化关系为

式中为空间变换矩阵，[ttt]T为平移向量。在试验获取数据的3个视角中设左侧为世界坐标系，上方和右侧点云都需要通过线性转换到左侧世界坐标系下。其空间变换矩阵和平移向量通过试验前对多个深度相机精确定标获得。3个方向获取局部点云通过线性变换得到粗配准全局点云。

配准融合满足两个目标：C,j()顶点间覆盖最大融合，同时相邻轮廓C,j()和C,j(+1)之间覆盖率最大，也即邻层轮廓平滑度最佳。

E表示切片顶点覆盖融合度，计算如下：

另外，层间距离(C,j(),C,j(+1))为两层直接轮廓顶点的欧式距离。

式中为切片间距离约束量，定义邻层轮廓覆盖率为

需要同时满足顶点融合度和邻层轮廓覆盖率约束要求，这样配准融合问题就变成一个多目标优化问题，使得顶点融合度和邻层轮廓覆盖率都最小化，即

1.3.5 多体尺数据精确测算技术

猪体尺参数是衡量猪生长发育的重要指标，能反映猪生长状况、饲养管理和遗传性能等。本文测定的参数包括体长、体高、胸宽、腹围等。体长指两耳根连线中点沿背脊线至尾根处的长度，测定时要求猪静止直立，头部微抬。体高为猪自然站立时耆甲顶点到地面的垂直高度。胸宽是猪左右前腿的最外点在地平面投影距离。腹围为腹部最宽部长度。

本文提出体长测量方法是根据猪上部点云以轮廓中轴呈现对称形状，因此对猪上部点云拟合其中轴平面，中轴平面与上部点云相切以获取猪的背脊线，然后在背脊线上定位猪双耳根中部点作为体长起始点，尾根点作为体长测量的终止点，从起始点到终止点沿背脊线积分即求取体表长（图3）。具体操作步骤如下：

1）拟合中轴平面

拟合平面采取最小二乘法，其法向量指向猪侧面，使平面尽量正切猪体头部和尾部。拟合平面与猪上方点云相交得空间曲线即猪的背脊轮廓线，接着从背脊轮廓线上定位体长起点和终点。

2）确定起始和终止点

体长起始点为猪体两耳根连线的中点，终止点为猪尾根点，通过上部点云数目统计特征定位这两点。耳根处点云数目相对附近点数急剧增多，而猪尾巴形态有上翘和下耷拉2种，在点云数目分布上体现为在快速下降后有个小回升。将上方点云投影到其对应的平面，并统计其轴点云数目，得到其点云数目分布离散曲线。从离散曲线上寻找各处拐点，位于头部第一个凸点即耳部中心区域点，为体长起始点位置，而位于尾部斜率下降最快的凹点就是尾根点为体长的终止点位置。

3）微分求体长

从体长起始点到终止点连直线构成平面相交猪上部点云得到一系列相交离散点，计算这一系列离散点构成曲线长度即为需要测量体长，这里采用弧微分法求长度。

体高测量是从体长确定的背脊轮廓线上定位耆甲点，耆甲点为猪前肢中心平面延伸与背脊轮廓线相交点，该点到地平面距离即体高。

体宽取胸宽，即猪左右前腿的最侧外点投影到地平面的两点之间距离。定位胸宽左右前腿最外侧点云，仍用上方点云投影到平面，统计其轴点云数目，得到点云数目分布离散曲线图来分析，胸宽的定位点为曲线第二个凸拐点对应的位置，先定位其轴坐标，然后用轴平面切猪全局点云，从相交平面定位轴最大和最小值点即为需定位的胸宽点，两点间的距离即为胸宽。

腹围自动测量有2个难点，首先要保证3个不同视角的点云准确配准融合；其次获取腹围曲线是不规则且不闭合的曲线。本文提出极坐标转换法进行腹围测量，既可以完成点云精准融合，也可以补缺曲线及计算其长度。极坐标转换法是考虑待测量腹围切片是个有缺失的近似椭圆，以该椭圆中心为原点，向右沿轴正轴，逆时针定为极坐标正方向，建立极坐标系，得切片上每一个点的极坐标(,)，其中极坐标角度为横坐标，极径为纵坐标，利用极坐标转换将近似椭圆曲线在极坐标系中展开成近似平铺的直线，利用直线拟合，一方面可以将椭圆缺失部分补全，同时可以使粗配准有误的地方得到修补，减少配准误差，并且沿直线积分得到猪腹围长度。

图3 猪体长提取效果图

2 结果与分析

2.1 多帧融合试验结果分析

由于动物行为非受控，获取的点云数据存在噪声、非均匀或欠采样、空洞和缺失等影响三维重构效果。本试验一次连续采集3帧点云数据，图4a为仅取1帧点云时的效果图，点云数比较稀疏，尤其头部和尾部，轮廓线模糊不清晰。图4b为3帧连续点云根据同一坐标点深度信息加权平均融合的结果。融合后猪体稀疏和丢失部分点云得以稠密和补全。根据试验计算，猪体1帧有效点云数和3帧融合后点云数分别是49 261和147 816。

图4 不同帧点云效果对比图

2.2 离群点去噪试验分析

直接获取的猪点云数据带有较多噪声点，尤其头部和尾部比较明显，KinectV2深度摄像设备采样密集度、精准度随采集距离增加而迅速下降，出现距离采集中心较远的头部和尾部三维点云缺失或噪声增加。另外采集环境复杂，猪个体运动等会造成点云局部噪声，如图4b所示。获取点云数据应用离群点去噪后得到的点云效果图如图5所示，可以看到猪头部和尾部的噪声点明显减少，轮廓线也变得清晰。

图5 模型猪单侧点云去噪图

2.3 三维点云配准和轮廓连续性精配准

在养殖场获取的上方、左、右侧的三维点云如图6a～6c所示。左右两侧点云由于通道栏杆的遮挡而产生缺失。

基于轮廓连贯性点云配准融合算法得到三维重构后猪点云图如图6d所示，可以看到配准融合后猪的轮廓线清晰，各个视角点云没有出现明显的断层差异，头部和尾部有部分数据丢失。配准融合后的点云利用垂直于猪体长方向的平面切分得到猪腹部轮廓线如图7a所示。

图6 多视角猪点云采集融合图

图7 腹部切片点云拟合补缺示意图

图7a中圆圈为上方点云轮廓线，正方形为左侧点云轮廓线，三角形为右侧点云轮廓线，上方点云与左右侧点云几乎完全重合。除边缘采集角度导致差异的点，其他部分点云切片轮廓线较完整，从细节反应了三维配准后的整体效果。不过切片图由于栏杆遮挡和猪体底部拍摄角度限制，腹部轮廓线有不少空缺部分。

图7b中圆圈为腹部切片点云转换成到极坐标下的点，曲线为对点云进行最小二乘曲线拟合后的结果。图7c为将图7b中曲线转换到直角坐标系下显示的闭合曲线效果图，可以看到经过转换后空缺部分的点云较为光滑的修补完成。

2.4 体尺参数估测值误差分析

为验证算法对猪体尺检测精度，本文在采集猪体数据同时，由专业测定人员用皮尺人工测量猪各项体尺数据作为人工实测值，实验室测量精度为1 mm，养殖场测量精度为1 cm。

实验室中调节传输轨道速率采用静止0、0.3、0.6、0.9、1.2 m/s等5种不同速率让模型猪经过通道采集数据，进行点云配准并测算体尺数据，分别得到5组体尺数据以及这5组值与实际测量值的平均相对误差如表1所示。

表1 5组不同速度下体尺测算数据对比

表1中模型猪在传输带上以0、0.3、0.6、0.9和1.2 m/s等5种不同速率下测量体长、体高、胸宽、腹围值与实测值的平均相对误差分别为1.77%、1.36%、2.74%和2.17%。不同速度下测量值和实测值对比可知传输轨道速度对模型猪测量结果的相对误差有影响。在低速时对数据测量精确度影响不大，随着速度增加相对误差有所增加，在最大速度1.2 m/s情况下，相对误差为4.5%。

养殖场试验中25头猪逐一通过数据采集通道，完成数据采集、预处理和配准融合后进行体尺估算，得到体长、体高、体宽、腹围数据如下分析。图8a为养殖场25头活体猪体长自动测量值与人工实测值对比结果。猪体长人工实测值在0.96～1.20 m之间，三维测量值则是在0.950～1.173 m之间，测量值与实测值的最大、最小误差分别为4.82%和0.31%，平均相对误差为2.56%。分析最大误差原因，一方面人工测量时由于猪不停摆动，姿态不断变化，容易产生估读偏差，造成人工测量的误差，另一方面自动测量时猪体姿势与人工测量时姿态差异较大，如猪低头，抬头，拱背都会对数据测量带来误差。

图8b为25头活体猪体高自动测量值与人工实测值对比结果，猪体高人工实测值在0.57～0.72 m之间，三维测量值则是在0.556～0.748 m之间，自动测量值与实测值的最大、最小误差分别为4.98%和0.13%，平均相对误差为2.32%。体高测量数据最大相对误差原因在于猪测量时姿势影响，猪走路时其前肢稍微弯曲的，头部向下与正常站立时体高要低一点，而如果猪头部上扬测量体高会比正常站立时略高。

图8c为25头活体猪的胸宽自动测量值与人工实测值对比结果，胸宽的人工实测值在0.23～0.33 m之间，三维测量值则是位于0.232～0.347 m之间，自动测量值与实测值的最大、最小误差分别为11.50%和0.07%，平均相对误差为3.89%。胸宽仅有1组误差为11.50%，其他误差都小于7%，自动测量值与实测值之间的绝对误差相差最大为0.026 m，分析原因后发现自动测量时猪头部扭转角度大，导致胸部位置定位不准，胸宽取斜线长度与真实长度产生误差。

图8d为养殖场25头活体猪腹围自动测量值与人工实测值对比结果。腹围人工测量从1.04～1.28 m之间，三维测量值则是在0.959～1.283 m之间，自动测量值与实测值的最大、最小误差分别为7.80%和0.30%，平均相对误差为4.51%。腹围的自动测量值与实测值之间的平均误差最大，图8d中可以看到自动测量基本低于人工实测值，分析原因在于腹围切片底部数据缺失，自动测量补全数据时比较光滑平整，没有反映出腹部突出部分，使得数据整体偏小。

图8 养殖场25头试验猪体尺测量对比结果

3 讨 论

本研究结果表明，采用多视角深度相机同时获取猪在行走状态的局部点云，可以实现猪三维点云重构，且从点云中测量到猪体长、体宽、体高、腹围等不同数据。试验在传输带上以0、0.3、0.6、0.9和1.2 m/s等5种不同速率带动模型猪经测量通道获取数据，自动测量体长、体高、胸宽、腹围值与实测值的平均相对误差分别为1.77%、1.36%、2.74%和2.17%。在养殖环境下对25头活猪进行实测，体长、体高、胸宽、腹围与实测值的平均相对误差分别为2.56%，2.32%，3.89%和4.51%。对比发现养殖场活体猪自动测量值接近实测值可以达到实验室测量相对误差最小的效果，但相对误差最大值变化很大，且平均误差都要高于实验室环境测量结果，其原因在于养殖场环境下猪行为姿态变化很大，不是标准固定的姿态，导致算法计算产生误差，同时人工实测量时由于猪很难配合，人工实测数据本身存在测量误差。后续研究中需要分析猪各种姿态，完善现有特征定位测量算法，以应对真实测量环境情况。

实验环境设计的大通道，猪自由行走会冲撞设备影响正常的测量，因此养殖场采集通道带栏杆，防止猪冲撞设备，同时也限定了采集范围。但采集数据有栏杆的干扰，造成局部点云产生部分的空缺。另外采集时猪撞击栏杆、地面不水平等可能导致点云获取存在噪声、非均匀或欠采样、空洞和缺失等问题都是需要解决的关键问题之一。

多视角三维采集数据时仅从通道左、右、上方向采集猪局部点云数据，通道下方布置深度相机很难实现，因此三维重构的猪体腹部下方会存在点云空洞。针对提取猪胸围、腹围、臀围等切片中会有空缺区域，本文设计的极坐标转换算法可以平滑补全切片数据，但与实测数据的相对误差仍比较大，因此需进一步研究算法以求得三围精准测量结果。同时养殖环境下猪会出现扭头、低头、抬头、曲卷身体、弓背等各种姿态，测量算法需要针对不同姿态下体尺测量具有更强鲁棒性的算法。

三维重构技术要应用于养殖环境不仅受制于技术成熟度，同时成本问题是非常重要的一个因素。本设计中采用消费级KinectV2深度相机，控制器也只需要支持USB3.0以上的计算机，整套硬件设备成本可以控制在1.5万元，采用移动式设计，一个养殖场配置一套设备即可。下一步试验方案将考虑减去一个摄像头，仅用2个方向点云来完成重构，预计将进一步降低成本。

4 结 论

1）本文对比了实验室和养殖场环境下，采用3个方向深度相机完成猪体三维重构，与猪体长、体高、胸宽、腹围自动测算试验，其测量数据与实测数据相对误差分析表明本文提出的猪体三维重构和多体尺检测算法稳定、效果较好。

2）养殖场环境下对25头长白活猪测量体长、体高、胸宽、腹围等4组测量数据与实测数据相对误差最小可以达到实验室环境下的测量效果，而最大误差值为11.50%，其原因一方面是猪动态行走时姿态不固定，有扭转、拱背、低头等多种形态动作，影响测量准确性，另外人工在猪动态环境下测量准确率也降低。

3）腹围等3围度的测量需要依赖三维点云拼接融合效果，今后需要进一步研究三维点云拼接融合和空缺部分的填补算法。

[1]Halachmi I, Klopčič M, Polak P, et al. Automatic assessment of dairy cattle body condition score using thermal imaging[J]. Computers & Electronics in Agriculture, 2013, 99(6): 35－40.

[2]Azzaro G, Caccamo M, Ferguson J D, et al. Objective estimation of body condition score by modeling cow body shape from digital images[J]. Journal of Dairy Science, 2011, 94(4): 2126－2137.

[3]Tedin R , Becerra J A , Duro R J , et al. Computational intelligence based construction of a body condition assessment system for cattle[C]// Computational Intelligence and Virtual Environments for Measurement Systems and Applications (CIVEMSA), 2013 IEEE International Conference on. IEEE, 2013.

[4]Bercovich A, Edan Y, Alchanatis V, et al. Development of an automatic cow body condition scoring using body shape signature and Fourier descriptors.[J]. Journal of Dairy Science, 2013, 96(12): 8047－8059.

[5]Kashiha M A, Bahr C, Ott S, et al. Automatic monitoring of pig locomotion using image analysis[J]. Livestock Science, 2014, 159(1): 141－148.

[6]Vieira A, Brand, O S, Monteiro A, et al. Development and validation of a visual body condition scoring system for dairy goats with picture-based training[J]. Journal of Dairy Science, 2015, 98(9): 6597－608.

[7]陈菁菁，彭彦昆. 基于机器视觉技术的生猪活体监测系统[J]. 食品安全质量检测学报，2012，3(6)：600－602.

Chen Jing-Jing, Peng Yan-Kun. Monitoring system for livestock growth based on machine vision technology[J]. Journal of Food Safety and Quality, 2012, 3(6): 600－602. (in Chinese with English abstract)

[8]刘建飞. 图像识别技术在奶牛体况评分中的应用研究[D]. 济南：山东大学，2012.

Liu Jianfei. Study on Application of Image Recognition Technique in the Cow Body Condition Score[D]. Jinan: Shandong University, 2012. (in Chinese with English abstract)

[9]吴复争，姜威，张美杰. 核-主成分分析在奶牛体况自动评分中的应用[J]. 光学技术，2013，39(3)：222－227.

Wu Fuzheng, Jiang Wei, Zhang Meijie. Kernel-PCA application on dairy cow automatic body condition score[J]. Optical Technique, 2013, 39(3): 222－227. (in Chinese with English abstract)

[10]刘同海，滕光辉，付为森，等. 基于机器视觉的猪体体尺测点提取算法与应用[J]. 农业工程学报，2013，29(2)：161－168.

Liu Tonghai, Teng Guanghui, Fu Weisen, et al. Extraction algorithms and applications of pig body size measurement points based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(2): 161－168. (in Chinese with English abstract)

[11]Menesatti P, Costa C, Antonucci F, et al. A low-cost stereovision system to estimate size and weight of live sheep[J]. Computers & Electronics in Agriculture, 2014, 103(2): 33－38.

[12]Salau J, Haas J H, Junge W, et al. Feasibility of automated body trait determination using the SR4K time-of-flight camera in cow barns[J]. Springer Plus, 2014, 3(1): 225.

[13]Weber A, Salau J, Haas J H, et al. Estimation of backfat thickness using extracted traits from an automatic 3D optical system in lactating Holstein-Friesian cows[J]. Livestock Science, 2014, 165(1): 129－137.

[14]Kuzuhara Y, Kawamura K, Yoshitoshi R, et al. A preliminarily study for predicting body weight and milk properties in lactating Holstein cows using a three- dimensional camera system[J]. Computers & Electronics in Agriculture, 2015, 111: 186－193.

[15]Fischer A, Luginbühl T, Delattre L, et al. Rear shape in 3 dimensions summarized by principal component analysis is a good predictor of body condition score in Holstein dairy cows[J]. Journal of Dairy Science, 2015, 98(7): 4465－4476.

[16]Pezzuolo A, Guarino M, Sartori L, et al. On-barn pig weight estimation based on body measurements by a Kinect v1 depth camera[J]. Computers & Electronics in Agriculture, 2018, 148: 29－36.

[17]付为森，滕光辉. 基于双目视觉技术的猪生长监测系统标定模式[J]. 农业机械学报，2009，40(S1)：223－227.

Fu Weisen, Teng Guang hui. Calibration Mode of Pig Growth Inspecting System Based on Binocular Stereovision Technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(S1): 223－227. (in Chinese with English abstract)

[18]李卓，毛涛涛，刘同海，等. 基于机器视觉的猪体质量估测模型比较与优化[J]. 农业工程学报，2015，31(2)：155－161. Li Zhuo, Mao Taotao, Liu Tonghai, el al. Comparison and optimization of pig mass estimation models based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(2): 155－161. (in Chinese with English abstract)

[19]Salau J, Haas J H, Junge W, et al. Extrinsic calibration of a multi-Kinect camera scanning passage for measuring functional traits in dairy cows[J]. Biosystems Engineering, 2016, 151: 409－424.

[20]王龙. 机器视觉在奶牛体况评定中的应用[D]. 上海：东华大学，2014.

Wang Long. Application of Dairy Cow Body Condition Scoring Based on Machine Vision[D]. Shanghai: Donghua University, 2014. (in Chinese with English abstract)

[21]张温. 基于机器视觉的牲畜体征测量系统的研究[D]. 包头：内蒙古科技大学，2014.

Zhang Wen. Research of Livestock Body Size Measurement System Based on Computer Vision[D]. Baotou: Inner Mongolia University of Science & Technology, 2014. (in Chinese with English abstract)

[22]郭浩. 动物体表三维数据获取与处理算法研究[D]. 北京：中国农业大学，2015.

Guo Hao. Study on 3D Data Capturing and Processing Methods for Live Animal[D]. Beijing: China Agricultural University, 2015. (in Chinese with English abstract)

[23]李卓，毛涛涛，刘同海，等. 基于机器视觉的猪体质量估测模型比较与优化[J]. 农业工程学报，2015，31(2)：155－161.

Li Zhuo, Mao Taotao, Liu Tonghai, el al. Comparison and optimization of pig mass estimation models based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(2): 155－161. (in Chinese with English abstract)

[24]司永胜，安露露，刘刚，等. 基于Kinect相机的猪体理想姿态检测与体尺测量[J]. 农业机械学报，2019，50(1)：58－65.

Si Yongsheng, An Lulu, Liu Gang, et al.,Ideal posture detection and body size measurement of pig based on Kinect[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(1): 58－65. (in Chinese with English abstract)

[25]王可，郭浩，刘威林，等. 基于点云旋转归一化的猪体体尺测点提取方法[J]. 农业工程学报，2017，33(增刊1)：253－259.

Wang Ke, Guo Hao, Liu Weilin, et al. Extraction method of pig body size measurement points based on rotation normalization of point cloud [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 253－259. (in Chinese with English abstract)

[26]Guo H, Ma X, Ma Q, et al. LSSA_CAU:An interactive 3d point clouds analysis software for body measurement of livestock with similar forms of cows or pigs[J]. Computers & Electronics in Agriculture, 2017, 138: 60－68.

[27]聂建辉，胡英，马孜. 散乱点云离群点的分类识别算法[J]. 计算机辅助设计与图形学学报，2011，23(9)：1526－1532.

Nie Jianhui, Hu Ying, and Ma Zi. Outlier Detection of Scattered Point Cloud by Classification[J]. Journal of Computer-Aided Design &Computer Graphics, 2011, 23(9): 1526－1532. (in Chinese with English abstract)

Three dimensional point cloud reconstruction and body size measurement of pigs based on multi-view depth camera

Yin Ling1,2, Cai Gengyuan2,3, Tian Xuhong1, Sun Aidong4※, Shi Shuai1, Zhong Haojie1, Liang Shihao1

(1.,,510642,; 2.510642,; 3.,,510642,; 4.,,210014,)

Body size measurement is a major way to understand the key parameters of livestock for precision livestock farming (PLF) and effective management of large numbers of livestock. Manual measurement is one of the most commonly used methods to obtain the growth status of livestock. However, manual measurements can be time-consuming, costly, and sometimes harmful to animals and feeders. In addition, due to the lack of mature technology in effective data acquisition, robust registration and accurate estimation of multi-body parameters, non-contact measurement of live pigs is often a difficult task. Therefore, the application of automatic measurement technology of livestock and poultry body size parameters in actual breeding has great challenge. To solve these problems, a new 3D reconstruction and measurement system is proposed. Three consumer-grade depth cameras are set on the right, left and top of the data acquisition channel. When the pig passes the best shooting area of the channel, the camera synchronously obtains the point cloud data. Using filtering methods such as Gaussian curvature, outliers of three-dimensional images such as balustrade and other point clouds that do not belong to the pig contour are extracted from the original point cloud, and then the preprocessed point cloud in the three views is reconstructed based on the sample consistency (SAC), and then the pig body size parameters including body length are used. The body height, chest circumference and abdomen circumference are measured by the accurate estimation technology of body condition. In different experimental analysis, we compared 5 groups of body size measurement data at different speeds in the laboratory, and compared the body size measurement results of 25 pigs in the pig farm. In the laboratory, pig models were moved at 0, 0.3, 0.6, 0.9 and 1.2m/s. The results show that the average relative error between the body length measurement and the manual measurement is 1.77%. The average relative errors of height, chest width and abdominal circumference were 1.36%, 2.74% and 2.17%, respectively. In addition, the detection value was highly correlated with the manual measurement value of 25 pigs in the pigsty. The average relative error of body length is 2.56%. The average relative errors of height, chest width and abdominal circumference were 2.32%, 3.89% and 4.51%, respectively. In addition, in the farm, the accuracy of body size parameters is in accordance with the results of the laboratory. The experimental results show that the study is helpful to evaluate the body condition of pigs fed with concentrate and managed by breeders automatically and accurately.

image processing; algorithms; models; pig; three-dimensional reconstruction; body size measurement; Kinect V2

尹 令，蔡更元，田绪红，孙爱东，石 帅，钟浩杰，梁世豪.多视角深度相机的猪体三维点云重构及体尺测量[J]. 农业工程学报，2019，35(23)：201－208.doi：10.11975/j.issn.1002-6819.2019.23.025 http://www.tcsae.org

Yin Ling, Cai Gengyuan, Tian Xuhong, Sun Aidong, Shi Shuai, Zhong Haojie, Liang Shihao. Three dimensional point cloud reconstruction and body size measurement of pigs based on multi-view depth camera[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(23): 201－208. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.23.025 http://www.tcsae.org

2019-05-24

2019-10-25

2019年度广东省重点领域研发计划“牲畜非接触式智能识别技术研究与示范”（2019B020219001）、农业农村部农业物联网重点实验室开放基金课题（2018AIOT-08）、江苏省农业自主创新基金资助项目“农业物联网关键设备研发及应用示范”（CX（16）1006）。

尹 令，博士，副教授，研究方向农业信息化与数据挖掘。Email：yin_ling@scau.edu.cn

孙爱东，副研究员，主要从事人工智能、专家系统、溯源系统等研究。Email：sunad2002@163.com

10.11975/j.issn.1002-6819.2019.23.025

TP391.41

A

1002-6819(2019)-23-0201-08