采摘机器人数字视频监控系统——基于DSP和帧内编码

赵 旭,耿瑞焕

(鹤壁汽车工程职业学院,河南 鹤壁 458030)

0 引言

水果表皮的色彩度和瑕疵度是判断水果等级的重要指标。一直以来,水果种植农户都是采取人工识别的方式对水果进行分级,分级结果一致性差。随着自动化、图像处理和机器视觉的发展,使得采摘机器人实现水果自动识别和分级成为可能。为此,在视频监控的基础上,结合DSP和帧内编码技术,提出了一种采摘机器人数字视频监控系统,旨在实现对水果的自动分级功能。

1 帧内编码算法概述

1.1 帧内编码原理

视频编码的过程是提取视频中有效数据,处理掉冗余的信息。在视频样本采样中,各个空间位置的像素点都是采用相同的信息量表示,而各空间位置的有效信息不一样,采用该方法会导致视频信息的多次采样,引起信息冗余问题。

帧内编码是视频处理的一种算法,可根据前一解码视频区块和空间样本进行视频图像的处理,对处理效率要求较高的编码技术一般采用该技术。帧内编码和一般视频编码标准差异不大,一般采用预测、变换及高效熵编码技术的混合处理框架。编码混合处理框架主要有预测编码、变换量化编码技术、离散余旋变换和熵编码等流程步骤。帧内编码流程框架如图1所示。

图1 帧内编码流程框架图Fig.1 The frame flow chart of intra coding。

帧内编码的流程为:采样到的视频样本的每一帧图像,经过预测环节的运动估计和补偿后,得到预测残差数据;预测残差数据经过变换量化过程,再进行熵编码,最后生成码流;解码端经过反量化和反变换的解析过程,经过环路滤波、预测残差数据和参考图像求和,得到重构的完成图像,并保存在解码缓存中。

1.2 帧内编码图像块处理

帧内编码的最大优势是采用较大的块结构对图像进行编码,且采用相对灵活的块划分,提高了编码的效率。在帧内编码图像块处理处理过程中,最初的编码单元(LCU)可以递归等分,构成编码单元树(CTU)结构,而CTU又可以递归等分为预测单元(PU)和变换单元(TU)。帧内编码图像块处理主要包括编码、预测和变换3个单元。

1)编码单元。在帧内编码中,编码单元是帧处理的最小单元宏块Macroblock (MB),编码单元(CU)可以被分为若干个64×64、32 ×32、16×16等宏块,而每个宏块还可以继续被划分。在帧内编码图像块处理中,编码单元采用四叉树划分策略,最大的64×64单元划分为8×8单元,因此帧内编码提供了灵活的块划分方法。编码单元四叉树划分策略如图2所示。

图2 编码单元四叉树划分策略图Fig.2 The four-tree partition strategy diagram of coding unit。

2)预测单元。预测单元是帧预测处理中必须的最小单元。预测单元是在编码单元的基础上进行划分的,最大可与编码单元一样大,形状不一定是正方形,可以是几个小正方形组成的矩形。预测单元主要包括跳过(Skip)、帧内(Intra)和帧间(Inter)3种模式。预测单元划分策略如图3所示。

图3 预测单元划分策略图Fig.3 The strategy chart of prediction unit partition。

在预测单元划分中,Skip包含2N×2N唯一一种模式;Intra包含2N×2N和N×N两种模式;Inter则包含2N×2N、N×N、2N×N、N×2N、2N×nU、2N×nD、nL×2N和nR×2N等8种模式。

3)变换单元。帧内编码图像块处理的变换单元为正方形,其单元大小和编码单元类似,采用64×64、32 ×32、16×16和4×4。变换单元是在编码单元的基础上划分的,对于帧内预测,变换单元不得大于预测单元的大小,但对于帧间预测没有特殊要求。变换单元划分策略如图4所示。

图4 变换单元划分策略图Fig.4 The strategy chart of transformation unit partition。

2 DSP高速视频图像处理系统总体设计

本文研究基于DSP和帧内编码的采摘机器人数字视频监控系统,主要任务是让采摘机器人在作业过程中采用帧内编码和图像处理技术对视频图像进行分析与处理,对待采摘果实进行分类判别和采摘。

视频图像的处理具有数据量大、精度高和耗时长的特点,需要具有强大运算能力的处理器进行图像处理。为此,采用了TI公司生产的TMS320DM643处理器作为处理核心。该芯片专用于数字媒体和图像处理应用,工作主频可达600MHz,处理性能高达4 800MIPS,2个20位的视频口,具有8路同步串行输入/输出的McASP端口,可实时实现多路音频/视频信号的输入/输出及编解码运算,如MPEG4、H.264、G.729等各种视/音频算法。其芯片支持MMU和内存映射管理,具有更高的主频和更丰富的外设,且稳定性强、可靠性高,能适用于对性能和处理能力有更高要求的嵌入式系统应用场合,被广泛应用于高清电视、视频服务器、网络摄像机、智能交通、工业视频检测、视频监控、安防监控等行业中。DSP高速视频图像处理系统框架如图5所示。

图5 嵌入式高速数字图像处理系统框图Fig.5 The block diagram of embedded high speed digital image processing system。

3 DSP高速视频图像处理系统软硬件设计

3.1 系统硬件设计

DSP高速视频图像处理系统的核心是DSP处理器单元和图像采集单元。其中,图像采集单元包括Camera和视频解码器两部分,作用是将从Camera采集来的视频图像数据进行采样、量化处理,为视频解码器提供原始样本。DSP处理器和视频解码器连接的示意如图6所示。

图6 DSP处理器和视频解码器连接图Fig.6 The connection diagram between DSP processor and video decoder。

视频解码模块使用TI公司生产的TVP5150A芯片作为系统的视频解码器。该芯片是TI推出的一款超低功耗的高性能混合信号视频解码芯片,具有功耗低、使用简单、支持两路复合视频或一个S端子的输入,以及可自动识别NTSC/PAL/SECAM制式的模拟信号等优点。TVP5150A将Camera的模拟信号按照YCbCr 4∶2∶2的格式转化成数字信号,输出格式为内嵌 8 位同步信号的 ITU-RBT.656码流。视频码流随后进入嵌入式计算机上SOC提供的视频接口。TVP5150A功能框架如图7所示。

Fig.7 TVP5150A functional framework diagram。

3.2 系统软件设计

软件设计主要考虑图像处理和帧内编码算法的精确性和可靠性。软件的开发设计采用TI公司推出的用于开发DSP芯片的集成开发环境CCS。软件完成对DSP处理器外设、工作方式和相关寄存器的配置等设置后,会开启视频图像采集线程;视频图像采集完成后,会根据需求将图像进行帧内编码处理,然后DSP处理器对目标果实进行等级分类。软件算法流程如图8所示。

图8 软件算法流程图Fig.8 The flow chart of software algorithm。

4 果实成熟度判断

在进行图像处理后,便可以对目标果实进行成熟度判断。在果实的成熟度方面,利用果实在不同时期所呈现的颜色变化,人们可以通过肉眼来判断水果的成熟度。在图像处理领域,直方图是一个非常强大的工具,其基本原理就是对颜色像素的统计,将统计值放入不同的bin中。在直方图中,bin的含义是指将颜色空间分为若干个较小的区间,统计区间内不同像素值的个数,若bin越多,则直方图分辨率越强。本文研究中bin值设置为256。

颜色直方图分为两种,即灰度直方图和RGB三色直方图。灰度直方图表示是不同亮度区间的像素值得个数,通常用来检测图像的曝光水平和渐变;而RGB三色直方图则表示在R、G、B等3个通道上,不同亮度区间上分布的相应颜色像素值,可用来检查色调。三色直方图绘制过程为导入原图,配置相关直方图变量(如通道、维度柱条、bin数目等),计算直方图及显示直方图等。其中,计算直方图主要函数为calcHist,显示直方图主要函数为rectangle()。得到的RGB三色直方图如图9所示。

图9 RGB直方图Fig.9 RGB histogram。

不同程度的水果三色图的颜色占比不同,可以通过其颜色分布的占比大致的判断出水果的成熟度。果实在不同时期所呈现的颜色不同,通过采集不同时期的果实图片,对其进行RGB三色直方图分析,不仅可以实时跟踪到水果的成长历程,还能对果实的采摘及腐烂进行一定的数据化分析,便于后续的处理。但此方法易受光线的影响,得出的图像结果与判断的水果等级有时会存在一定的差异,所以此评价指标具有一定的参考价值,但权重较低。

5 试验与结果分析

为了验证采摘机器人数字视频监控系统对水果分级的可行性及其有效性,以苹果等级识别为例,在某苹果种植示范基地进行了实际的识别试验。为了让试验正常进行,试验前对遮挡比较严重的果实进行了一定的整理;试验中分别以水果的瑕疵占比、RGB三色为参照,主要依据为RGB三色维度值。标准的苹果色度RGB维数表如表1所示,试验结果如表2所示。

表1 标准的苹果色度RGB维数表Table 1 RGB dimension table of standard apple chroma。

表2 目标果实分类结果Table 2 The classification results of target fruit。

由试验结果可以看出:采摘机器人识别和判定结果与市场分级结果一致,系统检测精度高,性能可靠,可以满足水果识别分级的设计需求。

6 结论

针对采摘机器人对目标水果分级难度高、误差大等问题,设计了一套基于DSP和帧内编码的采摘机器人数字视频的监控系统。首先,简要介绍了帧内编码算法的原理和特点;然后,设计了DSP高速视频图像处理系统总体结构,并从软硬件两方面对整个系统进行了实现;最后,依据RGB三色直方图分析,对果实成熟度进行判断。在果园实际的试验中,系统识别和分析结果准确,性能可靠,可以满足水果识别分级的设计需求,对于采摘机器人自动采摘作业具有重要意义。