视频优化算法在农技云平台中的应用

孙志国等

摘要：对农技云平台中采用的视频优化算法进行了介绍，在视频采集、处理、传输、呈现等多个环节综合应用双三次插值、视频对象分割、去抖动、降低帧率等多种视频优化算法可有效提高用户体验。

关键词：视频优化算法；农技云平台；农技推广

中图分类号：S126 文献标志码： A文章编号：1002-1302（2014）09-0400-02

收稿日期：2013-12-05

基金项目：国家科技支撑计划（编号：2011BAD21B01、2013BAD15B02）。

作者简介：孙志国（1978—），男，副研究员，从事用户体验设计（UED）

、知识管理、社会性网络服务（SNS）

研究。E-mail：sunzhiguo@caas.cn。

通信作者：王文生，博士，研究员，从事信息和网络技术研究。E-mail：wangwsh@caas.cn。

目前，我国已拥有一支人数超70万人、覆盖农业各领域的农业技术推广队伍。他们将农业科技送到千家万户，为发展现代农业、建设新农村作出了突出贡献。中国农业科学院农业信息研究所利用移动互联等现代信息技术，从2010年开始开发基于3G网络的基层农技推广信息化服务平台，用移动云终端武装基层农技推广人员，创新农技推广服务手段，改变传统的“一张嘴，两条腿”的农技推广模式，为农民提供高效便捷、简明直观、双向互动的农技推广服务[1-6]。目前面向全国的农技云服务平台开发已经基本完成，已在多个地方开展了示范试验，示范效果良好，正在实施上线准备工作。本研究对农技云平台中采用的视频优化算法进行了介绍，旨在为创新农技推广服务手段提供依据。

1算法优化需求

1.1提高低带宽网络环境下的视频表现

信息化平台开始设计时主要在以移动互联网为基础的网络环境上运行，在低带宽环境下，如果使用通常的视频处理、传输技术将造成视频传输不流畅、视频传输延时等问题，为了在3G等网络环境下有良好的视频表现，笔者综合运用了多种视频优化算法以提高用户体验。

1.2努力降低视频传输流量

在我国现有的3G网络流量资费情况下，使用3G网络进行远程专家视频咨询、视频课件播放所产生的费用较高。我国现有的3家电信运营商的3G网络流量资费水平基本一致，比如联通的80元1 GB上网套餐资费在0.078元/MB，通常在线视频播放6 h将使用完1 GB流量（按每秒消耗流量 50 kB 计算）。解决此类问题的方法主要有视频降帧、视频分割、压缩传输等技术的应用及算法的选择与优化。

1.3提高视频分辨率

在视频诊断中，为了使专家能放大病虫害图像方便观察，同时提高低成本、低分辨率拍摄设备的分辨率，可以使用插值算法提高分辨率。

1.4消除拍摄抖动对视频图像的影响

现场实时拍摄病虫害情况时，拍摄抖动是不可避免的，易造成视频序列模糊，导致专家无法看清病虫害发生情况，对诊断工作造成影响，可采用视频去抖动技术解决这一问题。

2视频优化算法应用

2.1插值算法

2.1.13种基本插值算法及优缺点最近邻插值算法是最简单的插值法，取距离待测样点最近的1个相邻点的灰度值作为待测样点的像素值。双线性插值算法是对最近邻插值法的改进，待测样点由4个相邻点的值通过加权平均计算得出。双三次插值算法是对双线性插值的改进，取待测样点周围的16 个像素点的灰度值作3次插值进行计算。最近邻插值算法计算量很小，运算速度较快，但缩放质量差，放大图像不连续性明显，缩小时图像失真。双线性插值算法计算量稍大，算法较为复杂，缩放后图像质量高。双三次插值算法不仅考虑了直接邻点灰度值对采样点的影响，还考虑了邻点间灰度值变化率的影响，因此所求得的待采样点灰度值更为精确，但计算量最大，算法复杂，速度较慢。

2.1.2双三次插值算法应用本平台在专家视频会诊模块采用了双三次插值算法，具体程序实现代码如下：

2.2降低帧率

帧率（frame rate）即每秒显示帧数（frames per second，fps），高帧率可以得到更流畅、更逼真的画面。一般来说，当视频帧率<30 fps时，人可以感受到画面不连续，将帧率提升至60 fps，可以明显提升逼真感，一般来说，当帧率超过75 fps时，画面流畅度提升不明显。本系统的视频画面默认使用30、25 fps 2种帧率，通过降低视频传输的帧率，可以大幅降低流量。在低带宽环境下，为了保证声音效果，本系统提供了一键降帧方案，将30 fps降为5 fps，配合压缩传输算法，视频通话即时流量可以从100 kB左右降到5 kB左右。

2.3视频对象分割算法（video object segmentation algorithm）

视频分割技术是在静态图像分割的技术基础上发展起来的。静止图像的分割算法并不能直接应用于高效的视频分割，但是视频分割算法可以借鉴图像分割算法。MPEG-4代表了基于对象的第二代压缩编码技术，在视频编码发展史上，MPEG-4第一次把编码对象从图像帧拓展到具有实际意义的任意形状视频对象，从而实现了从基于像素的传统编码向基于对象、内容的现代编码转变。视频对象分割是当前视频研究的难点。视频对象分割步骤一般是通过低通滤波、中值滤波、形态滤波先对原始视频进行简化以利于分割，然后提取视频数据的颜色、灰度、纹理、运动、区域、帧差、位移帧差等特征，再基于某种均匀性标准来确定分割原则，根据所提取特征将视频数据归类，最后进行相关后续处理，以实现滤除噪声及准确提取边界。分割算法大致分为3种：基于空域信息的分割算法、基于时域信息的分割算法、基于时空联合的分割算法。基于时空联合的分割算法就是同时利用视频图像在空间、时间轴上的信息进行分割，是目前主流的分割算法。目前常见的视频对象时空联合分割算法包括阈值算法、分水岭（watershed）算法等。本平台研究试用了视频分割算法，但因实时性较差，还没有大范围应用。endprint

2.4压缩传输

在图像编解码效率上，H.264算法最为领先，MPEG-4、H.263算法基本相同，MPEG-2算法效率最低。高带宽时，以上各种编码算法提供的图像质量趋同。低带宽（2M以下）时，采用H.264编解码效率更高，但H.264编解码对CPU处理能力的需求大幅度增加（相同带宽下，H.264编解码对CPU的占用率是H.263编解码的6倍以上）。通过综合研判，本平台在低带宽下采用H.264编码，高带宽下采用 H.263 编码，保证了良好的视频图像效果。

2.5去抖动算法（video stabilization algorithm）

视频抖动是指拍摄过程中由于摄像头存在不一致的运动噪声而造成视频序列的抖动、模糊。为了消除这些抖动，本平台引入了去抖动算法，该算法主要包括3个功能模块：运动估计模块、抖动识别模块、运动补偿模块。运动估计模块的主要内容是快速有效得到运动矢量，将活动图像分成若干块，搜索出每个块在邻近帧图像中的位置，计算出两者之间空间位置的相对偏移量，这个相对偏移量就是通常所说的运动矢量。抖动识别模块主要负责对运动估计模块计算的运动矢量进行程序判断，超过一定阈值便启动运动补偿模块。运动补偿模块通过运动矢量对原始图像帧进行补偿，由于每帧都不可避免地会引入一些误差，如果不采取措施，随着误差的累积，后面图像会出现瑕疵，计算帧间的累积误差，如果该误差超过一定的阈值，则将当前帧设定为新的基准帧，用于后续帧的校正补偿。算法应用技术路线见图1。

3结论

本研究介绍了农技云平台中的视频类系统中采用的视频优化算法，在视频采集、处理、传输、呈现等多个环节综合应用各种视频优化算法，可有效提高视频画面效果，降低带宽流量，增强用户体验。

参考文献：

[1]王文生. 用现代信息技术突破农业科研创新与推广瓶颈[J]. 中国农村科技，2012（7）：27-28.

[2]张亚迪，李钊，李俊山，等. 视频对象分割技术研究[J]. 无线电工程，2008，38（10）：14-16，37.

[3]王昕. 视频对象分割技术与应用[J]. 中国有线电视，2011（1）：66-68.

[4]刘达. MPEG-4视频编码核心思想及关键技术研究[J]. 有线电视技术，2004（4）：43-47.

[5]宋利，周源华，周军. 基于运动矢量的视频去抖动算法[J]. 上海交通大学学报，2004，38（增刊）：63-66，72.

[6]符祥，郭宝龙. 图像插值技术综述[J]. 计算机工程与设计，2009（1）：141-144，193.姚冠新，顾晴. 基于经验模态分解和支持向量机的农产品价格短期预测[J]. 江苏农业科学，2014，42（9）：402-405.endprint

2.4压缩传输

在图像编解码效率上，H.264算法最为领先，MPEG-4、H.263算法基本相同，MPEG-2算法效率最低。高带宽时，以上各种编码算法提供的图像质量趋同。低带宽（2M以下）时，采用H.264编解码效率更高，但H.264编解码对CPU处理能力的需求大幅度增加（相同带宽下，H.264编解码对CPU的占用率是H.263编解码的6倍以上）。通过综合研判，本平台在低带宽下采用H.264编码，高带宽下采用 H.263 编码，保证了良好的视频图像效果。

2.5去抖动算法（video stabilization algorithm）

视频抖动是指拍摄过程中由于摄像头存在不一致的运动噪声而造成视频序列的抖动、模糊。为了消除这些抖动，本平台引入了去抖动算法，该算法主要包括3个功能模块：运动估计模块、抖动识别模块、运动补偿模块。运动估计模块的主要内容是快速有效得到运动矢量，将活动图像分成若干块，搜索出每个块在邻近帧图像中的位置，计算出两者之间空间位置的相对偏移量，这个相对偏移量就是通常所说的运动矢量。抖动识别模块主要负责对运动估计模块计算的运动矢量进行程序判断，超过一定阈值便启动运动补偿模块。运动补偿模块通过运动矢量对原始图像帧进行补偿，由于每帧都不可避免地会引入一些误差，如果不采取措施，随着误差的累积，后面图像会出现瑕疵，计算帧间的累积误差，如果该误差超过一定的阈值，则将当前帧设定为新的基准帧，用于后续帧的校正补偿。算法应用技术路线见图1。

3结论

本研究介绍了农技云平台中的视频类系统中采用的视频优化算法，在视频采集、处理、传输、呈现等多个环节综合应用各种视频优化算法，可有效提高视频画面效果，降低带宽流量，增强用户体验。

参考文献：

[1]王文生. 用现代信息技术突破农业科研创新与推广瓶颈[J]. 中国农村科技，2012（7）：27-28.

[2]张亚迪，李钊，李俊山，等. 视频对象分割技术研究[J]. 无线电工程，2008，38（10）：14-16，37.

[3]王昕. 视频对象分割技术与应用[J]. 中国有线电视，2011（1）：66-68.

[4]刘达. MPEG-4视频编码核心思想及关键技术研究[J]. 有线电视技术，2004（4）：43-47.

[5]宋利，周源华，周军. 基于运动矢量的视频去抖动算法[J]. 上海交通大学学报，2004，38（增刊）：63-66，72.

[6]符祥，郭宝龙. 图像插值技术综述[J]. 计算机工程与设计，2009（1）：141-144，193.姚冠新，顾晴. 基于经验模态分解和支持向量机的农产品价格短期预测[J]. 江苏农业科学，2014，42（9）：402-405.endprint

2.4压缩传输

在图像编解码效率上，H.264算法最为领先，MPEG-4、H.263算法基本相同，MPEG-2算法效率最低。高带宽时，以上各种编码算法提供的图像质量趋同。低带宽（2M以下）时，采用H.264编解码效率更高，但H.264编解码对CPU处理能力的需求大幅度增加（相同带宽下，H.264编解码对CPU的占用率是H.263编解码的6倍以上）。通过综合研判，本平台在低带宽下采用H.264编码，高带宽下采用 H.263 编码，保证了良好的视频图像效果。

2.5去抖动算法（video stabilization algorithm）

视频抖动是指拍摄过程中由于摄像头存在不一致的运动噪声而造成视频序列的抖动、模糊。为了消除这些抖动，本平台引入了去抖动算法，该算法主要包括3个功能模块：运动估计模块、抖动识别模块、运动补偿模块。运动估计模块的主要内容是快速有效得到运动矢量，将活动图像分成若干块，搜索出每个块在邻近帧图像中的位置，计算出两者之间空间位置的相对偏移量，这个相对偏移量就是通常所说的运动矢量。抖动识别模块主要负责对运动估计模块计算的运动矢量进行程序判断，超过一定阈值便启动运动补偿模块。运动补偿模块通过运动矢量对原始图像帧进行补偿，由于每帧都不可避免地会引入一些误差，如果不采取措施，随着误差的累积，后面图像会出现瑕疵，计算帧间的累积误差，如果该误差超过一定的阈值，则将当前帧设定为新的基准帧，用于后续帧的校正补偿。算法应用技术路线见图1。

3结论

本研究介绍了农技云平台中的视频类系统中采用的视频优化算法，在视频采集、处理、传输、呈现等多个环节综合应用各种视频优化算法，可有效提高视频画面效果，降低带宽流量，增强用户体验。

参考文献：

[1]王文生. 用现代信息技术突破农业科研创新与推广瓶颈[J]. 中国农村科技，2012（7）：27-28.

[2]张亚迪，李钊，李俊山，等. 视频对象分割技术研究[J]. 无线电工程，2008，38（10）：14-16，37.

[3]王昕. 视频对象分割技术与应用[J]. 中国有线电视，2011（1）：66-68.

[4]刘达. MPEG-4视频编码核心思想及关键技术研究[J]. 有线电视技术，2004（4）：43-47.

[5]宋利，周源华，周军. 基于运动矢量的视频去抖动算法[J]. 上海交通大学学报，2004，38（增刊）：63-66，72.

[6]符祥，郭宝龙. 图像插值技术综述[J]. 计算机工程与设计，2009（1）：141-144，193.姚冠新，顾晴. 基于经验模态分解和支持向量机的农产品价格短期预测[J]. 江苏农业科学，2014，42（9）：402-405.endprint