任务敏感的多模式视频编码系统功耗控制方法

曹　倩,李辉勇,左　敏,姜同强,蔡　强,王　瑜

(1.北京工商大学计算机与信息工程学院食品安全大数据技术北京市重点实验室,北京100048;2.北京航空航天大学计算机学院,北京 100191)

任务敏感的多模式视频编码系统功耗控制方法

曹倩1,李辉勇2,左敏1,姜同强1,蔡强1,王瑜1

(1.北京工商大学计算机与信息工程学院食品安全大数据技术北京市重点实验室,北京100048;2.北京航空航天大学计算机学院,北京 100191)

在嵌入式多模式视频编码系统中,动态电压频率调整(Dynamic Voltage and Frequency Scaling,DVFS)技术可在一定程序上节约系统能耗,然而持续降低电压和频率可能影响处理器接口资源的传输性能,甚至导致系统无法正常工作.针对该问题,提出了一种任务敏感的功耗控制方法.通过研究多模式视频编码任务量和处理器资源之间的关系,建立一个任务敏感的资源配置模型,基于该模型设计了一个自适应功耗控制器,在系统工作过程中根据编码任务量的不同动态调节处理器工作频率和工作核数.实验表明,在满足多模式实时视频编码功能和性能要求的基础上,该文提出的方法与传统DVFS技术相比,单帧视频编码的平均功耗节省了11.4%.

功耗;多模式视频;嵌入式系统;DVFS;视频编码

1　引言

多模式视频编码是指不同类型和不同分辨率的视频图像(可见光、红外以及数码相片等)进行多种码率的实时编码.该论文主要是研究嵌入式多模式实时视频编码系统,支持多种分辨率、帧率的可见光和红外视频在多种码率下的实时编码,以满足不同光照条件和传输带宽的应用需求,便于突发事件(如交通事故、自然灾害等)的应急处理.

随着系统复杂性的不断提高,嵌入式系统在追求高性能的同时,功耗控制成为一个需要解决的关键问题之一[1～4].Yoo[5]提出了一种新颖的功耗-性能扩展方法,在归纳出功耗-性能扩展的规律基础上,将DVFS与多核扩展性联系起来.Li等人[6]根据多任务在多核处理平台的特定配置,动态调节处理器的频率,达到降低功耗的目的.You等人[7]基于嵌入式GPU提出了一种软件管理的DVFS架构,通过分析GPU处理负载的变化从而证实了DVFS在GPU上的可用性.

近些年,很多研究专注于通过任务调度来实现节约能耗,这类能耗敏感的任务调度根据不同的任务动态调整电压及频率,为有效节约能耗提供了可行的方案[8].Anagnostopoulos等人[9]结合动态内存管理和DVFS技术,通过实时内存监控机制来控制DVFS进行频率和电压调整,降低系统功耗.Cho等人[10]针对ARM嵌入式系统,提出了一种基于计算密度的DVFS算法,该方法根据应用程序访存的情况调整最优的频率.实验证明该方法与现有的嵌入式系统中能耗控制方法相比具有一定的优势,可以节约能耗17%左右,但是该算法仅适用于访存密集型的应用.Nogues等人[11]提出了一种轻量级的DVFS使能软件,从而适应HEVC实时编码中的不同任务需求.该方法尤其适用于移动应用程序,该方法对于每秒60帧像素720p的视频编码大约消耗1.1W.考虑在实际应用中任务的执行往往受到运行平台、输入数据集等因素的影响,因此可以将任务完成到某个概率作为限定条件,从而研究能耗敏感的概率调度方法,以权衡系统功耗与执行时间[12].

上述研究成果可知,DVFS技术可以有效控制嵌入式系统的功耗,然而对于一些嵌入式处理器而言,其部分外围接口的工作时钟由处理器频率分频得到,因此过度降低处理器的频率将会对其他资源(如EMIF接口、共享存储管理等)产生影响,甚至无法满足数据传输的需求[13].鉴于此,本文面向多模式视频编码系统,结合TMS320C6678处理器(以下简称C6678)特性和DVFS技术提出了一种任务敏感的功耗控制方法(Task-Aware Power Control Method,TAPCM).其主要工作包括:1)通过抽象提取多模式视频编码参数,建立了一种任务敏感的处理器资源配置模型,该模型描述了任务量与处理器利用率之间的关系,为系统功耗控制方法提供了技术基础.2)根据任务敏感的处理器资源配置模型,设计了一种自适应的功耗控制器,通过实时监控系统的任务模式,动态调整处理器频率和处理器核数,达到节省系统功耗的目的.3)在自主设计的基于HEVC的多模式视频编码系统中进行验证,实验结果表明该方法在满足系统功能的基础上可有效降低功耗.

2　任务敏感的功耗控制方法

在多模式实时视频编码系统中,常见的视频包括:可见光视频和红外视频.由于视频分辨率、帧率、像素位宽以及编码码率不同,所以编码处理时所需要的计算量不同,即完成编码任务所要求的DSP负载能力存在差异.然而,在系统设计时为了完成所有处理任务,必须保证满足最大负载任务的需求.在系统运行过程中,如果DSP处理性能固定不变就会存在一个问题:当由负载较大的任务模式切换到负载较小的任务模式时,可能会因负载太小从而导致处理器功耗浪费.若能根据任务需求的变化,动态配置DSP的处理资源,将在一定程度上降低系统功耗.

C6678作为频率可调节的嵌入式多核处理器,可通过减低处理器频率和减少工作核数来控制处理功耗[13,14].在处理器核的平均利用率为80%,工作温度为50℃,只开启DDR3、串行高速输入输出(SRIO)和共享存储资源的条件下,C6678处理器不同主频条件下的性能、功耗对比如表1所示.

表1　C6678处理器不同主频条件的性能和功耗

因此,该文结合不同处理模式的任务量动态调整DSP的频率和工作核数量,在满足任务处理需求的基础上,避免DSP利用率太小而导致的功耗浪费,实现降低系统功耗的目标.

2.1多模式任务描述

为了便于描述,假设视频编码系统需要支持L种任务模式,每种任务模式可用一个七元组描述,即第i(1≤i≤L)种任务模式可表示为Mi=,其中hi,wi,bi,ci分别表示视频的分辨率(高、宽)、码率、像素位宽,该文称其为视频编码参数;fi表示视频帧率;Ti表示单帧视频编码的平均最长处理时间,其值由任务模式中的视频帧率决定,即Ti=1/fi;τi为单帧视频编码的平均DSP处理周期,用于表示第i种模式的任务量,在实际应用中通过实时统计连续n帧视频编码的DSP处理周期再计算平均值得到.需要注意的是,n的取值会影响统计的准确性和配置调整的延时,需要进行折中处理.针对从负载较小的任务模式到负载较大的任务模式的调整,为了避免因统计任务量而造成系统负载过重的问题,在实际应用中,可将这种情况下的系统配置先调整到最高级,在保证系统功能和性能的基础上,再进行配置调整.

在获得任务量的基础上,第i种模式中单帧视频编码的平均处理时间ti可表示为:

(1)

其中τi表示处理一帧视频编码平均需要的DSP处理周期,F表示DSP的工作频率,则DSP的时钟周期为1/F,因为在实际实现中视频编码消耗的时钟周期是采用6分频的时钟频率统计的,所以式(1)有一个乘6操作.

2.2任务敏感的资源配置模型

假设在任务i的执行周期内DSP的利用率为ηi,结合式(1)有:

(2)

其中τi是系统实时统计值,具体大小与视频编码参数、编码算法和视频内容等因素相关;fi是视频帧率,其值由编码任务模式决定.由式(2)可知DSP的利用率ηi与DSP的主频成反比关系.在实际应用中,由于视频内容不断变化,结合视频编码原理可知,运动较剧烈的视频所消耗的处理周期较多,即任务量较大,而运动平缓的视频消耗的处理周期较少,即任务量较小,因此在同一视频任务模式下DSP的利用率也不是一个固定值.为了避免DSP利用率太低而造成的功耗浪费,需要根据任务量的变化动态调节DSP资源从而将其利用率控制在一个相对稳定的范围内,即:|ηi-η|≤λ,其中η和λ分别为用户设定的DSP利用率值和误差范围.为了保证满足所有任务的需求,可根据最大的任务负载设定η和λ.因此有:

(3)

由式(3)可得:

(4)

根据式(4)的计算结果从表1中选择DSP的主频进行调整,如果有多个符合条件的DSP主频,为了满足任务处理功能,选择较大的进行调整.

根据电路动态功耗特性可知,在执行任务i时,DSP的主频越大,其功耗越高,反之亦然.然而,当主频为800MHz时,如果DSP的利用率仍然过小则可考虑对处理器工作核数进行调整,即通过关闭部分处理器核以进一步降低系统功耗.由于DSP工作核数的改变会影响算法的处理流程,为了尽量降低功耗控制方法的复杂性,以下工作核调整模型的建立是基于数据并行的视频编码算法.

(5)

其中1≤Nj≤8,1≤Ni≤8,并且Nj,Ni均属于整数集.由式(5)可知,通过调整DSP的工作核数量可以改变DSP的利用率.ηj可由式(5)获得,在实际应用中,为了保证调整后DSP的处理性能可以满足系统功能的需求,在可行解中选择满足|ηj-η|≤λ条件下的最大工作核数.

2.3自适应功耗控制器的设计

为了实现系统功耗的自动控制,需要结合不同模式的视频编码和功耗控制模型设计一个自适应功耗控制器,通过该控制器可以实时监控系统任务模式,并依据不同的任务模式需求动态调整DSP频率和工作核数量,达到降低功耗的目的.

功耗控制器初始状态为S0,当事件x1(或x2)发生时进入状态S1(或S2),并做出相应的控制动作r1(或r2).当r1(或r2)执行结束后,控制器自动回到状态S0.S1和S2为瞬间状态,它们随着控制动作的结束而自动结束.

3　实验及结果分析

3.1实验方案

结合多模式实时视频编码系统的任务需求,其常用的工作模式包括7种,即L=7.具体任务属性描述如表2所示.在高清可见光视频实时处理状态下,由于需要处理的视频数量最大,在使用相同编码算法的情况下,要求DSP的处理性能最高.视频编码的任务量τi需要通过系统测试得到,在本实验中通过实时统计连续50帧视频编码的DSP处理周期再取平均值得到.

表2　多模式实时视频编码任务属性描述

由表2可知,根据不同的任务模式,结合C6678功耗优化特性,在满足任务处理性能的基础上,可通过两种方式进行功耗控制:第一,执行任务时,实时检测DSP状态,在其空闲时降低DSP的频率和资源配置;第二,根据任务模式不同,动态调整DSP频率和资源配置,提高DSP利用率,避免空闲状态.从理论上分析,这两种方式都可以达到控制DSP功耗的目的.然而在具体操作时,准确的判断处理器工作状态切换点是功耗控制方法有效实现的关键.针对第一种方式,DSP空闲一般会出现在一帧数据处理完成和下一帧数据开始处理之间,由于这段时间在毫秒级,而且频繁出现,若频繁地调整DSP频率和资源将会引入大量额外的开销,因此第一种方式在工程设计中不实用;对于第二种方式,只有在任务模式切换时进行DSP频率的调整,因为每种任务模式的执行周期比较长,短则几分钟,长则几个小时,而且任务切换是通过控制命令实现的,切换的时间点容易判断,便于操作,因此本文实验中选择第二种处理方式.

实验平台选用基于C6678自主设计的多模式实时视频编码处理板,搭建专用的测试环境,组建如图2所示的多模式视频图像编码处理板实验平台.其中专用发送板与专用接收板分别安装在计算机的PCI-E总线和PCI总线上.专用发送板与多模式视频压缩处理板之间通过cameralink总线和串口互联,多模式视频压缩处理板与专用接收板之间通过LVDS总线互联.进行试验测试时,专用发送板通过PCI-E总线实时读取计算机内存储的高清、标清和红外视频通过cameralink总线传入多模式视频压缩处理板,同时通过串口发送多模式控制命令,控制多模式视频压缩处理板工完成不同模式实时视频的采集和编码压缩.最后,多模式视频压缩处理板将编码码流通过LVDS总线传入专用接收板,再通过PCI总线传输到计算机进行解码显示,验证正确性.本文实现的HEVC编码器是在HM4基础上对帧内预测、帧间预测、变化量化以及自适应环路滤波等关键模块进行了改进和优化的算法,其编码参数为:CU最大尺寸为64×64,深度为4,参考帧数为4,高码率时QP分别为27,低码率时QP为32.

3.2结果分析

每种任务模式的主要参数包括视频分辨率、帧率、像素位宽和码率等.编码处理采用最新的HEVC视频编码算法,经过优化后在C6678上执行.为了验证该文提出的功耗控制方法的效果,在相同条件下,分别对不使用功耗控制方法、使用DVFS方法[12]和使用该文方法TAPCM进行实验,表3为不使用和使用DVFS功耗控制方法的实验结果,表4为使用TAPCM的实验结果.根据反复的实验评估,设定η和λ分别为0.7和0.1.图3为TAPCM与不使用功耗控制、传统DVFS方法系统功耗的对比.

表3　不使用和使用DVFS功耗控制方法实验结果

表4　使用TAPCM的功耗控制方法实验结果

由实验结果可知,当不使用功耗控制方法时,不同任务模式所产生的平均功耗也有所不同,如在进行高清视频编码时,功耗最高.在系统刚加电时,无任务状态的功耗最低,其余几个任务模式的平均功耗也不尽相同,但是总体相差不大,主要原因在于CMOS电路的动态功耗与电路中电平翻转的次数有关,当无任务或需要处理的任务数据量少时,DSP负载较小,所以产生的功耗较低.对于使用功耗控制方法的实验结果,可以看到其功耗明显降低,在处理最小负载任务模式M7时的功耗比处理最大负载任务模式M2的功耗节省了44%.不考虑无任务模式,传统的DVFS功耗控制方法和本文的TAPCM功耗控制方法相比,处理单帧视频的平均能耗节省了11.4%.采用DVFS策略的功耗控制方法处理器频率为800MHz以上,并且需要工作核数为满负荷时与TAPCM具有相近的效果.但是随着负载进一步减小,TAPCM关闭部分处理核可以进一步降低系统功耗.

为了进一步测试TAPCM控制方法的有效性,针对不同分辨率的视频做了长时间的测试,其中不同分辨率视频序列的具体参数如表5所示.

表5　实验选用不同视频序列的参数

由图4可以直观的看到,不同分辨率的视频在编码时需要的时间都呈现高斯概率分布,这是因为相同分辨率的视频,视频的内容不同,例如运动剧烈和运动缓慢、纹理复杂和纹理简单等等,在编码处理时其复杂度也不同,消耗的处理周期存在差异.图5采用累积分布函数显示了不同分辨率视频在完成单帧视频编码所需要的时间,因此采用本文提出的TAPCM控制方法在处理标清和红外视频时,在保证视频实时处理性能的基础上,合理降低系统处理性能,从而换取功耗的降低.

处理不同分辨率视频时,使用TAPCM、传统DVFS方法以及无功耗控制时系统功耗的对比结果如图6所示,在处理标清视频和红外视频是本文的TAPCM方法在控制系统功耗方面具有较好的效果.

4　结论

该文以C6678多核DSP处理器为硬件平台,针对多模式视频编码任务的处理,提出了一种基于任务量变化的功耗控制方法.针对多模式实时视频编码处理任务的需求变化,动态调节工作频率和工作核数.并且该文的设计不需要改变多核DSP的基本体系结构、核间互联结构及片上存储器系统,可广泛地应用于各种同构多核DSP,还可与其他低功耗优化技术配合使用,具有良好的可移植性和扩展性.

[1]汪鹏君,汪迪生,蒋志迪,张会红.基于PSGA算法的ISFPRM电路面积与功耗优化[J].电子学报,2013,41(8):1542-1548.

Wang P J,Wang D S,Jiang Z D,Zhang H H.Area and power optimization of ISFPRM circuits based on PSGA algorithm[J].Acta Electronica Sinica,2013,41(8):1542-1548.(in Chinese)

[2]Liu Q,Mak T,Zhang T,Niu X,Luk W,Yakovlev A.Power-adaptive computing system design for solar-energy-powered embedded systems[J].IEEE Transactions on Very Large Scale Integration (VLSI) Systems,2015,23(8):1402-1414.

[3]Zhang C X,Liu L,Xu W Y,Owall V,Markovic D.A square-root-free matrix decomposition method for energy-efficient least square computation on embedded systems[J].IEEE Embedded Systems Letters,2014,6(4):73-76.

[4]Hautala I,Boutellier J,Hannuksela J,Silven O.Programmable low-power multicore coprocessor architecture for HEVC/H.265 in-loop filtering[J].IEEE Transactions on Circuits and Systems for Video Technology,2015,25(7):1217-1230.

[5]Yoo S.An empirical validation of power-performance scaling:DVFS vs multi-core scaling in big LITTLE processor[J].IEICE Electronics Express,2015,12(8):1-7.

[6]Li S,Broekaert F.Low-power scheduling with DVFS for common RTOS on multicore platforms[A].ACM SIGBED Review-Special Issue on Embedded Operating System Workshop[C].New York,USA:ACM Press,2014.32-37.

[7]You D,Chung K.Dynamic voltage and frequency scaling framework for low-power embedded GPUs[J].Electronics Letters,2012,48(21):1333-1334.

[8]Zhuravlev S,Saez J C,Blagodurov S,Fedorova A,Prieto M.Survey of energy-cognizant scheduling techniques[J].IEEE Transactions on Parallel and Distributed System,2013,24(7):1447-1464.

[9]Anagnostopoulos I,Chabloz J M,Koutras I,Bartzas A,Hemani A,Soudris D.Power-aware dynamic memory management on many-core platforms utilizing DVFS[J].ACM Transactions on Embedded Computing Systems,2013,13 (1):1208-1218.

[10]Cho S J,Yun S H,Jeon J W.A powersaving DVFS algorithm based on operational intensity for embedded systems[J].IEICE Electronics Express,2015,12(3):1-7.

[11]Nogues E,Berrada R,Pelcat M,et al.A DVFS based HEVC decoder for energy-efficient software implementation on embedded processors[A].IEEE International Conference on Multimedia & Expo[C].Turin,Italy:IEEE,2015.1-6.

[12]Deng Z,Zeng G,Wang W.Energy consumption analysis satisfying time energy probability constraints for modern DVFS microprocessor[J].IETE Technical Review,2015,32(4):260-272.

[13]Jevtic R,Hanh-Phuc L,Blagojevic M,Bailey S,Asanovic K,Alon E,Nikolic B.Per-core DVFS with switched-capacitor converters for energy efficiency in many-core processors[J].IEEE Transactions on Very Large Scale Integration (VLSI) Systems,2015,23(4):723-730.

[14]Igual F D,Ali M,Friedmann A,Stotzer E,Wentz T.Unleashing the high-performance and low-power of multi-core DSPs for general-purpose HPC[A].Proceedings of the International Conference on High Performance Computing,Networking,Storage and Analysis[C].Los Alamitos,USA:IEEE Computer Society Press,2012.53-63.

[15]Chen K,Duan Y,Sun J,Guo Z.Towards efficient wavefront parallel encoding of HEVC:Parallelism analysis and improvement[A].IEEE International Workshop on Multimedia Signal Processing[C].USA:IEEE Computer Society Press,2014.1-6.

曹倩女,1983年出生于河北保定.获北京科技大学工学博士学位,现于北京工商大学计算机与信息工程学院任研究生导师.研究方向包含高性能计算与并行计算、智能管理与数据挖掘.

李辉勇(通信作者)男,1983年出生于河北石家庄.获北京航空航天大学工学博士学位,现就职于北京航空航天大学计算机学院.研究方向包含高效嵌入式视频系统开发、移动计算等.

E-mail:lihyit@126.com

Task-Aware Power Control Method for Multi-Mode Video Compression System

CAO Qian1,LI Hui-yong2,ZUO Min1,JIANG Tong-qiang1,CAI Qiang1,WANG Yu1

(1.Beijing Key Laboratory of Big Data Technology for Food Safety,School of Computer and Information Engineering,Beijing Technology and Business University,Beijing 100048,China; 2.School of Computer Engineering,Beihang University,Beijing 100191,China)

Dynamic voltage and frequency scaling (DVFS) technique,to some extent,controls the energy consumption for embedded multi-mode real-time video compression system.Yet,continuously decreasing voltage and frequency might affect interface resource transfers and even the normal system operations.To solve the problem,we proposed a task-aware power control method in response to task variations.We first analyzed the relationship between the workloads and processor resources,and then established a task-aware resource configuration model.Based on this model,we designed an adaptive power controller,which dynamically adjusts processor frequency and the number of cores.The experiments indicate that our method fulfills function and performance requirements of multi-mode video encoding system,with power consumption for encoding a frame reduced by 11.4% compared with traditional DVFS technique.

power consumption;multi-mode video;embedded system;DVFS;video compression

2015-11-03;

2016-03-03;责任编辑：李勇锋

北京市教委科学研究面上项目(No.KM201410011005);北京市优秀人才培养资助项目(No.2015000020124G029);北京工商大学教育教学改革项目(No.jg155225);国家科技支撑计划(No.2015BAK36B04)；北京市青年拔尖人才计划(No.CIT&TCD201404029);北京市自然基金重点项目(No.KZ201410011014);轨道交通控制与安全国家重点实验室(北京交通大学)开放课题(No.RCS2015K009)

TN919

A

0372-2112 (2016)07-1592-07

��学报URL:http://www.ejournal.org.cn

10.3969/j.issn.0372-2112.2016.07.011