基于视觉显著性的AMOLED 显示器多区域功耗优化∗

李德光 , 郭 兵 , 张瑞玲 , 马友忠 , 任祯琴 , 赵旭鸽 , 谭 庆, 李君科

1(洛阳师范学院 信息技术学院,河南 洛阳 471934)

2(四川大学 计算机学院,四川 成都 610065)

3(黔南民族师范学院 计算机与信息学院,贵州 都匀 558000)

ICT(information and communication technology)产业作为全球发展最快的产业之一,统计数据显示:其能耗已占到了全球总耗电量的10%[1],其碳排放达7 亿吨/年,并以每年约4%的速度递增[2].为推动ICT 产业的绿色低碳环保可持续发展,绿色计算[3-6]已成为众多国内外研究者的共识.目前,ICT 产业进入以智能移动终端、智能穿戴、虚拟现实、智能机器人及万物互联的物联网技术为代表的新产业时代,使得嵌入式计算逐步成为主流.以典型的嵌入式设备智能移动终端为例,显示屏的能耗通常占系统总能耗的27%～50%[7-10],虽然单台设备的功耗不高(平均功耗为0.3W～1W),但截止目前,全球智能手机的持有量已超过23 亿部.由于嵌入式设备种类繁多、应用范围广、数量巨大,从而其总体耗能十分惊人.特别是对于电池容量受限的智能移动终端、智能可穿戴以及虚拟现实等设备,降低显示屏功耗、提高设备续航时间、延长使用寿命,已成为功耗优化领域中的一个重要研究课题.

AMOLED 显示器为嵌入式设备中高耗能组件(表1 为智能终端Galaxy S-I9000 各组件不同工作状态下的功耗),图1 为终端Galaxy S-I9000 在不同状态下以及各测试软件运行时各组件的功耗分布图,图1(a)所示为系统在处于飞行模式并且屏幕关闭系统处于Idle 状态时的系统功耗为52.4mW,此时系统功耗最低,功耗的来源主要是设备集成电路芯片(SOC)的基本静态功耗.图1(b)所示为Android Browser 重复运行20 次,每次采样周期为100s 的功耗分布情况,其平均功耗值为235.6mW,其中,各组件的功耗分布情况为CPU 功耗占设备总功耗的32.4%,OLED 功耗占设备总功耗的29.8%,Wi-Fi 功耗占设备总功耗的20.2%,SOC 功耗占设备总功耗的17.6%.图1(c)所示为PPStream 重复运行20 次的平均功耗值为77.2mW,其中,各组件的功耗分布情况为CPU 功耗占设备总功耗的29.9%,OLED 功耗占设备总功耗的33.5%,Wi-Fi 功耗占设备总功耗的18.8%,SOC 功耗占设备总功耗的17.8%.图1(d)所示为Doodle Jump 重复运行20 次的平均功耗值为170.2mW,其中:CPU 功耗占设备总功耗的32.6%,OLED 功耗占设备总功耗的33.6%,Wi-Fi 功耗占设备总功耗的17.4%,SOC 功耗占设备总功耗的16.4%.从表1 和图1 可知,OLED 为智能终端中的高耗能组件,其中,在运行视频软件和游戏软件时,由于显示内容色彩的丰富性,OLED 的功耗明显增加.

AMOLED(active-matrix organic light-emitting diode)显示技术[11,12]以其可视角度广、高色域、电压低、屏幕薄、响应快、可弯曲甚至可折叠、重量轻、成本低等特点,目前发展迅猛,典型事例如京东方公司中国首条第6 代柔性AMOLED 生产线于今年量产,Apple 公司新发布的IPhone X 及Apple Watch 均配备了多点触摸AMOLED 屏.OLED 屏幕的驱动方式分为有源驱动(AMOLED)和无源驱动(PMOLED),由于有源驱动可以实现对屏幕中每个像素点进行独立控制,屏幕的节能效率更高,目前为OLED 的主要驱动方式.本文针对AMOLED显示屏的功耗优化进行研究.

不同于传统的LCD(liquid crystal display)显示技术需要高强度的背光,AMOLED 显示技术采用非常薄的有机材料涂层和玻璃基板,当有电流通过时,驱动有机材料发光产生不同的颜色.AMOLED 屏幕的每个像素点由红色、绿色和蓝色这3 种类型子像素组成,3 个子像素各自独立发光构成一个像素点.由于AMOLED 的自身自发光特性,可以分别对每个子像素点的发光进行独立控制,从而实现在不降低显示内容视觉效果的同时降低其显示功耗.所以AMOLED 屏幕的显示功耗完全由显示内容所决定,更确切地说,是内容中所有像素点的像素值决定[13,14].当屏幕显示全黑色时,显示屏的功耗几乎为零;当屏幕显示全白色时,屏幕的功耗处于峰值.由于其自发光特性可以分别对每个子像素点的发光进行独立控制,从而在不影响显示内容整体视觉效果的前提下,通过动态调整子像素的像素信息降低屏幕功耗.此时,屏幕功耗优化的关键是显示内容中动态调整区域的选择与划分.已有学者假定屏幕的固定区域为调整区域或者对显示内容整体进行调整.上述方法虽在一定应用场景下适用,但存在明显的局限性.

如何对显示内容进行多区域划分进而动态调整,成为AMOLED屏幕功耗优化的关键.由于人类视觉系统并非对屏幕显示内容所有区域平等地进行处理[15,16],而是通过视觉关注机制筛选出重要区域以进一步的优先解读,因此,根据人类视觉特性,通过对所显示内容进行视觉显著性计算,可以有效地对显示内容进行多区域划分进而调整,从而实现既保持显示内容的“感兴趣域”信息的同时降低“非兴趣域”的像素信息.由于人类视觉系统的分辨能力有限,无法察觉出处于一定阈值以下的信号内容变化[14,16],从而实现在保证显示内容整体视觉效果的同时降低显示功耗.随着AMOLED 显示技术在智能移动终端、智能平板、高清数字电视、智能穿戴设备、虚拟现实设备等新型智能移动设备的广泛应用,降低终端的显示功耗对降低整个设备的能量消耗起到关键作用,对占据ICT 产业超过50%以上份额的嵌入式设备功耗具有重要的现实意义,同时可以延长设备的使用寿命,降低由于消耗电力带来的二氧化碳排放以及对环境保护起到重要的推动作用.

1 相关工作

目前,针对AMOLED 的功耗优化方法主要有基于上下文感知的亮度调节[17-33]和动态颜色映射[34-42].亮度调节方法实现简单,但节能显著时,图像的视觉效果较差;动态颜色映射不适用于颜色表示特定含义的图像.计算机视觉感知对人类视觉感知系统的深入研究[15],为AMOLED 功耗优化提供了方向,通过视觉感知,可以有效地获取显示内容各区域的视觉关注度,根据其调整实现满足视觉效果的同时降低功耗.

Dalton[17]最早提出通过网络摄像头检测用户与当前计算机是否交互,当用户离开时将显示屏关掉.该方法虽简单,但其为显示设备节能提供了思路.随后,Intel 和Microsoft 等公司制定了更加有效的屏幕电源管理策略,并将其集成到通用的高级配置与电源接口(ACPI)中.Xie[18]通过案例研究发现:用户在浏览图片时,经常使用缩放和滚动功能浏览图像中的兴趣域.基于该事实,其提出了一种通过分析图片的浏览记录发现用户的兴趣点及关注点改进软件性能.该研究基于图像的兴趣点及关注点,为OLED 屏幕功耗优化提供了方向.

Wee[19,20]提出了基于用户兴趣域降低OLED 显示功耗的方法,其假设当前屏幕中心区域为用户兴趣域,并设定该区域为矩形区域,从兴趣域到图像边界依次按一定的距离设定一个矩形区域为非兴趣域,多个矩形区域共同构成图像的非兴趣域.该算法在实现时较为简单,但其假设对于图像兴趣域不在中心的图像是无法适用的.在文献[20]中,同样基于用户的兴趣域对应用程序提出了一个简单的兴趣域模型,假定用户在使用应用程序时,其注意力主要集中在显示屏幕的顶部和底部,进而对屏幕的其他区域进行优化.同样,该假设具有局限性,无法满足不同应用程序的要求.Chen[21]提出:当用户与屏幕进行交互时,手指覆盖的区域以及其相邻区域通常用户不予关注,此时将手指覆盖的区域调节至完全黑暗,即将该区域范围像素点的像素值调至为零,相邻区域进行部分变暗处理,该方法可以有效将该区域的功耗显著降低,同时对图像整体的视觉效果未产生明显的影响.但该方法未对屏幕的其他区域进行调节,存在进一步的优化空间.

Choubey[14]基于人类视觉感知特点及感知显示内容,提出选择性关闭部分像素点的功耗优化方法,其根据人类视觉系统最少可辨视觉阈值,计算当两个点光源之间的距离小于0.04mm～0.05mm 时,在视觉效果上二者被视作为同一个光源.因此对于高清甚至超清的AMOLED 显示器,关闭部分像素点以降低显示功耗.其在实现时只关闭图像的部分区域,存在进一步优化的空间.Chen[22]提出一种基于图像空间的节能可视化方案,其核心思路是:通过图像边缘检测算法获取图像的兴趣域,保留图像的兴趣域的同时抑制非兴趣的图像信息,实现保留图像整体视觉效果的同时降低显示功耗.该方法在一定程度上实现了功耗优化,但其未对图像多区域优化进行深入讨论,因此也存在继续优化的空间.

上述研究[17-22]为降低AMOLED 显示功耗提供了思路,即:通过视觉感知算法对显示内容进行感知,而不是通过简单的假设确定需要优化的区域.由于人类视觉感知系统的筛选机制,人类通常对图像中重要区域关注度较高,该区域在计算机视觉系统中称为图像的“兴趣域”;同时,对图像中非重要区域信息(通常称为“非兴趣域”)关注度较低.目前,对图像内容感知主要通过图像显著区域计算[23],图像的视觉显著性信息能够反映图像中不同区域对人视觉系统刺激程度,因此,通过视觉感知算法对显示内容进行感知,根据人们的视觉特性对显示内容划分不同的区域,对不同的区域在不影响图像整体视觉效果的同时进行像素调整,实现降低显示内容的功耗.目前,显著区域检测主要算法[23-29]及其性能分析见表2.图2 为CS[28]算法显著区域检测的3 张测试图.

Table 2 Performance comparison of different algorithm for salient region detection表2 图像显著区域检测各算法性能指标

从视觉效果上,算法可以有效地检测出图像的显著区域,同时为功耗优化提供图像的多区域特征图(multiregion saliency map),根据特征图对图像不同的区域计算在满足视觉效果限制条件下的像素调节阈值.此时,即将AMOLED 屏幕功耗优化问题转化在满足视觉效果限制条件下寻找图像各个区域功耗最小化的问题.由于在计算图像显著图时会带来一定的计算量,此时需要对算法的复杂度、执行时间以及对视觉效果的影响等因素进行深入研究,因此迫切需要将屏幕功耗优化与图像视觉感知协同考虑,设计更加快速有效的图像多区域感知算法,以便最大限度优化功耗,同时减小视觉感知的计算功耗.

Wee[19,20]均采用降低显示内容非兴趣域的亮度实现屏幕功耗优化,但其非兴趣域调节系数固定,导致调节后的图像非兴趣域与兴趣域区别明显,对视觉效果有明显的影响.段林涛[30]以屏幕中心到边界间隔相同间距设置多个矩形,并赋予不同的亮度调节系数.Betts[31]同样对屏幕选定区域的像素亮度调节,实现功耗优化.上述方法关于优化区域的选择存在一定的局限性.Hadizadeh[32]对每个像素点确定一个亮度明显差异识别阈值JND(just-noticeable-difference threshold),提出了一种自适应性JND 调节模型.该方法对多组图像验证,平均可节约14.1%的显示功耗;但对每个像素点均计算其JND 阈值,产生较大的计算功耗.Hadizadeh 也指出:该方法只支持产生静态低功耗图像,无法在视频播放等实时性应用场景中使用.Lo[33]提出了基于主观视觉感知的AMOLED亮度调节方法,获取视频比特流的运动矢量,并将其转换为图像特征图,以人类视觉特点为限制条件进行亮度调节,实现功耗优化,但未对显示多区域的优化进行深入讨论.

Chuang[34]首先对不同的颜色功耗特点进行研究,提出了在限定条件下搜索颜色功耗最优的医学等数据功耗最优可视化方案.方案虽可以对医学等数据可视化提供功耗最优颜色方案,但对于颜色代表特定含义的可视化应用是不适用的.Wang[35]针对顺序数据的可视化,提出了在给定视觉感知差异的多目标功耗最优化色彩显示方案,提出了预先设计配色方案和自动生成的配色方案来对顺序数据进行可视化.该方法与Chuang[39]类似.Vallerio[36]首先提出了高能效移动应用界面设计,并以典型的应用界面设计证明高能效的可行性.随后,Dong[37]针对移动应用软件界面提出了利用颜色转换来降低OLED 显示功耗的方案.首先统计原界面的颜色种类及位图信息,并根据各颜色的区别度及图像内容设置限制条件,依据该限制,搜索使得整副图像功耗最小的颜色空间来替换当前颜色空间,并在文献[38]中改进浏览器搜索引擎,自动将浏览网页的颜色转换为功耗最小的颜色,有效降低了显示功耗,延长了待机时间.Li[39]通过对Web 应用程序的结构分析,使用灰暗的颜色来替代原有较明亮的颜色,降低显示功耗.该方法的思想与文献[34-38]是一致的,在实现方式上有所区别.但上述方法由于改变了原有图像的有颜色空间,只适用于图形用户界面,不适用于图像及视频需要维持原有颜色意义的应用场景.Chen[40]基于隐马尔可夫模型(HMM)分类器,根据视频的功耗特点对视频进行分类,对不同种类的视频采用颜色映射、饱和度调节及色调调节来降低视频播放时的显示功耗.该方法虽降低了显示功耗,但由于进行分类时产生的计算功耗较大.Jin[41]基于颜色映射提出了功耗与视觉差异平衡指标,并在颜色空间内搜索指标值最优点,旨在寻找视觉效果与功耗最优的平衡点,但在寻找最优平衡点时带来的计算功耗较大.

Bhojan[42]提出了人类视觉系统(HVS)感知的自适应颜色转换和变暗方法,在保持视频的视觉逼真度的同时,为OLED 显示器创建节能视频.其提出的颜色空间转换及变暗方法本质上都是降低各颜色分量的像素值,与本文提出的方法类似,但其未对视频内容进一步区分.Linares[43]用于Android 应用程序(Gemma)的GUI 能源多目标优化,用于使用多目标优化技术生成调色板.该技术生成优化能耗和对比度的颜色解决方案,同时使用与原始调色板一致的颜色.Asnani[44]提出将蓝色的强度降低到尽可能低的水平,从而在保持图像感知质量的同时降低整体功耗.由于蓝色像素分量是最耗电的分量,即它比红色和绿色分量耗电更多.其提出的方法在一定程度上可以降低图像的显示功耗,但需要平衡其他另外颜色分量的比例,对于蓝色分量占比较高的图片优化效果较好,但对于蓝色分量占比较少的图像,优化效果需进一步改进.

亮度调节通过降低像素点的亮度间接减小像素点的像素值,动态颜色映射将图像原有的颜色空间转变为其他功耗较低的颜色空间,二者在本质上都是减小像素点的像素值来降低显示功耗.亮度调节方法实现较为简单,同时节能效果明显,但其功耗优化程度直接与图像的视觉效果有明显的关系.动态颜色映射通常是将依据原有图像的颜色空间在满足能够描述图像特征的同时寻找一个功耗最小的颜色空间.该方法功耗优化明显,但由于该方法将原有图像的颜色空间进行了颜色空间映射,改变了原有图像颜色的物理意义,对于只关注描述图像特征的图像是适用的,但对于颜色表示特定含义的图像是不适用的.表3 为各调整方法优缺点对比总结.通过对上述方法的分析,为保证显示内容原有的颜色物理含义,同时保证图像的视觉效果,需要提出一个更普适高效的显示内容像素级动态调节方法,来完成显示内容视觉效果不受损害的同时,降低其显示功耗.

Table 3 Comparison of advantages and disadvantages of various methods表3 各调节方法优缺点比较

目前,在AMOLED 低功耗研究取得了一定的研究成果,但针对更加普适高效的AMOLED 功耗优化研究需进一步深入.随着4G、5G 网络通信的快速发展,网络带宽及数据流量急速增大,智能移动终端、智能穿戴、智能机器人及虚拟现实等智能终端设备更加普及,AMOLED 以其画质好、更轻薄、可折叠、可柔性显示、低功耗及抗眼疲劳等特点在嵌入式设备中应用更加广泛.本文针对屏幕显示的内容进行图像感知,提出根据人类视觉特点对图像进行多区域感知,更准确地获取当前屏幕的特征区域.根据不同区域的关注度对多区域进行划分,根据图像整体视觉效果及功耗优化程度,对不同的区域进行像素级动态调整,以保证最低降低能耗的同时,保证图像整体视觉效果.

2 AMOLED 功耗模型

功耗建模是计算功耗的基础,也是评价功耗优化效果的核心量化指标.目前,AMOLED 的功耗建模主要分为两种——基于硬件功耗测量仪器的功耗统计模型和基于软件的近似估计功耗模型:第1 种方法主要通过功耗测量仪器测量,或者通过硬件传感器嵌入到AMOLED 部件的接入电路统计功耗;第2 种方法是通过对AMOLED 建立功耗模型统计功耗.基于硬件的方法测量结果通常比基于软件估计的更准确,但在测量时需专门的硬件;而基于软件的近似估计方法通过构建功耗模型对功耗进行计算,操作简单,通用性强.目前,基于软件近似估计的功耗建模方法已成为国内外研究者的共识.

在典型的智能移动终端系统中,操作系统及应用软件运行于主处理器上,图形处理单元(通常包含图形加速器及显示控制器)生成显示内容的位图,并将其存储在帧缓冲区内存中;然后,位图被发送到显示器进行显示.AMOLED 代码级功耗建模[16,17]通常借助用户界面使用高级语言实现的特点,通过遍历用户界面包含的控件种类及结构分析估算界面功耗;图像级功耗建模[16]主要通过访问图像的局部位图信息估算当前显示功耗;像素级功耗建模[16,45,46]主要通过遍历图像的全部像素信息计算当前显示功耗;电路级功耗建模[47]主要获取薄膜晶体管的载流子迁移率、OLED 发光效率、像素纵横比等参数进行功耗计算.代码级功耗建模依赖于对高级编程语言的分析,无法计算自然图像的功耗;图像级功耗建模虽计算速度较快,但精确度不够;电路级功耗建模精确度较高,但通用性不够;像素级功耗建模通过图像位图信息计算显示功耗,其精确度高、通用性较强,目前为AMOLED 功耗建模的主要方法.

本文采用Dong[16]提出的像素级功耗模型,具体的功耗模型见公式(1)及公式(2):

公式(1)和公式(2)中的f(⋅),h(⋅)和k(⋅)分别表示像素点红色、绿色和蓝色各颜色分量的功耗函数,Ppixel表示单个像素点的功耗,n表示图像中像素点的总数,C表示OLED 不受像素约束的静态功耗,Piamge表示整个图像的功耗.其首先通过测量一个完全黑色的屏幕可以获取AMOLED 的静态功耗C,3 个颜色分量的功耗函数可以通过对屏幕填充单一颜色时,逐渐改变颜色强度获取各自颜色的功耗函数.图3(a)是3 种颜色分量在μoled-32028-p1 AMOLED 显示屏上不同颜色强度下的功耗,从图中可以观察到:最上方的曲线为蓝色颜色分量的屏幕功耗,其功耗明显高于红色和绿色颜色分量,下方的两个曲线为红色颜色分量和绿色颜色分量的屏幕功耗,其中实心曲线为红色颜色分量的屏幕功耗,二者屏幕功耗相对较小.从图3(a)得知,各颜色分量的功耗函数是一个非线性函数.为简化计算,对3 个非线性函数使用最小二乘法进行曲线拟合,得到颜色分量与功耗之间的线性关系如图3(b)所示.

3 AMOLED 多区域视觉显著性计算及像素调节方法

多区域视觉显著性计算是指通过视觉显著性算法对内容引起用户的视觉关注度进行区分,对不同的区域进行不同程度的功耗优化,实现在降低功耗的同时保证视觉效果,该步骤是功耗优化的关键.基于视觉关注的AMOLED 显示内容多区域感知是指根据人类视觉特性,通过视觉感知算法获取显示内容的显著区域.在计算机视觉中,该区域通常也称为获取图像的兴趣域.图像的感兴趣域ROI(region of interest)是指图像中最能引起用户兴趣的、最能表现图像特征的区域.研究[29]表明:人类视觉系统与生俱来具备处理复杂场景的能力,人类视觉系统可以快速扫描整个场景,并聚焦到最相关的区域,快速准确地滤除次要、冗余的视觉信息,进而快速锁定重要目标,此即人类视觉关注的筛选机制.通常,在视觉关注早期可以快速锁定图像亮度对比度突出的区域,而那些与周边不同的像素区域将吸引更多的视觉关注.本文正是基于此特性,对显示内容基于视觉关注度进行划分不同区域,对显示内容的不同区域,根据其视觉关注度进行区分,实现显示内容多区域感知.通过筛选区分,进而进行像素动态调节,从而实现在保证图像整体视觉效果的同时降低显示功耗.

对于任意一幅图像,首先通过视觉显著性算法获取图像的显著性图(saliency map),根据显著图确定图像中各像素点的视觉关注度(visual attention),根据图像各像素的视觉关注度,将图像进行分割成不同的特征区域.本文基于Itti[29]提出的基于显著性的快速场景分析视觉注意模型对显示内容进行多区域划分,Itti 算法首先对输入图像进行线性滤波,在多个特征通道和多尺度的分解,得到各个特征通道的特征图,最后再对特征图做融合.为提高图像显著图的准确度及平衡由于运行算法带来的计算功耗,本文针对Itti 算法进行部分优化,以满足上述要求,算法流程图如图4 所示.

具体优化包含:

(1) 图像双边滤波

在实现时我们发现:线性滤波在降噪时都会有一定的模糊边缘,对于高频细节的保护效果并不明显.因此,本文使用双边滤波器对图像进行滤波处理.双边滤波的边缘保持特性主要是通过在卷积的过程中组合空域函数和值域核函数来实现的,比高斯滤波多了一个高斯方差,从而达到保边去噪的目的,具有简单、局部、非迭代的特点,其公式为公式(3):

其中,Ifiltered为输出图像,I为输入图像,x是当前被过滤像素的坐标,Ω是以像素点x为中心的邻域窗口,fr是值域核函数,gs是空域核函数.

(2) 显示内容多区域分割

由于分割的显著域数量对图像分割操作及下一步的像素调节操作带来的功耗有一定的影响,因此,在根据图像显著图进行分割时,需要考虑各区域的颜色分量图及方向分量图:对于连续空间,其方向距离小于一定阈值的情况的多区域作为一个显著域处理;对于非连续空间,并且其方向距离大于一定间隔的情况视为互独立的区域进而分割.同时,根据Itti 算法生成的图像显著性图,可以定量地评估每个像素的视觉关注度,其值在0 到1 之间:1 代表该区域具有最高的关注度水平,具有相同显著值的像素点具有相同强度的视觉注意效果.根据像素点的视觉关注度,并参考其颜色分量及方向分量信息,理论上可以将图像平均划分为n个子范围,将各像素点分为n个相应的注意区域.但由于分量数量带来的附加功耗限制以及实际应用情况的统计数据表明:一幅图像中,通常引起人类较大关注的区域不超过5 个.同时,在实验分析中我们发现:对于大多数显示内容分割区域的取值为3～5 时,此时图像的功耗优化及带来的计算功耗可以取得最优的平衡.

(3) 多区域像素动态调整方法

设一副图像被分割为N个不相交的区域用集合R来表示,R={r1,r2,...,rN}.图像多区域像素动态调整即转化为在给定N个区域的空间内,在保证图像整体视觉效果的限制条件下,求解各区域最大的调节系数,使得最后图像在满足质量的前提条件下图像功耗值最小化的问题,目标函数如公式(4)所示:

其中,xk表示当前屏幕的功耗函数,θ(i)表示某一区域的调节系数.

此时,调节的关键是确定各区域最大调节系数.该系数的确定,需要根据当前区域的视觉关注度及调节后的图像整体视觉效果.设第i区域的视觉关注度为η(i),C(i)为动态调整系数,N为图像中的区域数量,调节系数的公式为公式(5):

由公式(5)可知,调节系数与当前区域的视觉关注度成反比.即:当前区域如果其关注度高,则其调节的幅度较小;反之,调节幅度较大.此时,调节系数的确定即是求解动态调整系数C(i).

为保证调整区域的视觉效果,我们使用图像结构相似系数(SSIM)来约束图像调节的幅度,在计算时,分别计算各区域调整后的结构相似系数.由于各区域的视觉关注度不同,所以人类视觉对各区域所能承受的失真程度不同.设视觉关注度最小区域的SSIM 值为β,则剩余区域的SSIM 取值范围为β～1.第i个区域的SSIM 的取值为公式(6):

根据公式(5)和公式(6)的限制条件,即可求解目前函数.

但此时未考虑如果两个相邻区域调节系数差值较大,则在两个相邻区域的连接处则会出现明显的边界效应,造成图像边缘的不平滑进而影响视觉效果.为消除相邻区域可能出现的边界效应,需要对相邻区域的调节系数进行限制.我们用最小可觉差(just noticeable difference,简称JND)来限制相邻区域在调节过程可能出现的边界效应,即调节后的两个区域的差值小于最小可觉差,详见公式(7):

C(i)与C(j)为任一两个相邻区域的动态调整系数,二者差值的绝对值除以二者的平均值,即为相邻区域的动态调整幅度.d为最小可觉差,该值为一个常数.因此,在求解各区域的动态调整系数时需要同时需要满足公式(7),以消除可能带来的相邻区域边界效应.具体调节算法如下所示.

4 实验结果及分析

首先介绍本文采用的实验环境,接下来对提出的算法进行验证.为对文中提出的方法进行对比分析,给出对图像整体使用单一调整系数的算法(WRA 算法),对兴趣域使用最小矩形包含同时未对边界进行处理的算法(RRA 算法),以及本文提出的多区域动态调整算法(MRA 算法).最后给出采用上述3 种算法处理后的两组图像及图像的各关键属性信息,图像来自于Google 图像库(image.google.com).同时,为验证方法的有效性及普适性,在Google 图像库中随机选取200 张图像,使用文中的算法处理,对处理后的图像功耗优化效果进行统计分析.

4.1 实验环境

为获得图像在AMOLED 上的显示功耗,首先要获取3 个颜色分量的能耗函数f(⋅),h(⋅)和k(⋅).选取型号为μOLED-32028-P1 AMOLED 作为本文显示实验平台,其分辨率为320×240,色数为65K.采用HOIKI 3334 多功能功率测量仪器测量瞬时功耗和累计功耗,KA3005P 数控直流电源提供稳定可控电压,实验各部件关键参数见表3.

Table 3 Key parameters of each component in the experiment表3 实验各部件关键参数

对每一个颜色分量测量中,首先用该单一颜色填充整个AMOLED 屏幕,调节颜色强度并记录当前颜色强度下屏幕功耗,每个强度的测量时间为30s,计算其平均值作为当前强度下的颜色功耗,测量结果如图3(a)所示.从图3 得知,各颜色分量的功耗函数是一个非线性函数,为简化计算,对3 个非线性函数使用最小二乘法进行曲线拟合,得到颜色分量与功耗之间的线性关系如图3(b)所示.

4.2 实验结果分析

图5 所示分别为第1 组图像的原始图像、边缘检测图、图像特征图、应用WRA 后的图像、应用RRA 后的图像、应用MRA 的图像.

表4 给出了使用3 种算法处理后的图像功耗信息及图像结构相似度等关键信息.Power 表示图像在实验指定屏幕上的瞬时功耗,MSSIM 表示使用算法处理后的图像整体相似结构参数的平均值(即各区域的结构相似度的平均值)来评价原图像与输出图像在结构上的相似性,Reduce ratio 表示优化后的图像相比原图像的功耗优化率.符号“-”表示当前属性值无变化,表中正值表示图像属性值相比原图的属性值变化情况.

Table 4 Key attribute information of different images表4 各图像关键属性信息表

从图5 和表4 中观察到,应用3 种算法输出的图像比原始图像都具有更低的功耗.当限定图像的平均结构相似系数(MSSIM)为0.95 时:对于图像1,应用WRA 算法图像功耗降低21.6%,应用RRA 算法图像功耗降低25.8%,应用MRA 算法图像功耗降低24.6%;对于图像2,应用WRA 算法图像功耗降低17.4%,应用RRA 算法图像功耗降低19.7%,应用MRA 算法图像功耗降低18.8%;对于图像3,应用WRA 算法图像功耗降低16.5%,应用RRA 算法图像功耗降低18.2%,应用MRA 算法图像功耗降低17.4%.对于3 幅图像,本文提出的MRA 算法平均降低20.2%的功耗,功耗优化效果比较明显.

对于3 幅图像,在保持同样的结构相似度的限制条件下,MRA 算法降低的功耗分别比WRA 算法高出3%,1.4%和1.1%,平均值为1.8%.说明本文提出的算法对降低图像的功耗效果更显著.同时,本文提出的MRA 算法在视觉效果上优于WRA.这是由于WRA 算法对图像整体进行调整,调整系数单一无法凸显显著区域的特征.对于RRA 算法,在保持同样的结构相似度的限制条件下,功耗优化效果略优于本文提出的WRA 算法.这是由于RRA算法使用最小矩形区域包含图像显著域,其显著调整区域小于WRA算法,使得其调整系数大于MRA算法,从而其功耗效果略优于MRA 算法.但由于其未对不同的特征区域的调整系数进行边界限制,导致在视觉效果上出现明显的边界效应.而本文提出的MRA 算法由于对不同的特征区域的调整系数进行了限制,所以其变化趋于更加平缓,更能保持图像质量,从而满足较好的视觉效果.

由表4 和图5 的数据定量分析可以清晰地观察到,我们提出的MRA 算法比WRA 及RRA 算法的效果更好.这是由于在对图像进行调节时保存了图像兴趣域的关键信息,同时考虑了不同区域的调节系数,在降低功耗的同时,保证图像整体的视觉效果.

上述3 副图像中,第1 个图像的功耗优化最多.这是由于该图像的显著区域面积相对较小,其非显著区域面积较大,而在调节时.非显著区域的调节系数较大.从而使得图像的整体功耗优化效果比例较大.对于第3 个图像,由于其显著区域面积相对较大,非显著区域面积相对较小,在功耗优化时,调节系数较大的区域面积较小,使得图像整体的功耗优化效率相对于第1 个图像减少.

图6 所示分别是第2 组图像的对应处理后的各图像信息(与第1 组的排列保持一致).

表5 中,各属性及符号与表4 中的属性及符号含义相同.

Table 5 Key attribute information of different images表5 各图像关键属性信息表

从图6 和表5 中观察到,应用3 种算法输出的图像比原始图像都具有更低的功耗.当限定图像的平均结构相似系数(MSSIM)为0.95 时:对于图像1,应用WRA 算法图像功耗降低10.2%,应用RRA 算法图像功耗降低9.6%,应用MRA 算法图像功耗降低10.4%;对于图像2,应用WRA 算法图像功耗降低11.2%,应用RRA 算法图像功耗降低9.5%,应用MRA算法图像功耗降低11.7%;对于图像3,应用WRA算法图像功耗降低9.5%,应用RRA算法图像功耗降低8.1%,应用MRA 算法图像功耗降低9.6%.对于3 幅图像,本文提出的MRA 算法平均降低10.6%的功耗,有一定的功耗优化效果.

对于第2 组中的3 幅图像,在保持同样的结构相似度的限制条件下,MRA 算法降低的功耗分别比WRA 算法高出0.2%,0.5%和0.1%,平均值为0.27%.说明本文提出的算法与MRA 算法对降低图像的功耗效果基本一致,并无明显的优势.这是由于对于第2 组的图像无明显的显著区域,图像整体各部分无明显的差别,因此本文算法无法提取图像的特征区域,因而各区域在视觉关注度方面无明显区分.所以在对此类图像时,本文算法将图像当作一个整体来对待,因而其功耗优化效果与WRA 算法基本无差别.但在实际应用场景中,此类图像出现的概率较小,因而在大概率应用场景中,图像通常有一定的显著区域,因而本文提出的方法具有一定的优势,接下来通过统计分析进行说明.

为了验证提出方法的通用性,我们进行了多样例统计分析,随机从Google 图像库中选取200 张图像来验证.对每一张图像,采取相同的处理步骤:首先记录其原图像的功耗信息,而后记录使用MRA 算法处理后的功耗数据,最后对这200 张处理后的功耗降低率进行统计.图7 为200 张图像应用MRA 方法后的功耗优化比例分布图.

在保证图像的MSSIM≥0.95 时,从图中可以观察到:41%的实验样本实现降低功耗为20%～30%,24%的实验样本实现降低功耗为30%～40%,只有很少的实验样本的功耗降低非常不明显.这是由于这些图像的兴趣域基本占据整个图像,同时,该类图像的各颜色信息表示特定的物理含义,所以基本无法对该类图像的各像素值进行调整,因而无法进行功耗优化.所有实验样本平均降低功耗为18.6%,这证明了提出方法的有效性和通用性.在进行多样例统计分析中我们发现:当图像的主色彩是白色或者蓝色时,功耗的降低比例是非常明显的.这是由于在AMOLED 功耗模型中,蓝色颜色分量消耗屏幕功耗较高,红色分量和绿色分量消耗的屏幕功耗相对蓝色较小;而对白色色彩可以显著地降低各颜色分量,因而功耗优化效果较为明显.而对图像的主色彩是灰色时,功耗的降低比例不是非常明显.这是由于该类色彩其各颜色分量的像素值已相对小,在调整各颜色分量像素值时,调整的幅度较小,因而功耗优化略差.同时,对显著区域明显且该显著域的区域大小相对有限时,我们的方法对该类图像的功耗优化效果较好.

5 总结

本文针对AMOLED 的自发光特性,提出基于多区域内容感知的图像低功耗优化方法.方法的核心是:通过多区域内容感知算法对显示内容的重要区域进行提取,在保留图像重要区域特征的前提下,根据各区域的视觉关注度进行多区域像素调节,从而在实现保证图像整体视觉效果的同时,最大限度降低图像显示功耗.通过实验验证表明:提出的方法可以平均节约18.6%的显示功耗,同时保持较高的图像视觉质量.文中提出的方法可以较好地降低图像显示功耗,同时,该方法也可以用于视频及其他多媒体应用场景.