高动态范围成像专利技术分析

杨 哲

(国家知识产权局专利局专利审查协作北京中心,北京 100000)

1 概述

高动态范围(High Dynamic Range,HDR)成像是指捕捉、存储、传输和显示真实世界光亮广泛范围并进行精确表示。HDR 图像的主要特点是高对比度、高位深度,层次丰富,画面真实感强,可更真实地还原出逼近真实场景的光影效果。与着重进一步提高清晰度的UHDTV(UltraHigh Definition TV)等技术相比,HDR 技术不但能够在户外、影院等大空间应用领域,更能在室内、家庭等小空间应用中提供更具临场感、更好视觉体验的观影效果。因此,HDR 技术必将在数字视频领域得到广泛应用,而HDR 视频传输、广播、显示系统将是未来消费电子领域发展的必然趋势。HDR 成像的研究起步于上世纪90 年代,发展至今,HDR 成像在计算机视觉、卫星遥感、医疗影像、虚拟现实、国防军事等领域取得了广泛应用,并且成为学术界和各大厂商的研究热点。本文通过HDR 成像技术的专利发展状况来分析HDR 技术的目前发展状况。

2 国内外专利申请概况

针对HDR 成像技术,分别在中文文摘数据库(CNABS)和德文特世界专利索引数据库(DWPI)中进行了检索,在全球和中国国内范围内从申请量、申请人以及目标国角度进行了专利现状和发展趋势的分析。

2.1 申请趋势分析

HDR 成像的研究起步于上世纪90 年代,图1 示出了HDR 成像技术公开日截止到2019 年12 月31 日全球和国内专利申请量情况。由图中可以看出,早在1995 年就开始有涉及HDR 成像的专利申请,不过早期申请一般仅仅涉及高动态范围这一概念。之后相关专利的不管是全球专利申请量还是国内专利申请量整体上都一直处于增长趋势。对于全球专利申请量,仅在2002 年和2007 年有些许回落,之后一直快速稳步增长,其中2013-2016 年申请量增幅尤其明显,并在2016 年达到最大年申请量565 件,之后申请量开始下降,尤其是2019 年的申请量一下子下降到2008 年左右的水平,可见,该领域技术已经日益成熟,各科技公司的研发重点开始向其他方面转移。

而对于国内专利申请量,其发展趋势与全球专利申请量发展趋势基本相同,同样也是2013-2016 年是快速稳步增长时期,并在2016 年达到年最大申请量356 件,之后申请量开始回落。可见,对于HDR 成像技术的研究,国内公司一直紧跟着全球科技公司的步伐。

2.2 专利申请人分析

表1 示出了HDR 成像技术全球专利申请人分布情况和国内专利申请人分布情况,为了便于分析,仅仅展示了申请量排名前二十的申请人。对于全球专利申请人,由表1 可以看出,日本在HDR 成像技术的研究方面处于领先地位,申请量排名前两位的申请人均是来自日本的公司,分别为佳能株式会社和索尼公司,除此之外,其他我们熟知的例如松下、夏普等日本公司的申请量也在前二十的排名中占据一席之地。实际上,这与我们在日常生活中关于相机类电子产品的多数厂商是日本公司的直观感受是一致的。来自美国公司的申请量紧跟其后,杜比实验室特许公司、高通股份有限公司和汤姆逊股份有限公司的申请量分别位于申请量前五位的后三位。同时,由表中还可以看出,上榜的美国公司是最多的,可见,美国公司对于HDR 成像技术的研究也处于领先的地位。

图1 HDR 成像技术专利申请量

表1 全球申请人和国内申请人

值得一提的是,国内的两个申请人——广东欧珀移动通信有限公司和华为技术有限公司也榜上有名,尤其是广东欧珀移动通信有限公司的申请量排名第七,同时从表1 中也可以看出,广东欧珀移动通信有限公司在国内的申请量排名第一,可见,广东欧珀移动通信有限公司是国内关于HDR 成像技术研究方面的佼佼者,创新能力可见一斑,同时也说明该公司具有知识产权保护和专利布局意识。不过略有遗憾的是,在HDR 成像技术方面,跟广东欧珀移动通信有限公司同样具有创新能力和专利布局意识的国内公司并不多,在国内申请人中,大部分申请人与全球专利申请人基本是一致的,真正的国内公司或高校实际上只有七家,占比一半不到,这说明在创新能力和专利布局意识方面,我国企业和高校要想赶上发达国家的企业和高校的水平,还有很长的一段路要走。

图2 全球专利申请目标国分布

2.3 全球专利目标国分析

图2 示出了全球专利申请目标国或地区分布,为了便于分析,仅提取了申请量排名前十位的国家或地区进行分析,分别是美国、中国、日本、欧盟、韩国、中国台湾、印度、澳大利亚、德国和加拿大。通过全球专利申请目标国或地区分布,我们可以一窥就HDR 成像技术而言各科技公司更希望自己的专利在哪些国家或地区得到保护,换言之,他们更希望在哪些国家或地区的市场推出他们与受保护专利相关的产品。从图中容易看出,目标国为美国的申请量占申请总量的29%,目标国是中国的申请量紧跟其后,占申请总量的25%。可见,目标国为美国和中国的申请量的总量之和超过申请总量的一半以上,可谓是该领域的半壁江山都被美国市场和中国市场瓜分。当然,这也是侧面反映了全球第一大经济体和第二大经济体的强大的市场吸引力。目标国或地区为日本、欧盟和韩国的申请量分别为14%、12%和7%,分别排在第三名、第四名和第五名,剩下的12%的份额则由剩下的五个国家或地区分享。

2.4 典型专利

HDR 成像技术中一个很重要的研究方向是如何获得HDR 图像。通过对目前公开的全球专利申请进行分析梳理,为了获得HDR 图像,可以粗略地划分为三种方法：第一种是通过使用图像信号处理的算法来增强从图像传感器输出的图像数据的动态范围和质量；第二种是通过获得具有不同曝光量的两个或多个图像并合成这些图像来提高动态范围；第三种是通过在图像传感器的单个像素中配置具有不同敏感度的多个像素来获得两个图像数据,在相同的曝光时间中从具有不同的敏感度的多个像素产生的像素数据显示出与通过不同的曝光量产生的图像数据具有相同的效果,通过两个像素产生的图像数据被合成和修正,从而获得高动态范围图像。

申请人为广东欧珀移动通信有限公司、公开号为CN106454149B 的专利中,公开了一种获得HDR 图像的方法：依据预设的策略,控制辅图像传感器中,与同一滤光单元对应的n 个相邻的像素点分别处于不同的曝光量下；分别通过主图像传感器和辅图像传感器获取被拍摄物的第一图像和第二图像；将第二图像进行拆分处理,得到与第一图像中包括的像素数量相同的第三图像；将第三图像和所述第一图像进行合成处理,得到所述被拍摄物的高动态图像。

申请人为佳能株式会社、公开号为JP5767485B2 的专利中公开了一种获得HDR 图像的方法：获得使用第一曝光拍摄的第一图像和使用高于所述第一曝光的第二曝光拍摄的第二图像,根据所述第一图像创建作为合成处理的基准使用的第三图像,通过使用预先与所述第三图像的像素值相关联的加法系数对所述第一图像和所述第二图像进行加权合成来创建HDR 图像。

申请人为杜比实验室特许公司、公开号为US8135230B2 的专利中公开了一种提高图像数据的动态范围的方法,其发明点在于将亮度提高函数应用于低动态范围图像数据以生成高动态范围图像数据。

申请人为三星电子株式会社、 公开号为US8547451B2 的专利中,公开了一种获得HDR 图像的方法,其发明点在于通过基于应用不同的曝光时间获得的图像,来获得HDR 图像。

3 结束语

本文对HDR 成像技术的全球专利申请和国内专利申请进行了研究分析,全球专利申请量和国内专利申请量都在2016 年达到峰值,之后稳步发展。日本在HDR 成像技术的研究方面处于领先地位,申请量排名前两位的申请人均是来自日本的公司。国内企业的创新能力和专利保护意识相比国外公司依然有一定的差距。值得庆幸的是,以广东欧珀移动通信有限公司为代表的国内公司正在努力迎头赶上,期待在不远的未来能看到更多中国公司的身影。