立体视频编码技术的专利申请分析

苏玉磊

（国家知识产权局 专利局通信部，北京 100088）

（上接第8期第40页）

2.5 科研院所的专利分析

表5为中国专利申请中主要科研院所的申请数量分布；表6为国际范围中主要科研院所的申请数量分布（注：由于VEN数据库需对中文申请的数据进行后期加工，有些申请尚未入库，或者有些申请摘要索引缺失，导致VEN中的同族数量减少；国外科研院所的许多技术未进入中国申请，因此同一申请人在VEN数据库和CPRS⁃ABS数据库中的专利申请数量有偏差）。

从表5和6可以看出，中国专利申请中，申请的高校数量多，其中宁波大学和清华大学排名靠前；在VEN数据库中，韩国的科研院所的申请在所有科研院所中的申请数量领先。总的来看，中国和韩国的科研院所在3D视频编码技术的研发方面走在前列；中国的科研院所在中国申请的数量较多，但是在国际范围内，其申请数量落后于韩国的科研院所。

下面本文对科研院所中代表性的申请人进行分析。

2.5.1 韩国电子通信研究院

韩国电子通信研究院从2002年开始申请3D视频编码领域的专利。其在中国的申请集中在2002—2006年。2006—2010年，韩国电子通信研究院申请了11件网格编码技术的专利。

韩国电子通信研究院的研究方向集中在多视点编码和网格编码领域。韩国电子通信研究院与三星公司、庆熙大学、世宗大学、汉阳大学等学校间的关系合作非常紧密，例如在网格编码技术方面，韩国电子通信研究院和主攻网格编码技术的汉阳大学合作紧密。韩国电子通信研究院的专利申请多数通过PCT国际申请进入多个国家。

其专利申请的特点在于：

双目编码技术：例如，CN03826007A以及CN200480043102A申请使用传统的MPEG-4 MAC（多重辅助分量，即3D立体视频附加数据）进行立体视频编码；KR20010072603A申请使用MPEG-4对立体或多视点视频进行编码。

多视点视频编码包括：

1）利用视点间相关性进行编码。例如，CN200580034894A申请公开了一种基于图像拼接利用不同视点之间的相关信息进行编码的方法；KR20080056457A申请涉及保存视差向量以搜索对应的宏块的预测方法；CN200580047997A申请利用照相机信息进行参考图像预测编码。

2）高级语法层次。例如，KR20070002637A申请在NAL单元类型中表示冗余的编码图像，使用错误弹性编码方法进行编码；KR20070106876A申请生成场景二进制格式流以及初始对象描述符IOD。

3）用户需求方面的立体图像控制。例如，KR20110033007、KR20100050419A申请控制立体图像的变化值，自动控制立体图像的失真，降低用户不便和模糊；KR20020060987A申请使用解码缓冲器，缩小左右眼图像的同步时间，降低解码复杂度。

近年来，韩国电子通信研究院的研发更集中于立体视频传输系统和网格编码技术领域。

表5 中国专利申请中科研院所申请分布

表6 国际范围内科研院所申请分布

有17篇专利申请涉及立体视频的传输，包括2D、3D视频的兼容传输，提供3D附加服务的手段等。例如，CN200480015863A申请基于MPEG-4在因特网上广播立体视频数据；CN200480043775A申请公开了一种三维数字多媒体广播（3DDMB）系统，保持与传统的DMB系统的兼容；KR2010000085917申请涉及3DTV系统中的附加服务传输；CN200780049500A申请支持2D和3D的同时广播。

网格编码技术多涉及3D网格数据的量化，例如，KR20100034199A申请通过针对3D网格数据的归一化向量值进行量化，并进行异或操作，从而进行熵编码，来实现对3D内容的编码；KR20080125520A申请在量化连接信息中使用差分脉冲编码调制DPCM技术进行编码。此外，还涉及预测编码的修复，例如，KR20070119316A申请根据标记值可选择地对预测编码错误进行编码。

综合来看，韩国电子通信院的专利申请覆盖面宽，涉及多视点编码、立体视频广播的传输以及网格编码技术均较多。在多视点编码技术中，其涉及预测结构以及视点间差异补偿技术的优化的专利申请较少。

2.5.2 庆熙大学校产学协力团 （UNIV KYUNGHEE IND COOP）

该院所从2006年开始进入立体编码领域申请专利，多数专利申请通过国际申请PCT进入其他国家。且该学校有半数的专利申请和三星株式会社以及韩国电子通信研究院共同申请。其编码技术集中在多视点编码领域，包括：

1）利用视点间相关性进行编码。例如，KR20060043338A申请通过预测图像信息视差来进行多视点视频编码；KR20080026315A申请中，如果当前图像为锚图像，不对块应用块跳过模式编码当前图像块。

2）补偿视点间差异进行编码。例如，KR20080087437A申请基于块类型和图像类型对当前块进行色差补偿；KR20060087176A申请公开了一种通过对比修正来补偿图像信息视差的方法；CN200710187021A申请通过去块滤波方法消除由光照补偿和/或色度补偿造成的块效应；KR20080087435A申请用当前图像上的附加信息对当前块当前图像进行修复。

3）多视点编码和可伸缩编码的结合。例如，KR20070021299A申请涉及多视点编码和可伸缩编码的混合。

该院所的专利申请不涉及高层语法和预测结构的改进，也不涉及网格编码技术。

2.5.3 宁波大学

宁波大学以蒋刚毅和郁梅为学术带头人，研究3DTV、自由视点视频系统编码与传输。该学校在3D编码领域的专利申请始于2005年，其主要涉及多视点编码。

其专利申请的发明点分布包括：

1）利用视点间相关性进行编码。例如CN201010217600A申请用当前宏块的已编码相邻宏块的视差矢量或运动矢量来预测当前宏块的视差矢量或运动矢量；CN200510061144申请也提供了一种视差估计方法。

2）补偿视点间差异。例如，CN200710067708A申请公开了一种多视点视频颜色校正方法；CN200710164498申请中，在多视点图像的预处理过程中，提高颜色校正的鲁棒性和颜色映射的精度；CN200810059283A申请利用背景信息进行颜色校正。

3）去除立体视频的视觉冗余。例如CN201010184200A和CN201110069318A申请，在人眼比较感兴趣的区域采用较小的编码量化参数，在人眼不太感兴趣的区域采用较大的编码量化参数，从而提高编码效率。

4）针对深度视频处理。例如，CN200810063741A申请根据深度图宏块的纹理特征将宏块划分到边缘片层或非边缘片层，分别采用不同的量化参数进行量化；CN200910154138申请根据偏离因子将B帧分为深度连续区域和深度不连续区域，对于连续区域的各个宏块，编码器遍历较少的宏块编码模式；CN200910154336A申请设计了宏块编码模式搜索的提前终止方法。

5）码率控制。例如，CN200810163801A申请通过改变量化参数来改变图像的编码质量，以适应网络带宽的变化；CN201110000937A申请通过建立彩色视频与深度视频的码率分配模型对目标码率进行分配。

立体视频的视觉冗余以及码率控制为宁波大学独特的研究方向，除此之外，在MVD数据中的深度数据的处理方面宁波大学也申请了较多数量的专利，这些专利申请也反映了该学校在3D视频编码领域横向方面发展的一个科研成果。宁波大学没有涉及预测结构和高层语法结构的改进，也没有涉及网格编码技术。

2.5.4 清华大学

清华大学的孙立峰、戴琼海、何芸、丁贵广作为学术带头人，从事立体视频方面的研究。

具体地，其专利申请涉及：

1）预测结构的改进。例如，CN200710065190A申请提出了一种基于分布式信源编码的多视点视频编码方法，其中将每个视点的视频序列编码分为I，P和SW帧3种，I和P用H.264编码，SW帧作为视点切换帧。

2）利用视点间相关性进行编码。例如，CN200610070971A申请利用空间物体深度信息和各个摄像头之间的位置关系精确的计算各个视点之间的视差矢量；CN200710101528A申请限制同一时刻参考图像的选择，使得在多视点编码中实现低延时和并行处理，同时利用不同视点之间的参考；CN201010571683申请基于视间预测对双目立体视频进行编码或者解码。

3）多视点视频编码传输。例如，CN201010133712A申请涉及基于P2P的多视点视频传输编码；CN201010227362A申请涉及基于网络拥塞程度的视频传输；CN201010227359A申请公开了一种基于图像视觉质量的视频传输方法；以及CN200910076119A申请涉及一种基于对等覆盖网络协作的多视点编码的传输方法。

4）深度视频处理。例如，CN201010531029申请基于彩色视频对深度视频进行上采样；CN201010222351A申请根据多视点深度图获得编码率失真模型，为编码参数选择和码率分配提供指导。

5）利用H.264解码器对多视点视频解码。CN201010531046、CN201010531043、CN201110027858A申请均涉及了一种符合多视点视频标准的视频编码方法，分别利用H.264编码器实现多视点视频的编码或解码。

清华大学申请了较多数量的多视点视频网络传输方面的专利申请，可见多视点视频网络传输方向为其独特的研究方向；同宁波大学相仿，也涉及了一些对MVD数据中的深度视频进行处理的改进；清华大学的专利申请没有涉及高层语法和网格编码技术。

2.5.5 小结

从数量上看，2006年以后，韩国和中国的科研院所表现活跃，韩国以韩国电子通信研究院和庆熙大学校产学协力团为代表，中国以宁波大学和清华大学表现最为活跃。

从技术角度看，申请的热点集中于多视点编码技术。其中，庆熙大学校产学协力团、宁波大学和清华大学的绝大部分专利申请涉及到多视点编码技术，这代表着目前国内和国际上3D编码研究的主要方向。此外，韩国电子通信研究院涉及不少3D视频广播的专利申请，也涉及不少网格编码技术的专利申请，而汉阳大学与韩国电子通信研究院合作紧密，主攻网格编码技术。与国外的科研院所相比，我国的清华大学、宁波大学的专利申请也各具特色：清华大学偏重于基于多种网络体系和网络参数的多视点视频的网络传输，而宁波大学的创新在于立体视频的视觉冗余去除以及码率控制。此外，清华大学和宁波大学均针对MVD数据中的深度视频的处理提出了若干申请。

分析我国的科研院所在多视点编码方面专利申请活跃的态势，其原因在于：2005年ITU-T开展了MVC技术的提案征集工作；这些学校具有长期涉足该领域的科研团队，并且得到了多项科研基金的支持，在项目上有所传承；此外，表5中我国的主要科研院所的专利申请数量及内容在一定程度上反映了其课题进展以及研发实力。

另外，韩国之间的公司与高校、高校之间的专利申请合作紧密，表明其研发串联程度紧密；相比而言，我国的高等院校之间、公司和高校之间联系不够紧密。

3 结束语

本文关注立体视频编码技术的专利申请。首先，简单介绍了常用的3D视频编码技术。而后，在CPRSABS和VEN专利数据库中合理地选取涉及3D编码技术的专利申请样本，从年度申请数量、申请人总体分析、公司方面专利分析、科研院所专利分析等角度对样本库进行多方位分析。

从2000—2010年的年度申请数量看，在中国的专利申请和国际范围内的专利申请都呈现总体快速稳定增长的态势，反映出这一领域被关注的热度。

从申请人总体来看，在中国科研院所和公司为申请主体，而在国际范围内公司为申请主体；我国申请专利保护的申请人以国内申请人为主，占全部专利的55%；国际范围内申请人以日本和美国申请最多，其次为欧洲、韩国和中国。

在公司申请中，日本和韩国公司以及汤姆森特许公司申请量居多，中国仅有华为一家在3D编码技术领域排在前列。在科研院所中，韩国的科研院所的申请量居多，中国的宁波大学和清华大学申请活跃。各家公司、科研院所的专利申请均反映出其前期研发过程中不同于其他公司的策略和特色。

从技术上看，2006年之前申请的专利主要针对双视点编码，2006年及以后的专利申请主要面向多视点编码技术这一目前申请的热点。此外，3D网格编码技术的申请量相对要小，三星公司、韩国电子通信研究院和汤姆森特许公司、汉阳大学、IBM、SUN、微软公司在网格技术领域申请较多。

此外，撰写本文过程中，参考了大量的涉及各种3D编码技术的非专利文献。相对于非专利文献的百花齐放，专利的增长有限。本文认为，这可能是因为：在应用层面，受限于视频源以及传输、显示的发展制约，立体编码技术的应用规模还非常有限，加之立体编码技术理论已较为成熟，更多的为在压缩率以及编码效率上的改进，专利申请动力尚有不足；而学术界的研究人员相对更关心学术层次的问题，其成果多以学术文章或草案形式呈现。

[1]骆凯.三维电视系统编码、视点变换算法研究及运动补偿硬件设计[D].杭州：浙江大学，2009.

[2]ISO/IEC 13818-2 Amendment 3（Multi-View Profile）,MPEG96 N1366[S].1996.

[3]ATTEST.European IST-2001-34396 project[EB/OL].[2011-10-11].http://www.hitech-projects.com/euprojects/attest/index.html

[4]FEHN C.Depth-image-based rendering（DIBR）,compression,and transmission for a new approach on 3D-TV[C]//Stereoscopic displays and virtual Reality Systems XI，2004，SPIE 5201.[S.l.]：SPIE Press，2004：93-104.

[5]安平，张倩，鞠芹，等.用于3DTV的图像绘制技术[J].电视技术，2010，34（1）：49-51.

[6]MERKLE P，SMOLIC A，MULLER K，et al.Efficient prediction struc⁃tures for multiview video coding[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17（11）：1461-1473.

[7]霍俊彦，常义林，李明，等.多视点视频编码的研究现状及其展望[J].通信学报，2010，31（5）：113-121.

[8]毕厚杰.新一代视频压缩编码标准——H.264/AVC[M].2版.北京：人民邮电出版社，2009：140-177.

[9]PENG J，KIM C S，KUO C C J.Technologies for 3-D mesh compres⁃sion:a survey[J].Journal of Visual Communication and Image Repre⁃sentation，2005，16（6）：688-733.