全景图像采集专利技术数据分析

熊艳 欧先锋

摘要：基于专利数据库，通过检索、筛选、统计和分析国内外有关全景图像采集技术的专利申请，梳理全景图像采集技术的技术发展脉络和各主要技术分支，并对申请量年度分布、申请地域分布和重要申请人进行统计和分析，为该领域发展提供参考。

关键词：全景图像采集；技术分支；重要申请人；专利技术

中图分类号：TN94文献标志码：A文章编号：2095-5383（2018）01-0031-06

2016年里约奥运会，全景图像采集技术已应用于游泳、体操等各大比赛项目以采集宽视野、高清晰度的赛场图像，可以预见，全景采集技术将越来越受到人们追捧。全景图像的形成过程主要包括：图像采集、图像投影、图像拼接和图像显示。首先采集得到彼此之间有重叠区域的图像，然后基于每幅图像具有的不同坐标建立统一的投影模型，进而通过拼接融合处理形成全景图像，再选择合适的显示模型进行展示。由此可见，如果全景图像采集技术实现较高质量的图像采集，后续全景图像的形成将会事半功倍，因此，对全景图像采集技术进行分析，能够为全景成像领域的研究提供助力。

1 全景图像采集技术概况

1.1 全景图像采集技术分支

本文基于中国专利检索系统文摘（CPRSABS）数据库和德温特世界专利索引（DWPI）数据库，通过对检索所获得的该领域的专利申请进行统计与分析研究，对全景图像采集所涉及的技术进行分解，如表1所示。

1.1.1 全景图像采集相机

全景图像采集系统最核心的组成部分即相机，它用于对采集的对象进行成像。全景图像采集系统按使用的相机类型可以分为3种：普通相机采集、特殊相机采集和全景相机采集。

普通相机是指普通数码相机或者单反相机；普通相机采集是指采用旋转和（或）平移普通相机的方式获取多张具有空间关联的图像，再通过对该多张图像进行拼接融合以形成全景图像，具有无需投入额外硬件成本、采集系统携带方便的优点，但同时具有对相机各次拍摄姿态要求高、后期拼接融合算法复杂的缺点。特殊相机是指加装有鱼眼镜头、广角镜头、超广角镜头等特殊镜头的相机，上述特殊镜头具有焦距较短、视角较大的特性；特殊相机采集是指利用特殊相机直接获取视角较大却具有透视变形的图像，后期经过畸变校正处理形成全景图像，具有无需进行复杂的拼接融合的优点，同时具有拍摄图像分辨率低、透视变形严重的缺点。全景相机是指包括多个镜头的专业相机，每两个相邻镜头的拍摄视角在空间上相重叠。全景相机采集是指利用全景相机的多个镜头同时拍摄多幅图像，并对上述多幅图像进行实时拼接融合以快速形成全景图像，具有操作简便、无需复杂建模的优点，同时具有价格昂贵、不易普及的缺点。

1.1.2 全景图像采集位置

采集全景图像的各种位置由于其环境的不同，对采集技术提出了不同的要求，因而全景图像采集系统按采集位置可以分为三类：地面全景采集、空中全景采集、水下全景采集。此三种全景采集系统均可任意选择上述相机类型。地面全景采集是最原始也是研究最久最广最深的采集方式，但受制于地形地貌的遮挡和拍摄视野的限制，对被摄物顶部信息和大视野的场景始终难以获其全貌。空中全景采集正好弥补了地面全景采集的缺点，将拍摄环境由地面转到空中，可以从更高更广的视角有效采集图像。水下全景采集则需要考虑水下环境的光照及折射，对采集设备的防水性及采集时机提出较高要求，但海底的未知世界仍吸引着大量研究目光，展示出水下全景采集的广阔发展前景。

1.2 全景图像采集技术发展演进

通过对全景图像采集技术各个时期的专利文献进行梳理和分析，可以得到该领域的专利技术演进路线，如图1所示。可以看出，全景图像采集技术专利申请的发展大致经历了3个主要发展阶段。

1.2.1 第一阶段（1973—1996年）

该阶段属于全景图像采集技术的起步阶段，早期使用普通相机在辅助设备的支持下拍摄多张图像，进行后期拼接融合形成全景图像，较有代表性的是将拍摄设备安装在三脚架上，在全景拍摄过程中根据图像来旋转安装的拍摄设备来采集全景图像[1]，或将相应的拍摄设备安装在平行于地面的滑轨上，通过电机驱动拍摄设备在滑轨上平移以拍摄全景图像[2]。后来开始出现使用特殊相机采集全景图像，如使用特殊光学镜头产生全景尺寸的图像[3]，以及车载6个鱼眼镜头从不同位置进行拍摄以形成建筑物的全景图像[4]，可算作是地面街景采集的首次尝试。此后，全景采集技术成为一个热点，越来越受到研究者的关注。

1.2.2 第二阶段（1997—2006年）

该阶段属于全景图像采集技术的快速发展阶段，使用不同类型相机的全景采集技術不断涌现。普通相机开始不再依赖于辅助设备进行全景采集，而是向手持式方向发展，由用户旋转和（或）平移手持拍摄设备来进行采集[5-7]。鱼眼镜头由于价格便宜和视角范围大，开始广泛应用于全景采集领域[8-9]。具有多个镜头的专业全景相机也开始出现，能够直接输出全景图像[10-11]。

以下对该阶段中一种具有代表性的手持式全景图像采集技术[5]进行具体介绍。如图2（a）所示，当使用移动终端拍摄组成全景图像的各个图像时，控制器实时比较输入的当前图像和前一图像，以获得相应拍摄设备的移动信息。通过获得的移动信息识别相应拍摄设备的移动角度和移动方向，当识别的移动角度满足预设的参考移动距离时，通过手动输入拍摄相应图像或者自动拍摄相应图像；同时，如图2（b）所示，显示单元输出用户界面用于指导相应拍摄设备从识别的移动角度和移动方向到用于全景图像拍摄的预设方向的移动；另外，显示单元输出用于通知用户拍摄图像的当前位置的另一用户界面。该系统有助于用户在没有安装附加设备和硬件的情况下，更加容易和精确地拍摄全景图像。

在这一阶段，地面全景采集技术逐步应用到安防领域，出现了使用特殊相机拍摄宽角度区域并检测该区域是否存在运动的监控系统[12-13]。同时开始出现空中全景采集技术，以弥补在地面采集时存在的视线遮挡等缺陷，通常由热气球[14]、飞行器[15]等装置作为载体携带相机上天进行采集，如由用户发射的飞行器沿飞行航线在空中采集全景图像。

1.2.3 第三阶段（2007年至今）

该阶段属于全景图像采集技术的全面发展阶段，各类全景采集系统均在提升自身使用便利性的同时，寻求更高质量的全景图像输出。对于使用普通相机的全景采集系统而言，手持采集方式已是主流，为提高用户体验涌现出许多以人为本的设计。例如，在全景采集过程中，向用户提示拍摄设备的当前位置和下一移动方向（角度）[16]、在移动方向（角度）错误时及时向用户发出告警[17]、在用户摇摄过程中拍摄设备自动采集多个图像[18]等。对于使用特殊相机的全景采集系统而言，鱼眼镜头和（或）广角镜头构成的光学系统，提高画面的真实性，获取更高画质和更大视角范围。对于使用全景相机的全景采集系统而言，为了减小镜头间的视差并提升采集速度，涌现了大量不同的镜头排列方式，如球形[19]、柱形[20]、环形[21]等。

在这一阶段，各种类型的相机广泛应用于地面、空中全景采集，水下全景采集技术也逐步出现。根据不同应用场景的需求，地面全景采集技术应用至街景地图领域[22]，还应用至泊车辅助、城市安防、虚拟现实、增强现实等领域[23]。空中全景采集过程的载体扩展为无人机（UAV）、可抛掷球体等[24]。首次出现水下全景采集，和空中采集类似，水下采集也需要载体提供支持，如潜水艇、船只、水下辅助设备等，并且水下环境对采集设备的防水性和稳定性也提出了较高要求[25]。

首先，对该阶段中具有代表性的一种地面全景采集技术[22]进行具体介绍。如图3所示，街景采集系统的呈现形式为有全景相机（104）安装于其顶上的车辆（102）。其中，全景相机（104）可以包括4至8个相机（106）。另外，车辆（102）还可以耦合其他传感器以用于采集数据，例如，全球定位系统（GPS）传感器、惯性测量装置（IMU）传感器等。图像（110）呈现了全景相机（104）所采集的例图，每部分图像（由虚线分隔）分别由全景相机（104）的4个相机中的一个采集而来。考虑到全景相机（104）可能安装倾斜、车辆（102）可能倾斜行驶或者其他因素影响，图像（110）可能是向不同方向偏斜的，这将导致形成歪斜的全景图像。因此，通过GPS传感器、IMU传感器等预知街景车中相机的姿态，以对其采集的图像进行一致性处理。同时，GPS传感器、IMU传感器等还可以确定车辆（102）的姿态，例如，GPS传感器根据卫星数据确定车辆（102）的位置、速度、方向和采集时间，为全景图像的合成提供支持。谷歌街景车已进行了几次更新换代，车辆包括三轮车、雪地车、手推车等，目前最新的车辆已配备15个镜头，可拍摄360°的图像，车中还配备了存储数据的硬盘、运行系统的小型计算机以及捕获三维数据以确定街景视图图像中距离远近的激光器。

其次，对该阶段中具有代表性的一种空中全景采集技术[24]进行具体介绍。如图4所示，创新性的球形可抛掷全景相机具有球形弹性外壳，内置1个相机。该球被抛掷起来，在空中的弧形运动轨迹上旋转着依次经过位置（610—620—630—640—650—660），并对远处房屋（600）分别拍摄得到序列（700）中的6个原始图像（701、702、703、704、705、706）。各位置处的箭头表示该球的旋转方向，可知在位置（610）和（650）处，相机（611）没有面向房屋（600），因而其采集的图像（701）和（705）中没有包括可用内容。该球还内置位置传感器和处理器，位置传感器用于确定相机（611）在各位置的透视系数，处理器用于根据透视系数归一化采集的各图像至同一平面，例如序列（750）中所示的图像（751、752、753、754），然后拼接各图像以形成全景图像和平滑连续的空中视频。Steven J. Hollinger不断对此球形可抛掷全景相机进行改进并后续提交了多份专利申请，通过增加内置相机的数目、使用无线网络传输各相机在各位置处采集的图像等技术手段，使得在空中采集全景图像更加的便利和稳定。

再次，对该阶段中具有代表性的一种水下全景采集技术[25]进行具体介绍。如图5所示，在水环境（110）中的船只（112）上安装有控制模块（150）、全景相机系统（100）、照明系统（108）、稳定器（120）、机械臂（124）。全景相机系统（100）包括4个镜头（102）在全景视野中采集一个或多个图像，还包括在不同水深情况下均能够防水的外壳（106），全景相机系统（100）可以内置于外壳（106）中，以使得装置更紧凑、轻便、不易失真。全景相机系统（100）与控制模块（150）通信以采集图像并传输图像以存储。照明系统（108）用于在水下夜间环境或者光线微弱环境等情况下提供光线，其可以包含两组相互以90°排列的4个强光灯，照明系统（108）可以集成至全景相机系统中。稳定器（120）和可延长机械臂（124）可以将全景相机系统（100）和照明系統（108）送入水下。稳定器（120）可以补偿安装有全景相机系统（100）的支撑件（128）的运动，该运动包括水环境（110）的波动、船只（112）的航线调整等，保证船只（112）在水中航行时也能采集到高分辨率的水下全景图像。

2 全景图像采集技术专利分析

2.1 全球专利申请量分析

图6显示了全景图像采集技术申请量的年度分布。从图6可以看出，在全球范围内，全景图像采集技术专利申请量起始于上世纪70年代初，但一直处于申请量较低的状态，直至上世纪90年代申请量才有较大幅度的上升，在1997—2006年间全球申请量经过迅猛增长后进入了平稳期；2007年之后，专利申请量再次飞速上升，虽然2013年之后有所回落，但仍保持在较高量。而在中国国内，由于相关研究起步较晚，2001年以前几乎没有相关专利申请，但2001年后中国国内申请数量迅速增长，反映出近年来中国迅猛提高的经济水平带来了巨大市场需求。

2.2 全球专利地域分析

企业的产品市场重心能够通过其专利申请的地域分布反映出来。对全景图像采集技术专利首次申请的所在国家和地区产权组织分布进行统计，得到图7的数据，日本、美国、中国和韩国排名在前，其占据了所有专利申请的87%，是全景图像采集技术最主要的技术市场。随着中国的专利制度不断完善，在中国进行首次申请的专利数量逐步增多，各国企业积极地在中国进行专利技术保护，试图占领中国的技术市场。

2.3 重要申请人分析

通过对申请人的申请量进行分析，得到全球在全景图像采集技术领域的前10位申请人的申请量排名情况，如图8所示。从图中可以看出，日本在前10位申请人中占5席、在前5位申请人中占4席，我国占2席。排名相对靠前的申请人几乎都是相机行业的传统巨头，排名相对靠后的申请人大多是移动互联产业的科技集团，随着移动互联技术的迅猛发展和覆盖，全景图像采集技术预计将迎来更多发展机遇。

3 结语

本文详细梳理了全景图像采集技术的分支、技术演进、全球专利申请量年度分布和地域分布、重要申请人等，并通过对核心专利的技术方案的详细分析展示了全景采集技术各个发展阶段的关键技术。总体看来，索尼、佳能、三星等传统成像领域巨头，由于发展起步较早，核心技术上有较多的积累，在全景图像采集领域同样处于领先地位；从专利数据上看，我国跟美日韩等还存在较大的差距，近年來移动互联网的迅猛发展正在促进差距的逐步减小，我国还需要对全景图像采集的基础硬件设备和软件算法加大研究投入，力争在核心技术上实现追赶和超越。

参考文献：

[1]TOSHIBA KK. Imaging system generating panoramic display：JPS6429064A[P]. 1989-01-31.

[2]GELPHMAN J L. Topological panoramic camera： US4943821A[P]. 1990-07-24.

[3]MINOLTA CO LTD. Photo lens system： JP3082385B2[P].2000-08-28.

[4]GEERIS HOLDINGNEDERLAND B.V. A method and device for producing panoramic images， and a method and device consulting panoramic images： WO9413100A2[P]. 1994-06-09.

[5] SAMSUNG ELECTRONICS CO LTD. Method for photographing panoramic image： KR100800804B1[P].2008-02-04.

[6]SONY CORP. Controller for photographing apparatus and photographing system： US2001019355A1[P]. 2001-09-06.

[7]SAMSUNG ELECTRONICS CO LTD. Apparatus and method for taking panoramic photograph：KR100758632B1[P]. 2007-09-14.

[8]IMMERVISION INT PTE LTD. Method for capturing a panoramic image using a rectangular image sensor： WO03010599A1[P]. 2003-02-06.

[9]TEMPEST MICROSYSTEMS. Panoramic imaging and display system with canonical magnifier：WO03056516A1[P]. 2003-07-10.

[10]SONY CORP. IMAGE PICK UP DEVICE： JP2002229139A[P]. 2002-08-14.

[11]MICROSOFT CORP.Foveated panoramic camera system：US2005117015A1 [P]. 2005-06-02.

[12]SONY CORP. Photographing apparatus and method， supervising system， program and recording medium： JP2005184776A[P]. 2005-07-07.

[13]SONY CORP. Imaging device and method， computer program product on computer-readable medium， and imaging system： JP2006333132A[P]. 2006-12-07.

[14] OKAZAKI S. 360°photographic system： JP2003274397A[P]. 2003-09-26.

[15]HEAFITZ A. Panoramic aerial imaging device： WO02073129A1[P]. 2002-09-19.

[16]LG ELECTRONICS INC. Mobile terminal having a panorama photographing function and method for controlling operation thereof： KR20100031263A[P]. 2010-03-22.

[17]SONY CORP. Imaging apparatus， imaging method， and program： JP2010136302A[P]. 2010-06-17.

[18]SONY CORP. In-camera generation of high quality composite panoramic images： JP2010252312A[P]. 2010-11-04.

[19]SAMSUNG ELECTRONICS CO LTD. Camera system for three-dimensional video： WO2016048013A1[P]. 2016-03-31.

[20]深圳市速腾聚创科技有限公司.一种快速360度全景相机： CN204883157U[P]. 2015-12-16.

[21]GOOGLE INC. Mapping a two-dimensional image to a cylindrical surface using a tuned distortion curve： US8542289B1[P]. 2013-09-24.

[22]GOOGLE INC. Estimation of panoramic camera orientation relative to a vehicle coordinate frame： WO2010096670A1[P]. 2010-08-26.

[23]GOOGLE INC. Imaging device with a plurality of pixel arrays： WO2014047216A1[P]. 2014-03-27.

[24]HOLLINGER S J. Ball with camera and trajectory control for reconnaisance or recreation： US2012262541A1[P]. 2012-10-18.

[25] GOOGLE INC. Underwater acquisiton of imagery for 3D mapping environments： WO2011143622A2[P]. 2011-11-17.