Camera 3.0时代的开场白

陈奇军

编者：

光场摄影（Light Field Photography）对于多数人来说是个陌生而遥远的概念，但有人却将这种相机说成是“Camera 3.0”，即传统摄影是Camera 1.0时代，数码摄影是Camera 2.0时代，而光场摄影将引领我们进入Camera 3.0时代。光场摄影会是未来的方向吗？本期“数码时代”介绍的是光场相机Lytro ILLUM和“光场手机”荣耀6 Plus的功能与原理，看看光场摄影到底能给我们带来些什么；《我看光场相机和Lytro》一文，则是对Lytro光场相机的发明人、美国斯坦福大学的华裔博士生Ren Ng的论文分析解读，这能帮助我们更进一步了解光场摄影的原理以及Camera 3.0时代的潜力。

不仅“先拍照后调焦”

2011年10月20日，美国华裔博士RenNg与他的同事共同发布了世界首款真正意义上的光场相机Lytro（“光场摄影”概念其实并不新鲜，后文《我看光场相机和Lytro》有专门解读）。

Ren Ng的全名是Yi-Ren Ng，音译：吴义仁，1979年12月21日生于马来西亚。在美国加利福尼亚的斯坦福大学，Ren Ng于2001年取得了数学与计算机科学学士学位，2002年取得计算机科学硕士学位，2006年他又在此取得了计算机科学博士学位。Ren Ng的博士生导师是全球计算机动画技术大师Pat Hanrahan教授。2006年，Ren Ng的博士论文《数码光场摄影》（Digital Light Field Photography）获得了美国计算机协会（ACM）博士论文大奖。后来，RenNg与他人一起创建了Lytro公司，出任CEO（现任执行主席），并融资5000万美元专门开发光场相机。“Lytro”至今还没有中文大号，中文读音接近“莱特洛”或“来瞧”，对于中国人来说，可能“来瞧”更容易记住。

“光场”这个中文名来源于英文的“Light Field”，该名字翻译得非常准确，“Light”的意思就是“光”，而“Field”就是“场”、“领域”之意。很多人只知道“光场摄影”就是“先拍照后调焦”，其实光场摄影远不止于此。我们以Lytro ILLUM光场相机为例，它在一个瞬间拍下的Lytro RAW影像文件，起码可以做如下事情：一是拍完后能重新选择焦点并可重新设置光圈大小，二是生成“红蓝式”和“偏振式”3D影像，三是生成不同效果的短视频。

看到这里，我们按照传统摄影的思维定势来看，或许会产生很多疑问：

一、先期已经拍摄完了，怎么可能在后期变换焦点并重新设置光圈大小呢——没错，拍摄完成后，它真的可以利用相机显示屏或后期软件在“光场”内随意决定焦点的位置。

二、从前只有双镜头的3D相机才能拍摄出两幅略有视差的影像，从而合成一幅真正的3D影像，而Lytro光场相机只有一个镜头，它的3D效果怎样呢——它用一个镜头竟然能拍摄出两幅有视差的影像，无论其“红蓝式”3D还是“偏振式”3D都与双镜头相机拍的效果一样完美。

三、在一个瞬间拍的静态影像，居然能生成动态影像一是的，它能生成8种效果的动态影像，在视频中不仅焦点会发生变化，甚至还能产生“推拉摇移”效果。

上述种种神奇之处，为何“光场摄影”能做到，而普通的数码相机无法实现呢？假如将来的拍摄工具都变成了光场相机，也就是说Camera 3.0时代真正到来后，摄影会与现在有哪些不同，光场相机能为我们带来哪些奇妙用途呢？

无论如何，我们还是先来了解一下光场相机的成像原理，这样才能对未来有个较为实际的期待。

众所周知，普通数码相机的感光元件前方也装有微透镜阵列，不过光场相机的微透镜阵列与众不同，它除了像普通数码相机的微透镜那样，能帮助相机记录光线的亮度及完成颜色转换之外，还能让相机分析并记录下光线的方向——这正是光场相机区别于普通数码相机的关键所在。记录下光线的方向后，相机的“大脑”即CPU就能“推算”出光线到达焦平面之前以及“穿过”焦平面之后一个纵深“场”内的丰富信息，从而实现“先拍照后调焦”等多种功能。我们再来看看普通相机的原理，包括胶片等传统相机和普通数码相机只能采集到光线到达焦平面时的信息，因此它对光线的记录只是二维“面”，而不是三维的“场”。

Lytro ILLUM是Lytro公司发布的第二款光场相机，也是第一款专业级别的光场相机，京东售价约为人民币12000元；而2011年发布的那款光场相机Lytro（见本栏目首页图）为消费级产品，京东售价从几百元到2000余元不等。

Lytro ILLUM采用了1/1.2英寸、4000万像素的感光元件，不过，即使采用最大的Lytro XRAW格式设置拍摄，最多只能得到约400万像素（分辨率为2450×1634像素）的2D影像。这是因为，该相机的微透镜阵列将更多的功能用于分析光线的方向，以便帮助相机实现光场相机特有的丰富功能。

Lytro ILLUM采用了一块4英寸的大型触摸显示器，回放影像时可以点击不同的位置，在相机上也能体验“先拍照后调焦”功能。相机的操作界面有英语、简体中文和繁体中文等语言可以选择。

Lytro ILLUM所配备的这款不可更换式30-250mm f/2镜头也是为光场相机特别设计的，即便把它拆下来也不能用于普通的数码相机上。该镜头的实际焦距为9.5-77.8mm，等效135全画幅相机的30-250mm焦距范围。它才是一款真正的“恒定”光圈镜头，不仅各焦距段均为恒定f/2，而且拍摄时光圈也无法缩小，始终为全开光圈拍摄。由于光圈不能变化。因此该相机没有光圈优先曝光模式，只有程序自动P、感光度优先I、快门优先S和手动曝光M——这几种曝光模式只是快门和感光度数值的组合变换，没有光圈大小的参与。

用Lytro ILLUM相机拍摄只能得到Lytro RAW原始文件，而不能直出JPEG影像、3D影像或视频。要想生成不同的影像，只能利用它的App（应用程序软件）在后期完成。Lytro的App目前有Windows系统和苹果系统两种版本：另外还有苹果手机和苹果平板电脑的移动终端版本，目前还不支持手机的安卓系统。这几种App均可免费下载使用，而且都有简体中文和繁体中文版本，中国用户使用起来非常方便。

“先拍照后调焦”

尽管光场相机可以“先拍照后调焦”，但是Lytro ILLUM相机在前期拍摄时仍然需要调焦，这是因为其“光场”是有限的，并没有大到足以涵盖从最近调焦距离到无限远。这款30-250mm f/2镜头可以在自动调焦与手动调焦之间切换，其调焦范围是。毫米（距前镜片）至无限远，因此它可以紧贴着被摄物拍摄。不过，光场与景深的原理相似，实用焦距越长以及调焦距离越近，光场就越小：实用焦距越短以及调焦距离越远，光场就越大。在拍摄时，相机的液晶显示器还设有光场范围图，并能通过橙色（远场）和蓝色（近场）显示实际光场的大小。

“先拍照后调焦”其实是让我们得到了在“光场”内重新选择焦点以及重新决定景深的机会。这也就意味着，对于光场相机来说，前期只要大致调焦即可，轻微的“跑焦”（只要没出光场）根本不是问题。这样一来，我们可以将一个瞬间拍下的影像在后期生成不同焦点的多幅影像，并可以在f/1-f/16之间任意选择光圈大小。虽然Lytro ILLUM这款30-250mm f/2镜头的最大光圈为f/2，但后期软件可以将最大光圈推算至f/1.4和f/1。

3D影像

除了“先拍照后调焦”这一特色功能外，光场相机的另外一项功能就是拍摄3D影像。用Lytro ILLUM相机拍摄的那个LytroRAW文件既可以在App里生成“红蓝式”3D影像——戴“红蓝式”3D眼镜观赏，也能转换成“偏振式”3D影像一戴上“偏振式”3D眼镜在3D电视机上观赏。

看到这里，也许有人怀疑Lytro ILLUM相机拍摄的3D效果，因为毕竟光场相机只有一只“眼”，而不像真正的3D相机那样拥有两只“眼睛”。但是，Lytro ILLUM只用一个镜头就能拍摄出两幅有视差的影像。有兴趣的读者可以辨别一下右侧下左图，两幅图中的主体与背景的位置并不完全一致，而是稍有错位的。如果您有“红蓝式”眼镜，不妨拿出来看看这幅“红蓝式”3D影像（右侧上右图），看看有没有立体效果。

短视频

用一个瞬间拍下的原始文件能解出8种不同效果的6秒视频短片，视频规格可以选择高品质和全高清，也可以选择普通品质和高清效果。如果只是在视频中变换焦点，那不足为奇，因为光场相机记录的就是一个3D“场”的信息，而不是一个2D“面”的信息。但是有的视频效果，如“环视”效果中，可以做到“调整视角并轻微变焦以环视前景对象”，也就是说，这个视频中能呈现动态影像特有的“推拉摇移”效果。

“光场手机”荣耀6 Plus

2014年11月24日，华为旗下的荣耀品牌发布了一款叫荣耀6 Plus的智能手机。荣耀6 Plus的最大特点是拥有“大光圈”拍摄功能，它可以“先拍照后调焦”——这是光场相机才具备的功能。当然，荣耀6Plus并不是第一款“先拍照后调焦”的手机，它的上代产品荣耀6以及HTC One M8等手机早已拥有此项功能。荣耀6 Plus的特点是“光圈”更大，它的发布甚至惊动了远在美国的光场相机Lytro高层。Lytro公司的副总裁、全球销售总监JeffHansen在“2015 CHINA P&E”期间告诉笔者，Lytro公司对荣耀6 Plus这款产品也很关注。

荣耀6 Plus手机上没有英文“HUAWEI”或中文“华为”的LOGO，只在背部有“honor”几个字母。很多中国人并不知道“honor”就是“荣耀”，而“honor”中的“h”尽管不发音，不过还是容易让人读成“胡闹”。

荣耀6 Plus背面有两个同样的摄像头，这正是它具有“大光圈”功能的关键。众所周知，照相手机受体积所限通常都采用小型感光元件，因为一旦采用大型感光元件，势必因镜头过大而拖累便携性。采用小型感光元件的拍摄工具，其成像方面的最大特点就是景深非常大（几乎全景深），无法得到大光圈镜头特有的虚化效果。尽管很多数码相机和智能手机早就可以通过机内程序实现“微缩景观”、“移轴”之类的模糊效果，但这种手段得到的影像往往显得生硬而虚假，因为清晰区域与模糊区域之间缺少自然过渡。之所以造成这种结果，是因为相机“不了解”不同成像区域到焦平面的距离，从而无法模拟出自然渐变的高斯模糊效果。

要想实现自然渐变的“大光圈”模糊效果，就要让拍摄工具知晓成像距离，荣耀6 Plus采用双镜头设计就是为了解决这个问题。其原理与人眼一样，单眼无法判断出距离，只有依靠双眼的视差才能判断，荣耀6 Plus的双摄像头就是拍照手机的“双眼”。因此看来，荣耀6 Plus与Lytro的光场相机有本质的差别——光场相机是通过分析光线的方向反推出焦点和焦外的变化效果；而荣耀6 Plus是依靠双镜头分析出不同区域的成像距离后，对“焦外”进行高斯模糊，因此它并非是真正的“先拍照后调焦”，只不过是让一幅全景深的影像什么地方模糊以及应该模糊到什么程度。

对于爱好者来说，无论真光场还是假光场并不重要，人们并不在意过程，在意的是结果。从画面视角来看，荣耀6 Plus的这两款定焦镜头大约等效135全画幅28mm。看看荣耀6 Plus的“大光圈”影像，虚化得可谓惊人，比28mm f/0.95全画幅镜头拍摄的画面更加迷幻，就连感光元件比它大很多倍的Lytro ILLUM光场相机也自叹弗如。其实，当今世界只有28mm f/1.4规格的全画幅镜头，就人类目前的智慧而言，还无法制造出28mm f/0.95规格的全画幅镜头。

荣耀6 Plus的“先拍照后调焦”功能在手机上就能实现，只需用手指点击即可决定焦点的位置。当然，它也像光场相机一样，可以在后期选择不同的光圈，在f/0.95-f/16之间任意决定虚实效果。

从实际使用效果来看，荣耀6 Plus的“大光圈”效果并非完美，有些情况下可以看出明显的破绽，比如它会将一块地砖变成模糊的“焦外”，而同一“焦平面”上的另外一块地砖依然清晰无比。出现差错的原因并非其战略上的错误，而是战术上还有待提高。也就是说，它采用双镜头实现“先拍照后调焦”在理论上没有任何问题，只不过目前在算法上还不够聪明，因此有时会造成分析判断上的差错。不过，这没有问题，即便Lytro光场相机偶尔也会出现这种计算错误。笔者深信，不管是光场相机还是“光场手机”，在这个0和1的数字游戏中，都会越玩越精彩。

我看光场相机和Lytro

文/Lancelot365

2011年，一个名为Lytro的相机闹得轰轰烈烈，其“先拍照，后调焦”的理念及主要研发人华裔的身份都很能吸引眼球。一开始我是对其不屑一顾的，心想我拍个大景深的影像Ps里高斯模糊一下不是一样的效果吗？还要你融资5000万美元开发一个相机？最近看Machine Learning（机器学习）跟Pattern Recognition（模糊识别）的论文看得实在头疼，又在Cvchina（增强视觉）上发现一篇介绍这种相机的文章，作者对其是不吝溢美之词，引发了我对它的兴趣。于是我研究了作者的两篇论文，写下此文。肯定有错误，希望各位指正。

原理

Lytro实际是一个光场相机。光场相机并不是一个新鲜的概念，早在1996年，Levoy和Hanrahan就提出了四维光场可以表示空间内的所有光线，这十余年内更是有很多“大牛”对光场和光场相机做了无数研究，甚至有人（Adelson，Wang）做了雏形出来。相对于传统相机只能储存二维的数据（也就是每个像素对应的辐照），光场相机的优势在于它不仅能储存每个像素对应的照度，还记录了照到该像素的光线的方向。这是如何做到的，且听我慢慢解释。

传统相机

传统相机所成的图像只与辐照（irradiance）有关，所谓辐照，也就是通过镜头的光线辐射的加权积分，参见下方“上图”。

图片说得很清楚，LF就是代表一条光线，F是镜头与传感器之间的距离。当然，相机的传感器不会“计算”这个辐照。它是通过物理过程（或者化学过程）体现的。比如电子在CCD（CMOs）上的一个像素的累积，或者卤化银在光线的照射下分解。

光场相机

对于光场相机，图像的形成有两步：测量（measurement）与处理（processlng）。在测量过程，传感器记录了光线的强度及方向，也就是LF本身。在处理过程，光场相机通过计算可以生成焦点在任意位置的传统相机图像。其原理很简单，就是相似三角形。回想传统相机，调焦的过程也就是通过转动调焦环来调节镜头光心到成像面的距离，这个过程移动的是镜头光心。而对于光场相机，这个步骤而是通过移动假想的成像面计算出来的。这就是光场相机可以先拍照后调焦的关键所在。

请看下方的“中上图”，假设我们把成像面从距离镜头F处移动到F。通过相似三角形我们可以轻易地算出，即通过数学计算，我们可以很轻松地算到EF，从而得到重新调焦后的图像。

从光场相机的原理我们可以看出来，在理想条件下，通过光场计算出来的图像与传统相机拍出来的影像是完全一致的。也就是，这个先拍照后调焦的过程与先调焦再拍照是完全可逆的。当然，现实中永远不存在理想条件。我们来看看实际中光场相机Lytro是如何储存及计算光线的。

实现

“中下图”描述了Ren Ng博士的基本实现原理。说起来也简单，就是在传统相机的镜头与传感器之前加入了一块微型镜头阵列（假设它是NXN），其他部分完全不需要做出改变。当然你愿意的话可以把调焦部分去掉，我们再也用不上它了（编者注：从2014年发布的Lytro ILLUM光场相机来看，受光场的大小限制，调焦系统无法根除）。为什么加入了微型镜头阵列就可以记录光线的方向呢？说起来也简单，请看下方的“右侧图”。

又来了！很明显，在理想条件下，经过传感器上一个像素的光线，必定经过这个像素的微透镜，也必定经过主镜头的相对于此微透镜的区域。就是此图的上半部分描绘的情况。同样，经过主镜头一个区域的光线也必定通过微透镜群而照射到相应的像素上。由此，通过调节主镜头及微透镜的光圈（实际上就是二者一致），我们可以使每个微透镜都在传感器上形成一块子图像，而此子图像内的每个像素都可以对应主镜头的一个小区域。我们再回头看示意图上的光线L（x、y、u、v），（x、y）是否对应一个子图像，而（u、v）则对应了此子图像的相应像素？这个光线的方向由此被记录下来。当然，这个光线L并不是理想的光线了，而且是经过箱式滤镜及线性采样的。

这里其实有个大问题，细心的人估计已经发现了，不过我现在不准备讨论这个问题，继续说实现。

Ren Ng在实际试验中，采用的是康泰时645中幅相机、卡尔·蔡司120mmf/2.8镜头、卡尔·蔡司80mm f/2镜头以及一块1600万像素的数码后背。啧啧，德味儿啊，看来这位仁兄也是位发烧友。至于那块微透镜他使用了292×292的阵列，微透镜的焦距是500微米，直径为125微米，也就是说这些镜头的最大光圈是f/4。相应地，主镜头的光圈也需调到f/4才能达到最佳效果。

Ren Ng的贡献

前面说到，光场相机的概念并不新鲜，原理也不复杂，那为什么现在才有成品呢？Ren Ng又有什么贡献？在原理上，Ren Ng并没有做出突破性的创新，他的贡献在我看来有两个方面：第一方面是算法上的简化，本来重新调焦（也就是计算辐照）的过程，是一个加权二维积分，也就是所谓的integral projecnon，是一个复杂度为0（n4）的算法，而Ren Ng通过傅里叶变换（Fourler Transform）和Fourier Slice Theorem令这个过程的复杂度降为0（n2log-n），极大地提高了处理速度：第二方面是他真正做出了可用的光场相机的原型，而不像前面提到的Adelson和Wang，他们的光场相机原型太大，几乎没有可用性。

我看光场相机与Lytro

毫无疑问，Lytro的诞生把本来只存在于学术上的概念产业化、商业化，确实对相机工业产生了一些冲击。在我看来，Lytro的优点或者可能带来的好处有这么几个：一是它可以取代现有的调焦机制，简化相机的结构：二是使我们可以毫无顾虑地使用大光圈而不需要考虑浅景深所带来的影响：三是在科学界、医学界和生态摄影领域使用光场相机可以扩大景深，从而拍到更清晰的影像：Lytro的一些特性（如可以减小镜头畸变的影响）也可以通过降低镜头的成本来降低相机的整体成本。但是，从RenNg发表于2005年的论文来看，他的光场相机还有一个很致命的问题。从前面的分析我们就知道，最终的调焦完成的图像是通过L（x、y、u、v）计算E（x、y）出来的。这就是说，图片的大小（像素数）只与x、y（微透镜阵列的大小）有关。在他的原型机里，Ren Ng使用了一个1600万像素的数码后背，得出来的光场图毫无疑问是1600万像素的。

如你所见，因为这个图像包含很多子图像，它是不能用的，只有通过光场计算后的图像才能够使用。这个图像的像素是292×292，不到9万像素。这就是光场相机最大的局限，最终的图像的大小受限于微透镜阵列的大小。也许有人或说，把这个微透镜做小不就行了吗？做不到4000×4000，做成1000×1000总行吧。但在我看来，微透镜做小后的衍射问题很难解决，而且就算能做到2000×2000也只有400万像素，无法跟现在主流的相机媲美。希望Ren Ng确实解决这个问题，不然Lytro永远只能做玩具而无法打入主流市场。