算法X时代 2010-2020摄影算法十年记

The Past 10 Years Of Computational Photography

回想大约十年前，当人们谈论相机和照片时，通常只会提到降噪处理和色彩倾向，而没有其他。而在2019年，当我们手握一台相机或手机时，无论你是否感觉得到，算法和人工智能技术都已经在自动对焦、取景画面、场景优化、画质优化等方面发挥着重要作用。比如，有些算法能让相机识别出动物的眼睛，有些算法能让手机拍出纯净的夜景，还有些算法能模拟大光圈镜头的虚化效果。

现在，我们不妨回顾过去10年，看看计算摄影和人工智能技术是如何一步步融入我们的拍照设备，改变消费者觉得已经完善的摄影体验。再展望未来，看看决定未来拍照设备优劣的，是哪些核心要素。

序幕 数码照片是什么？

你以为的算法，和我们说的算法。

胶片照片的本质是化学反应，而数码照片的本质是计算。

当你拿起一台相机或手机，拍下一张照片。通常情况下，你的相机并没有完全看清楚你要拍的画面，因为绝大多数传感器都是由红、绿、蓝三种马赛克传感器组成的——这就是像素。每个像素只“看”到一种颜色，而隔壁像素是什么样子，就只能依赖算法来“猜”出来。即使如适马X3这样模拟胶片的特殊结构传感器，在生成图像时为了均衡每一层获得的信息，也需要相机的影像处理器进行大量运算。

当然，如今数码相机的进步，这种“猜”已经变得近乎i00%准确了。所以本文中所提及的算法，并不是指这种简单的为了解决还原成像的基础运算，而是指让一张数码照片变得更好的那些算法。这也是如今计算摄影的方向——通过各种算法，让人们摆脱硬件的限制，得到更好的、更富创意和美感的画面。

感光元件看起来似乎是“铁板一块”，其实是有很多个小格子组成，每一个格子上都有红、绿、蓝三种颜色中的一种，这就是“像素”。

起点 一次快门=一张照片？

当一张照片解决不了问题的时候，那就多拍几张。

斯坦福大学团队开发的计算摄影实验平台，使用佳能镜头，运行Linux操作系统。后来这套系统被移植到一台诺基亚N900手机中，并实现了当时手机不能完成的拍摄功能。

很多人覺得是手机催生了计算摄影，因为相比拥有大尺寸传感器的相机，手机先天的成像质量和玩法都比较可怜。但实际上第一个计算摄影平台是一部相机。在2010年，斯坦福大学的科研人员苦于没有用于研究计算摄影的工具，于是就自己造了一台“相机”——FrankenCamera（名字取自科学怪人弗兰肯斯坦）。它是一个能安装佳能镜头，侧面还有手柄和快门的相机。但这几个部件也是该相机上仅有的看上去像相机的部分，它其余的部分就像一个黑盒子，充斥电路板和各种接口，方便进行调试——这台相机使用Lin ux系统，可以进行编程操控。

随后，科研人员将基于FrankenCamera的系统移植到了一台诺基亚N900手机上，并让这台功能并不出色的手机实现了HDR取景与拍摄、增强动态范围的全景摄影、更纯净的弱光拍摄和多重曝光创意拍摄等功能。

计算摄影的初步功能：将短曝光多噪点照片的清晰轮廓和长曝光低噪点照片的纯净画面融合之后得到的优化夜景画面。

计算摄影的初步功能：基于自动HDR拍摄的全景照片

这些功能之所以能实现，普遍是由于使用了多张拍摄照片，然后将各自最优部分计算合成的原理。简单说，这意味着获得一张高画质照片的方式，不再只有使用更大、更先进传感器这一条路，而是可以通过一次拍摄多张照片来获得。

初露 两个镜头，一张照片

让手机达到相机的虚化效果

斯坦福的科研团队后来被谷歌收编，奠定了谷歌在算法领域的领先地位。但正因为安卓阵营的开放性，导致最开始被人们熟知的算法手机并非来自谷歌。2014年，HTC发布了M8系列手机，首次搭载了双摄像头——其中主摄像头负责拍摄照片的亮度和色彩信息，另一颗摄像头负责采集深度信息并用于背景虚化模拟。只不过受限于当时的算法和体验都不够完善，HTC M8系列手机并没有引起很大波澜。

两年后，即2016年，双摄手机迎来了全面爆发。这一年华为推出了与徕卡联合打造的P9，凭借“彩色+黑白”的双摄组合大获成功。同年苹果公司也发布了首款变焦双摄手机iPhone了Plus。由止E两家公司开启了双摄的两个不同方向，前者侧重夜景成像，而后者更侧重于人像虚化的模拟效果。自2016年开始，几乎所有旗舰级手机都搭载了两个或两个以上的摄像头，至2019年，三摄、四摄手机都已不鲜见。

谷歌公司也开始发力，在2016年推出了Pixel手机，虽然它只有一个摄像头，但却能凭借人工智能技术的加持，实现只有双摄手机才能获得的背景虚化模拟效果。

手机直接拍摄的照片，受限于传感器面积较小，几乎没有虚化效果。此外人物面部由于在阴影中，光线质感也显得不够美观。

使用人像模式拍摄的照片，不仅模拟相机上大光圈镜头的虚化效果，还通过人像光效算法模拟了更具质感的光线效果。

初露 找到眼睛

相机厂商的算法优化

在手机厂商拼命想摆脱“底大一级压死”的宿命时，相机厂商们的节奏要慢了许多，但也并非停滞不前。

2012年，Lytro光场相机诞生了，凭借独特的硬件设计与算法，光场相机实现了先拍照后对焦等独特功能。只可惜由于产品不够接地气，销量惨淡，最终在2018年公司关闭后部分员工被谷歌接收。

相比实验性质更强的光场相机，奥林巴斯于2011年推出的E-PL2上实现的眼部检测对焦更具实际意义。这一技术在2013年被索尼用于全画幅微单，并随着微单相机的崛起渐渐成为标配。

特别是在2018年到2019年，索尼通过固件升级的方式让所有α7三代机身和α9都实现了实时追踪和实时眼部追踪功能。在这一升级中，相机可以认出被摄主体的图案、色彩和距离，再结合人工智能识别出被摄人物或动物的双眼，再调用相应的对焦点进行对焦，而不是以往的只依赖距离和色彩信息那样简单。

新一代索尼微单相机具备的基于人工智能技术的对焦原理示意图：相机实时采集处理色彩、图案、距离和面容信息，并依靠AI从数据库的深度学习，找到并追蹤当前画面中人物的眼睛。

佳境 一次快门，n张照片

计算摄影的无限可能

有趣的是，无论是手机还是相机，要获得超越以往的画面效果，都依赖于两大核心要素——传感器的高速读取和处理器的高速处理。比如索尼α9的传感器数据读取能力就是前代机型的20倍，而手机的处理器几乎每年都会有大幅提升。

在有了这两高保障之后，相机才能随时捕捉运动中的物体，手机也才可以在按下快门的同时拍摄多张照片，然后依据不同的计算原则进行对齐、合成和优化运算。

我们可以通过手机上的夜景模式来一窥计算摄影的魅力。

通过对比照片，你会发现这其中的差异非常明显，不仅画面更加纯净，噪点减少了许多，细节和色彩也得到了增强。更重要的是，由于并非机械的进行多张叠加，而是在确立基准帧之后再进行叠加，所以即使没有三脚架辅助，也能获得没有重影的高品质夜景照片。

将手机上的夜景模式与相机照片相比，在画面直观感受上也毫不逊色，甚至由于多张合成了不同曝光的照片，在宽容度方面还比相机表现得更好。

验证计算摄影对夜景照片的巨大提升

下面的九宫格照片分别是手机直接拍摄、使用夜景模式拍摄和相机拍摄的弱光画面。从左侧照片你能看出，手机本身的弱光成像并不如最右侧的相机。但凭借出色的夜景算法，能极大提升画面细节，降低噪点（中间图片）。值得注意的是，所有图片均为手持拍摄，没有使用三脚架。

展望 如何算出好结果？

算法，可以让夜景拍摄不再需要三脚架、让慢速快门不再需要ND滤镜、让人像虚化不必依赖大光圈镜头、让画面不再曝光过度、让人像跑焦不再困扰摄影爱好者……

似乎计算摄影、人工智能可以帮我们解决很多问题。但不可否认的是，也会让我们犯一些以前不会犯的错误。

目前几乎所有手机都可以拍摄星空、星轨照片，打破了以往被相机垄断的星野题材。当然，星野摄影的画质方面还是相机更勝一筹，但易用性方面无疑手机更佳。

比如，某些安卓手机尽管具备出色的人工智能影像算法，但是拍出的照片色彩始终过于艳俗而不令人满意，色彩的准确性也偶有问题。这就不再是算法是否准确的问题，而是算法背后，编写算法的人与审核算法的人的美学修养问题。

人工智能也好，算法也好，它们就像是一个孩子，如何训练它们，如何教会它们正确的看待事物，是厂商的职能与责任。

计算摄影大事件

◎2010年一斯坦福大学团队开发出用于计算摄影研究和实验的Franken Camera，并将其算法导入到了一台诺基亚N900手机当中。

◎2011年-奥林巴斯发布M4/3规格的E-PL2微型单电相机，首次在相机上实现了眼部检测功能，也就是相机可以自动对焦到人物的眼睛上。

◎2012年-Lytro光场相机上市销售，通过捕捉光线和景深信息，以及复杂的图像运算，可以获得先拍照后对焦、3D照片拍摄等功能。

◎2013年-索尼发布全画幅微单相机α7，这是首款支持眼部识别对焦功能的全画幅微单相机。

◎2014年-HTC M8手机问世，首次使用了双摄像头来采集深度信息，模拟背景虚化效果。

◎2016年-华为发布P9手机，首次使用了“彩色+黑白”的双摄组合，除了可以模拟背景虚化，黑白摄像头也可单独成像和辅助提升彩色照片画质。

◎2016年-苹果发布首款搭载变焦双摄的手机iPhone 7 Plus，主打人像虚化模拟，并内置了多种模拟光效。

◎2016年-谷歌发布Pixel手机，首次利用人工智能技术在单摄手机上实现了人像背景虚化效果。

◎2017年-苹果发布iOS 11操作系统，首次在移动设备上使用了HEIF（高效率图像格式），取代了JPG格式。HEIF格式的照片所占存储空间只有JPG格式的一半，支持16位色彩和更好的宽容度表现，还能在编辑图像时保留原图，实现无损编辑。

◎2018年-vivo在展出APEX概念机时发布了超级HDR功能、可以实现约14ev动态范围的拍摄效果。

◎2018年-华为发布P20系列相机，首次搭载了基于人工智能技术的夜景模式，通过算法极大的提升了手机的夜景细腻程度和宽容度。这一技术在一年后的P30系列上更加成熟。

◎2018-2019年-索尼为旗下α9、α7 Ⅲ、α7R Ⅲ等多款机型推送了新固件。新固件基于人工智能技术，让相机可以识别并追踪被摄主体。还可以进行更高效精准的实时眼部对焦。并且不仅能识别人眼.还可以识别一些动物的眼睛。

◎2019年-苹果在iPhone 11系列手机上，使用了全新的夜景算法和深度融合（Deep Fusion）技术，并将手机的智能HDR效果推上了一个新的高度。

◎2020年-佳能将会在旗舰单反EOS-1D X Mark Ⅲ中使用深度学习技术，提升自动对焦稳定性和追焦性能，并将支持HEIF格式照片的拍摄。