他们选了一条最难的路

徐林

如履薄冰的自研6nm

2021年是一個重要的时间节点，在这一年，小米与vivo先后推出了自研的ISP芯片：澎湃C1和vivo V1，进一步助推自己在手机影像领域的技术演进。随后，OPPO自研芯片也将要问世的消息就接踵而至，但争议也随之而来。因为澎湃C1和vivo V1先后都被网友找到了和第三方芯片公司业已存在的芯片有所关联，纷纷质疑其自研 的含金量。

对此我也感觉挺无奈的，因为芯片研发的链条本来就很长，介入方式也是多种多样，将自主IP植入再由芯片生产厂商流片这本来就是一种常见且成熟的模式，其优势就是可以快速将自主IP硬化商用，从而节约时间与成本，并为后续的演进和设计提供经验。要是按很多网友严格的自研标准 来衡量，那我们熟悉的麒麟、苹果、高通还有联发科估计都算不得是自研，因为它们采用的IP都来自于ARM而非自主开发，算来算去可能只有Intel这种才是真自研吧……

话题扯远了，说回OPPO。当马里亚纳 X正式发布的时候，其类型可能出乎很多人的意料：它是一枚专门用于AI影像处理的NPU，而非之前盛传的ISP。更重要的是，这还是一枚采用相当先进的6nm工艺制程的芯片，与当前很多主流智能手机5G SoC，如高通骁龙778G/778G+，联发科天玑 1200/1100处于同一梯队。仅仅是6nm 这一个关键词，还包含着大量信息：

第一，它的价格会很高，因为6nm是真正意义上的全EUV工艺（7nm+也只实现了部分EUV）。目前全球硅基芯片最先进制程大部分都为智能手机SoC采用，OPPO在一枚NPU上采用这个工艺，真是下了血本。我和一些行业分析师估算了一下，觉得单这一枚芯片的交付成本，就和半套中端手机SoC不相上下了；

第二，只能自研，因为在这个如此先进的制程节点上，没有可以采购能达到OPPO标准的第三方成熟IP，都只能从零开始，此前网上有人说得头头是道的采购谁家IP都是扯淡；

第三，风险极大，6nm制程+自研IP流片不成功的概率并不低，每一次流片失败都代表着千万级别人民币的投入打了水漂，而就算是流片成功，芯片也会有概率不达预期，称其为开宝 一点也不为过。这也让我想起之前和华为聊到麒麟810这枚神U为何比更高定位的麒麟985还要猛时，得到的回答是流片的结果的确超过预期 。

在这些可能梳理出来的信息背后，我觉得还有一场向来行事风格稳重的OPPO输不起的豪赌 ：从2018年INNO DAY上OPPO创始人陈明永宣布2019年研发投入100亿人民币 ，再到短短一年后的INNO DAY上3年500亿人民币 的迅速攀升，除了要支撑快速扩张的研发业务与团队，还有很大一部分比例都为芯片研发业务所占据——用烧钱 来形容这个行业明显力度不够。

资金投入是一方面，另一方面是时间，与自研芯片配套的IMX709传感器研发商用推进速度很快，当其确定在Reno7系列上采用时，留给芯片团队的时间就已经不多了，首次流片如箭在弦，不得不发。幸运的是，OPPO福星高照，马里亚纳 X不但一次流片成功，而且测试表现也完全达到了开发团队的预期，从前期研发到后期流片的所有投入都算是扎扎实实落了地，一次堪比走钢丝 的冒险圆满过关。

既然成本如此高昂，风险如此巨大，为啥OPPO非要选择这样一条最难的路 呢？OPPO芯片产品高级总监姜波为我们悉数道来——他于2019年加入OPPO芯片研发团队，在此之前他曾供职于高通，为高通在中国智能手机芯片的起步和快速成长做出了很大的贡献。他说OPPO智能手机业务在此前10来年的发展历程中已经在影像领域有大量的积累，且在长期采用第三方通用平台的过程中也有很多AI与CV（计算机视觉）算法的经验，当业界都公认计算影像是未来10年影像领域的发展方向时，如何更好地凝聚这些积累并继续演进就成为关键，这也是OPPO打算自研影像处理芯片的初衷。

智能手机的竞争已经步入巨头时代，为了打造产品差异化，定制传感器+自主算法 的组合都为各家所采用，比如华为麒麟+RYYG 就是典型的例子，包括澎湃C1的3A算法，vivo V1固化的夜景拍摄和实时预览都是这种方案的呈现。而在不久前结束的2021年高通骁龙峰会上，骁龙开发团队也表示很欢迎OEM伙伴加入自研芯片，但我们认为这种方案在实效性和持续性上会有问题 。是的，ISP作为ASIC芯片，在采用的灵活性和后续提升上的确不如通用平台方案，但其高效率和功耗平衡也是优势明显，综合下来，这也是为何很多厂商初期会采用成熟芯片植入IP这种相对稳健的方案。

最开始，OPPO也是打算以这样的方式入手自研芯片，且以12nm制程起步——算来算去，100亿肯定是够了。但开始之后才发现了问题：如果采用市面上能采购到的12nm制程IP来做，最后成片应该无法达到手机整体系统功率约束的目标。要知道，随着5G SoC能力的提升，10W以上的芯片峰值功率已经让电池续航不堪重负，要是再额外加入一枚功耗表现不佳的芯片，势必会对后续产品定义带来更大的困扰，当然，这就是终端厂商自己做芯片的优势所在，负面因素可以前置解决。在这样的前提下，马里亚纳 X最终选择以6nm先进制程从零起步，3年500亿，预算在燃烧……

面向未来10年的马里亚纳 X

马里亚纳 X当中集成了OPPO自研负责AI处理的MariNeuro AI计算单元和负责影像的MariLumi影像处理单元。最直观的数据是，马里亚纳X最终的性能不负众望：18TOPS AI峰值算力比苹果A15处理器NPU单元的15TOPS算力更强，更是远超高通骁龙888+处理器。有人可能要质疑高通这款处理器不是宣称有32TOPS AI算力么？因为那是指的整个AI Engine的算力，其是通过CPU、GPU和Hexagon多个单元一起协同达成的，如果对比同类型处理单元，即Hexagon DSP中的张量加速器（即高通处理器中的NPU）能力，马里亚纳 X是肯定强过的——当然，新骁龙8宣称其张量加速器性能翻倍，是不是还能打就看后续信息了。

作为衡量手机NPU性能更重要的标准——每瓦算力，马里亚纳 X为11.6TOPS/W，换算下来整个芯片的峰值运算功耗约为1.5W，如果让其执行现实图片，即实际拍摄图片的处理，更高达12TOPS/W，性能与能效比在当前业界都处于领先水准。

除了高性能的自研NPU IP，为了满足数据处理过程中的高吞吐量，马里亚纳 X的整个内存系统也进行了针对性设计，片上缓存速度达到了每秒万亿比特级别，集成封装的内存子系统通过双通道方式提升了17%的带宽，速率高达8.5GB/s。

在存储系统的辅助下，马里亚纳 X拥有强悍的数据吞吐量：在它上边运行OPPO降噪算法，797mW的功耗下可实现4K@40fps AI处理，即可以录制流畅的4K高清视频，而同样的算法运行在Find X3 Pro上，就只能实现4K@2fps的速率，仅可以用来拍摄照片，且功耗高达1693mW，是马里亚纳 X协处理芯片的1倍以上。

有了马里亚纳 X NPU中OPPO自研的MariNeuro AI计算单元，其带来的强大AI运算能力，让OPPO终于可以做一件想做很久的事情了：实时RAW域处理。为了完成这个前置的处理环节，芯片团队在马里亚纳X中还集成了一个重要的模块：MariLumi影像处理单元，这是OPPO自研的具备ISP功能的处理器，它是以异构的方式整合在马里亚纳 X之中。它可以为NPU处理提供20bit、120dB超高动态范围的传感器原始信号，比起现在Find X3 Pro所能提供的18bit信号动态范围提升了4倍，光比从之前的25万：1达到了100万：1，再细化到4K场景下亮部与暗部的信号增益，则分别是8dB和12dB。

有了MariLumi的存在，OPPO还可以做一件想做很久的事情：与定制RGBW传感器配套，进行RGBW Pro模式增强处理。众所周知，RGBW传感器因为白色（White）像素点的存在，其感光能力得到大大增强，但同时因为传统ISP RAW-RGB-YUV的处理管路，对这类传感器的噪点抑制一直都不太理想。而专门设计的MariLumi则存在两个并行的管路，分别进行RGGB和WWWW两路信号的独立处理，其RAW域信息处理量直接翻倍，这带来的好处就是实现了8.6dB的SNR降噪处理能力和1.7倍的纹理细节提升，这也意味着RGBW传感器的噪點问题和画质可能都会得到更理想的解决。

说到这里，OPPO为什么如此在意马里亚纳 X的原因也就非常清楚了。首先，OPPO认定影像会是智能手机未来10年的核心竞争点之一，而4K AI 夜景视频又是这个领域的重要战场，这一点从iPhone 12/13两代产品在视频性能上的大幅度强化就可见一斑；其次，RGBW异型CFA传感器是OPPO未来要重点发力的技术，但其目前比较小众，无论是高通还是联发科的通用平台对这一类型传感器都缺乏指向性支持，想要将其能力最大化，就只有靠自己来做；第三，即使通过调校，通用处理器平台要实现理想化的效果，也会付出较多能耗代价。综合下来，自研这样一枚芯片的确是件有价值的事情。

当然，以较小的代价只做类似于MariLumi的ISP来解决问题，OPPO芯片团队也是有所考虑的，但最后还是一致认为应该充分考虑NPU芯片的生长性与可演进能力。而问及马里亚纳 X可能带来多少终端成本的上升，姜波说并没有考虑太多，而是从产品特性、解决问题的目的出发，至于会不会带来终端成本的提升，他说等到2022年首先搭载马里亚纳X的OPPO Find X系列旗舰上市，看价格大家就知道了。

写在最后

千万不要简单地以为OPPO芯片团队投入这么多资金和人力，最后只做出来马里亚纳 X这一枚芯片——它只是这个团队自2019年成立以来，经历两年多时间拿出的第一个作品，从各个方面来看，它已经非常出色了，一枚针对影像解决方案的NPU都能如此用力过猛 ，也让我对OPPO自研芯片后续的产品更加充满期待，毕竟首枚芯片就做异构，太给人以想象空间了。还有一个小信息值得关注：6nm马里亚纳 X的诞生，意味着OPPO与全球第一晶圆代工厂台积电的关系应该紧密了。当然，更要一起期待2022年亮相的OPPO Find X系列旗舰啦！