影像专业NPU 浅析OPPO马里亚纳MariSiliconX芯片

自研ISP的春天

如今智能手机愈加看重影像（拍照，摄像）实力。但是，手机影像系统却是一个非常长的链条，包括CMOS传感器、马达、光学防抖模块、镜片、镜头（光圈）、镀膜，在光学信号转化为数字信号时还需要ISP影像处理器进行“纠错”、“校验”和“补偿”，再通过后端标定和AI算法调优等过程。其中，ISP影像处理器芯片的角色最为特殊（图1），也是手机厂商之间寻求影像差异化的最佳突围路径。

对于一线智能手机品牌来说，自研芯片已是一項不可或缺的核心竞争力，而自研ISP因难度相对较小（相比直接研发SoC），更是形成了一股风潮。特别是在AI人工智能时代，也唯有自研的ISP才能算是“知根知底”，100%匹配自家的AI成像算法，进而更好地实现自身软硬件的协同，解决用户关心的痛点，在设计、硬件和系统趋于同质化的当下带来更多的辨识度。

火速链接

如果你对ISP的原理感兴趣，请参考本刊2021年第18期《兵家必争之地浅析智能手机“心脏” 内的I SP模块》这篇文章。

为了提升影像实力，在武装更高规格CMOS传感器之外，从去年开始以小米和vivo为代表的品牌就相继走上了自研ISP影像处理器的道路。比如，小米去年发布的澎湃C1就帮助M I XFOLD折叠屏手机实现了更精细、更先进的3A（AF对焦、AWB白平衡及AE自动曝光）处理（图2）;vivoV1也能让X70 Pro+在低功耗条件下就实现暗光环境下的实时预览，在高速处理同等计算量任务时，V1的专用算法相比软件实现的方式可使硬件电路功耗降低50%，还能提供游戏插帧体验，震撼更胜以往（图3）。

②

③

如今，终于轮到OPPO“交作业”了。

OPPO入局的考量

OPPO在过去一直都在手机影像领域持续发力，无论是从Find X3系列开始提出的“全链路10bit色彩引擎”还是Reno7系列独享的RGBW传感器IMX709，再往前还能追溯到开启美颜时代的Ulike、配备旋转摄像头的N系列、可让1300万像素摄像头实现5000万像素的超清画质成像技术、R17 Pro独特的F1.5/F2.4灵动光圈、第一代Reno主打的10倍混合光学变焦技术，每一项技术或功能都令人印象深刻。

在这个过程中，OPPO在通用SoC平台（如高通骁龙、联发科天玑移动平台芯片）上积累了许多AI算法，但同时也发现了一系列问题。比如，以OPPO独享的IMX709传感器为例，由于它采用了定制的RGBW排列，需要整个图像处理链路进行优化增强，很难与通过SoC平台实现紧密耦合，无法实现最大的收益。为此，OPPO不得不在IMX 70 9传感器逻辑层内置OPPO自研硬件级IP——RGBW图像处理单元，耗资巨大（图4）。

④

另一方面，通用SoC平台通常是1年1次迭代升级，而AI算法却无时无刻不在更新完善，二者在时间上难以匹配。此外，随着超级夜景、A I美颜、A I视频防抖等功能的出现，AI算法在一定程度上已经超越了基于传统ISP硬件芯片进行计算的效果。虽然通用SoC平台内都已集成AI模块，但其AI算力却无法被手机厂商自己的AI算法充分调用，效率和功耗的损失极大。

对于已经拥有定制传感器和成熟A I算法，并深谙用户需求的OPPO来说，急需一颗可以将全链路10 bit 色彩引擎、IM X709传感器（包括后续版本）、独家AI算法等资源进行影像链路垂直整合的芯片，填补OPPO缺乏可控影像专用处理器的最后短板，将AI算法和传统ISP进行更好地结合，迎接即将到来的“计算影像”时代。

浅析马里亚纳MariSilicon X

需要注意的是，OPPO首款自研芯片并非小米和vivo自研的ISP影像处理器，而是难度更高的专为影像而生的NPU——马里亚纳MariSilicon X（图5）。官方称该芯片是OPPO未来十年影像的开篇之作，将完全服务于OPPO定制化的计算影像需求，未来它将和通用平台一起构成了手机核心运算的左右大脑，正式开启“一机双芯”时代。

⑤

6nm制程工艺作

为一颗“非主流”的芯片，OPPO马里亚纳MariSilicon X采用DSA新黄金架构理念，并选用了当前仍处于领先水平的台积电6nm制程工艺（图6），需要付出更多的设计、流片成本和开发周期。作为对比，无论是小米澎湃C1还是vivo V1都采用了更主流的12nm制程工艺。有了更先进工艺的加持，马里亚纳MariSilicon X才实现了同级最好的能效比，达到了OPPO对自研芯片的预期要求。

⑥

ISP和NPU合二为一

马里亚纳MariSiliconX内部有两大OPPO自研的核心IP，分别是MariNeuro AI计算单元和MariLumi影像处理单元（图7）。其中，前者扮演的就是类似骁龙AI引擎和联发科APU的“NPU”，而后者则是传统意义上的“ISP”。二者攜手，便能充分发挥定制图像传感器以及自研AI影像算法的能力，弥补当前通用SoC平台集成的ISP和AI算力不足的难题，而且不存在功耗和芯片面积的浪费问题。

⑦

MariNeuro AI计算单元

马里亚纳MariSiliconX集成的Mar iNeuroAI计算单元可以提供高达18TOPS的算力，以及11.6TOPS/W的能效表现（图8）。看到18TOPS这组数据时，估计不少朋友会感到不屑——骁龙888集成的第六代高通AI引擎可是有着26TOPS的算力。但正如前文所述，手机厂商无法在影像方面充分调度通用SoC平台的AI算力。

⑧

以搭载骁龙888的Find X3 Pro为例，在这款手机上运行OPPO自研的4K（视频）AI降噪算法时最多只能跑出2FPS，而且功耗也接近1.7W。但在搭载了马里亚纳MariSilicon X的平台上，运行同样的测试项目却能跑出40FPS的帧数，功耗也低至0.8W，实现了20倍的性能跃升，同时功耗降低超过50%，充分体现了越专用越高效的显著优势。

马里亚纳MariSilicon X的AI计算之所以如此高效，还因为它解决了传统AI芯片的内存墙瓶颈（图9）。简单来说，OPPO为它配备了豪华的双层存储架构，包括可提供高达每秒万亿比特（Tb /s）超大吞吐量的内存子系统，以及传输速度高达8.5GB/秒的独立DDR带宽，后者可为芯片内各个计算单元提供独立带宽，还能为手机系统总带宽带来额外的17%增量，在有效减少数据搬运的同时提升能效比。

MariLumi影像处理单元

MariLumi影像处理单元也是马里亚纳MariSilicon X的核心组成部分（图10），它支持最高20bit的处理位宽，并支持惊人的20bit Ultra HDR。作为对比，高通新一代骁龙8集成三核18bit ISP，支持18bit RAW格式拍摄;联发科天玑9000集成的第七代的Imagiq ISP也仅支持18bit HDR。

⑩

20bit Ultra HDR意味着能覆盖100万：1的最大亮度范围，即一张照片当中最暗和最亮的部分相差了100万倍，达到了新一代骁龙8及天玑9000的4倍，几乎与人眼真实的感受无异（图11）。

⑾

20bit实时RAW计算

RAW是一种未经过压缩的无损原生照片格式，最大程度保留了照片拍摄的原始信息，这也使得其拥有更大的后期制作空间。在传统的手机影像计算中，通常是将CMOS输出的R AW信息先通用S oC平台集成的ISP转换成RGB信息，再转换成YUV（AI降噪和HDR也在该阶段完成），而其中的每一步转换都存在一定的信息耗损，其最高上限只有18bit HDR。

通过马里亚纳MariSilicon X对影像链路的垂直整合，就可以重塑转换链路，将处理节点提前（图12），直接在信息量100%的RAW域做实时计算，因此才实现了20bit实时R AW计算和20 bit UltraHDR功能，并能够带来8dB的图像信噪比提升。换句话说，这颗影像NPU会抢在手机搭载的通用SoC平台之前进行HDR和AI降噪等操作，处理之后才会交付给通用SoC平台（图13）。

⑿

专属RGBW Pro模式

早在2015年OPPO就曾在R7 Plus身上应用过RGBW传感器（IMX278），号称低照度下感光能力提升32%，噪点降低78%，室内弱光及夜拍均有更为强大的表现。可惜，受制于当年芯片的制程、信号串扰、算力不足以及缺少像素合并技术等原因，RGBW的IMX278实际成像存在色彩失准和摩尔纹等问题。

OPPO Reno7系列主打的IMX709内部集成了自研的RGBW图像融合单元，强大的算力再叠加四合一像素算法和DTI像素隔离技术，已经很好地解决了RGBW的先天缺陷，并且减少了传感器子像素之间的串扰，进而提升纯净度，可显著提升人像模式下在肤色、细节、明暗等方面的表现。

但是，在通用SoC平台下，依旧无法发挥IMX709，或者说RGBW传感器的全部实力。为此，OPPO借助马里亚纳MariSilicon X的双通路设计，首次实现了对RGB和W像素的分隔处理，最大化利用每一种像素特性，释放出RGBW阵列的全部潜力。据悉，马里亚纳MariSilicon X的RGBW Pro模式可带来8.6dB的信噪比提升，以及1.7倍的解析力提升（图14），在传感器尺寸规格都没有变化的前提下实现大幅的影像效果增强。

AI夜景视频首次尝鲜4K

正如前文所述，哪怕驍龙888有着26 TOPS的AI算力，在进行OPPO自研的4K AI降噪算法时的帧数和功耗表现也极不理想。换句话说，现阶段这种AI降噪只能用于拍照，而无法放在视频拍摄方面。

但是，在马里亚纳MariSilicon X的加持下，就能同时让20bit RAW计算、20bit Ultra HDR、4K AI HDR视频降噪同时用于拍照或是视频录制，首次让Android生态下的AI视频有了4K表现（图15），也让4K视频第一次拥有了AI能力。

⒂

小结

总的来说，马里亚纳MariSilicon X是一款性能强大且拥有极致能效比的影像专用NPU，综合了比通用SoC平台更强的AI算力和ISP性能，其主打的Ultra HDR能力、无损的实时RAW计算以及最大化传感器能力的RGBWPro都是可以解决当下手机影像痛点的特色。可以预见，这颗OPPO自研的NPU芯片将主要服务于更多与视频拍摄相关的创新的AI功能，用计算摄影突破手机影像功能的极限。据悉，马里亚纳MariSilicon X将被新一代Find X系列首发，以双芯时代正式开启面向未来十年的计算影像新篇章（图16）。