Al集成图像传感器意欲何为？

张一迪

索尼近日宣布将推出两款Al图像传感器，代号为IMX500和IMX501.号称是全球首款具备智能视觉的川图像传感器。索尼方面表示，这两款CMOS产品的首批目标用户是零售商和工业客户，比如亚马逊Go无人商店，其应用场景包括访客统计、交通状况和人流量热图绘制等，未来将把IMX500打造成一个简单的单应用设备，即专门应对复杂和多样化任务的专用AI硬件，具备处理和分析更復杂任务的能力，而不仅局限于运行基础算法。

紧接着，索尼和微软又宣布他们将为共同的客户开发解决方案。据了解，索尼将在IMX500嵌入微软的AzureAI，从而在智能相机和其他设备的图像中提取有效信息。

索尼借图像传感器进军产业互联网

这款AI图像传感器将不会应用到手机设备中，目标人群为零售商与工业用户。

这是索尼在AI领域交上的第一份作业。去年11月，索尼宣布成立索尼AI事业部，以推动AI的开发和基础研究工作。当时索尼方面就曾表示将在影像和传感器解决方案上推动现有业务领域的转型，并开发全新的业务领域。

索尼业务与创新副总裁MarkHanson表示，这款AI图像传感器将不会应用到手机设备中，目标人群为零售商与工业用户。目前，IMX500已经出货给索尼的合作伙伴，而MX501将会在今年6月份出货。

业内人士分析认为，索尼是想通过这项技术摆脱对手机等消费电子市场的依赖，向具有更广阔前景的产业互联网进军。据悉，尽管市场的不确定性犹存，但索尼仍然计划将其传感解决方案业务在芯片业务中的占比从目前的4%提高到2026年的30%。

索尼在图像传感器领域长期保持领先优势，日本调研公司Techno Systems Research 2019年CMOS图像传感器市场报告显示，索尼以49.1%的份额排名第一。索尼选择与AI技术相结合，一是为继续领跑图像传感器领域，二是要拓展自身业务板块，同时提高其产品技术能力。

“索尼将AI技术集成于CMOS图像传感器的难度之一是需要利用3D堆叠技术（例如3D-IC TSV方案）实现逻辑电路芯片（包括计算和存储功能）与像素阵列芯片（感光功能）的三维集成。”麦姆斯咨询CEO王懿在接受《中国电子报》记者采访时说道。

3D堆叠技术的核心包括晶圆级键合、层间互联技术——硅通孔（TSV）等。索尼在2017年发布了CMOS图像传感器IMX400，它采用了业界先进的三层堆叠结构——像素芯片+DRAM（存储芯片）+ISP（图像处理芯片），这意味着索尼已经具备了将计算及存储芯片集成于CMOS图像传感器的实力。

Al让传感器更加智能

将AI集成于CMOS图像传感器，可以让传统传感器升级为智能传感器。

随着电子产品对“视觉”功能投入比重逐年递增，图像传感器作为摄像头模组的核心部件，成为业界关注的焦点。那么图像传感器对AI技术的集成相比传统传感器有何提升？又有哪些技术难点？

王懿认为，将AI技术集成于CMOS图像传感器，可以让传统传感器升级为智能传感器，同时边缘计算将演变为传感器端计算。通过将数据处理过程“前置”至传感器端，应用开发者能够实现更快速的处理、更高的系统效率、更好的隐私保护，并降低数据传输延迟、节省系统功耗、减少网络带宽需求，以降低系统硬件的成本，从而从传感器端实现智能硬件及物联网的创“芯”和创新。

赛迪顾问人工智能产业研究中心副总经理邹德宝认为，该图像传感器由像素芯片和逻辑芯片组成，能够输出元数据（图像数据的语义信息），减少数据量、解决隐私问题，并能提高精度，将成为边缘AI领域的理想选择。

赛迪智库集成电路研究所研究员麻尧斌博士向记者指出，从电路设计来说，AI图像传感器配备了具有AI图像分析和处理功能的逻辑芯片，电路功能的增加将使得逻辑层的设计复杂度升高。从生产工艺来说，索尼通过晶圆减薄、Cu-Cu连接和堆叠晶圆等技术（Wa-fer- on -Wafer）来构建芯片，其中堆叠晶圆包含带有光敏像素芯片的晶圆和DSP、ISP以及内存等电路的晶圆，工艺复杂度将显著提升，同时具备DSP功能的逻辑层可能会采用更高的工艺制程。

智能传感器有助提升“云化”能力

微软入局云计算多年，一方面欲通过Azure扩张其云服务版图;另一方面则要加码其“云+端”战略布局。

索尼新推出的CMOS图像传感器与微软Azure AI又会碰撞出怎样的火花？索尼方面表示，将在IMX500中嵌入微软的Azure AI，从而在智能相机和其它设备的图像中提取有效信息。同时，开发管理智能相机的APP，并采用Azure的IoT和感知服务完善IMX500传感器，能为企业级客户扩展视频分析的范围和能力。

“AI图像传感器使得在高速AI处理下进行实时对象跟踪等应用成为可能，同时可以根据用户的要求选择不同的AI模型对数据进行提取。”麻尧斌向记者指出，这些特点将让AI图像传感器未来在工业、零售业和汽车等行业得到应用，具体可用于仓库库存检测、入流监控、驾驶行为监控等应用场景。邹德宝认为，Al图像传感器未来在智能网联汽车、智能零售、资产追踪、公共安全等方面均有应用空间。

据介绍，配备AI图像传感器的相机在获取信息后，可使用边缘计算与云计算两种方法在终端上进行数据处理。需要加快速度时，可通过使用边缘计算或云处理的方式来减少分析数据的时间。

微软人局云计算多年，一方面在通过Azure扩张其云服务版图;另一方面则是加码其“云+端”的战略布局。据了解，微软在“端”上的定位是覆盖各种类型的设备，端是云的出口，云要持续发展，与端紧密结合是大势所趋，与索尼在图像传感器上达成合作也是微软在拓展端边能力上关键的一步棋。

智能手机和相机是索尼传感器的主要应用终端，新推出的AI图像传感器的目标用户是企业级用户，索尼此举意在拓展自身业务边界，微软在AI云服务上的实力将成为其有力抓手。

图像传感器处在3D半导体技术的最前沿，是AI发展的重要抓手。随着索尼与微软的合作走向产品化，AI图像传感器又一次引起业内关注。产品是否已进入量产阶段？未来它能否成为传感器领域的“香饽饽”？让我们拭目以待。