OPEN AI LAB： 以平台思维赋能AIoT

熊安迪

面对万亿级别的AIoT市场，OPEN AI LAB恰如其名，以“OPEN（开放）”的框架平台衔接产业上下游，帮助开发者真正解决产业化的全栈工作难题，促进AI的场景落地。

做最接地气的人工智能框架平台，是OPEN AI LAB在2016年年底成立时的初衷。几年间，这家公司相继推出了Tengine和OmniMaster，以“大平台”衔接AI产业链的上下游，让技术真正能够接“地气”，进而赋能百业。

目前，OPEN AI LAB已经拥有数百个行业合作伙伴，包含系统级芯片商、算法商、解决方案商、OEM（Original Equipment Manufacturer，原始设备制造商）/ODM（Original Design Manufacture，原始设计制造商）、系统集成商等，覆盖了能源、教育、农牧、制造、交通、家居、车载等数十个细分场景。

AI业务平台化

在移动互联网时代初期，手机产业百花齐放。然而在其看似繁荣的表象下，发展的质量却并不高。OPEN AI LAB产品及方案总经理孙健峰认为，当前的AI产业就处于类似的状态。大多数AI科技公司的创业模式都是从算法出发，寻找到一个场景，然后进行全栈工程化。而全栈工程化又包含了底层芯片级硬件的选型甚至研制，算法的训练、加速、调优、部署，甚至业务SaaS的开发。“任何一个行业早期一定是野蛮生长的。由一家公司独立完成全链路，对公司的人员结构、项目成本提出了极高的要求，同时从产业链发展的角度看也是不友好的。”孙健峰这样评价道。

形成协同分工的产业生态，对促进产业链的整体发展，实现“AI赋能百业”至关重要。Android的出现和普及，改善了移动互联网早期手机产业发展的混乱状况，并且大大加速了发展效率。它作为中间的基础能力层平台，能够兼容芯片，并让移动应用开做最接地气的人工智能框架平台，是OPEN AI LAB在2016年年底成立时的初衷。几年间，这家公司相继推出了Tengine和OmniMaster，以“大平台”衔接AI产业链的上下游，让技术真正能够接“地气”，进而赋能百业。

目前，OPEN AI LAB已经拥有数百个行业合作伙伴，包含系统级芯片商、算法商、解决方案商、OEM（Original Equipment Manufacturer，原始设备制造商）/ODM（Original Design Manufacture，原始设计制造商）、系统集成商等，覆盖了能源、教育、农牧、制造、交通、家居、车载等数十个细分场景。

AI业务平台化

在移动互联网时代初期，手机产业百花齐放。然而在其看似繁荣的表象下，发展的质量却并不高。OPEN AI LAB产品及方案总经理孙健峰认为，当前的AI产业就处于类似的状态。大多数AI科技公司的创业模式都是从算法出发，寻找到一个场景，然后进行全栈工程化。而全栈工程化又包含了底层芯片级硬件的选型甚至研制，算法的训练、加速、调优、部署，甚至业务SaaS的开发。“任何一个行业早期一定是野蛮生长的。由一家公司独立完成全链路，对公司的人员结构、项目成本提出了极高的要求，同时从产业链发展的角度看也是不友好的。”孙健峰这样评价道。

形成协同分工的产业生态，对促进产业链的整体发展，实现“AI赋能百业”至关重要。Android的出现和普及，改善了移动互联网早期手机产业发展的混乱状况，并且大大加速了发展效率。它作为中间的基础能力层平台，能够兼容芯片，并让移动应用开发者得以在其之上开发出千万级的APP，使移动互联网产业生态更加蓬勃地发展。而面對海量、差异化的智能化场景，在视觉智能、语音智能等边缘AI应用爆发之际，OPEN AI LAB采取了与众多AI科技公司不同的创业模式——AI业务平台化，或者说生态化、赋能化——通过AI赋能的生产力平台助力产业生态的发展。

具体来说，面向AIoT产业边缘计算挑战，OPEN AI LAB打造了边缘AI计算框架Tengine和全栈AI开发平台OmniMaster两款平台级产品，推动边缘AI算力、算法及行业方案等环节的深度协作，最终加速AI技术在细分行业的产业化落地。

Tengine：解决芯片应用性

作为AIoT的底层算力依托，芯片的重要性毋庸置疑。对于芯片而言，最大的挑战在于如何被快速、高效地开发使用。在成立的前两年，OPEN AI LAB首先通过Tengine这个AI计算框架帮助行业内的各家芯片公司解决芯片的应用性问题，在产业链中实现向下芯片兼容、向上模型兼容、中间算力扩充和性能调优。

海量差异化的场景和业务带来了万亿级的AIoT市场，系统级芯片等芯片的种类将越来越多。仅在2020年的前8个月，国内市场中就有近万家公司进军芯片业务，其中主流芯片厂商至少有数百家。Tengine在不同硬件设备上的API都尽可能保持一致，并支持Python、C、C++等主流模式，使开发者能够以一致的方式实现对不同芯片简易、有效的切换、调用和适配

边缘计算的异构架构可能涵盖CPU、GPU、DSP、NPU、RISC-V等多种计算单元。如果想在应用中将每个芯片的性能发挥到极致，就需要工程师了解其计算原理、微架构设计特点等，进而才可以针对性能优化。Tengine的高性能异构计算库能够帮助开发者以一套简易接口调用不同底层算力单元，提升芯片算力有效性。

Tengine还能够加速算法在既有芯片上的运行速度，降低算法移植和部署的工作量。据孙健峰介绍，在OPEN AI LAB已有的合作案例中，根据算法业务模式和硬件选型的不同，Tengine能够实现30%至500%的速度提升。

在业务模式层面，Tengine的重点在于推理，而非训练。对于开发者而言，训练是第一步，解决场景问题的关键则在于有效部署训练后所获得的推理模型。2017年，Tengine正式在GitHub（https：//github.com/OAID/Tengine）上开源，目前广泛支持业内主流的深度学习算法框架，例如TensorFlow/-Lite、Caffe、MXNet、ONNX、Pytorch等。它也是国际上为数不多的通过ONNX官方认证的战略合作伙伴之一，并且通过ONNX模型实现了对PyTorch和PaddlePaddle的支持。开发者能够结合业务需求，更加灵活地选择训练框架。对于Android、Ubuntu、RTOS等主流操作系统，Tengine同样进行了兼容适配。这在很大程度上降低了面对不同硬件和场景而迁移平台的成本，提高了平台迁移及高效部署的效率。

此外，Tengine经过了简化和轻量处理，最小程序体积达到300KB，在MCU上的最小体积更是只有20KB。其自带的视觉、语音的前后处理函数，能够使其不依赖于外部库，优化对额外资源的占用，适用范围更广。对于开发者的各类高精度应用需求，Tengine已经开发出包括量化训练工具、调试工具、模型库、编译器等工具在内的完整工具链，能够全栈式支持。

OmniMaster：赋能行业生产力

OPEN AI LAB从2018年开始打造公司的另一个核心能力平台OmniMaster，并将其定义为“面向行业赋能的全栈式AI生产力加速平台”。

OmniMaster拥有高效、快捷的“场景-数据-算法-部署-业务”闭环能力。其全流程涵盖数据、训练、评测、调优、端侧部署等开发流程，并具有跨系统级芯片的一键迁移适配、量化裁剪、模型转换、算子优化、动态调度等底层平台化能力。同时，该平台支持跨硬件平台的业务应用快速部署，对CPU、GPU、NPU能够提供最优化的支持，支持最佳的算力性能配置方案。可以说，它是一个针对行业的高性能、高开发效率的“云-边-端”协同开放平台。

在Tengine基础之上，OmniMaster更加广泛地帮助行业伙伴，实现行业的智能化升级。孙健峰补充道：“可以将Tengine和OmniMaster看做一个大平台的两个层次。Tengine是最底层的面向芯片级的AI计算框架，OmniMaster是在Tengine之上的面向行业的AI开发平台。OmniMaster的底层推理框架和异构计算由Tengine支持，甚至于OmniMaster在刚诞生的一段时间内，名字就直接是Tengine 2。”

多行业多场景应用落地

孙健峰表示：“OPEN AI LAB是为AI产业链而服务的。因此，从某种意义上讲，只要有AIoT场景，有AI业务，就都可以通过我们的平台将AI技术落地，真正地解决问题，实现赋能。”而目前需求最高、应用最广的AI技术还要数计算机视觉。

驾驶員检测是计算机视觉技术的应用场景之一。为了司乘安全，车辆需要配备具备DMS（Driver Monitor System，驾驶员监控系统）功能的硬件载体，通过摄像头获取车内和车外的视觉数据，面向车内实时监控驾驶员和乘客的状态，面向车外识别是否有闯红灯、压线等违章行为。实现这样的场景，最大的挑战在于将算法高效地迁移到DMS对应的硬件载体上。当将算法向硬件，特别是嵌入式硬件迁移时，如果缺少一个优秀的基础业务平台，将产生巨大的精度损失和性能降低，并且算法的运行速度也将减慢很多。Tengine就是能够解决这一问题的平台。某出行服务企业与OPEN AI LAB合作，以Tengine作为落实驾驶员检测算法的底层框架，实现了算法性能50%以上提升，并大幅降低了能耗。

与车相关的应用还有智慧停车。OPEN AI LAB与智慧停车管理方向的企业联合推出了新的“AI+停车”模式，对有牌车和无牌车均可识别，而且能够识别出车牌、车型、车身颜色、车内人脸等420多种车辆及车辆附属物品。同时，基于路边立杆的视觉方案，能够实现动态实时智能路边停车管理，无需地磁传感器的复杂施工方案，就能够以高性价比完成自主停车、识别、缴费的全链路解决方案。

OPEN AI LAB的平台在传统行业中也起到了同样的作用。

在钢铁行业，OPEN AI LAB基于整体平台能力，与行业头部企业一起，通过视觉嵌入式解决方案，在生产安全方面，对钢包进行红外热成像检测、对天车挂钩进行监测等，让设备能够智能地安全预警和辨识危险;在质量监控方面，对钢包进行洁净度判断、对铸坯缺陷进行识别等，让企业能够更智能、更严格地把控质量;在物流调度方面，用机器视觉代替人眼识别，不再需要人工去现场观察确认钢包号、板坯号、钢卷号等，实现设备及产品的智能识别，提升生产物流调度效率。

在畜牧养殖业，国内生猪养殖上市公司排行Top 5的大企业中也有OPEN AI LAB的客户。OPEN AI LAB以平台帮助该企业部署具备生猪实时监测和分析功能的高性能嵌入式边缘计算整体解决方案，通过计算机视觉，检测每头生猪的身份、运动轨迹、健康状况，并持续升级迭代，帮助其逐步实现生猪养殖少人化、无人化的目标。

避免中小企业 “重复造轮子”

孙健峰表示，对于传统行业的既有场景占有者来说，OPEN AI LAB能够帮助其快速实现场景的智能化升级和提效。对于中小企业来说，OPEN AI LAB两个平台最大的价值则在于能够避免其“重复造轮子”。

一个企业要快速实现一个行业的AI解决方案是非常困难的。尤其是中小公司或者传统业务转型期的公司，需要快速论证自己的业务，以支持自己的商业模式。“在当前AI的发展状况下，公司需要有数据工程师、算法工程师、硬件工程师、算子调优工程师、量化训练工程师、嵌入式软件开发和业务开发工程师等七八个基础角色，才能真正把基础的业务跑好跑通。”孙健峰表示，快速地实现一个产品的原型开发和落地，依赖于其底层的基础平台。而具备可迁移性的Tengine和OmniMaster就是行业企业可以选择倚仗的平台。

一些大厂商也在打造自己的框架平台，但他们的业务模式是服务于自己内部的产业链，包括自己的硬件体系和解决方案体系等，而非面向整个产业兼容。与之相比，OPEN AI LAB更像一个相对独立的第三方，面向行业开放，其平台是支持产业内底层芯片和上层业务的“大平台”，有助于打破AIoT产业壁垒，快速整合上下游。

据孙健峰介绍，OPEN AI LAB和企业合作的模式非常清晰，既考虑到OPEN AI LAB的商业模式，也考虑到整个产业链合作共赢的逻辑。当前，在全国范围内，OPEN AI LAB也在寻求更多与面向行业场景的公司合作的机会，共同形成方案的快速落地。