视觉智能进展与应用

文/山世光 中国科学院计算技术研究所

所谓计算机视觉，是希望利用科学技术实现能够类像人的视觉一般敏锐的、让机器能够像人一样去“看”、去理解这个世界的视觉效果。计算机视觉包括“看”人、“看”环境等内容，主要目的是帮助人做出更好的决策。在很多时候，我们希望AI能够去帮助人类做一些人类不希望做、做起来比较困难的事，比如农作物的病虫害的自动识别监测任务。

人具有非常强的视觉能力，我们可以非常容易地感觉，不费吹灰之力就可以看清楚这个世界、理解这个世界，但其实我们大脑在接受视觉信号后是经过非常复杂处理的，目前，我们希望让机器也能够完成这一复杂的处理过程，实现视觉智能。计算机视觉的输入是摄像头，摄像头捕捉光的反射，特别是在可见光的波段里面来采样物体对光的反射。当然，广义的计算机视觉不只是在可见光波段，而是更宽的光的范围采样。在捕捉光的反射后，向计算机系统的输入是一张照片，这张照片不是我们平时看的照片，而是存储在计算机里面的一个个的数值，每一个数值是一个象素，这些数值输出的就是标签。计算机视觉的建模是输入红绿蓝数值，输出我们希望看到的结果。其中，浅层视觉模型，人为分成几个步骤：一是光的预处理，二是特征设计与提取，三是特征汇聚或变换；深层级抽象视觉模型，则是在深度学习后，通过数据把任意复杂的非线性函数拟合出来，可以说是能力非凡，容量足够大。简而言之，计算机视觉在大数据、在深度学习的算法、在进行大的算率的结合之下，使我们在很多领域实现从过去靠人看到变成靠摄象头来看的转变。

当前视觉智能应用

视觉智能的应用领域有以下几个例子：

左上：场景中的文字检测与识别技术

左下：地面目标检测与跟踪技术：检测率90%以上

右下：刷脸考勤或脸控闸机 (中科视拓SeetaFace系统)

一是人脸识别，目前已经广泛应用，不管是手机的登录、付款，还是高铁、安防领域，比如一个单位几千人，就可以做到不用刷卡而是“刷”脸通过闸机、进门。我认为，在接下来的两到三年时间里，会有越来越多的园区、楼宇用人脸识别来代替刷卡。

二是无人机地面目标监测，可以监测地面上的车辆以及画面中的文字等。

三是在电力行业还可以做输电塔、输电线上的故障识别，照片上显示的是种植的庄稼，实际上是通过无人机飞行在检测庄稼地里面的输电桩。

除了以上几点，当前，计算机视觉还可以进行操作规程检查包括安全帽、双人搬梯、无人扶梯等等。

在农牧领域，计算机视觉可能应用到动植物分类与识别、农牧鱼病害识别或产品品质分类、农作物病虫害识别与分类等方面。我们举办过机器识别农作物病害的竞赛，即对图像中的农作物叶子进行检测，识别出物种、病害等等数据。此次需要处理数据集一共有61种分类，按照“物种-病害-程度”划分，有10个物种、10类健康类别，有27种病害（共51类），其中24个病害分一般和严重两种程度，共48种，3种病害未分程度。这61种不同的类别可测试样率非常不均衡，它的识别的精度就会有非常大的差异，从人类视觉的角度来看，比如苹果的黑星病，一般还是严重就不好区分。这次竞赛第一名准确率为90%。可以说，视觉智能在农牧领域大有可为。

视觉智能未来的发展

我认为，在未来数年里面，过去主要是靠人看来处理的任务或者做决策的事，只要是人不愿意做或者没有足够人力去做的事情，都可以实现用AI来完成。

从学术前沿来讲，我们通过过去大量的数据解决了很多问题，但是，深度学习使得我们陷入另外两个泥潭。一是过去主要依靠人设计特征和函数识别做出决策，现在转变成靠数据分析做出决策，数据驱动还是需要靠大量的人工进行完成实现，而我们希望机器能够实现自动地学习选择；二是过去大量靠专家支持，现在靠大数据，相比人的话，现在进行大数据的智能与人类智能还存在着非常大的差距。所以，我们所谓的人工智能2.0，从计算机视觉角度来讲，我们希望增加可解释性。我们现在的分类系统可以把病虫害分出来，但是分出来的深层次原因不得而知，同时，计算机视觉也容易受到影响，比如拍照的角度都会影响内容的结果。

上：输电设备与缺陷检测

下：大田中输电桩检测

从方法论的角度，我们希望突破现在需要大规模的数据驱动AI算法和设计方法，到一种可以像人类智能一样，去依靠知识和相对消费者的数据来实现智能，这种我们称为类人智能。从内容角度来讲，人类智能之所以能够做到这些，是因为我们有非常强的触类旁通的能力，有举一反三的能力，吃一堑长一智的能力，以及我们可以想象等等，而计算机在这些方面的能力还是非常弱的。

当然，目前也有一些前沿的探索，比如人工设计模型，可以自动的通过大规模的GPU卡，做长时间训练；可以做内容监督学习或者弱监督；也可以做迁移学习，比如从一种数据类型迁移到另外一种数据类型，甚至可以描述病虫害长什么样子。也可以进行零样本学习（H. Jiang, et al.ECCV2018），以斑马为例，我们没见过斑马，但是可以通过对它的语义描述，从动物园里面找到斑马。

类脑(Brain-like)非常难，卷积神经网络是受脑神经科学启发而设计的（MCP neuron模型，Perceptron…，Neurocognitron, Fukushima, 1980 CNN），但多数在功能层面，结构层面的类脑进展不明，更多脑和神经机制不清楚，更难形成计算模型。我们现在发现不一定非要做类脑，像飞机有翅膀，但是不一定非要像鸟类一样扇动翅膀。我们甚至认为机器智能在很多方面一定超过人，比如之前提到的人脸识别。我们利用基于视觉的情感感知（从智商到情商）这个人的情感，他的情绪，以及他的意图，或者感知学生在学习过程中的状态。还可以做手势识别，通过手势控制机器。

总体来说，视觉智能它有非常多的需求，但是这个需求的解决其实也是五花八门的，它的不同的任务需要不同的模型设计，所以导致不同的任务它的解决程度也是很不一样的，特别需要解决几个问题，包括成本、规模化问题。从基础设施来看，农业领域需要从软件基础设施、智件基础设施（知识识别）、硬件基础设施来考虑（AI云超算服务）。

总而言之，从计算机视觉角度来讲，强监督、大规模数据条件下的AI任务多数都是可以解决得非常好的，而弱监督、消费者数据条件下的AI任务还在路上，解决程度各异。从农业落地角度来讲，要想把现在成熟的视觉智能应用好，关键在于如何解决数据收集模式，优质数据收集和标注的业务模式非常重要，数据匮乏任务的解决尚需时日。