有了“眼睛”的机器人 能做什么？

房晓楠

基于3D机器视觉技术的机械臂可以在制造业中实现智能作业，木地板生产线智能化检测设备可以代替人力，实现连续、稳定的质量检测，极大地提高生产效率。在如何利用AI赋能传统行业的问题上，浙江智慧视频安防创新中心用实际行动给出了答案。

报告显示，2019年，全球机器人市场规模高达294亿美元，其中工业机器人市场规模为159亿美元，占比为54.1%。没有迷人的外形、甜美的声音，工业机器人也许不像服务机器人那样招人喜欢，但它却在工业自动化中扮演着重要角色。传统意义上的工业自动化，工业机器人只能在控制系统的指挥下，重复特定的动作流程完成加工，这也就意味着产品加工精度的保障依赖于控制系统的稳定性与整个机械系统的精度。而在加工过程中，诸如不可预测的震动、产品在工位间传送发生偏移等随机误差的产生在所难免。此外，随着产品生产序列日益繁琐、复杂，市场对于工业机器人提出了更高的要求。然而，上述这些问题对于“看不见东西”的工业机器人来说，解决起来尤为困难。

那么，如果机器人有了“眼睛”，这些问题是不是就迎刃而解了？也许，浙江智慧视频安防创新中心可以给出答案。

浙江智慧视频安防创新中心（简称“创新中心”）由北京大学信息技术高等研究院发起，海康威视、大华、阿里云、北京大学报告显示，2019年，全球机器人市场规模高达294亿美元，其中工业机器人市场规模为159亿美元，占比为54.1%。没有迷人的外形、甜美的声音，工业机器人也许不像服务机器人那样招人喜欢，但它却在工业自动化中扮演着重要角色。传统意义上的工业自动化，工业机器人只能在控制系统的指挥下，重复特定的动作流程完成加工，这也就意味着产品加工精度的保障依赖于控制系统的稳定性与整个机械系统的精度。而在加工过程中，诸如不可预测的震动、产品在工位间传送发生偏移等随机误差的产生在所难免。此外，随着产品生产序列日益繁琐、复杂，市场对于工业机器人提出了更高的要求。然而，上述这些问题对于“看不见东西”的工业机器人来说，解决起来尤为困难。

那么，如果机器人有了“眼睛”，这些问题是不是就迎刃而解了？也許，浙江智慧视频安防创新中心可以给出答案。

浙江智慧视频安防创新中心（简称“创新中心”）由北京大学信息技术高等研究院发起，海康威视、大华、阿里云、北京大学数字视频编解码技术国家工程实验室等10个机构参与建设。在如何让机器人能够看得见的研究上，创新中心进行了深入的探索。

手眼合一 精准取物

在智慧视频安防创新中心工业视觉事业部副总经理黄广宁看来，“3D机器视觉技术将赋予移动机器人真正的眼睛。”

基于3D机器视觉技术的高精度机械臂控制引导系统，是创新中心以杰牌智能传动方案提供商的加工生产中心需求为实施对象，打造的一款工业级“手眼合一”导引系统。据介绍，该中心多组立式数控加工机床整列排布，对多种规格工件进行加工，需要实现自动化上下料。但由于工件个体差异较大，形状和姿态较为复杂，来料姿态和位置也比较混乱、无序，常规机械臂抓取方案需要制作特定工装，并对来料摆放的精度要求苛刻。

黄广宁认为，在做抓取动作时要解决的核心问题是“物体在哪里、抓取哪里”。对于人类来说，解决这一问题的关键是依靠眼睛来观测，判断相应的位置，然后进行抓取。而对于机器人来说，3D机器视觉技术就是完成这个工作的眼睛。黄广宁解释道：“传统抓取采用2D机器视觉技术，但是由于不具备获取深度信息的能力，在解决立体问题上具有很大的技术局限性，必须通过很多辅助条件，比如严格的初始位置、精准的摆放、高精度工装载具来辅助定位。而3D机器视觉技术可以在很短的时间内，对任意摆放的物体进行三维成像，精确识别物体的形状、摆放方位，确定从什么方位抓取该物体，并引导机械臂执行这一过程，极大地降低对环境的要求和操作的复杂度。”

基于此，创新中心广泛结合企业的实际需求，推出了基于3D机器视觉技术的高精度机械臂控制引导系统。该系统采用了点云生成精度最高的3D成像技术—相移法结构光技术，结合高稳定性的3D物体检测和识别技术，能够实现多个目标物体的位置和姿态的同时准确识别。配合相应机械臂，可实现对无序堆叠的料框中工件进行直接抓取、机床上料及料框下料码放等过程实现全自动化、无人化。

融合多领域技术

基于3D机器视觉技术的高精度机械臂控制引导系统的技术核心在于通过3D视觉测量技术精准获取料框中多种规格的工件位置和姿态信息、上料框的坐标信息以及下料框隔板的坐标信息，传输到机械臂控制器并引导机械臂完成精确抓取、精确摆放。“这个产品的研发，涵盖了数字光学、数字成像、数字电路、机械臂控制、3D重建、3D目标识别等多个学科知识，是一个多领域融合创新产品。”黄广宁解释道。

目前市面上虽然已经出现各种3D相机产品，但还是只属于场景化定制产品，均没有做到可广泛应用的程度。而创新中心研发的这一系统，是从基础光学设计入手进行整机以及工具化软件设计，注重精度、速度、性价比的平衡性，打造的一款工业级标准化产品，以推广3D机器视觉技术的应用，促进智能化升级。相较于同类视觉引导系统，该系统主要具有以下四个特点：

1.独特的相移法3D重建技术，高速获取清晰3D点云数据;

2.高动态范围成像技术，有效识别金属光泽或黑色物体;

3.高适应性物体识别和抓取引导技术，多种工厂自动化和物流解决方案;

4.示教式部署模式，极大地减少工程部署时间。

在谈及这一系统在研发过程中的困难和挑战时，黄广宁认为，最大的难点在于如何应对复杂环境的光照干扰、高反光或高吸光材质的物体成像、多种异构物体堆叠状态下的识别。针对些问题，研发团队从光源、成像、高精度制造及人工智能算法等多个维度进行了综合设计。

目前，产品研发已经取得了良好的成果。固定模式产品可实现最大1200×1200mm的检测视场;手眼模式产品可实现300×300mm的检测视场。

在谈到基于3D机器视觉技术的高精度机械臂控制引导系统的应用情况时，黄广宁表示，由于3D机器视觉技术还处于发展初期，技术成本比较高。该系统主要集中应用在高端制造业上，如复杂结构物料的自动化上下料、多种规格混合物流的拆码垛、高精准自动化装配，以及焊接、涂胶等对三维精度要求很高的立体作业等。

赋能木地板质量检测

搭载了3D机器视觉技术的机械臂可以模拟人的可移动性，实现物品的抓取等功能。那么，当深度学习、神经网络、图像分割等AI技术进入传统木地板制造行业中，又将带来怎样的赋能效应？

近年来，随着人们生活水平的提高，消费者对木制品的要求也不断增加，这就要求木材加工行业从生产源头至成品进行全面的质量管控。但目前大部分的木材加工企业，均是由人力完成质量检测。在重视质量的生产企业中，专职检测人员甚至占到50%以上。基于人力的检测，往往存在自动化程度不高、品控难、管控难的问题，且人工检测带有经验主义和主观性，质量无法量化管理。此外，木地板检测环节涉及到多个工人协同配合，人力成本高昂、用工难等问题也日益突出。

黄广宁表示，在看到木地板制造行业存在的这些难点后，创新中心就在考虑：是否能够研发一种可以实现自动化、智能化的检测设备来替代人力？

“虽然国外已有了成熟的智能化检测设备，但由于国情不同，国外的木种比较单一，而国内木种繁多，进口产品水土不服，无法解决国内的木材检测问题。在这个大环境下，我们决定研发适合于中国木材特点的智能化检测设备。”

于是，创新中心推出了木地板生产线智能化检测设备。它的核心技术在于基于神经网络的亚毫米级缺陷分割和基于半监督学习的多树种快速迁移的图像分割技术，并深度结合专家知识库系统形成定制化标准，以助力企业提高产品质量。

该设备投入使用后将大量取代传统人工检测，因为它不仅可以在准确性上远超人眼能力，还可实现7×24小时连续、稳定的检测，极大地提高生产效率，在工作负荷上是人力无法比拟的。此外，在解决人力带来的各种问题的同时，还可以实现木材质量的数值化、标准化，为现有木材加工工艺提供真正客观的数字模型，进一步促进木材加工行业的技术升级。

在木地板的智能化检测研发过程中也遇到过一些难题，主要挑战就是木材种类。“中国用于木材加工的木种情况十分复杂。国外主流木种材料只有几种，而国内在使用的木种高达几百种，每个木种都具有独特的纹理和缺陷特征，并且有些特征在一些木种上是缺陷，在另外一些木种上又成为特色，这就对智能识别提出了极高的要求，也是真正的核心问题。”黄广宁解释道。

为此，创新中心分析了大量的木材缺陷样本，创新性地研发了木材缺陷识别算法，通过大量实验来确保算法的准确度和稳定性。目前，团队已完成质检原型机的开发，虫眼、翘皮、断裂的准确率、召回率持续提高，检测精度达到90%。其中，虫眼缺陷检测准确率为90.5%，召回率为94.4%;翘皮缺陷检测准确率为94.5%，召回率为93.4%;断裂缺陷检测准确率为89.8%，召回率为91.1%。据黄广宁介绍，目前该设备已经在木地板加工企业中投入试运行。

“木地板生产线智能化检测设备虽然是针对木地板行业定制研发的，但其中蕴含的木材检测识别技术，对木材加工全行业是通用的。”在谈及木地板生产线智能化检测设备的发展前景时，黄广宁认为，该设备的研发，不仅对我国年产量4亿立方米、5000家以上的木地板企业有极大促进作用以外，还可以进一步研发适用于全木材加工行业的各种智能化检测设备，具有广阔的市场前景和發展空间。