基于机械臂的全自动移液系统设计

朱新凯，刘威

（武汉大学物理科学与技术学院，湖北武汉 430072）

随着免疫肿瘤学对癌症治疗的革命性改变，细胞疗法以其在血液学肿瘤中的高临床缓解率而受到广泛关注[1],并且随着肿瘤免疫学基础研究和生物技术研究进展突进，为肿瘤免疫药物的研发提供了深厚的知识沉淀和技术储备，促使肿瘤细胞免疫治疗出现爆发式增长，成为与手术、化疗和放疗并驾齐驱的第4 种肿瘤治疗方法[2]。尤其以嵌合抗原受体T细胞(CAR-T 细胞)治疗最具代表性[3],为晚期和罕见恶性肿瘤的治疗带来了新的希望，将有可能最终实现肿瘤治愈这个终极目标[4]。王思佳研究了CAR-T疗法全球专利申请情况[5]，免疫细胞疗法不管是在科研上还是商业上，都获得了极大地关注,被视为最有潜力的癌症治疗手段。CAR-T 细胞制备过程中至关重要的一环就是CAR-T 细胞的体外扩增，而细胞体外扩增过程中最不容易实现自动化的是传代过程。目前对自动移液过程的相关研究大多通过设计复杂的机械结构来实现[6-9]。

该文采用基于halcon 的深度学习系统来实现移液过程中离心试管的识别和定位，配合机械臂实现移液过程的全自动化。由于采用了视觉系统，避免了复杂的机械设计，同时能使整个系统更加小型化。

1 系统整体框架设计

1.1 机械结构设计

细胞传代过程中主要有两个步骤：①将细胞和培养液分开；②移除废液和添加新培养基。机械结构还需要有开盖功能。该系统在机械结构上主要包括两个机械臂和一个离心机以及试管架、移液枪头架、培养盒放置架、废物收集盒等小零件。其中机械臂左臂具有X、Y、Z和旋转4 个自由度，其末端是一个抓夹，主要负责试管等容器的转移工作，该臂的旋转轴主要配合移液平台上的试管固定架完成试管开盖功能。右臂具有X、Y、Z3 个自由度，其末端是一个移液枪，主要负责细胞及试剂转移等工作。离心机通过离心力的作用，使细胞沉入离心管底部，从而实现细胞和培养液的分离，便于后续培养液的更换等操作。

1.2 电气结构设计

该系统电气结构部分主要由C#上位机、嵌入式控制系统、操作台控制系统及视觉定位系统4 部分组 成,如图1 所示。

图1 电气结构

C#上位机为整个系统的核心，主要实现对整个系统的控制和人机交互界面的设计。嵌入式控制系统主要实现对离心机的控制，包括转速以及离心时长的控制。操作台控制系统实现对机械臂以及移液枪的控制，来代替人工操作，实现整个移液过程的自动化。视觉定位系统主要用于离心前后离心管位置的确定，以配合机械臂实现对离心管的存取。

2 系统的工作流程

当系统启动全自动工作时，整个移液过程被分为8 个步骤，对应系统的8 个工作状态如图2 所示。

图2 系统工作流程

第一步，左臂的抓夹从培养箱取出或者外界输入一个装有待换液的细胞培养液的培养盒至操作台中，并取下培养盒的盖子等待下一步操作。取出细胞溶液之后接下来就要通过离心操作将细胞和废液分离，因此第二步抓夹从放有新离心管的试管架中取出试管，并且配合底部试管夹打开试管盖。第三步右臂移液枪安装一次性无菌枪头之后将培养盒中的细胞培养液转移至离心试管中。至此前面操作完成，接下来第四步抓夹抓取装有待离心的试管，在视觉系统的配合下准确将试管转移至离心机中的特定位置，离心机根据上位机中设置的参数进行离心操作。离心结束后，第五和第六步就是取出试管，去除上层废液并换上新的培养基，同时控制移液枪头轻微吹打底部细胞，使细胞和培养基混合均匀。第七和第八步就是将换液完成的细胞重新转移至培养箱或者输出，并将用过的试管丢弃到指定的废物收集区。

3 系统软硬件平台

3.1 上位机软件

上位机软件作为整个系统的控制核心，需要完成对整个系统的统筹控制，还需要有设计良好的人机界面，如图3 所示。

图3 上位机软件

用C#语言编写的上位机软件包含四大功能，一是串口控制及指令显示区，离心机和机械臂的控制都是通过串口通信的方式来实现。为了保证机械臂控制过程的实时性，这里采用两路独立的串口来分别控制离心机和机械臂。二是离心机的控制及实时转速显示区，操作人员设置好离心机转速和离心时间之后，点击开始，相关数据就以指令帧的形式按照modbus 协议通过串口发送到下位机，下位机解析相关指令之后控制离心机按指令动作。三是机械臂的手动控制，在这部分操作区，操作人员只需要按照指示点击相应的按钮就可以以手动的方式来控制机械臂的动作。因是自动模式功能，在启动自动模式之后，系统就可以在不需要人工参与的情况下自动进行移液操作，并且移液系统的当前状态被实时显示在上位机界面中。

3.2 嵌入式平台

系统在控制离心机的时候下位机以及控制板需要用嵌入式系统来实现，为了提高系统的稳定性和可拓展性，该系统采用的是开源的嵌入式微系统msOS，系统架构如图4 所示。

图4 msOS系统架构

该系统是深圳市雨滴科技有限公司创始人王绍伟专门为小型的工业控制系统开发的，其最大的优点在于软件架构简单，编程风格采用C#模式，阅读起来非常清晰，且系统广泛应用结构体，使C 语言编程可以像面向对象编程一样方便。该系统自带modbus 和PID 等外设，非常适合小型控制系统。而嵌入式硬件采用跟msOS 相配套的msPLC。

4 机械臂

4.1 机械臂结构

整个机械臂操作台主要有两个臂，左臂是一个抓夹臂，有X、Y、Z以及旋转共4 个自由度，主要功能是配合视觉定位系统完成对试管的抓取以及开盖等操作。右臂是一个移液枪头臂，有X、Y、Z3 个自由度，末端空气泵装上枪头之后可以在上位机指令下准确完成对定量溶液的吸取以及释放。

机械臂共有10 个电机，这10 个电机按照实现的功能总共分为3类，分别为步进电机、夹爪电机、空气泵电机，其中步进电机有7个，3 个电机控制左臂的3 轴运动，一个电机控制左臂旋转轴，这4 个电机可以控制左臂移动到目标点取得试管或者培养皿，3 个电机控制右臂的3 轴运动，将空气泵运送到目标点进行移液操作；夹爪电机有两个，一个夹爪电机位于左臂，来夹取试管，一个夹爪电机位于结构的下部，来固定试管；一个电机位于空气泵中，可以进行移液操作。

4.2 机械臂以及空气泵控制原理

机械臂以及相关抓夹的动作是通过步进电机配合传动带来实现的，传动带将电极的旋转运动转换成直线运动。步进电机为智能步进一体机WTAIS42-485。通过RS485 接口与上位机进行通信，采用一发一收的方式，通过上位机将指令发送至下位机，然后下位机将数据返回至上位机。

空气泵ADP1000 是一款高精度、微量液体处理的可集成化移液模块，其原理是步进电机驱动丝杆推动活塞，同时附带编码器实现闭环控制。

5 视觉识别与定位系统

由于离心机内部的核心机构为直流无刷电机，其只需控制转速和工作时间而没有定位功能，因此在离心结束之后，离心管在离心机中的位置具有随机性。而机械臂在取放离心管时，需要知道离心管的准确位置，因此必须要有一套识别定位系统，配合机械臂准确实现对离心管的取放。

该系统基于halcon 平台设计了一套基于深度学习和单目视觉定位的离心管识别与定位方案。

5.1 试管的识别

用视觉检测技术来做目标检测已经在工业上大量使用了，检测方法也有很多，例如：自适应开关中值滤波算法、基于插值理论的精确定位细分算法、基于二维小波降噪的亚像素图像处理方法、基于公共特征的图像拼接算法、分形插值和小波变换结合的亚像素级边缘定位检测方法等[10]。这些检测方法通常需要手动提取目标物特征[11]，由于目标的形态各异、背景繁杂，受旋转角度和光照等影响，提取有鲁棒性的特征信息是一件困难的工作[12]。

近年来，由于卷积神经网络的发展和硬件算力的提升，基于深度学习的目标检测取得了突破性的进展[13]。具有代表性的目标检测算法有RetinaNet[14]、R-FCN[15]、Mask-R-CNN[16]等。halcon 提供了一系列深度学习相关的算子，在使用halcon 深度学习目标检测算法时，只要按照要求准备好数据集，然后halcon 可以自动根据数据集提取出训练模型所需要的超参数，最后用这些超参数和经过处理后的数据集就可以训练出最终的目标检测模型，使用起来非常方便。

5.2 试管的定位

该系统采用的定位方案为基于halcon 的单目视觉定位，其基本原理如图5 所示。

图5 单目视觉定位方案基本原理

图5 中有4 个坐标系：图片的像素坐标系CS（单位为像素）、以图片中心为原点的图片坐标系uv、以镜头光心为原点的相机坐标系xcyczc、测量平面的世界坐标系xwywzw。实现物体定位，就是要得到物体的像素坐标和其世界坐标之间的关系，由于相机的标定可以得到相机坐标系和像素坐标系之间的转换关系，因此相机标定之后，只需得到世界坐标系和相机坐标之间的转换关系即可，而这就是相机的外参。相机的标定直接用halcon 自带的相机标定助手就可以完成。在得到像素坐标系和世界坐标系的转换关系之后，只需要提取到相机获取的图像中的试管的像素坐标就可以求得其世界坐标。

6 结束语

该文结合计算机视觉技术和嵌入式技术设计完成了一套全自动移液系统，重点介绍了嵌入式软硬件平台设计，机械臂以及视觉识别与定位系统等子系统的具体设计。在计算机视觉的配合下，系统以相对简单的机械结构实现了移液过程的全自动化。随着CAR⁃T 细胞疗法进入临床治疗，一个重要的发展趋势是通过自动化生产来提高CAR⁃T 细胞的制备效率[17],因此对自动细胞制备相关医疗仪器的研究以及对加速细胞免疫治疗的发展具有重要意义。

该文的不足之处在于，由于试管的识别结果是框出试管的位置，给出的是一个区域，而夹取需要一个点，因此在求取中心点时可能会出现误差，这一点有待进一步优化。下一步的研究重点可以放到上位机功能的扩展上，上位机不仅要实现对系统的控制，还可以加上数据库等来对移液操作和不同的细胞状态等建立档案，使整个系统更加智能化。