智能人机交互在有人太空探索中的应用与展望

王兆魁，孟庆良，刘纯武

（清华大学 航天航空学院，北京 100084）

0 引言

太空探索与飞行的根本目的在于将人类生产与生活的空间拓展到地球之外的太空［1］。我国空间站于2022 年底基本建成，已转入常态化运营模式。空间科学、空间应用等任务的不断增加，要求航天员开展更多的空间作业。为了协助航天员提高工作效率，世界各航天强国都开展了空间站舱内机器人的研究和应用，如Astrobee［2-3］、Robonaut［4］、Taikobot［5］等机器人。而在月球探测、行星探测等深空探测任务中，环境严酷、人力资源稀缺，机器人可更充分地发挥耐受力强、负载能力强、连续作业时间长、重复作业精度高等优势。

在人工智能技术的辅助下，这些机器人已具备一定的自主能力，但人类对于未知非结构化环境的认知、学习和决策能力，是现阶段机器人无法比拟的。因此，人类与众多智能装备协同开展空间探测，有效发挥人机的整体优势，对空间任务的顺利、高效实施具有重要意义，也是未来发展的必然趋势。智能人机交互（Human-robot Interaction）研究运用智能技术实现人与机器人等智能体的信息交互、协同感知、协作规划，是一门涉及机器人学、控制科学、计算机科学、人工智能、人体工程学、认知科学、心理学等多个领域的交叉科学，是实现高效人机协作的基础［6］。智能人机交互技术在医疗、建筑、服务、工业生产、灾害救援以及有人太空探索等领域有着丰富的应用实例和广阔的发展前景［7-11］。

本文首先概述国内外空间协作机器人的任务实例，在分析空间人机交互任务特点的基础上，总结空间人机交互的关键技术，综述研究现状，最后给出空间人机交互的未来发展趋势与展望。

1 国内外空间协作机器人任务实例

目前国内外已有的空间协作机器人可按照外形和运动形式分为悬浮式机器人、人形机器人、轮式机器人和多足式机器人几种类型。各种机器人的基本信息及人机协作能力见表1。

表1 国内外主要空间协作机器人情况Tab.1 Main space collaborative robots at home and abroad

1.1 悬浮式机器人

悬浮式机器人利用空间站中的零重力环境悬浮在舱内，以风扇为微推进系统，实现在舱内的位置和姿态控制。

早在1997 年，美国哥伦比亚号航天飞机的宇航员就释放了一颗名为AERCam 的舱外球形机器人［12］。AERCam 直径35.5 cm，安装了2 台相机。舱内宇航员通过手控器和笔记本电脑进行控制，主要任务是进行航天飞机和国际空间站的舱外拍照监视。

日本宇宙航空研究开发机构设计并研制的Int-Ball 于2017 年进入国际空间站［13］。Int-Ball 是一个可在舱内自主移动的球形摄像机，直径15 cm，重1 kg，由安装在球外表面的12 个小型电风扇阵列推动。据统计，Int-Ball 承担的舱内照片和视频记录工作可节省宇航员约10%的时间。

德国航空宇航中心、空客公司、IBM 公司联合开发了类球形机器人CIMON［14］。CIMON 直 径32 cm，重约5 kg，配备一块液晶显示屏（Liquid Crystal Display，LCD）和7 个麦克风，如图1 所示。CIMON 被称为“航天员的AI 助手”，具备面部识别、语音识别功能，基于IBM 开发的Watson Assistant，可以实现语音控制和智能对话。CIMON 可辅助舱内移动摄像，为航天员提供知识库支持，并通过对话分析长期太空任务对宇航员心理压力的影响。目前在国际空间站中运行的是2019 年发射的CIMON 2 版本。

图1 CIMON 悬浮机器人［14］Fig.1 CIMON free-flying robot［14］

2019—2022 年间，NASA 共向国际空间站发送了3 台边长12.5 英寸（31.75 cm）的立方体机器人，组成了Astrobee 舱内机器人编队［2-3］。Astrobee 的主要任务是进行舱内巡查、拍照和日志记录，辅助航天员舱内工作，并作为在轨自由飞行机器人的技术验证平台。Astrobee 通过视觉和WiFi 进行舱内定位和导航，具备自动返航充电功能，并配备有机械臂用来临时停靠。

本文研究团队提出了一种空间站舱内智能体的设计［15］，如图2 所示，协助航天员进行舱内巡查、拍照和语音交互。舱内智能体外形为直径260 mm的球形，应用了诸多智能技术，可通过3D SLAM 实现舱内自主导航和飞行，通过深度神经网络实现对航天员的跟踪和手势识别。

图2 空间站舱内智能体概念图［15］Fig.2 Concept diagram of the intelligent in-cabin personal agent［15］

1.2 人形机器人

由NASA 灵巧机器人实验室［4］研制的Robonaut 2 于2011 年发射到国际空间站，是太空中第1 台类人形机器人。Robonaut 2 具有42 个独立的自由度和超过350 个传感器，包含2 个7 自由度手臂、2 只12 自由度机械手，如图3 所示。Robonaut 2 设计的初衷是协助航天员开展舱外活动，但最终未能具备舱外工作的保护条件，仅在舱内进行了部分试验，最终于2018 年返回地球进行进一步维修升级。

图3 Robonaut 2 机器人［4］Fig.3 Robonaut 2 robot［4］

2013 年，日本东京大学和京都大学［16］共同研制的Kirobo 机器人进入国际空间站，Kirobo 是一个高约34 cm 的缩比人形机器人，功能包括语音和语义识别、自然语言处理、语音合成，以及面部识别和视频录制。俄罗斯紧急情况部从2014 年开始开发一款名为Fedor［17］，身长1.8 m 的人形机器人，用于灾难救援。2019 年，该机器人以代号SkyBot F850 进入国际空间站，验证了开关舱门、传递工具、操作工具、连接电气接头等任务。

德国航空宇航中心［18］研制了一款轮式移动的双臂机器人Justin，适用于宇航员协作或家务劳动等民用领域［18］。NASA 从2013 年 开始研发双足行走空间机器人Valkyrie，并期望将其应用到火星探测当中［19］。Valkyrie 全身有44 个驱动电机，装备了ToF 相机、激光雷达、立体视觉相机、惯性传感器、力传感器等，支持GPU 算法加速。

ZHANG 等［5］设计了一款名为Taikobot 的空间站轻量化人形机器人，该机器人高1.71 m，共有54个自由度，如图4 所示。得益于空间站中的微重力环境，Taikobot 对驱动电机、关节和机器人结构进行了轻量化设计，使得机器人净重仅为25 kg，可降低发射成本和保障舱内行走安全。Taikobot 没有采用传统的双足行走形式，而是仿照舱内航天员的移动，采用手或脚推动空间站侧壁的反作用力，进行点到点的飞行移动，最终再利用扶手和脚固定器实现停泊。

图4 Taikobot 舱内机器人［5］Fig.4 Taikobot in-cabin robot［5］

1.3 轮式及多足机器人

当前已登陆成功的无人月球车和火星车均通过地面遥操作进行控制，能够与航天员协作开展任务的星表机器人还处在原理样机研制当中。美国喷气推进实验室开发了ATHLETE［20］、LEMUR［21］、NeBula-SPOT［22］等深空探测协作机器人。ATHLETE（All-Terrain Hex-Limbed Extra-Terrestrial Explorer）是一款全地形六足月球探索机器人，其6 条腿上装备了滚轮，既可以在平坦地形上快速机动，又可以翻越崎岖的地形，如图5 所示。LEMUR 多足机器人包含4 条腿和16 个吸盘，每个吸盘上还有多个钢钩，可在未来深空探测当中进行复杂地形攀爬。NeBula-SPOT基于波士顿动力机械狗SPOT 平台开发。

图5 ATHLETE 机器人［20］Fig.5 ATHLETE robot［20］

1.4 小结

对国内外空间协作机器人的发展现状调研后发现，目前使用的人机交互方法除了传统的遥控控制外，还引入了面部识别、语音交互、手势控制等智能技术。对于带有机械臂的人形机器人，可采用力柔顺控制实现与航天员的安全交互［23］。同时注意到，空间协作机器人的智能化水平有待进一步提高，一些人工智能的前沿技术尚未得到应用，多模态交互信息的融合还未实现，低重力环境下人机协作的动力学问题也研究较少。

2 智能空间人机交互关键技术

通过已有的空间机器人案例调研发现，尽管有诸多机器人项目设计的目标是实现人机任务协作，但受限于技术的成熟度，空间试验多数还是验证机器人动作级的自主操作。

要实现空间人机自然交互，需首先对人机协作过程进行分析。BAUER 等［6］提出了协作机器人在外部环境输入下，输出联合动作与人进行协作的机制，如图6 所示。机器人通过传感器观察环境和协作者，感知到的数据首先用于学习和扩展自己的知识库，推断环境和协作者的状态，并识别协作者的意图；然后经过数据融合，形成机器人与人的联合意图；最终，通过动作规划，找到能够实现联合意图的联合动作进行输出，形成闭环。VILLANI 等［24］将人机交互的主要挑战总结为安全交互、直觉交互、设计方法3 个方面。其中，直觉交互包含编程接口、多模态交互、现实增强3 个领域，多模态交互可通过手势、语音、眼球追踪、表情、触觉等多种方式实现。

图6 人机协作机制［6］Fig.6 Schematical diagram of the human-robot collaboration mechanism［6］

考虑到空间操作的特点，人体检测与跟踪、手势识别与分类、动作识别与意图预测、低重力环境下人机协同控制等关键技术是实现智能空间人机交互的基础。特别对于空间站内操作来说，相比于地面一般场景，航天员穿着高度一致，且环境较为狭窄，航天员需要频繁交叉移动；根据任务的不同，航天员动作的幅度和速度也存在差异，这给人机交互带来了挑战。

2.1 人体检测与跟踪技术

人体检测与跟踪技术已普遍应用于服务机器人领域。MUNARO 等［25］采用RGB-D 图像进行人体检测与跟踪研究，利用HOG 特征和三维聚类算法实现人体检测，并通过人体运动、色彩特征、检测置信度构建了联合似然概率跟踪方法进行人体跟踪。WANG 等［26］通过融合单目相机得到的人体检测二维位置信息以及声呐测距信息，得到人体三维位置，并利用扩展卡尔曼方法实现人体跟踪。BOCHKOVSKIY 等［27］基于YOLOv4 算法模型，利用单个“端到端”的卷积神经网络结构直接回归到目标类别与坐标信息，精简了网络模型，大幅提升了训练与检测速度，并取得了较高的检测精度。李柯江等［28］提出了一种基于相机模型投影的多目标人体跟踪算法，完成了二维平面的跟踪算法向三维平面的迁移，并提出了一种特征复用的MTRCNN 网络，提升了跟踪算法的稳定性，减少了计算开销。针对空间站舱内智能体对多人作业任务场景下的乘员跟踪问题，张锐等［29-31］设计了基于头部位置运动预测的多目标跟踪算法，提出了乘员头部检测的深度卷积神经网络，在嵌入式计算平台中基于Caffe 框架实现了舱内乘员头部的有效、快速的检测以及对各乘员头部运动的跟踪，如图7所示，并在此基础上实现了对多人的稳定、准确跟踪，如图8 所示。

图7 乘员头部空间位置测量方法［29-31］Fig.7 Occupant headroom position measurement method［29-31］

图8 多人跟踪实验结果［31］Fig.8 Experimental results of multi-people tracking［31］

2.2 手势识别与分类技术

基于视觉图像的手势识别与分类技术已在自动化控制、体感游戏等领域取得了广泛应用，在人机交互领域有着巨大的利用潜力。近年来，随着人工智能技术的不断发展，基于深度学习的目标检测方法在手势识别应用方面也取得了巨大成功。NI 等［32］在YOLOv2 网络［33］基础上，对卷积层进行了针对性的简化和降采样，并提出了一种迭代选择通道剪枝算法修剪网络中的冗余卷积核，对网络进行轻量优化，提升网络的检测速度。FU 等［34］针对太空中的人机交互任务，对SSD 算法进行了改进，将不同卷积层进行融合，用于解决小尺寸的人手检测和定位问题。LINGYUN 等［35-36］针对空间站人机交互任务，定义了7 种合理的手势指令，构建了航天员手势数据集，在此基础上设计了一种基于图像分割的数据扩充方法，对现有的真实手势数据进行有效扩充，并提出一种基于轻量化级联网络和注意力机制的手势识别算法及手势识别网络架构，如图9 所示，提升识别算法的精度与泛化能力，实现了对手势的实时准确识别。

图9 手势识别网络架构［35-36］Fig.9 Architecture of the gesture recognition network［35-36］

2.3 动作识别与意图预测技术

在空间人机交互过程中，需要机器人利用智能感知技术对参与的人员进行动作识别，并对人员的动作意图进行预测，以便机器人更好地服务于参与人员，形成完整的闭环人-机协同系统。对于动作识别技术，基于深度学习的端到端的动作辨识方法在近年来得到了广泛应用。TRAN 等［37］在3D 神经网络的基础上提出了C3D 深层网络架构，该架构在人体动作辨识精度上达到了较好的水平。YUE-HEI 等［38］提出了递归神经网络RNN，该网络将卷积神经网络与长短时记忆网络结合使用来辨识人体动作，取得了比单一网络更好的辨识效果。REN［39-40］结合人体关节角度和肢体空间分布规律，提出了一种航天员细粒度姿势辨识方法，通过分析与分割关节角度运动范围，建立了航天员关节角度-肢体姿势-身体姿势的关系模型，通过模糊逻辑和机器学习训练支持向量机（Support Vector Machine，SVM）分类器，利用较小的数据量即可准确辨识出20 种航天员细粒度姿势，如图10 所示，并针对长时域视频动作辨识中冗余图像采样的难题，提出了时间域多尺度模型构建方法，提高了动作辨识的精度和鲁棒性。

图10 航天员细粒度姿势辨识方法［39-40］Fig.10 Method for astronaut fine-grained posture recognition［39-40］

2.4 低重力环境下的人机协同控制技术

空间站和行星表面低重力环境下，人与机器人操作的动力学特性都与地面有所不同，需要特别关注人机协同控制问题。2013—2016 年，德国人工智能研究中心牵头开展了名为Moonwalk 的人机合作太空探索研究项目，以验证在低重力环境下，宇航员利用特殊的舱外操作工具，与机器人合作进行星表生物学采样的可行性［41］。PANTALOGNE等［42］分析了在空间微重力环境中，开展机器人辅助外科手术的优势和挑战。熊蓉等［43］报道了在星面探测场景下，通过机器人移动经验或人为遥控操作进行机器人行为规划学习的方法。OMER 等［44］研究了低重力环境下双足机器人行走的动力学建模和控制问题。REN［39-40］针对月面机器人辅助操作中，动作维数高、奖励稀疏、传统强化学习方法难以收敛的问题，提出了基于分层强化学习的月面辅助机器人双臂控制策略模型，将双臂控制问题建模成两层的马尔可夫决策过程。高层策略生成低维机械臂末端状态空间中的离散序列子目标，底层策略均衡目标趋近、避障和降低能耗等需求，如图11所示。

图11 基于分层强化学习的月面辅助救援任务［39-40］Fig.11 Lunar surface rescue mission based on hierarchical reinforcement learning［39-40］

3 智能空间人机交互未来发展方向

基于对空间人机交互与协作的现状调研，本文提出未来空间人机交互与协作的几个主要的研究和发展方向。

3.1 基于多模态信息融合的自然人机交互

多模态人机交互是指通过多种传感器和多种模态的数据输入来实现人和机器人之间的信息交互。不同的传感器和交互方式可以提供不同类型的数据，如语音、视频、手势等，通过信息融合可以将这些数据整合起来，获得更全面、准确的信息，提高交互质量和效率，使人机交互更加自然和智能。

要实现多模态交互数据的融合，首先需实现多传感器数据的时间和空间同步，使得多源信息有共同的融合基准。然后，对于跨模态信息，可进行特征级融合或决策级融合［45-46］；对于同模态的纯图像信息，还可进行像素级融合。结合人的直观认知和经验，借助知识图谱、本体建模［47］、图神经网络［48］等技术，可实现先验知识与传感器数据的融合，获得更加智能的信息融合结果。利用深度神经网络实现跨模态信息的端到端融合，也是当前值得关注的研究方向。

3.2 大模型与具身智能技术的航天应用

如前文，随着硬件算力的增长和深度神经网络技术的成熟，人工智能已在空间人机交互中有一定应用。目前，通用人工智能技术仍呈现快速发展的态势，以ChatGPT 为代表的生成式预训练模型［49］在语义理解和对话任务中具有强大的表达能力和泛化性，将大语言模型与机器人结合起来，通过将图像、文字、运动等多模态数据联合训练，增强模型对现实中对象的理解，帮助机器人处理复杂推理和控制任务，实现具身智能［50-51］。这些技术可不断吸收至空间人机协同领域，并使其适应航天任务的要求，完成复杂数据处理、智能语言交互、人机协同控制等任务。

3.3 面向人机协作的地面验证与航天员训练

空间人机协作需要面对真空、高辐射、微重力等特殊环境，目前已有的地面验证和训练技术往往针对单一环境条件，且无法完全复现太空真实环境情况。如何通过地面实验回答空间人机协作可靠性、安全性问题，构建多因素、多模态的航天员训练系统，是未来空间人机协作任务得以实现的重要前提。

对空间人机协作关键环节进行高保真地面验证，目前多通过半物理实验系统实现［52］。未来可运用平行系统技术［53］构建人工系统，对复杂的航天环境进行计算实验验证，以半物理实验系统实验数据进行反馈修正，最终在真实系统中平行执行，以降低成本并加速开发和测试进度。在航天员训练方面，需要低重力体感模拟［54］、虚拟现实、增强现实［55］等技术支持以获得更为真实的操作体验。

4 结束语

国内外空间协作机器人的实践表明，机器人可为航天员提供信息和情绪支持，有效替代有人太空探索当中的重复劳动。人工智能技术的应用，可极大提升人机多模态交互和协同工作的效率。

从当前的发展状况来看，空间站舱内机器人的研究和实践较为丰富，但多集中在舱内巡查、信息查询、语音交互等功能，配合航天员与真实物理世界交互的研究较少，而面向深空探测的人机协作仅处于技术验证和样机研制阶段。未来空间协作机器人的发展应不断吸收工业制造、家庭服务等领域协作机器人的技术经验，并面向空间探索的特殊环境进行针对性突破，真正实现人与机器人协同空间作业。