朱恩涌 魏传锋 李喆
(中国空间技术研究院载人航天总体部,北京 100094)
空间任务人机协同作业内涵及关键技术问题
朱恩涌 魏传锋 李喆
(中国空间技术研究院载人航天总体部,北京 100094)
论述了空间任务人机协同作业的内涵,指出其与其它人机关系相比具有平等性、独立性和协同性的特点;分析了国内外相关研究情况,得出目前人机协同作业研究大多集中在人机交互领域,缺乏对顶层的研究;指出需要重点关注的人机任务分配、人机安全控制和人机信息交互三个关键问题,并提出了我国开展空间任务人机协同作业的发展建议,如与遥操作技术的发展和应用紧密结合、充分注重在轨演示、应当先采用人主机辅的模式等。
人机协同;空间任务;内涵;关键技术
随着空间科学、空间应用和在轨服务需求的不断增加,要求航天员开展越来越多的空间作业。未来载人登月或月球基地工程的实施,更是需要航天员进行月面勘探、采样,乃至于原材料冶炼、建筑材料生产、基地建筑建造等一系列复杂作业。但是由于微(低)重力的影响,航天员容易产生运动感觉紊乱、失去定向以及肌肉紧张度过高等问题;航天员活动还将受到航天服、光照、心理恐慌等因素的制约,工作能力有很大程度的下降[1]。为提升任务的成功率,减小航天员工作负荷和风险,采取人与机器人协同作业,不仅能使人的形象思维、直觉判断和工作经验与长期存储、可精确推理与快速数据处理的机器人的人工智能有机融合,同时还能使人的灵活操作与机器人的快速与精确操作无缝结合,有效发挥人机的整体优势,从而确保空间任务的顺利实施。相对于地面任务,载人航天任务中人机协同关系更为复杂,技术难度更大。目前,国外正在积极开展空间任务人机协同研究,美国航空航天局(NASA)还进行了人机协同作业的模拟试验,国内则主要是集中于人机交互技术研究。总的来说,目前对人机协同的研究仍以机器人为主,缺乏对人机关系的顶层研究。本文将对空间任务中人机协同作业的内涵、发展思路及关键问题进行研究,为空间任务人机协同作业的发展提供参考。
人机协同的“机”可以是计算机、机器或机器人,本文中的空间任务人机协同中的“机”专指机器人。人与机器人的关系包括人机协同、机器人遥操作、人机结合、人机联合[2]等概念。这些概念在含义上既有相似之处,也有区别[3]。目前,尚无人机协同统一的定义,学者们的研究也未严格区分各种人机关系。本文认为空间任务人机协同作业是指航天员与机器人密切配合,相互协作,共同完成特定的空间任务。从其概念可以看出,人机协同包含两个要素:人机分工和人机耦合。人机分工要求充分发挥人机各自的特长;人机耦合则是人机信息的交互和行为的互助,发挥人机的整体优势。
相对于其它人机关系,人机协同作业中,人与机器人之间的关系有以下特征:
(1)平等性。机器人和协同作业航天员处于相对平等的地位,即两者是“同事”关系,而不是“控制”与“被控制”的关系,但可以是“领导”与“被领导”的关系。机器人不是航天员作业的执行末端,航天员也不是机器人的控制中心,但是航天员也可以对机器人采取现场程序调制或应急控制等措施。
(2)独立性。机器人与航天员是两个相对独立的实体,具备单独作业能力。机器人可以是自主控制,也可以是遥操作控制,或是两者结合,脱离了协同作业的航天员也能独立工作。这与人机结合有显著区别。
(3)协同性。机器人与航天员必须有交流和配合,以合作的方式共同完成某项空间任务。人机协同并非是航天员和机器人的简单组合,而是按照一定关系、模式组合起来的“整体”。机器人和航天员不仅能进行信息的交互,还可以进行行为的互助和任务的动态调整。如果只强调人与机器人共同完成任务,则属于人机联合的范畴。
由于作业环境和任务特点的不同,空间任务人机协同作业相对于地面人机协同作业有以下特点:
(1)人机交互难度大。在真空、微(低)重力、空间辐射环境下,航天员活动还受到航天服的约束,这都不利于航天员和机器人之间的信息交互,为深化人机交互程度增加了难度。
(2)同时存在多人间协同。机器人由于智能化程度不足,更多时候还将依靠遥操作进行,协同作业航天员不仅需要与机器人进行协作,还将时刻与机器人操作人员、地面监视和技术支持人员进行信息交互,如图1所示。因此实际上作业航天员需要与多人及机器人进行协同作业。而天地延时现象的存在,为这种协同作业增加了更大的难度。
(3)人机功能动态分配。实施空间任务时,由于存在很多未知情况,如在地外天体表面作业时,人类对地外天体表面的地表特征和任务对象等并不完全掌握,因此难以提前详细规划各项任务,这就要求人机需要现场进行动态分配任务。
图1 空间任务人机协同作业模式Eig.1 Human-robot collaboration mode in space
早期的人机协同就是人与计算机的协同,这也是人与机器人协同作业的基础。20世纪80年代末,人工智能发展陷入低潮的时候,LENAT[4]提出一个预测:“‘系统'将使智能计算机和智能人之间形成一种合作关系,人和计算机各自完成自己最擅长的任务,系统的智能是这种合作的产物。”基于上述论断,国外学者发表了一系列关于人机协同原则、框架和系统的理论研究成果。P.Millot等人[5]提出一种动态完成任务的人机协同系统的设计和评估方法,包括在人机任务分配和合作模式和评估准则。Pacaux-Lemoine M.-P.等人[6]指出人机协同需要解决两个问题,即机器人如何完成任务和机器人与人之间如何进行配合。
1995年Jones等人[7]提出了人机系统研究的集成方法论,包括知识获取、人的功能建模、人机交互环境、知识体系建模和智能辅助或合作系统5个部分,并实现了人机结合的卫星地面控制系统,使人机合作系统建模和结构研究更加深入[8]。Pramila Rali等人[9]提出一种高敏感度的人机协同系统。机器人采用生物传感器获取人的状态信息,并进行了试验研究。Dennis Perzanowski等人[10]设计了基于多模态信息人机交互的人机合作系统,人机交互的手段包括语言、手势等。Donald Sofge等人[11]采用设计了多种人机交互界面,建立机器人航天员认知模型,提出了类人机器人(Robonaut)与人在轨协同作业的设想。
NASA为重返月球和载人登陆火星,启动了“人与机器人系统”(Human Robotic System,HRS)项目[12],将机器人作为航天员的伙伴,研究了多种人机组成,共同开展月面作业(见图2)。试验表明人机共同开展月面作业确实减少了航天员的舱外活动时间和工作量。
图2 NASA的人机作业任务模拟试验Eig.2 NASA simulated experiment on human-robot collaboration
国内目前还未见对人机协同作业的研究,仅是对人机交互技术进行了研究[13]。但国内一些学者对人机一体化思想进行了有益的探索。1990年,钱学森等人[14]提出人机结合的概念。杨灿军[15]等人对人机一体化智能系统理论及应用进行了探索。之后滕弘飞等人[16]从工程应用角度综述若干关键支持技术,包括人机结合系统结构、代理(Agent)、计算智能、信息感知与融合和泛化的综合集成等。
总的来说,国内对人机协同的研究,仍以机器人为主,一些学者在人机交互传感器、设备、技术等方面跟踪国外相关技术开展了研究,但缺乏对人机关系顶层方面的研究。对人机任务分配的理论研究尚在起步阶段。对于相对抽象的人机关系,也只从人与机器人的特征分析入手,定性层面提出了各自适合的工作类型,而针对空间任务人机协同的研究则更是凤毛麟角。
从空间任务人机协同作业的内涵可以看出,其主要就是涉及2个方面问题:一是机器人的能力,对于特定的环境和任务,机器人应具备何种能力;二是人与机器人如何配合,空间任务中机器人适于承担哪些任务,怎样实现人机交互。对于机器人的能力,这是整个人机协同的核心,关系到人机协同的程度。机器人技术研究较多,本文不再详细论述。第二个问题,可以进一步延伸为3个技术问题:人机任务分配、人机安全控制和人机信息交互。
4.1 人机任务分配
人机协同要求人和机器人既独立又相互配合开展作业,因此人和机器人的分工十分重要。人机协同作业系统设计的第一个问题就是明确人机各自的任务,包括:哪些任务需要人机协同开展,哪些任务应当属于人或机器人负责,现场临时任务如何分配等一系列问题。尤其是对于地外天体表面人机协同作业,任务复杂,天地通信延时更严重,这一问题显得更为突出。人机任务分配须考虑到系统论、运筹学和工效学等多方面因素,虽然有很多学者进行了研究,但只解决了某个领域中的部分问题[15]。目前还没有一个系统的、可普遍采用的任务分配决策方法。根据国内外的实际经验,一般需要根据航天员能力、机器人水平、支持费用等因素进行分配,而且与具体的任务相关。通常而言,在任务开展前将完成任务的分配,但是对于空间任务而言,虽然任务规划时可进行大部分任务的分配,但仍需要作业现场根据既定原则进行决策。总的原则是:在人机任务分配时,要充分发挥航天员和机器操作的各自特长,避其所短,使得任务设计在整体上达到高效、安全、可靠而经济的目标。具体而言,在确保安全可靠的前提下,可以采用以下一种或几种分配原则。
(1)匹配性分配原则:谁能完成任务的质量和速度更快,就将任务分配给谁。
(2)机器人优先原则:优先将任务分配给机器人,剩下的分配给人。
(3)能动性分配原则:注重发挥人的主观能动性,将体现个人价值和能力的任务分配给人。
(4)经济性分配原则:以任务成本为首要依据,任务的分配视经济与否而定。
4.2 人机安全控制
安全是机器人与人近距离开展工作的首要要求。人和机器人协同作业,除了满足航天员独立开展作业的各项安全要求外,还需要防止机器人对航天员的伤害。机器人对航天员的伤害主要在以下3种情况时产生:一是航天员进入机器人作业路径内,机器人可能对航天员产生碰撞等危险;二是操作人员可能会发送不正确或不合理的操作指令,导致空间服务机械臂等非正常的运动从而给航天员带来威胁;三是机器人硬件或软件发生故障进而失去控制。
对于第一种情况,通常在机器人作业时是划定一个工作区域,禁止人员进入。但对于人机协同作业,这显然是不合适的[17],因为航天员与机器人位置关系,不能有固定约束。为解决这个问题,机器人可以采用多传感器确定人与机器人之间的相对位置[18]。若判定机器人机械臂工作区域内没有航天员存在时,机械臂可以以最快的速度工作;若航天员在工作区域内,但在一个安全距离,则以特定速度进行工作。一旦有人闯入机械臂运动路径时,机械臂能马上停止,或是通过改变运动路径,规避航天员。对于误操作,通常设定了机器人作业的原则,即机器人不能伤害人,或者说,不能因无所作为而使人受到伤害;机器人必须服从人给出的指令,除非它与第一条原则相违背。通过这两项原则进行安全性设计,能确保机器人不对航天员进行直接的伤害。但是仍无法确保避免间接伤害。对于机器人故障,除了加强机器人鲁棒性设计外,通常是建立应急保护系统,可以由现场航天员进行控制,也可以是其它航天员(如舱内或基地内航天员或地面人员)控制,在发生突发情况时,能紧急暂停机器人工作。
以上所有的策略,均需要有足够灵敏度的传感器和运算速度足够快的计算机。但是就目前的技术,尤其是在空间条件有限的情况下,运算速度难以保证。在航天员进行应急避险或操作时,可能伤害已经造成。
4.3 人机信息交互
通过人机交互能将航天员的意图准确实时地传递给机器人,也能将机器人的状态信息以及对现场的检测信息准确、快速地反馈给航天员,以使人和机器人能够高效自然地协同完成任务。目前机器人感知的主要形式有形式化计算机语言、自然语言理解与处理以及图形图像识别等。此外,研究比较多的基于多模态脑电波信号的脑机交互技术,也取得了丰硕成果,但到目前为止,仍然处于探索阶段[19-20]。
形式化计算机语言是目前人与计算机通信的主流,由于输入不方便难以在人与机器人协同作业中广泛应用。由于空间任务时人与机器人的距离可能在目视范围内,也可能是在远距离作业,因此对自然语言交互的需求更为强烈。目前理解和处理自然语言有许多方法[21],本质是通过计算机做基于规则的匹配、推理或统计等工作。自然语言理解面临如下难题:一是用词无明显的规律性;二是用词不规范[22];三是不同的语境汉语有多种理解。总而言之,自然语言远未达到人机自然“对话”水平。图形图像人机交互主要是通过对人的肢体动作、表情等进行识别,进而准确判断出人的意图信息[23]。但是人的肢体动作形状复杂而且多变,从二维图像或视频序列中准确识别,需要面临很多困难。目前地面基于视觉的手势识别系统也不成熟,存在识别率不稳定,实时性较差等缺点[24]。空间任务图形图像交互还将面临以下影响因素:肢体动作的形变、光照变化、肤色漂移、遮挡及硬件条件约束等。
通过载人航天一期和二期工程,我国载人航天具备了航天员安全进入太空和返回地面能力,掌握了航天员出舱活动、交会对接等一系列关键技术。但是对人机协同作业所必须的航天员舱外作业技术、空间自由服务机器人技术,还有待通过空间站工程的研制进行突破。对于地外星体表面作业技术和地外天体表面智能机器人技术,由于尚未登陆任何地外天体,目前还处于理论研究阶段。但是,由于人机协同的优势,必然是载人航天发展的一个重要方向,我国应提前在相关领域开展技术研究,为未来月球基地人机协同作业奠定技术基础。该领域的研究和发展应当注意以下几个问题。
(1)提前开展人机协同关键问题研究。人机任务的设计与分配属于多目标决策的范畴,与航天员安全、任务成功率、任务执行效率、任务成本等密切相关;不同任务采用的人机协同模式也不同。航天员的安全在载人航天中永远是首位,因此如何在保证安全性的前提下,通过功能分析和新技术的应用实现效费比最优是其最大目标。未来可以借助于人工智能的发展,建立相应的决策模型,为任务的分配和优化提供参考。人机安全控制的重要手段除了制定有效安全策略和高效算法外,研制高灵敏度传感器和高速率计算机是解决该问题的有效方法。人机信息交互的发展目前将呈现出多样化的特点,语音和脑机交互是未来实用的自然交互技术,以认知科学为基础的交互模型和设计方法,是当前人机信息交互设计的重要研究方向。
(2)与遥操作技术的发展和应用紧密结合。人机协同最大的制约之一在于机器人的智能化。在恶劣的空间环境中操作,对机器人的自主性要求更高。而目前我国空间机器人的研制水平与工程应用还有较大差距。为了降低难度,在人机协同作业发展初期,机器人适宜采用遥操作控制,可以是地面遥操作也可以是在轨遥操作。
(3)充分注重在轨演示。空间环境与地面环境有较大差异,地面演示验证也并不能完全模拟在轨情况,由此在轨演示验证显得尤为重要。目前我国正在开展载人航天三期工程空间站的研制。人机协同作业的发展,应充分利用这个平台,通过在轨演示验证,掌握相关关键技术。
(4)先开展舱内协同作业验证,再进行舱外协同作业实施。舱外环境较复杂,航天员应急救生也相对困难。而密封舱内便于采取应急措施,舱内任务也可提前进行规划。因此应当提前谋划在空间站密封舱内开展人机协同作业验证,掌握相关技术后,然后由航天员与舱外机械臂进行人机协同作业验证,再次由航天员与在轨自由服务机器人进行舱外作业,为未来的地外天体表面人机协同作业奠定基础。
(5)应当先采用人主机辅的模式。人机协同有多种模式,包括人主机辅、机主人辅、人机平等3种模式,可根据不同的任务特征进行选择。在机器人和遥操作技术不够完备的情况下,应当优先采用人主机辅的模式。因为人在感知、思维、执行能力具有创造性和一致性,可根据现场情况预知可能的发展趋势,能更有效地掌控现场状况,作业安全性相对更高。
空间机器人是空间站后续发展的必然趋势,未来机器人必将在空间作业中发挥更大的作用。航天员与机器人协同开展作业任务,能有效发挥人机整体优势,取得更高的效益。但是目前空间机器人尚未实现工程应用,空间人机协同任务面临诸多的困难,相关研究还处于探索阶段。我国若尽早深入开展空间任务人机协同作业研究,一方面可以占领空间任务人机协同作业领域的技术制高点,另一方面对我国深入开展空间科学研究、空间应用和在轨服务的发展具有重要意义,为月球基地的人机协同作业奠定技术基础。当前我国应加强开展空间任务人机协同作业前期研究工作,对相关关键技术进行攻关,以尽早实现工程应用。
(
)
[1]周前祥,程凌.航天员出舱作业人机界面的工效学研究进展[J].中华航空航天医学杂志,2004,15(3):184-187 Zhou Qianxiang,Cheng Ling.Advances of studies on ergonomic design of man-machine interface in extravehicular operation[J].Chinese Journal of Aerospace Medicine,2004,15(3):184-187(in Chinese)
[2]果琳丽,王平,朱恩涌,等.载人月球基地工程[M].北京:中国宇航出版社,2013 Guo Linli,Wang Ping,Zhu Enyong,et al.Manned lunar base engineering[M].Beijing:China Astronautic Publishing House,2013(in Chinese)
[3]滕弘飞,王奕首,史彦军.人机结合的关键支持技术[J].机械工程学报,2006,42(11):1-8 Teng Hongfei,Wang Yishou,Shi Yanjun.Key supporting techniques of human-computer cooperation[J].Chinese Journal of Mechanical Engineering,2006,42(11):1-8(in Chinese)
[4]Lenat D B,Eeigenbaum E A.On the thresholds of knowledge[C]//Proceedings of the International Shop on Artificial Intelligence for Industrial Applications.New York:IEEE,1988:291-300
[5]Millot P,Debernard S.Men-machines cooperative organizations:methodological and practical attempts in air traffic control[C]//International Conference on Systems Engineering in the Service of Humans.LAIH,Valenciennes Univ.,Erance:Systems,Man and Cybernetics,1993:695-700
[6]Pacaux-Lemoine M-P,Poulain T,Debernard S.Humanmachine cooperation and manufacturing system[C]// Annual Conference of Industrial Electronics Society.Le Mont Houy,Erance:Industrial Electronics Society,2013:8288-8293
[7]Jones P M,Chu R W,Mitchell C M.A methodology for human-machine systems research:Knowledge engineering,modeling,and simulation systems[J].IEEE Translated on Systems,Man and Cybernetics,1995,25(7):1025-1038
[8]Millot P,Lemoine M P.An attempt for generic concepts toward human-machine cooperation[C]//Proceedings of IEEE International Conference on Systems,Man and Cybernetics 1998.New York:IEEE,1998:1044-1049
[9]Rani P,Sarkar N,Smith C A.Affect-sensitive humanrobot cooperation-theory and experiments[C]//IEEE International Conference on Robotics and Automation.New York:IEEE,2003:2382-2387
[10]Perzanowski Dennis,Brock Derek,Bugajska Magdalena,et al.Toward multimodal human-robot cooperation and collaboration[C]//AIAA 1st Intelligent Systems Technical Conference.Washington D.C.:AIAA,2004:1-9
[11]Schultz Alan,Adams William,Brock Derek,et al.Collaborating with humanoid robots in space[C]//Proceedings of the Second International Conference on Computational Intelligence,Robotics and Autonomous Systems(LIRAS).Washington D.C.:Navy Center Eor Applied Research In Artificial Intelligence.2003.
[12]Diftler M A,Ambrose R O,Bluethmann W J,et al.Crew robot coordinated planetary EVA operations at a lunar base analog site,20070009927[R].Pasadena:Jet Propulsion Laboratory,2007
[13]董士海.人机交互的进展及面临的挑战[J].计算机辅助设计与图形学学报,2004,16(1):1-13 Dong Shihai.Progress and challenge of human-computer interaction[J].Journal of Computer-aided Design &Computer Graphics,2004,16(1):1-13(in Chinese)
[14]钱学森,于景元,戴汝为.一个科学的新领域——开放的复杂巨系统及其方法论[J].自然杂志,1990,13(1):3-10 Qian Xuesen,Yu Jingyuan,Dai Ruwei.A new discipline of science—The study of open complex giant system and its methodology[J].Chinese Journal of Nature,1990,13(1):3-10(in Chinese)
[15]杨灿军,陈鹰,路甬祥.人机一体化智能系统理论及应用研究探索[J].机械工程学报,2000,36(6):42-47 Yang Canjun,Chen Ying,Lu Yongxiang.Study on the humachine intelligent system and its application[J].Chinese Journal of Mechanical Engineering,2000,36(6):42-47(in Chinese)
[16]An Zhang,Zhili Tang,Chao Zhang.Man-machine function allocation based on uncertain linguistic multiple attribute decision making[J].Chinese Journal of Aeronautics,2011,24(6):816-822
[17]Carlos Morato,Krishnanand N Kaipa,Boxuan Zhao,et al.Toward safe human robot collaboration by using multiple kinects based real-time human tracking[J].Journal of Computing and Information Science in Engineering,2014,14(1):1-9
[18]Karlsson B,Karlsson N,Wick P.Dynamic safety system based on sensor fusion[J].Journal of Intelligent Manufacturing,2000,11(5):475-483
[19]Pfurtscheller G,Solis-Escalante T,Ortner R,et al.Self-paced operation of an ssvep-based orthosis with and without an imagery-based“brain switch:”a feasibility study towards a hybrid BCI[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2010,18(4):409-414
[20]Y Li,J Long,T Yu,et al.An eeg-based bci system for 2-D cursor control by combining mu/beta rhythm and p300 potential[J].IEEE Transactions on Biomedical Engineering,2010,57(10):2495-2505(in Chinese)
[21]钟义信.自然语言理解的全信息方法论[J].北京邮电大学学报,2004,27(4):1-2 Zhong Yixin.Comprehensive information based methodology for natural language understanding[J].Journal of Beijing University of Posts and Telecommunications,2004,27(4):1-2(in Chinese)
[22]Wyard P.Representational issues for context-free gram-mar induction using genetic algorithms[M].Berlin:Springer-verlag.1994
[23]王辉.基于视觉的实时手势跟踪与识别及其在人机交互中的应用[D].杭州:浙江大学,2008 Wang Hui.Vision-based real rime gesture tracking and recognition and application in human-computer interaction[D].Hangzhou:Zhejiang University,2008(in Chinese)
[24]关然,徐向民,罗雅愉,等.基于计算机视觉的手势检测识别技术[J].计算机应用与软件,2013,30(1):155-159,164 Guan Ran,Xu Xiangmin,Luo Yayu,et al.A computer vision-based gesture detection and recognition technique[J].Computer Applications and Software,2013,30(1):155-159,164(in Chinese)
(编辑:李多)
Connotation and Key Technologies of Human-robot Collaboration in Space
ZHU Enyong WEI Chuanfeng LI Zhe
(Institute of Manned Space System Engineering,China Academy of Space Technology,Beijing 100094,China)
Connotation of human-robot collaboration operation in space is put forward.Difference between human-robot collaboration and other human-robot system are analyzed,such as equality,independency and cooperation.Research on this field of all over the world is generalized,and a conclusion is get that research on human-robot collaboration is focused on human-robot interaction and top level study on human-robot collaboration is of shortage at present.Three key issues are pointed out,including assignment allocation between human and robot,human-robot interaction and human-robot safety.Some suggestions are advanced for our country's developing human-robot collaboration in space,for example,combining development with application of telerobot,paying attention to on-orbit testing and using“human protagonist robot costar”pattern at early stage and so on.
human-robot collaboration;space mission;connotation;key technologies
R857
A DOI:10.3969/j.issn.1673-8748.2015.03.015
2015-03-25;
2015-04-27
朱恩涌,男,博士,高级工程师,主要从事航天器在轨服务和总体设计工作。Email:zey4217@163.com。