曾华琳,黄雨轩,晁飞,周昌乐
(1.厦门大学 智能科学与技术系,福建 厦门 361005;2.厦门大学 福建省计算智能与机器人重点实验室,福建 厦门 361005)
书写机器人研究综述
曾华琳1,2,黄雨轩1,2,晁飞1,2,周昌乐1,2
(1.厦门大学 智能科学与技术系,福建 厦门 361005;2.厦门大学 福建省计算智能与机器人重点实验室,福建 厦门 361005)
摘要:通过分析书写机器人所具有的特征与实现意义,明确了机器人书写能力需要机器人能够自主控制机械手,实现灵活和准确的动作,并且观察动态环境变化。论文从3个方面回顾和分析了当前书写机器人的研究。首先介绍并分析了书写机器人硬件结构的知识,其次回顾了现有的控制机器人书写动作的相关算法,之后介绍了机器人书写过程中汉字信息的获取方式。此外,讨论了书写机器人在控制方法和字体获取方法方面的优劣,并指出了书写机器人可以利用智能控制技术与模仿学习方法来提高书写质量。最后展望了书写机器人的规模化应用领域。
关键词:机器人;书写机器人;机械手;动作控制;智能控制;模仿学习
中文引用格式:曾华琳,黄雨轩,晁飞,等.书写机器人研究综述[J]. 智能系统学报, 2016, 11(1): 15-26.
英文引用格式:ZENG Hualin, HUANG Yuxuan, CHAO Fei, et al. Survey of robotic calligraphy research[J]. CAAI Transactions on Intelligent Systems, 2016, 11(1): 15-26.
智能机器人被期望拥有人的智慧,可以认知周围的环境和自身的状态,并进行分析和判断,然后采取相应的策略完成任务[1]。它拥有一个由多种内、外部传感器组成的感觉系统,不仅可以感知内部关节的运行速度、力的大小等参数,还可通过外部传感器,如视觉传感器、触觉传感器等,对外部环境信息进行感知、提取、处理并做出适当的决策,在结构或板结构化环境中自主完成某一项任务[2-3]。
智能机器人,按照其发展进程,主要分成3类:第1代机器人,即示教再现性机器人,它按人编写的程序工作,只重复一种动作,以一种固定的模式工作;第2代机器人,即工业机器人,由电脑控制,可根据需要按照不同的程序完成不同的工作,解决工业生产和日常生活中的难题;第3代机器人,能够像人一样具有灵活的思维,并能够主动分析和解决问题,具有类人智能[2]。
具有机械手操作能力的机器人是最早出现的工业机器人,它可代替人的繁重劳动,实现生产的机械化和自动化,能在有害环境下进行操作以保护人类安全,因而被广泛应用于工业生产、科研和生活的各个领域。作为机械手最早的应用,工业机器人开创了机器人发展的新纪元。随着技术的革新,工业机器人也越来越智能。智能机器人最主要的操作机构—机械手臂,具有极强的功能和很高的通用性,它可以代替或者帮助人类在各种场合下灵巧地完成各类复杂的作业和工作,在各个领域的应用都十分广泛。目前,单一对机械手的研究和应用还无法完全满足人们对智能机器人的要求,于是人们趋向于研究具有各种感知能力的机械手,与此同时,通过添加视觉模块的机器人手眼协调研究也是主流的研究方向之一[3]。
与工业机器人不同的是,智能机器人的研究目标是从工程上模拟人或者生物体的复杂动作以及相应的智能行为,得到综合性的机器实现。此外,智能机器人也被看作是工业机器人从无智能发展到有智能、从低智能水平发展到高度智能水平的产物。由于其更接近于人们早期对机器人的理想要求,因此制造出具有人类特征的智能机器人已经成为智能机器人制造的终极目标。
机器人书写作为智能机器人的一项重要应用,目前得到了较多的关注。书写动作主要是靠机械手臂和其他传感装置的协同配合来完成。机器人手臂,主要指的是多关节机械手及多关节机械手指机器控制系统,它能模仿人手臂的某些动作功能,是一种按固定程序抓取、搬运物件或操作工具的自动操作装置。正如人类的手是人获得认知的重要渠道,是人完成灵活操作最重要的器官,机械手的动作与操作则代表了机器人可以参与到人类社会生存和工作的一类基本技能,也是智能机器人领域最重要的组成部分和研究课题之一[4]。
汉字书写是一种很复杂很精细的工作,它对机器人“手”在复杂环境下的灵活性、稳定性以及协调性等控制要求十分严格。书写作为人类一项特有的技能,不仅需要人类的手能灵活地抓取所要使用的工具,而且需要通过感官观察和感受,以此协调手的各部分动作和所书写的内容,以及时调整书写的动作和力度,还能将自己的情感表达出来。因此,机器人书写可以让智能机器人应用手眼协调技术来参与到人类社会的认识和实践中来[4]。并且,实现机器人书写方面所应用的方法和技术,可以满足人们对智能机器人“手”期望所具有的各种操作要求,不仅能够实现智能机器人划时代的突破,所使用的硬件结构设计、控制算法、参数模型等技术理论,也可应用于人类社会生产生活中的各个领域,其标志性的意义深远且重大。因此,本文对具有书写能力的机器人的硬件系统、控制方法、学习能力3个方面进行分析和总结。
1书写机器人的硬件构造
目前大部分的毛笔字书写机器人的构造,都是采用末端执笔的机械臂,通过接收计算机的控制指令来模拟人类手臂的动作,完成毛笔字书写动作。一般在进行机器人系统设计的时候,都会考虑机器人的工作要求,以便机器人的硬件构造可以稳定、准确、高效地完成任务。机器人构造中最基本的是关节的数量、外形大小、负载能力和末端执行器所需要的运动条件。
毛笔字书写机器人的机械臂目前一般使用电动伺服电机驱动。机械臂是目前在机器人领域中应用最广泛的装置,当然其形态也多种多样,不过它们都是通过接收指令控制电机运动,从而使机械臂能够在空间内精确地定位和工作。运动结构的构造和机器人的总体大小是由其所要完成的任务的需求、工作空间以及本身的再适应能力决定的。同时,这些也决定了进行装配所必需的完全的定位能力、进行材料处理所必需的可重复能力以及进行精确的、实时的、基于传感装置的运动所必需的高分辨率和精确度[5]。
本文根据现有毛笔字书写机器人的关节性质将其分类为:直线关节型机器人、曲关节型机器人和平面关节装配型机器人。
1.1直线关节型机器人
直线关节型机器人是一种成本廉价、结构简单的机器人。这类机器人是以X、Y、Z直角坐标系统为基本数学模型,并以伺服电机、步进电机为驱动的单轴机械臂为基本工作单元的机器人系统,能够很容易地确定平面坐标,从而构建出汉字笔画进行书写。坐标机器人采用运动控制系统实现对其驱动及编程控制,直线、曲线等运动轨迹的生成为多点插补方式,操作及编程方式为引导示教编程方式或坐标定位方式。直角坐标型机器人主要通过各坐标参数的控制来实现机械手在平面内轨迹的生成,相当于一个解运动学正解的过程。
直线关节型机器人一般有3~5个自由度,这种机器人的机构设计能够很好地满足汉字的书写。汉字的书写是一个平面内笔画的组合过程,直线关节型机器人能够很好地表现汉字各个笔画的位置,并且能够利用最简单的坐标信息完成书写。同时在垂直方向,直线关节型机器人能够控制毛笔下笔的轻重,这样对书写大量汉字具有很好的效果。目前很多研究者都以这种机械手为基础来构建机器人写毛笔字的平台。
Yongkui M[6]使用直角坐标型机器人设计了一个3自由度的机器人书写平台,该试验平台通过使用PWM信号控制直角坐标机器人每个轴上伺服电机的转矩、速度和角度来完成机械手的书写动作。这个毛笔字书写机器人平台有3个自由度的伺服系统,分别通过控制X、Y、Z三个轴的运动来控制笔画在平面上的定位,能够基本满足毛笔字书写的控制要求,但是针对毛笔字的书写效果还可以提升。KA WAI K[7]设计了具有5个自由度的机器人书写平台,该平台在现有直线关节型机器人X、Y、Z坐标的基础上,添加了Z旋转和倾斜,可以支持机械手在5个自由度上的变化,能够更加灵活稳定地进行书写。同时,它添加了摄像头,利用计算机视觉的方法对书写笔画进行矫正,使毛笔字书写机器人具有视觉功能,方便该平台通过获取、学习、执行书写或自行设计,来进行汉字的书写。
与之类似的还有JOSH H.M. Lam[8],他以IRAS(intelligent robotic art system)为平台,对毛笔的笔尖建立一个几何模型,通过实际书写过程中的实验数据来获取毛笔字迹的几何模型,然后添加8个顶点的笔画分段数据到该模型中,并使用一个末端执笔的五自由度机械手系统来产生毛笔轨迹。日本的桂诚一郎(SEIICHIRO K)研究团队[9],推出的一款书法机器人,也是利用直角坐标系机器人在平面轨迹上准确、方便的定位原理,对直角坐标系机器人进行改造,成功地模仿了书法家写的字。
1.2曲关节型机器人
曲关节型机器人,也称为关节手臂机器人或关节机械手臂,是比较常见的机器人形态之一,在诸多工业领域的机械自动化作业中得到了广泛的应用。曲关节型机器人和人的手臂关节比较接近,在实际应用过程中可以更好地完成各种工作,在仿生学上也有重要应用。通常,人们控制这种形态的机械手所完成的一系列动作,总是以笛卡尔坐标空间中的状态向量来描述的。曲关节型机器人所建立的坐标系可以是都不同的,机械手在空间的位置和姿态可以用一组关节变量来描述。这种机器人的书写控制方法一般是:通过关节空间得到末端笛卡尔空间(正运动学)或者是从末端笛卡尔空间得到关节空间(逆运动学)。机器人书写动作的控制主要是通过在平面的轨迹来计算各个关节的参数,相当于一个解运动学逆解的过程。
曲关节型机器人的应用比较广泛,虽然这种类型的机器人在机器人书写上的操作比直线型机器人更难、复杂度更高,但是这类机器人具有很好的可扩展性和可移植性,能够更加方便地安装在更为一般的场所,应用价值较高。近年来,国内外一些研究者纷纷使用这类机器人来进行研究工作。
在曲关节型机器人的使用这一方面,很多研究者使用了6自由度的工业机器人。例如何薇[10]应用一个6 自由度DENSO-VP6242G工业型机器人,并添加了机器视觉和计算机 作为实验平台,提出了一种基于机器视觉的机器人写字方法。宫晓博[11]以ABB-IRB140型6自由度工业机器人为平台,使用插补算法在给定平面与曲面上完成汉字的绘制,较忠实地还原TTF(true type font)字型。张传剑[12]使用AutoCAD和Visual Basic,设计实现了MOTOMAN-UP6机器人写字功能,并能够在水平面内实现任意角度的文字书写。薛环振[13]在他的硕士学位论文里,结合计算机书法[14]的相关技术,以工业机器人MOTOMAN-UP6为平台设计了夹持毛笔的方法,控制机械臂完成了书写动作;还考虑了回笔并提出了可行的执行方法,获得了更好的书写结果。
1.3平面关节型机器人
平面关节型机器人,又称为装配型机器人,这种形态的机器人的特点有其独到之处。这种运动形态的机器人模仿了人类的手臂,由立柱和大臂、小臂组成,可在几个方向上进行转动[15]。
平面关节型SCARA机器人是由日本山梨大学牧野洋在1979年发明的[16],SCARA(selective compliance assembly robot arm)具有选择顺应性的装配机器人手臂,在水平方向上具有顺应性,在垂直方向上则具有很大的刚性[17]。SCARA机器人有4个自由度,有3个轴线相互平行的水平转动关节,可在平面内进行定向和定位;1个垂直滑动关节,可在垂直于平面的方向运动[16-17]。可见SCARA机器人是一种介于直线关节型机器人和曲关节型机器人之间的一种独特类型。
以平面关节型机器人为平台的书法机器人相对较少。如景兴碧[18]采用一种工业型平面关节装配型机器人(SCARA)来进行软笔书写。该机器人的构型与人的手臂及关节比较接近,具有很高的可延展性,该书写平台本体由4轴驱动,使用了末端执笔的书写机构。曲波[19]在他的论文中提出了一种以“AdeptOne”平面机械手臂为平台,能够模仿人类书写能力的毛笔机器人,其基础结构同样采用了末端执笔的机械臂,通过接收主控PC机由汉字信息提取的控制指令,来模拟人类手臂的动作完成书写。
除了这些常见的毛笔字书写机器人类型,还有很多其他类型的机器人设计。例如多电机的传动协作、机器人写字灵巧手系统的研究[20]。Byoung-Ho Kim提出了一种具有软技巧的双手指模型[21]来进行机器人书写,该模型有两个自由度,两个手指各有一个旋转节点和一个柱状节点,通过远程计算机解动力学方程对机械手模型进行操作。
综上所述可知,直线关节型机器人虽然可以很好地完成书写任务,但是没有很好的扩展性,并不能很好地体现出人类书法的一些特性。曲关节型机器人具有类人的关节和控制策略,除了能够完成书写动作之外,也可以将其拓展到其他类似的工作。而其他类型的机器人也提供了不同方面的借鉴。随着计算机和科技的发展,可以通过引入各种类型的传感器(例如图像传感器、声纳传感器、触觉传感器等)作为反馈,很好地提高机器人系统书写的质量,同时也会对机器人控制策略和学习策略有很大的帮助。
2书写机器人的控制方法
毛笔字书写机器人的控制方式可分为以下3类:使用坐标计算的控制方法;使用机器人运动学及动力学的控制方法和智能控制方法。在机器人手臂运动控制问题中,主要的挑战在于动力学和不确定性带来的复杂性。动力学的挑战是由机器人机械臂中的非线性和耦合引起的,而不确定性则可能是动力学参数的不精确性和关节的柔性、驱动动力学、摩擦、传感噪声等的原因所引起的。
2.1使用坐标计算轨迹控制绘制汉字
这种类型的书写机器人按照预先设定的轨迹、行为、顺序和速度重复进行动作,完成书写。景兴碧的软笔书法机器人控制系统[18]根据书法机器人的系统要求,编制了大量基于VB、VC、PEWIN和EXCEL的应用软件。研究者首先对汉字的结构进行分析分类,对汉字中常用的部首通过编程构建出若干子程序,然后针对某一汉字调用函数并进行参数调整。这种书写方法比较简单,通过坐标计算和计算机编程就能够让机器人实现毛笔字书写,但是书写效果不佳,当书写大量汉字时,会使程序冗杂。张传剑[12]利用数学几何算法进行运动学分析,基于AutoCAD和VB设计了MOTOMAN-UP6机器人写字功能,使系统能够在水平面内任意角度实现文字的书写。宫晓博[11]针对工作面为平面或球面的不同情况,分别使用插补算法和结合三维坐标系旋转变换的姿态插补方法,在给定平面以及给定曲面上以较好的效果完成了汉字的绘制。
2004年以来,宁夏引黄灌区全面推行了以成立农民用水户协会管理支斗渠为主要内容的农村水费改革,主要经历了三个发展阶段:建立试点阶段(2004年)、全面推开阶段(2005年)、巩固规范阶段(2006—2011年)。截至2012年5月底,全自治区共成立农民用水户协会821个,按照灌区所在规模分类,大型灌区协会有671个,中型灌区协会有129个,小型灌区协会有21个,分别占协会总数的81.7%、15.7%和2.6%。目前,全自治区共有农民用水户协会管理人员4 804人。
国外的研究者们也在不同的机器人平台上实现了机械手臂的汉字书写。Yongkui Man[6]设计的一种书法机器人主要采用插值算法和坐标变换进行书写,该书法机器人有3个自由度的伺服系统,使用开环伺服系统来解决毛笔书写过程中出现的小半径旋转和笔迹控制中的问题,通过控制伺服电机的转矩、速度和角度来完成机械手的书写动作。Ka Wai K[7]设计了具有5个自由度的机器人书写平台,该平台在现有直线关节型机器人X、Y、Z坐标的基础上,添加了Z旋转和倾斜,可以支持机械手在5个自由度上的变化,能够更加灵活稳定地进行书写。Marius-Florin Crainic以RV-2AJ机械臂为平台,通过直角三角形的三点校准,能够在平面或斜面上完成方便安全的书写,并重现唯一的字体或字形[22]。
2.2使用机器人动力学控制绘制汉字
这种类型的书写机器人通过控制机械手臂在已知的运动轨迹条件下运动,反过来求解对应机械臂关节间的角度以达到控制的目的。本节根据机器人控制中使用的理论不同,将从运动学和动力学两方面进行介绍。
采用运动学的控制方法,有相当一部分研究者是通过解运动学方程对机械手臂进行控制的。曲波[19]使用了具有类似人类关节的机械臂来模拟人类手臂动作,进而模仿人类的书写能力,通过末端执笔的机械臂,将从汉字中提取出来的信息通过运动学方程来控制机械臂的动作。金英连[23]采用的6自由度转动关节机器人机构,是基于坐标变换建立运动学模型,使用三级递阶控制进行书写。满翠华[24]对多自由度机器人手臂的机构进行设计,主要通过Denavit-Hartenberg法和基于旋量理论对动作笔画求运动学正解、运动学逆解(得到封闭解)、基于旋量理论的雅可比矩阵来控制机械臂的动作。
另外也有通过人类动作运动学理论,来控制运动的方法。Rejean Plamondon[25]提出了一个适用于书写笔迹产生的嵌套模型,通过渐进的细节分析笔画的轨迹和速度,解释了生成手写笔画的嵌套模型是如何连贯和一致的,并指出书写笔迹有“指向”和“碰触”两个深度。
然而在一些情况下,逆向运动学无法求出解析解,并且可能降低运动轨迹的精确度[26]。于是有一部分研究者基于动力学的相关理论,研究机器人的控制方法。
王党校对汉字书写过程中的力反馈进行了模拟,并评价了汉字书写的逼真度[27]。Sung-Kyun Kim[28]对机器人书写中的书写笔夹持问题进行了研究,提出了基于反作用力内部接触假设(reactional internal contact hypothesis)的多触点操控框架,并解决了优化配置搜索以及夹持力度的计算问题。由于人机操作的延时,当人手刚度增加时,基于定位控制的机器人会不稳定,于是Toru Tsumugiwa[29]提出了一种可变阻抗的控制方法,实时按比例地调整人臂刚度的动力学估算,使人机协同操作系统更加稳定。Veljko Potkonjak通过总结以往书写中出现的问题[30],基于分布定位的概念提出了一种虚拟疲劳(virtual fatigue,VF)[31]的方法,能够让机器人根据当前的疲劳程度重新自我配置,并采取合适的姿势以此来准确控制书写的动作。
2.3使用智能控制书写汉字
在反馈控制的研究中,主要使用各种传感器来感知周围环境,以此适应环境的变化。曲波使用了能够模仿人类书写能力的毛笔机器人[19],其基础结构是采用末端执笔的机械臂,引入了图像、声呐、触觉等多个传感器构成闭环控制系统,通过接收主控PC机提取汉字信息的控制指令,来模拟人类手臂动作进行书写动作控制。香港中文大学的研究团队以一个5自由度的机器人系统为平台[8],通过对毛笔的笔尖构建几何模型[34],在原有平台基础上提出了基于视觉图像反馈的毛笔字笔画书写控制方法[35],并对汉字笔画的产生进行了分析,用与模仿汉字书写[36]。
KA WAI Kwok[7]为他们研究团队设计的毛笔字书写机器人添加了视觉系统,通过对毛笔字笔迹进行实时捕捉和数据分析,使之可以进行自矫正和学习。改进后的书写机器人能够通过视觉获取、学习汉字信息,并书写汉字。金英连[23]使用视觉传感器获取字符图像,再利用单片机对机械臂进行控制从而达到书写的目的。何薇[10]利用机器视觉自定义协议将图像传回PC机,通过得到的字符坐标信息来控制机器人的多轴联动进行书写。在字迹清晰条件下,该方法能够使机器人准确地写出机器视觉所“看到”的字符。
另外,也有一些研究者通过各种学习算法来控制机器人的运动。例如JAVIER G[26]采用改进的Lloyd算法与隐马尔可夫模型(HMM)对关节空间的轨迹进行控制,并能更为有效地用于人类动作的学习。ALAIN D[37]通过采用深度神经网络学习,以此生成一序列命令直接提供给底层的控制回路,能够在新的环境下归纳已学习到的动作,并以iCub为平台测试轨迹记录。SUN Yan等人的一些研究工作使用强化学习以及构造型神经网络方法,通过模仿婴儿发育过程,能够让机器人学会指向和定位行为[38-40]。
3书写机器人的汉字信息获取方式
中国书法汉字总数多达800 000,按字体可分为篆书、隶书、楷书、草书、行书、甲骨文、金文等。秦汉两代的书法大部分是刻在石碑或者是竹简上,之后的各朝代写在帛或者纸上。这些作品大都有副本流传,为机器人书写数据库提供了大量的资源。然而汉字的书写不同于英文的书写,汉字的书写更加注重结构和美观,书写动作也更为复杂。目前的毛笔字书写机器人大部分书写的是楷书,少部分是隶书或行书。机器人书写中汉字信息获取的方式分为计算机字库再现和人机协作、模仿学习。
3.1计算机字库信息的再现书写
机器人对字库中汉字的再现书写,主要是通过计算机将汉字转化成具体的点坐标,然后通过控制机械臂的运动轨迹,对汉字进行书写。这种汉字的实现方式比较简单,效果表现和字库中的汉字一致,主要使用直线关节型机器人,一部分使用曲关节型机器人。这种方法是在工程上实现汉字图形的再现,对编程的要求较高。本节按照字库信息的来源,将其分为从现有字库的信息提取和字帖的信息获取。
通过现有字库进行汉字信息的提取,多是利用操作系统自带的函数读取TTF矢量字库中的汉字轮廓信息,通过Denavit-Hartenberg方法进行运动学控制,实现汉字的书写。例如王光建[41-42]提取TTF矢量字库中汉字的轮廓信息,通过编程对TTF字体的点阵单线字体进行矢量化,然后使用汪涛[43]的函数提取和显示功能对字符轮廓线进行提取和显示,实现写字机器人的运动学分析和仿真。宫晓博[11]首先通过API 函数编程实现了TTF字型轮廓信息的提取,然后针对工作面为平面或球面的不同情况,分别使用插补算法和结合三维坐标系旋转变换的姿态插补方法,在给定平面以及给定曲面上以较好的效果完成了汉字的绘制。
另外也有研究者用其他方式进行编程,从现有字库中获取汉字的信息。景兴碧[18]使用SCARA机器人为平台,以基于Windows系统上的中文字库以及VB、VC、PEWIN、EXCEL等应用软件,在点阵式2D的字迹中加入第三维信息,供机器人进行软笔书写。张传剑[12]利用AutoCAD对汉字的笔画的点坐标信息进行提取,使用VB设计了MOTOMAN-UP6机器人的写字功能,利用集合算法对机器人进行运动学分析,使该机器人能够在水平面内任意角度进行文字书写。曲波[19]设计的自适应能力毛笔机器人通过引入多个传感器,接收汉字的坐标信息进行书写,能够模仿人类书写的能力并进一步完善自适应性。
通过对汉字结构的研究发现,汉字虽然数目庞杂,并且有不同的写法、字体,但是不同的简单笔画在平面上的组合构成了各种各样的汉字。因此也有不少研究者对各种字帖进行处理,获取汉字的笔画信息,以此控制机械手臂进行书写。
美国Tennessee State University的Fenghui Yao教授在这一方面作了一些研究,他在CCC(Chinese Character Calligraphy)机器人上设计了一种“中国汉字书法机器人”,通过构建一个基于笔画的汉字数据库来进行书写。他根据汉字的发展历程,分别构建了篆书、隶书、楷书、草书、行书的相关字库。之后采用基于图像和曲线加工技术和书法知识对毛笔字的轨迹信息进行提取,将楷书汉字书写分为28个基本笔画。YAO还将汉字分成了几类固定的结构,根据结构的不同来对笔画进行定位和拼接,得到了很好的书写效果[44-46]。
也有研究者将获取到的信息通过建立毛笔模型来进行书写。JOSH H. M. Lam在IRAS中构建笔迹模型,利用线性回归的理论,使机器人书写出更加合适的笔画[8]。在此基础上,JOSH H. M. Lam还提出了一种先进较成熟的几何学的毛笔模型[47]:在实际书写过程中使用CCD摄像头采集实验数据获取毛笔的几何模型,之后通过添加8顶点笔画模型对每个笔画信息进行分段,使机器人能够很好地书写每一个笔画,从而更好地完成书写。
然而机器人根据笔画来进行书写是有一定困难的,因为在笔画的组合方面,机器人需要进行定位和拼接。薛环振[13]利用递归算法对毛笔字书法的笔迹和结构进行了参数化,在机器人书写动作控制方面对书写过程增加了“回笔”的方法,使书写效果得到了较大的改善。金英连[23]使用视觉传感器获取字符图像,然后通过网格化得到字符点阵,计算机信息得到笔画,之后对笔画的中心进行聚类得到笔画的顺序,从而达到书写的目的。何薇[10]利用机器视觉自定义协议将图像传回PC机,然后使用OpenCV库对图像进行阈值比、闭运算,细化和笔画分割,通过得到的字符坐标信息来控制机器人的多轴联动进行书写。
3.2人机协作和模仿书写
针对机器人书写动作最多的方式是采用人机交互的学习方式。学习机制的研究是人工智能研究的一项核心课题。采用了一部分学习策略的机器人,它具有发现问题,并且能自主地解决问题的能力[48]。因此学习策略是智能系统具有适应性与性能自完善功能的基础。为了让机器人能够随着经验积累自动提高性能,人们设计了许多不同的算法和方式来实现机器人不同类型的学习。本节根据人机协作方式的不同,将分为随动和模仿两点进行介绍。
随动这一人机协作的形式,是通过人手牵引,与机械手臂相互协作使之获取相应汉字信息,最终实现书写的过程。Toru Tsumugiwa[29]提出了一种基于延时定位的人机交互的可变阻抗的控制方法,由压力传感器实时获取人类操作者手臂前端的力度,使机器人末端传感器实时获取压力与位置数据,使人机协作系统更加稳定。Andre Lemme[49]以人形机器人iCub为平台,构建了一个运动基元库(movement primitive library), 通过人类教师的引导能够自监督地从复杂轨迹中感知并学习运动基元,学会相应的轨迹动作,并能使用复杂的手写轨迹进行评价。
另一种人机协作的方式就是通过观察、模仿人类教师,获取对应的汉字信息并进行汉字的书写。例如V. Mohan等人[50]以婴儿人型机器人iCub为平台,通过iCub的分析/综合系统学习绘制从简单到复杂的形状图案。即通过观察一个教师的示范,特别是教师末端执行器的轨迹,来学习模仿示范者的动作。
在此基础上,也有研究者通过观察人类手势来实现机器人手臂的书写。Sylvain Filiatrault[51]通过无标记的视觉传感器,即Kinnect获取人类示范的手臂手势信息,转换到以NAO机器人为平台的系统中,以此控制机器人的手臂进行书写动作。晁飞等通过运动传感输入设备实时捕捉人类示范的手势轨迹,采用简化的分类集成器来识别人体不同的动作手势,来控制机械臂书写不同的笔画,最终实现整个汉字的书写[52]。在此基础上从人类手臂轨迹中提取汉字笔画并进行优化,以此能够让机械臂实现用简单结构得到更优的书写效果,使其有潜力书写更为复杂的汉字[53]。
4比较与讨论
为了能更好地对比书写机器人的产品、技术和参数性能参数,表1、表2和表3被用来对硬件构造、控制方法和汉字信息获取方式不同研究工作的来进行比较。
需要强调的是,在机器人的动作控制方面,常规的控制策略就是对机器人进行运动学分析。主要是建立D-H齐次坐标方程求解,或者是对机器人手臂在平面内的轨迹进行坐标计算。之后通过编程对机器人进行控制,实现机器人毛笔字的书写。这种方法可重复再现通过示教编程存储起来的作业程序,然而这种系统主要依靠人对书写机器人机械臂的轨迹控制程序进行编写,使其完成预期的动作,工作量比较大,可扩展性差。
另外在对汉字信息的提取方面,目前的主要方法是通过编程函数提取现有字库的汉字信息,能够很好地对汉字进行再现,并且书写相当多的汉字。然而,这种方法需要较多的编程,限制了机器人的拓展性和学习性,只能书写字库中的信息,不能通过不断地学习和训练来掌握书写能力。
表1 机器人硬件构造的比较
表2 机器人控制方法的比较
表3 汉字信息获取方式的比较
随着计算机视觉技术的研究和发展,很多研究者利用机器人的“眼睛”对汉字信息进行捕捉和再现。基于计算机视觉来获取字体信息,在很大程度上能够让机器人进行自主学习和训练,但是机器人在获取汉字信息时需要克服外界干扰,还要将信息转化成内部参数来完成书写,其书写控制方面需要通过不断地反馈修正训练才能够达到很好的书写效果。
综上所述,未来的研究工作将会有如下两个可供拓展的领域:
1)智能控制与机器学习。引入智能控制模型和机器学习的方法,可以大幅改善毛笔字书写机器人的动作控制。智能控制模型是在无人干预的情况下能够自主驱动智能机器实现控制目标的自动控制系统,它主要是针对控制对象及其环境、控制目标和任务的不确定性和复杂性而进行设计的。智能控制系统的特点是:无需建立被控对象的数学模型,特别适合非线性、时变和复杂不确定的控制对象;具有分层递阶的控制组织结构,便于处理大量的信息和储存的知识,并进行推理;控制效果具有自适应能力,鲁棒性好;学习能力,控制能力可以不断增强。这种控制系统可以自动测量被控对象的被控制量,并求出与期望值的偏差,同时采集输入环境的信息,然后根据所采集的输入信息和已有知识进行推理,使得其对被控对象的输出控制的偏差尽可能减小或消除。根据控制对象本身参数或周围环境的变化,调整其自身,使得其行为在新的或者已经改变了的环境下达到最好,或者至少是容许的特性和功能。
2)模仿学习。目前对机器人模仿人书写汉字的研究中,重复汉字的书写还没有能够达到机器人自我创作书写的效果[54]。中国汉字有十万多个,常用汉字有三千多个[55],在汉字的书写中,不同的汉字是由有限的固定的笔画组合而成的。在汉字的书写过程中涉及了很多重复性的笔画运动,因此可以考虑利用在先前相同笔画运动轨迹中收集得到的数据来改善机械臂在随后笔画中的稳定性和完善性。多样性的汉字具有有限笔画重复构成的特点,意味着毛笔字书写机器人完全可以采用各种学习算法[56],这也为研究机器人的学习机制提供了一个非常有趣的途径[50]。
5结束语
通过对该领域已有文献的阅读和思考,按照毛笔字书写机器人的硬件构造、书写动作控制方法和书写机器人的实现方式进行了分类,对目前毛笔字书写机器人的研究现状和特点做了研究。本文还对比了各个研究的特点和优势,并在机器人书写动作控制与实现方式方面做了一些思考。机器人通过不断学习来完成写字复杂工作,其重点在于学习,能够让机器人通过学习来完成复杂书写动作的控制是近年来的研究热点,也是机器人手眼协调发展的一个重要分支。在研究方面,汉字书写机器人更着重于对机器人手臂的控制,这样更接近人们对于智能机器人的控制期望。当然,机器人手眼协调的发展一直伴随着智能机器人的发展,在尝试对机器人写毛笔字改进和提高的过程中,也会促进智能机器人的发展和研究。另外,汉字书写过程中的重复动作,也为机器学习方法的实践和提高提供了一种方法。
对书写机器人输入方式的加强方面,由于汉字的结构特点和文化底蕴,毛笔字书写机器人的研究也将在一定程度上为“脑机接口”技术应用的拓展打下了前期基础[57]。并且,随着计算机技术和人工智能理论的发展,更加高效、智能的发展型机器人将成为研究的重点。在以后的科研工作中,可以关注人工智能学习理论与模仿学习在机器人写毛笔字中的实现和改进,并将发展型机器人的思想引入机器人书写动作的控制中,让智能机器人的动作控制更加贴近人们的期望。
为了强调书写机器人的未来的研究方向以及可以预见的规模化应用领域,在本文的最后从如下3个方面进行了展望。
机器人书写功能最直接的应用是个性化的艺术喷涂,特别是在一些危险的外墙上进行书写甚至作画,都非常适合机器人去实现;另一方面,在一些高毒、高污染环境下的汽车整体喷漆以及个性化图盘的喷漆工作,也非常适合大量的具有书写能力的机器人去胜任。这两种方式都可以根据人工设计好的或者机器人自己创作的艺术效果进行。由于喷涂与书写能力可以直接转化,因此在市场有需求的情况下,可以马上就转化为企业的实际应用。
机器人的书写能力还可以应用在康复锻炼活动中。机器人可以托起或者拉动需要康复的肢体,来进行一些基本恢复动作,运动范围可以逐渐从小到大,运动速度可以从慢到快。并且机器人需要做一些新的动作时,可以通过模仿能力来学习康复医师的新动作。这些能力正是机器人通过模仿来学习书写所需要的,或者说是书写机器人所具备的。
机器人书写对机械手臂灵巧性的高要求可以被应用到有机器人操作的外科手术中去。外科手术需要控制器械在较小的活动空间中进行精确的定位和运动,能达到较好书写效果的机器人也是可以实现这一功能的。但是,从目前的研究现状来看,还没有能达到这样要求的书写机器人。因此,需要加强对采用智能控制方法的机器人书写能力的研究。
参考文献:
[1]周远清, 张再青. 智能机器人系统[M]. 北京: 清华大学出版社, 1989: 17-22.
[2]曾庆军, 黄惟一. 智能遥控作业器——下一代机器人发展的重要生长点[J]. 机器人技术与应用, 1998, (3): 7-10.
[3]方建军, 何广平. 智能机器人[M]. 北京: 化学化工出版社, 2004: 1-14.
[4]CHAO Fei, ZHANG Xin, LIN Haixiong, et al. Learning robotic hand-eye coordination through a developmental constraint driven approach[J]. International journal of automation and computing, 2013, 10(5): 414-424.
[5]SICILIANO B, KHATIB O. 机器人手册[M]. 北京: 机械工业出版社, 2013: 196-211.
SICILIANO B, KHATIB O. Springer Handbook of Robotics[M]. Beijing: China Machine Press, 2013: 196-211.
[6]MAN Yongkui, BIAN Chunyuan, ZHAO Hongbin, et al. A kind of calligraphy robot[C]//Proceedings of the 3rdInternational Conference on Information Sciences and Interaction Sciences (ICIS). Chengdu, China, 2010: 635-638.
[7]WAI K K, YAM Y, WAH LO K. Vision system and projective rectification for a robot drawing platform[C]//Proceedings of IEEE International Conference on Control and Automation. Budapest, 2005: 691-696.
[8]LAM J H M, YAM Y. Stroke trajectory generation experiment for a robotic Chinese calligrapher using a geometric brush footprint model[C]//Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems. St. Louis, MO, 2009: 2315-2320.
[9]MATSUI A, KATSURA S.A method of motion reproduction for calligraphy education[C]// IEEE International Conference on Mechatronics, 2013, 307(9): 452-457.
[10]何薇, 钱增磊, 唐超, 等. 基于机器视觉的机器人写字技术的设计[J]. 江南大学学报:自然科学版, 2011, 10(5): 513-517.
HE Wei, QIAN Zenglei, TANG Chao, et al. Design of writing by robot manipulator based on machine vision[J]. Journal of Jiangnan university:Natural Science Edition, 2011, 10(5): 513-517.
[11]宫晓博, 王建平. IRB140型工业机器人连续轨迹控制的汉字绘制[J]. 现代制造工程, 2010(2): 135-137.
GONG Xiaobo, WANG Jianping. Drawing Chinese character based on continuous path control of IRB140 industrial robot[J]. Modern manufacturing engineering, 2010(2): 135-137.
[12]张传剑, 李春梅, 韩军. MOTOMAN-UP6机器人写字功能设计与实现[J]. 机械制造与自动化, 2011, 40(2): 119-121, 161.
ZHANG Chuanjian, LI Chunmei, HAN Jun. Functional design and realization of writing for MOTOMAN-UP6 robots[J]. Machine building & automation, 2011, 40(2): 119-121, 161.
[13]薛环振. 运用机械臂的计算机书法创作系统设计与开发[D]. 上海: 华东师范大学, 2011.
XUE Huanzhen. Design and development of computer calligraphy creation system using robot arm[D]. Shanghai: East China Normal University, 2011.
[14]俞凯. 计算机书法若干关键技术研究[D]. 杭州: 浙江大学, 2010.
YU Kai. Researches on some key technologies of computer calligraphy[D]. Hangzhou: Zhejiang University, 2010. [15]姜家宏. 平面关节型机器人结构优化研究[D]. 沈阳: 东北大学, 2010.
JIANG Jiahong. The structure optimization research of planar articulated robot[D]. Shenyang: Northeastern University, 2010.
[16]杨成文. 平面关节机器人研制及其轨迹规划[D]. 广州:华南理工大学, 2012.
YANG Chengwen. Research and development of the SCARA industrial robot and trajectory planning[D]. Guangzhou: South China University of Technology, 2012.
[17]张红. SCARA机器人小臂结构特性分析[D]. 天津: 天津大学, 2008.
ZHANG Hong. Structural characteristic analysis of the SCARA robot's small arm[D]. Tianjin: Tianjin University, 2008.
[18]景兴碧, 万仁明, 张以都, 等. 软笔书法机器人[J]. 机器人技术与应用, 2000 (6): 21-23.
JING Xingbi, WAN Renming, ZHANG Yidu, et al. A robot system for Chinese penmanship[J]. Robot technique and application, 2000 (6): 21-23.
[19]曲波. 一种具有环境自适应能力的毛笔机器人[J]. 微型电脑应用, 2004, 20(10): 42-44.
QU Bo. An adaptive robot of calligraphist[J]. Microcomputer applications, 2004, 20(10): 42-44.
[20]乔金晶, 李志斌, 节鹏举, 等. 写字灵巧手系统研究[J]. 中国科技纵横, 2010, (23): 39-40.
QIAO Jinjing, LI Zhibing, JIE Pengju, et al. The research of the write dexterous hand system[J]. China science & technology, 2010, (23): 39-40.
[21]KIM B H. Modeling and analysis of robotic dual soft-fingered writing[J]. International journal of precision engineering and manufacturing, 2009, 10(2): 17-23.
[22]CRAINIC M F, PREITL S, SANDRU L A, et al. Secure handwriting using a robot arm for educational purpose[C]//Proceedings of the 19th International Conference On Methods and Models in Automation and Robotics (MMAR). Miedzyzdroje, 2014: 58-63.
[23]金英连, 程峰, 郑成伟, 等. 智能写字机器人机构与递阶控制系统设计[J]. 中国计量学院学报, 2009, 20(3): 249-253.
JIN Yinglian, CHENG Feng, ZHENG Chengwei, et al. Smart lettering robot mechanism and hierarchical control design[J]. Journal of China university of metrology, 2009, 20(3): 249-253.
[24]满翠华, 范迅, 李成荣. 画像机器人手臂运动学研究[J]. 起重运输机械, 2007 (3): 68-70.
MAN Cuihua, FAN Xun, LI Chengrong. Kinematics simulation of painting robot bionics arm[J]. Hoisting and conveying machinery, 2007 (3): 68-70
[25] PLAMONDON R, DJIOUA M. A multi-level representation paradigm for handwriting stroke generation[J]. Human movement science, 2006, 25(4-5): 586-607.
[26]GARRIDO J, YU Wen, SORIA A. Human behavior learning for robot in joint space[J]. Neurocomputing, 2015, 155: 22-31.
[27]王党校, 张玉茹, 姚冲. 力反馈汉字书法模拟的任务规划和逼真度评价方法[J]. 系统仿真学报, 2006, 18(8): 2307-2326.
WANG Dangxiao, ZHANG Yuru, Yao Chong. Task planning and fidelity evaluation in force enabled Chinese calligraphy simulation system[J]. Journal of system simulation, 2006, 18(8): 2307-2326.
[28]KIM S K, JO J,OH Y. Robotic handwriting: Multi-contact manipulation based on Reactional Internal Contact Hypothesis[C]//Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2014). Chicago, IL, 2014: 877-884.
[29]TSUMUGIWA T, YOKOGAWA R, KHARA R. Variable impedance control based on estimation of human arm stiffness for human-robot cooperative calligraphic task[C]//Proceedings of IEEE International Conference on Robotics and Automation. Washington, DC, USA, 2002: 644-650.
[30]POTKONJAK V. Robotic handwriting: Why and how[C]//Proceedings of the Conference on Interdisciplinary Applications of Kinematics. Lima, Perú, 2008: 19-35.
[31]POTKONJAK V, KOSTIC D, TZAFESTAS S, et al. Human-like behavior of robot arms: general considerations and the handwriting task—Part II: the robot arm in handwriting[J]. Robotics and computer integrated manufacturing, 2001, 17(4): 317-327.
[32]DJIOUA M, PLAMONDON R. Studying the variability of handwriting patterns using the Kinematic Theory[J]. human movement science, 2009, 28(5): 588-601.
[33]HASHIGUCHI H, ARIMOTO S, OZAWA R. Control of a handwriting robot with DOF-redundancy based on feedback in task-coordinates[J]. Journal of robotics and mechatronics, 2004, 16(4): 381-387.
[34]YAM Y. Realization of robotic Chinese calligraphy by an intelligent art robot[C]//Proceedings of the 4th Beijing-Hong Kong International Doctoral Forum. Shenzhen, China, 2009: 1-4.
[35]LU Y, LAM J H M, YAM Y. Preliminary study on vision-based pen-and-ink drawing by a robotic manipulator[C]//Proceedings of IEEE/ASME International Conference on Advanced Intelligent Mechatronics. Singapore, 2009: 578-583.
[36]LAM J H M, YAM Y. Structural analysis based stroke segmentation for Chinese characters[C]//Proceedings of the 48th IEEE Conference on Decision and Control. Shanghai, China, 2009: 3118-3123.
[37]DRONIOU A, IVALDI S, SIGAUD O. Learning a repertoire of actions with deep neural networks[C]//Proceedings of IEEE International Conferences on Development and Learning and Epigenetic Robotics (ICDL-Epirob). Genoa, 2014: 229-234.
[38]WANG Zhengshuai, CHAO Fei, LIN Haixiong, et al. A Human-like learning approach to developmental robotic reaching[C]//Proceedings of IEEE International Conference on Robotics and Biomimetics (ROBIO). Shenzhen, China, 2013: 581-586.
[39]WANG Zhengshuai, XU Guanghua, CHAO Fei. Integration of Brain-like neural network and infancy behaviors for robotic pointing[C]//Proceedings of the International Conference on Information science, Electronics and Electrical Engineering (ISEEE). Sapporo, 2014: 1613-1618.
[40]CHAO Fei, WANG Zhengshuai, SHANG Changjing, et al. A developmental approach to robotic pointing via human—robot interaction[J]. Information sciences, 2014, 283: 288-303.
[41]王光建, 廖志勇, 陈雪华. 机器人写字技术及其运动参数[J]. 重庆大学学报:自然科学版, 2003, 26(12): 6-9.
WANG Guangjian, LIAO Zhiyong, CHEN Xuehua. Robot manipulator lettering technology and motion[J]. Journal of Chongqing university:natural science edition, 2003, 26(12): 6-9.
[42]王光建, 梁锡昌. 写字机器人的文字矢量化及应用[J]. 现代制造工程, 2004 (7): 40-42.
WANG Guangjian, LIANG Xichang. Character vector and application in writing robot[J]. Modern manufacturing engineering, 2004 (7): 40-42.
[43]汪涛. Windows95中字符轮廓线的提取和显示 [J]. 微计算机应用, 1999, 20(2): 86-88.
WANG Tao. The extraction and display of character contour in Windows95[J]. Microcomputer applications, 1999, 20(2): 86-88.
[44]YAO Fenghui, SHAO Guifeng. Modeling of ancient-style chinese character and its application to CCC robot[C]//Proceedings of the 2006 IEEE International Conference on Networking, Sensing and Control. Ft. Lauderdale, FL, 2006: 72-77.
[45]YAO Fenghui, SHAO Guifeng, YI Jianqiang. Extracting the trajectory of writing brush in Chinese character calligraphy[J]. Engineering applications of artificial intelligence, 2004, 17(6): 631-644.
[46]YAO Fenghui, SHAO Guifeng, YI Jianqiang. Trajectory generation of the writing-brush for a robot arm to inherit block-style Chinese character calligraphy techniques[J]. Advanced robotics, 2004, 18(3): 331-356.
[47]LAM J H M, YAM Y. Application of brush footprint geometric model for realization of robotic Chinese calligraphy[C]//Proceedings of the 2nd International Conference on Cognitive Infocommunications (CogInfoCom). Budapest, 2011: 1-5.
[48]CALDERON C A A, MOHAN R E, ZHOU Changjiu. Teaching new tricks to a robot learning to solve a task by imitation[C]//Proceedings of IEEE Conference on Robotics, Automation and Mechatronics. Singapore, 2010: 256-262.
[49]LEMME A, REINHART R F, STEIL J J. Self-supervised bootstrapping of a movement primitive library from complex trajectories[C]//Proceedings of the 14th IEEE-RAS International Conference on Humanoid Robots (Humanoids). Madrid, 2014: 726-732.
[50]MOHAN V, MORASSO P, ZENZERI J, et al. Teaching a humanoid robot to draw ‘Shapes’[J]. Autonomous robots, 2011, 31(1): 21-53.
[51]FILIATRAULT S, CRETU A M. Human arm motion imitation by a humanoid robot[C]//Proceedings of IEEE International Symposium on Robotic and Sensors Environments (ROSE). Timisoara, 2014: 31-36.
[52]CHAO Fei, CHEN Fuhai, SHEN Yuhang, et al. Robotic free writing of Chinese characters via Human-Robot interactions[J]. International journal of humanoid robotics, 2014, 11(1): 1450007-1-26.
[53]CHAO Fei, SUN Yan, WANG Zhengshuai, et al. A reduced classifier ensemble approach to human gesture classification for robotic Chinese handwriting[C]//Proceedings of IEEE International Conference on Fuzzy Systems (FUZZ-IEEE). Beijing, China, 2014: 1720-1727.
[54]ACOSTA-CALDERON C A, HU H. Robot imitation: Body schema and body percept[J]. Applied bionics and biomechanics, 2005, 2(3-4): 131-148.
[55]吴建国, 俞庆英, 吴海辉. 汉字笔画若干数据的统计方法研究与应用[J]. 安徽大学学报:自然科学版, 2005, 29(3): 14-20. WU Jianguo, YU Qingying, WU Haihui. Statistic on some Chinese character stroke information[J]. Journal of anhui university:natural science edition, 2005, 29(3): 14-20.
[56]TAN Huan, DU Qian, WU Na. Robots learn writing[J]. Journal of robotics, 2012: 505191.
[57]PÉREZ-MARCOS D, ALBERTO BUITRAGO J, DANILO GIRALDO VELSQUEZ F, et al. Writing through a robot: A proof of concept for a brain-machine interface[J]. Medical engineering & physics, 2011, 33(10): 1314-1317.
Survey of robotic calligraphy research
ZENG Hualin1,2, HUANG Yuxuan1,2, CHAO Fei1,2, ZHOU Changle1,2
(1. Cognitive Science Department, Xiamen University, Xiamen 361005, China; 2. Fujian Province Key Lab of Machine Intelligence and Robotics, Xiamen University, Xiamen 361005, China)
Abstract:By analyzing the features and significance of calligraphy robots, we reveal that robotic writing ability requires robots to have autonomous manual control to perform flexible and precise movements as well as to respond to dynamic environments. In this study, we review and analyze three aspects of current studies on calligraphy robots. First, we introduce and analyze existing robotic hardware. Next, we review related control algorithms for the motions of robotic writing. Finally, we introduce Chinese character font acquirement methods. Additionally, we discuss the advantages and disadvantages of current robotic control methods and font acquirement approaches. We point out that intelligent control technologies and imitation learning methods are the future development directions for improving robotic writing quality. In our conclusion, we predict the development of large-scale application fields and the timing for the commercial realization of calligraphy robots.
Keywords:robot; calligraphy robot; manipulators; motion control; intelligent control; imitation learning
DOI:10.11992/tis.201507067
收稿日期:2015-07-28. 网络出版日期:2016-01-06.
基金项目:国家自然科学基金资助项目(61203336, 61273338).
通信作者:晁飞. E-mail:fchao@xmu.edu.cn.
中图分类号:TP242.6
文献标志码:A
文章编号:1673-4785(2016)01-0015-12
作者简介:
曾华琳,女,1980年生,讲师,博士研究生,主要研究方向为自然语言处理、机器学习。
晁飞,男,1981年生,讲师,博士,主要研究方向为智能机器人、发展型机器人学习算法、人工神经网络和集成分类器算法。主持国家自然科学基金项目1项,发表学术论文20余篇。
周昌乐,男,1959年生,教授,博士生导师,主要研究方向为仿脑智能系统、自然语言处理、艺术认知计算。主持国家自然科学基金项目多项、“973”项目子课题1项,发表学术论文200余篇,并有多本专著。
网络出版地址:http://www.cnki.net/kcms/detail/23.1538.TP.20160106.1555.004.html