人工智能破解古老卷轴

2024-07-15 00:00:00李忠东
科学24小时 2024年7期

别墅里保存完好的图书馆是迄今发现的唯一完整的罗马时代的图书馆

在意大利坎帕尼亚大区那不勒斯湾,有一座名为“赫库兰尼姆”的古罗马城市,被史学家称为“时光冻结之城”。赫库兰尼姆是距离庞贝古城最近的城市,它们都位于意大利维苏威火山的周围。公元79年,维苏威火山爆发,占地面积1.8平方千米的庞贝古城被彻底毁灭。而赫库兰尼姆城则被高达20米的火山灰掩埋了,并没遭受到多少破坏,至今还保持着公元1世纪的风貌。

随着时间的流逝,这两座城市逐渐被人们遗忘,直到18世纪中叶才被考古人员重新发现。1752年,考古学家在对赫库兰尼姆的挖掘中发现了大量文物,其中包括已被烧焦的1800个纸莎草卷轴(也被称为“赫库兰尼姆卷轴”)。这些赫库兰尼姆卷轴是在一座豪华别墅里保存完好的图书馆废墟中找到的,这也是迄今发现的唯一完整的罗马时代的图书馆。据推测,该别墅可能属于恺撒大帝的岳父、参议员卢修斯·卡尔普尼乌斯·皮森·凯索宁斯。

埋藏在火山灰层下近2000年的赫库兰尼姆卷轴早已严重碳化

赫库兰尼姆卷轴埋藏在火山灰层下近2000年,虽然重见天日,但是早已严重碳化。据意大利国家研究委员会的纸莎草纸学者拉齐亚诺·拉诺基亚介绍,如果没有火山爆发导致赫库兰尼姆卷轴碳化,那么它们是不可能保存至今的。这些卷轴见证了古代文明,却让科学家对此束手无策。

设大赛破解难题

古老的赫库兰尼姆卷轴大多保存在意大利那不勒斯国家图书馆,少部分分别保存在牛津大学的博德利图书馆、大英图书馆和法兰西学院等处。虽然已经在高温下被碳化了,但是人们相信这些文献有着非同寻常的价值,一直在努力试图辨认其中的内容。

不同于破解一般的密码,破解碳化的卷轴之难,无异于解读一本“无字天书”。几个世纪来,一直有历史学家尝试展开卷轴进行破译。但这样的尝试付出了高昂的代价,一些赫库兰尼姆卷轴直接在展开的过程中被损毁,变成碎片。近 20 年来,美国肯塔基大学“数字恢复计划”负责人、计算机科学家布伦特·西尔斯教授及其团队作出了不懈的努力,希望有朝一日能打开这座“隐形图书馆”。

西尔斯是一位经验丰富的古文字破译专家。2016年,他利用X射线计算机断层扫描技术(CT)成功解读了来自以色列恩戈地的一部烧焦的卷轴,揭示了写于公元三四世纪的《利未记》(犹太教《托拉》和基督教《旧约》的一部分)的部分内容。这是因为书写恩戈地的卷轴用的墨水含有金属,因此在CT 扫描中会发出耀眼的光芒。但赫库兰尼姆卷轴上的墨水是碳基的,本质上是木炭和水,密度与纸莎草纸的密度相近,因而在扫描中根本不会显现出来。

2019年,西尔斯把4个单页的碎片和整卷卷轴送到英国国家同步加速器光源科学设施——“钻石光源中心”接受检视,利用高亮度的光束照射卷轴,能够识别出墨水和空白区域之间的细微纤维结构差别。

西尔斯的学生斯蒂芬·帕森斯成功地利用机器学习模型侦测到碎片中的墨水,结合一个“虚拟成像”软件重建出文字在纸莎草纸上的位置。这一过程实际上是“虚拟揭开”薄如蝉翼的纸莎草纸层,以一种非破坏性的方式虚拟读取卷轴上的内容。

西尔斯的研究团队得到了微软下属软件项目托管平台前首席执行官、技术投资者纳特·弗莱德曼和企业家丹尼尔·格罗斯等人的资助。弗莱德曼等人提出了一种创新性的方案:通过“维苏威挑战赛”的形式,以破解赫库兰尼姆卷轴为目标,推动人工智能技术的广泛应用,并鼓励全社会有志者积极参与。

赫库兰尼姆卷轴被直接展开的后果就是损毁成碎片
西尔斯的研究团队在英国国家同步加速器光源科学设施——“钻石光源中心”扫描卷轴
通过高亮度的光束照射识别卷轴墨水和空白区域之间的细微纤维结构差别

这场挑战赛的影响力远超出了发起人的最初设想,引起了百所高校的广泛关注,吸引了来自全球各地三千多名参赛者的积极参与。这些参赛者自发组成了几百个研究团队。许多硅谷科技公司不仅给参赛团队提供设备、技术和研究场地的支持,还提供大量的研究经费。一些初创的人工智能技术公司也不甘落后,组队参赛。

2023年3月,“维苏威挑战赛”正式启动,赛事奖金高达100万美元。大赛分为三个阶段:第一阶段的任务包括组建破译团队、搭建人工智能模型和策划制订项目报告;第二阶段是人工智能程序的运行和初步成果展示;第三阶段展示卷轴破解结果和相关论文。每个阶段都设定了奖金,以支持团队购入更好的设备,租用更大的云空间,招募更专业的合作者。根据挑战赛的要求,参赛队伍要公开人工智能应用的底层代码,供所有人共享。

比赛章程规定,参赛者必须在2023年年底前在赫库兰尼姆卷轴的4平方厘米区域内至少找到10个字符、在每段140个字符总共4段文字中破译85%以上的字符。为了辅助解密卷轴,西尔斯的研究团队向参赛者发布了数千张X光照片,并提供了没有接受过特别训练的人工智能软件。当时,专家组普遍认为,参赛团队一年之内挑战成功的概率还不到三成。

人工智能技术破译了古卷轴上的2000多个希腊字母,相当于一份卷轴5%的内容

年轻人拔得头筹

“维苏威挑战赛”的消息发布后,收到了许多成果。2024年2月5日获奖成果公布,最终获胜者并非预期中的加州大学等队伍,而是一个名不见经传的大学生团队。这个团队由来自不同国家的3名大学生组成,他们之间从未面对面工作过。团队成员各自具备独特的专业知识,分别擅长罗马历史、计算机编程、文字及图像处理、三维建模等技能。他们协同合作,利用人工智能技术破译了烧焦的古代卷轴上的2000多个希腊字母,相当于一份卷轴5%的内容。他们共同分享了70万美元奖金。此外,此次大赛还评出3个并列的亚军,他们在墨迹标记和采样的细节处理上各有创新,分获5万美元奖金。

法里托和纳德从字符中检测到了ΠΟΡΦΥΡΑϹ(小写:πορφυ̣ρ̣ας̣)

2023年8月,美国企业家、物理学家凯西·汉默撰写了一篇博客,讲述了他通过持续数小时的观察,注意到CT三维扫描卷轴中有着模糊的墨水纹理,类似于破裂的泥土(他称之为“裂纹”),似乎形成了希腊字母的形状。这可以说是一个重大突破,因为之前只有在展开的碎片上识别过墨水痕迹,还没有人在未打开的卷轴中找到墨水痕迹。由于这项发现极大地激发了其他选手的灵感,汉默也获得了1万美元奖金。

在这个获得冠军的大学生团队中,21岁的卢克·法里托是美国内布拉斯加大学林肯分校计算机科学系的一名学生,他当时正在美国太空探索技术公司进行暑期实习,偶然听到挑战赛的消息,产生了极大的兴趣。受到汉默发现的启发,他利用业余时间,通过表面纹理的细微差别,训练一个关于“裂纹”模式的人工智能学习模型。法里托在卷起的纸莎草纸上成功地检测到了几行希腊字母,其中包括ΠΟΡΦΥΡΑϹ(小写:πορφυ̣ρ̣ας̣),意思与“紫色”相关,翻译成英文意思是“紫色布料”。他是一名本科生,却成了世界上第一个读出赫库兰尼姆卷轴完整单词的人,赢得首字母一等奖,获得4万美元奖金。

美国内布拉斯加大学林肯分校计算机科学系的学生卢克·法里托
德国柏林自由大学生物机器人工程系的博士生优素福·纳德
瑞士苏黎世联邦理工学院机器人系的学生朱利安·席利格

在汉默和法里托成功事迹的激励下,该团队来自德国柏林自由大学生物机器人工程系的成员、博士生优素福·纳德也鉴别出与法里托相同的几行希腊字母,赢得首字母二等奖,奖金为1万美元。只不过,他是利用图片中的字母形状来训练人工智能学习模型的。

瑞士苏黎世联邦理工学院机器人系的学生朱利安·席利格是该团队的负责人。他勇于啃硬骨头,研究挑战赛最耗时的问题——分割,创建出能用数字方式展开卷轴CT扫描的代码,并在卷轴发黑的表面上寻找微弱的墨水图案,他因此赢得三项分割工具奖。

碳化纸莎草卷轴及X 射线相差断层扫描识别的一些希腊字母
纸莎草卷轴的X射线横截面

随后,这个大学生团队和西尔斯的研究团队一起工作了数月,并于2024年2月6日在《自然》期刊上公布了这份卷轴上已被读取的部分内容。这部分内容与音乐、感官及快乐有关,其中一行写道:“就食物而言,我们不会立即相信稀缺的东西绝对比丰富的东西更令人愉快。”另一行写道:“…… 因为我们不会质疑某些事情,而是理解或记住其他事情。愿我们的诚实是显而易见的,因为它们可能经常看起来很明显!”这是卷轴的结尾,但这种表述意犹未尽。

从破译的这些文字中,我们可以了解到古代哲学家对“如何享受生活”“快乐”的探讨与争辩,揭示了人们对音乐和冒险的沉思。根据参与“维苏威挑战赛”的学者们的说法,“文本的主题是快乐,如果理解得当,这是伊壁鸠鲁哲学中最高的善。在卷轴这两个连续的片段中,作者关心的是食物等商品的供应是否以及如何影响它们所提供的快乐”。

新目标令人鼓舞

作为“维苏威挑战赛”的联合发起人之一,西尔斯高度评价了由席利格、法里托和纳德组成的团队,认为他们通过三个不同却相互支持的模型,成功识别出赫库兰尼姆卷轴中的2000多个字符,在超乎标准的情况下拿下了大奖,真是可喜可贺!这项成就一时轰动了全球学术界,总浏览量已经超过了1500万次。

对此,西尔斯总结道:“人工智能破译赫库兰尼姆卷轴的过程,包括训练一个机器学习模型。该模型检测到人眼无法察觉的X射线图像中最微小的纹理变化和墨迹。整个过程具体分三个步骤进行:第一步,扫描。利用X射线断层扫描技术对卷轴或碎片进行CT三维扫描。第二步,分割。在三维扫描图像中追踪纸莎草纸的皱褶层,随后将其展开或铺平。第三步,墨迹检测。借助机器学习模型,识别铺平段落中的墨迹区域。”

其中,墨水检测的过程困难重重,挑战最大。英国数字修复计划的访问学者斯蒂芬·帕森斯对此解释道:“由于墨水和纸莎草纸都是由碳制成的,它们在X射线中有相似的外观,因此在扫描中看到墨水是不易的。但在某些情况下,足够厚的墨水能使它的纹理被直接观察到,类似于剥落的油漆或龟裂的泥浆。”

弗莱德曼指出,“维苏威挑战赛”还未结束,在宣布第一阶段大奖得主的同时进入第二阶段。目前各个参赛团队已具备相对成熟的技术,得以虚拟展开赫库兰尼姆卷轴,并使用机器学习来识别墨水。2024年,“维苏威挑战赛”的新目标是从识别一个已经扫描卷轴的5%增加到所有的4个卷轴的至少90%,为日后阅读800个卷轴奠定基础。其中,第一个出色完成任务的团队将获得10万美元奖金。

美国保罗·盖蒂博物馆古文物馆长肯尼思·拉帕廷表示:“这一成就推动了通常进展缓慢的考古研究的发展,有望揭示许多迄今仍是谜团的古代手稿的内容,为我们更深入地了解历史提供新的视角。”