高性能计算发展现状及其在文化遗产保护中的应用展望

孟宪佳,傅利平,刘 栋,杨文静

(1.天津大学 公共管理学院,天津 300072；2.科学技术部高技术研究发展中心,北京 100044；3.西北大学 信息科学与技术学院，陕西 西安 710127)

高性能计算是研究、开发和利用强大的计算机系统的一门学科[1],其通过高速网络互连的专用硬件集群计算系统实现强大算力[2-4]。计算速度代表着高性能计算机系统整体设计的质的突破和性能的综合提升,是当前各国角逐的战略制高点[5-6]。

我国的经济社会发展和国家安全对高性能计算有着迫切的需求[7-8],解决能源短缺、环境污染、灾害预防等我国可持续发展面临的重大挑战性问题,需要高性能计算的支持[9-10]。飞机、高铁、大型装备制造等传统产业的转型升级,对以计算为手段的模拟与优化设计有着广泛的需求。关乎人民健康的精准医疗、突发恶性传染病紧急应对等,对高性能计算也有迫切需求。在前沿基础科学研究领域,高性能计算更是不可或缺的重要手段。

高性能计算对我国的信息产业有极大的促进作用。一方面促进了国产服务器产业的发展,带动了关键元器件的研发和产业化。另一方面,高性能计算应用的发展为高性能计算软件产业奠定了基础,国家高性能计算环境的发展将催生和提升我国的计算服务业[11-12]。

在高性能计算蓬勃发展的背景下,文化遗产保护领域也迎来了新的机遇和挑战，如何更好地利用人工智能、大数据、云计算等高性能数字技术,构建对遗址、文物、古籍、传承等物质与非物质文化遗产智能计算研究的新范式[13]，如何建立文化遗产数字化分析与展示的高性能平台,发挥跨学科优势,为保护和传承中华传统文化做出新的贡献[14-15]。

本文系统分析了目前国内外高性能计算发展现状,从文化遗产数字化保护的各个阶段出发,分析了文化遗产数字化保护对高性能计算的需求,并对其在文化遗产领域应用前景进行了展望,为文化遗产保护研究领域快速了解高性能计算的研究现状和对本领域的发展前景提供参考。

1 高性能计算发展现状

最新一期的高性能计算TOP500榜单在2021年6月30日公布(前10位见表1),在该榜单中日本的“富岳”(Fugaku)高性能计算机继续占据首位[16],该机在2020年6月问世即问鼎世界第一,双精度浮点峰值性能达537.2 Pflop/s,后续算力还将继续升级,远超过排名第二的美国Summit高性能计算机。在前10高性能计算机表单中,美国研制5台、中国研制2台、日本研制1台、欧盟研制2台,这一分布情况也揭示了世界上高性能计算机研究水平最高的几个国家。从国家总算力角度来看,前500名上榜的高性能计算机,美国以总算力856.8 Pflop/s，领先其他各国,约占总算力的30.6%,日本总算力635.6 Pflop/s，紧随其后,约占总算力的22.7%,我国总算力445.3 Pflop/s，位居第三,约占总算力的19.3%,欧盟等国约占总算力的16.4%(具体算力按照国家分布情况如图1所示)。

表1 2021年世界高性能计算TOP500排名前十计算机Tab.1 TOP10 computers in the world′s TOP500 HPC in 2021

图1 世界各国综合算力占比图Fig.1 The proportion chart of comprehensive calculation forces in the world

在这次排名中,中国制造的高性能计算机以186台的数量在总数上遥遥领先,占比榜单中全部高性能计算机的37.4%,美国上榜123台,占比24.4%,其余各国研发的高性能计算机数量共占比38.6%,具体情况如图2所示。

图2 TOP500高性能计算机数量各国家占比图Fig.2 Proportion chart of the number of TOP500 high-performance computers by country

研制性能第一的高性能计算机一直是各国追逐的目标。自2013年6月以来,我国的天河2号和神威太湖之光高性能计算机先后占据TOP500第一的位置,2018年6月美国Summit登顶TOP500,维持了2年的世界第一,2020年6月,日本的富岳击败美国,夺得世界第一,并一直维持至今,自2012年来TOP500排名第一高性能计算机情况如图3所示。从图3我们还能看到2012年排名第一的Titan高性能计算机峰值性能仅有27.1 Pflop/s,随后每台登顶的高性能计算机,峰值性能较之前的冠军均有近一倍的提升,直到2020年的富岳高性能计算机,峰值性能达到537.2 Pflop/s。可以预见,下一台问鼎TOP500的高性能计算机,峰值运算性能必将达到E(1 000 Pflop/s)级,世界各国为达到此目标,均开展了相应的部署。

美国正在实施的国家战略计算规划NSCI,明确指出要维持并提升美国在高性能计算的主导地位。美国能源部为研制3台E级计算机投资18亿美元,第一台E级机Aurora预计将在本年内完成,持续性能将达到1 Eflop/s。这被称为ECP计划,是NSCI的一部分。后续的Frontier和El Capitan将在2022—2023年完成。

日本正在研发E级Post-K(后“京”)系统,该系统作为日本超算“京”的后续产品,将采用目前已经成功部署的富士通A64FX处理器,计算节点原型已经开发完成,预计整机将在近两年完成。

2017年,欧盟启动了E级计算的Euro HPC计划,并在2020年底前给Euro HPC投资10亿欧元。在下一期框架计划(2021—2028年),参与Euro HPC的欧盟成员国将提供更多的配套经费,预计将再投入27亿欧元。欧盟将在2023年前打造欧洲的E级计算基础设施(3台左右E级机)。

“十三五”以来,在国家重点研发计划“高性能计算重点专项”的支持下,2018年,我国成功研制了3台E级验证原型系统。其中,曙光E级验证原型采用CPU+DCU的异构加速结构,天河E级验证原型采用软件定义的系统级异构结构,神威E级验证原型采用基于片内异构众核的结构。在验证原型研制过程中,研发了高速节点、高速互连网、海量存储、沉浸式冷却等关键技术,开发了操作系统、编译器、大规模并行软件开发环境等系统软件,一批典型应用已在原型机上运行,验证了结构和实现技术的有效性,为E级超级计算机的研制奠定了基础。目前,E级计算机也在研制中,有望在算力上取得更大突破。

我国的高性能计算技术发展正处于十分关键的历史时刻,一方面,我们已经取得令人瞩目的成就,但另一方面,也面临着困难和挑战。在计算机研制方面,我国长期受西方国家的重点限制和封锁,有相当部分核心技术对外依赖性较高。如高端处理器、内存器件、外存部件、制作工艺、设计工具、基础软件、工程计算软件等都是自主发展的瓶颈。我国高性能计算应用上的能力,包括应用的软件和水平,都与国际领先水平存在差距,软件资源明显不足。

图3 近18次世界排名第一高性能计算机持续时间和峰值性能图Fig.3 The duration and peak performance chart of the world′s top high-performance computer for nearly 18 times

2 文化遗产保护对高性能计算的需求

高性能计算诞生的前半个世纪,其发展核心矛盾在于计算,也就是所谓的“计算密集型”高性能计算。随着技术发展及高性能数据分析的出现,数据量越来越大,数据重要性越来越高,高性能计算开始迎来“数据密集型”的新发展阶段。高性能数据分析存储在探索知识边界、服务国计民生[17]、加速商业变现等领域发挥着着重要的作用,文化遗产保护领域对高性能计算的需求也日益迫切[18]。

传统的文化遗产保护措施多是通过法律手段、引导民众意识、定期修缮维护、培养后继传承等[19],这些只是最基本的保护方法。从目前来看，传统的保护措施已经不能够满足当今文化遗产的保护需求。近年来,随着物质文化遗产的不断发现、非物质文化遗产的不断增多,文化遗产保护在人力、物力、财力等方面需要投入的成本不断增加,这对现有的保护办法提出了严峻挑战。借助现代化的科学技术手段,使不断增多的物质与非物质文化遗产得到保护势在必行[20-22]。文化遗产保护的数字化和智慧化得益于高速发展的计算机技术,文化遗产保护数字化和智慧化进一步发展又对计算性能提出了新的需求[23]。

2.1 大型遗址遥感目标监测与识别

随着航天技术的快速发展,各种遥感测量平台层出不穷,通过遥感技术获取的大型遗址遥感数据急剧膨胀。大型遗址遥感目标监测和识别涉及到遥感图像及高光谱、多光谱、超光谱等数据[24],这些数据数量庞大、运算密集、算法复杂,因此对处理速度和处理精度的要求也越来越高,计算问题成为这类遥感图像处理的瓶颈问题。为了提高大型遗址遥感数据处理的速度和监测精度,解决大型遗址的准确识别和实时监测应用需求,将大型遗址遥感图像处理与高性能计算技术结合是遥感图像处理发展的必然趋势。例如,中国科学院东北地理与农业生态研究所微波遥感学科组的研究人员基于GPU构建了CUDA运算平台,实现了对高光谱数据算法以及WRF(weather research and forecasting)模型的高性能、并行计算。对ATGP(automatic target generation process)算法的加速比达到了362倍,对WRFGCE模型算法的加速比达到了361倍,对粗糙度计算的加速比实现了115倍。这些高性能算法的实现将为高效、实时的应用大型古遗址遥感数据提供坚实的基础。

2.2 大型古文物、古遗址高精度三维重建

对文物进行数字化三维重建不仅可以用于虚拟展示,更重要的是精确记录文物原始的真实三维信息和纹理信息[25],为文物修缮和恢复提供了重要的数据和模型支持[26]。在大型古文物和古遗址的三维重建中,由于受到扫描范围的限制,一个完整的模型需要激光扫描仪从不同的视点对目标进行几十次乃至上百次的扫描[27-28],点云数据可能达到百万量级,对其迭代计算,消除重叠的过程也对算力提出了极高的要求[29-30]。

遗址规模越大,其点云数据越多,所建模型的三角面片数量也就越大,数量级达到105～106。如果要保留古遗址模型的很多细节，实现高精度三维重建,点云数据的简化就要相对少,尤其是古遗址的细节部位,但这将导致所建立的模型的面片数量级高达1010,甚至更大[31-32]。尽管现在计算机的性能有了很大的提高,但是对于如此庞大的数据量,在计算机存储和显示分析等方面仍然是一个挑战。一般的大型古建筑至少需要18个扫描站点,每个站点大约有3×107个点云数据来实现高精度重建。例如,故宫大约有79座宫殿,总的点云数量将高达37.8×108个,普通计算机很难完成这类大型遗址的高精度三维重建。而高性能计算拥有强大的图形分析能力和并行计算能力,可以为大规模古遗址的三维重建提供算力和精度的保障,使古遗址三维重建工作更加方便而且迅速[33-34]。

2.3 文化遗产图形与动画渲染

基于高度真实感的文化遗产图形、动画离线渲染过程是在具有高计算能力的服务器上进行长时间计算,进而渲染出较为真实的画面[35]。此外,随着人工智能虚拟现实领域的快速发展,头戴式显示器、VR眼镜等移动处理器逐渐成为人工智能的重要工具,基于这些设备的虚拟漫游都需要拥有高质量的渲染画面,并给用户提供可交互的渲染流程。但是，在低计算能力的便携式设备上进行高度真实感的渲染计算是非常困难的,因此发展高度真实感的实时渲染技术非常重要。同时,虚拟现实对时间有很高的要求，在文化遗产的虚拟漫游过程中,一旦图像的绘制没有在指定的时间内完成,那么人的视觉图形就会失真,进而影响沉浸感。所以,必须在高性能计算集群上进行异步渲染,来支持轻量级便携式设备上的交互式应用的渲染技术。例如在3D影视动漫《寻梦环游记》的制作过程中,主角米格进入亡灵世界的画面实际场景布置了870×104只灯,2 700×104个实体,渲染这个场景一帧的画面需1 000 h。即使全球最顶尖的渲染团队一次又一次地优化和渲染加速,最终渲染仍需每帧55 h。一部时长约2 h的电影,花费在渲染上的时间几乎占到电影总制作时间的60%[36]。通过高性能计算建立涵盖视频图像[37]、大型动漫制作与渲染等的高性能应用软件系统,将大幅提升对图像和模型的渲染速度,能更加细致地显示出文物的材质纹理和光影效果,获得具有显示度的计算成果。

2.4 古遗址劣化模拟与风险评估

文化遗产受到多种风险因素的影响和威胁,威胁遗产长久保存的许多病害往往是多种风险因素综合作用的结果[38-40]。古遗址预防性保护的风险防控模型要实现基于环境[41]、三维模型、网格等复合因素的实时海量监控数据发掘、评估和预警等功能。这会产生并存储大量的数据,许多算法和应用需要上亿甚至数十亿规模的网格单元,传统串行算法在时间和内存空间上都无法满足如此规模的网格生成需求[42-44]。此外,研究多因素综合对古遗址劣化过程演化的模拟,也需要以超算为平台,实现地震、风化、沙尘等复杂仿真模型[45]。如Heinecke等在2014年利用移植到高性能计算机的软件,在整个高性能计算机上达到每秒1.8～2.0×1015次浮点运算,成功模拟了1992年兰德斯地震[46]。由于计算需求和数据规模的不断扩大,需要基于高性能计算对古建筑、古遗址进行劣化模拟与风险评估,从而为我国的巨量的不可再生文化遗产资源有效预判。

2.5 文物数据关联关系挖掘与可视化分析

随着计算机技术和信息技术迅猛发展,在过去若干年里积累了海量的、以不同形式存储的文物数据资料,其数据规模在数十兆甚至成百上千兆字节,需要处理的数据规模也越来越大,动辄以GB,甚至TB计算[47]。然而,要从浩瀚的数据海洋中快速且准确地发现可用信息,让数据“坟墓”变成数据“金库”,数据关联规则挖掘的时间效率与空间可伸缩性成为这项技术成败的关键。

目前关联规则挖掘通常应用于小规模数据集和稀疏数据集,而面对海量数据时,需要消耗大量的时间和空间资源,并且也会因计算量的增加而速度减慢甚至无法运行,这无疑成为许多数据关联规则挖掘算法与可视化分析对海量数据处理的瓶颈。因此,为达到理想的挖掘效果,高性能并行计算的引入是非常有意义的。我国文物以及文化遗址众多,据统计,全国共登记不可移动文物766 722处,而文物数量更是多达1亿多件[48-49],这其中包含众多且复杂的关联关系。若对全国1亿多件文物数据进行关联关系挖掘与可视化分析,传统计算机是无法一次性加载如此庞大的数据。而天河2号由16 000个节点组成,每个运算节点有64 GB主存,共有1.024 PB内存,外部存储器容量方面更是高达12.4 PB[50],能够一次性加载数据,加快处理过程,减少I/O开销。

因此,高性能计算可对大规模计算处理的海量数据进行存放[51-52],并利用其支持分布式存储和并行计算的特性支撑海量数据的查询、统计和分析处理等工作。为考古人员提供所考文物更多、更复杂的信息[53-54],得到更加细致的文物模型和全面的关系数据,从而更好地完善文化遗产的保护工作。

综上所述,国内外对高性能计算在文化遗产保护方面的应用还在初级阶段,但已经探索出了一些切实可行的方法和思路,这对充分发挥高性能计算在文化遗产保护的潜力具有指导作用。

3 总结与展望

我国高性能计算坚持走自主可控的发展道路,近年来取得了长足的进步,并建成了以国家超算中心为骨干核心的国家超算基础设施。但是应该清醒地认识到,国内的技术条件还相对落后,我国高性能计算仍然存在着基础核心技术对外依赖度高、国产处理器软件生态薄弱、高性能计算应用软件自主研发和推广应用不足等问题。在高端处理器和加速器,高性能内存,特别是3D内存;高性能互连,特别是全光互连,大规模并行算法和软件,并行工业计算软件等方面要切实下功夫,解决核心技术问题,形成有中国特色的解决方案。要花大力气研发基于国产处理器的高性能计算机系统软件、基础算法库、开发环境和工具软件、关键领域的应用软件,并在研发过程中不断转化,形成软件产品。要与人工智能、大数据等协同发展,既要研究如何更好地用高性能计算提供对人工智能和大数据的支撑,也要重视把人工智能和大数据技术引入到对未来高性能计算机的研发,启发未来机器的体系结构和实现手段。

随着高性能计算技术的不断发展,文化遗产保护也将迎来新的发展阶段。在大型遗址遥感目标监测与识别方面,可通过高性能并行计算提高遥感图像大遗址目标识别和监测的计算和存储瓶颈,解决海量大型遗址遥感影像处理低效率的问题,加速遥感图像大遗址目标识别和监测过程。在大型古文物、古遗址的高精度三维重建方面,可以通过高性能计算方式突破大规模点云坐标配准、密集网格生成、大尺度3D建模、细粒度纹理影射等计算瓶颈,获得具有高精准度和逼真还原的大型古文物、古遗址三维数字模型。在文化遗产图形与动画渲染方面,研究大规模室外遗址场景地形实时绘制并行新方法,建立具有层次细节模型和地形分块管理的多重映射地形绘制算法。结合室外遗址场景特点和现代高性能图形硬件计算能力,研究场景分块管理中动态调度地形分块新算法以及场景的实时渲染等。在古遗址劣化模拟与风险评估方面,研究基于环境复合因素的实时海量监控大数据集成发掘、评估和预警技术,从而建立基于多因素的古遗址劣化过程高性能演化模拟软件系统,建立文化遗产的风险评估模型和监测预警,实现我国文化遗产的预防性保护。在文物数据关联关系挖掘与可视化分析方面,研究高关联性和高效的文物大数据关联关系挖掘与可视化分析方法,满足学者和参观者等多种用户对文化遗产的个性化检索、分析需求。

总之,在高性能计算的发展需要聚力攻关,尽早突破关键技术问题,努力拓展应用生态环境,促进软硬件协同发展。作为高性能计算未来应用的一个可能领域,文化遗产保护中的各种任务中需求日益迫切,需要在方法、技术、应用等方面进一步深入研究,以实现高性能计算在文化遗产保护中的落地应用。