建设FAST数据国际开放云平台

谢晓尧

2021年2月5日，习近平总书记在贵州接见FAST相关人员时曾说过： “中国天眼，这是国之重器，党中央一直都是关心的，支持推动的，我在前一段时间就此也做了批示，我一直关注天眼建设运行和你们持续做的这些科研工作。FAST要向国际开放，进行国际合作。”

按照习近平总书记的指示，FAST建设工作组步步为营，一件事接着一件事地落实走到今天，交出了一份完美的答卷。高质量建设国家大数据综合试验区，大力发展数字经济，加快数字产业化、产业数字化，积极开发及数据流通交易市场，建成全国一体化大数据中心协同创新体系枢纽节点，形成超大型数据中心集成，提升数据化治理水平，打造中国数谷……

本次数博会，有一个重要的事件，这是本次数博会最大的亮点之一，也是贵州大数据发展的重大节点，那就是国家发改委宣布贵州是全国一体化大数据中心的八大枢纽节点之一。

“天演·创变·启新——天文论坛”是中共贵州省委、贵州省人民政府关于《实施数字经济战略抢新机》的体现，更是落实习近平总书记在贵州的讲话精神。正如习近平总书记所言：“推进FAST为代表的创新基础设施建设，围绕‘中国天眼这一‘国之重器，建设FAST数据国际开放云平台和公共算力平台，建设FAST科学研究与数据处理中心和FAST射电观测阵列，开展天文数据存储、处理研究，构建集观测、科研、存算于一体的FAST数据服务生态。”

在2016年9月25日FAST竣工之前，贵州省就建立了国家天文学贵州师范大学FAST早期科学数据中心，同时开展数据处理技术的验证实验。首先是处理FAST巡天数据。一路走来，贵师大FAST科学数据中心和国家天文台合作得非常好。2021年4月9日，数据中心和国家天文台共同成立了“中国天眼联合研究中心”，利用贵州师范大学参加的国家未来网络重大科技基础设施优势，国家天文台为贵州师范大学建设天文数据国际共享云平台提供帮助。

同時，贵师大FAST科学数据中心与中科院南美天文中心签署了南美天文数据贵师大镜像中心协议，双方同意南美天文研究中心ALMA亚毫米波观测数据国内镜像落户贵州。

全国一体化大数据中心协同创新体系算力枢纽实施方案，一共是8个节点，成渝地区、京津冀地区、长三角地区、粤港澳大湾区，还有贵州、甘肃、宁夏、内蒙古。这对于贵州省意义非凡，这次强调的是东数西算，什么意思？就是在实时性要求不高的数据，最好利用西部的资源进行东数西算。

目前，FAST数据国际开放云平台架构正在实施中，要给全世界和国内的高等院校、科研院所提供用户服务，通过网络、公有云、私有云，也就是提供存储计算资源，来实现FAST数据的国际和国内开放。

在国际、国内开放里面，云计算的架构，在IAAS就是基础设施及服务这块上，已经提供了服务器存储，在PAAS及服务这一端，直接提供了搜索计算，数据中台里面智能识别和综合查询，在SAAS提供可视化计算和任务调度与监控。

首先，FAST数据国际开放云平台的IAAS建设，实际上就是算力的建设、生产力的建设。生产力的建设就是提供各种不同的计算资源，需要节点运算很高的情况下，提供一台服务器，加8块GPU卡，现在有20台这种节点，为这个云平台进行服务，算力可以达到1Pb以上。

有些用户要求要少一点，就采用一台工作站，一个CPU+两块GPU，这样的算力有60个计算节点提供给用户服务，算力达到了1Pb。还可以提供2个GPU+一个CPU的服务器，这个有14个计算节点的算力提供给用户。还有60台单节点单机的一块CPU+一块GPU卡，这样有60个计算节点可以给用户提供云平台的算力要求，这叫低价格结构，是我们知识产权的混合计算节点。

超算中心的专家介绍到，超算中心现在的投入都是几亿、几十亿，现在这一套下来154个节点，投入大概就是一千多万。现在154个节点理论峰值可以到2.8PFlops（单精度浮点运算），2019年6月世界超算五百名的排名最后一名是2.1PFlops，这样对比，我们现在算力已经到世界五百强，但我们用最低投入实现了这个目标。

第二，FAST数据国际开放云平台建设，还是IAAS，只是它是生产资料的建设，是存储的建设。在黑洞事件里面，一个黑洞事件一共是10个Pb的内容，10个Pb的数据，最后计算生成黑洞的图片。从FAST数据可以看，19个波束，每秒38个Gb，一年96Pb，数据量非常大。所以，FAST的数据压力是非常大的。

最早的时候，国家天文台共同建设的早期科学数据中心存储只有2个Pb，数据基本上可以沟通，但是现在显然不够了，最近新增加了20个Pb作为FAST数据的存储。

同时，FAST这么多数据计算完以后，把它叫做冷数据，剩下的计算完的数据可以放到物理池里面，这样就可以节约很多经费，这些数据就没有放硬盘，不需要消耗电力，需要的时候再调用出来。

FAST的接收频段是分米波这块，70M到3个G，低频段的，我们把南美天文中心的数据引进过来，最主要就是在高频段，这个频段对于国内天文学家的研究非常重要。

FAST国际数据开放云平台IAAS的建设，是网络的建设。FAST到我们实验室，原来竣工的时候是2Gb的专线到我们学校实验室。由于数据量很大，所以最近升成10Gb，也不够了，费用也很高。很快，因为FAST要往北京传数据，国家有一个项目，是国家未来网络工程，是国家在通信与信息领域建设的第一个，也是唯一一项国家的重大科学基础设施项目。该项目是2013年立项，2019年开始建设。这个项目涉及到国家下一步很多在通信上的建设，这是目前整个网络的架构，除了拉萨没有通以外，基本上全部通了。到了北京以后，整个网络连接联通、电信、广电、教育科研网、移动网、中国科技网，全部可以四通八达。这样的话，国家未来网络贵州主节点，因为我们传发数据，所以主节点就落户在我们实验室，到北京是100Gb，这个资源贵州应该把它用好。

2020年5月15日，国家未来网络工程实现北京节点中科院数据中心——贵州主节点贵州师范大学FAST早期数据中心的互联互通，并实时从贵阳向北京传送了FAST数据文件。

随着国家的国力强大以后，海下光缆可以做到的。这是目前FAST阵列先导阵，在贵州要选五个点，和FAST连起来，到北京是通的，到上海是通的，現在就缺新疆和云南，新疆110米、云南120米的望远镜上来以后完全可以和我们连起来，就形成一个非常大的阵列，这个前景是非常好的。

FAST国际数据开放云平台的PAAS建设，就是平台建设，就是刚才讲的数据中台，在数据中台必须要提供软件、计算、分析、查询等流程。计算完以后，要识别，这就是我们自主知识产权用人工智能开发的脉冲星候选体的识别软件系统。在这个基础上，大家都要来用，作为一个开放的平台，还有一个数据库检索的问题，所以我们也构建了刚才提到的脉冲星及侯选体数据库平台，这也是正在做的世界上第一个这种数据库平台。

下一步，主要是在脉冲星方面，FAST数据国际开放云平台的SAAS建设，也就是它的软件及服务。这个是在整个任务上各个节点计算，任务的软件监测。试想，把这个平台要给全世界科学家开放，必须要做到各个节点计算任务的监测。我们专门有一个可视化的平台，目前一共有162个的计算节点正常工作，两个节点处于低效率的运行状态，本次计算任务已经耗时3324个小时，这是剩下要完成的任务，差不多要完成了，整个CPU占用率达到88.3%，综合的负载达到42.95%。

总结一下，共享平台数据量的计算问题，CRAFTS项目2020年共进行了73次观测，时长589.5小时，2020年一年我们实验室共计算了三次观测，一共72.5小时，计算量为1.4PB，为总时长的12.3%，计算用时65天。目前的算力还可以应付国际开放以后需要占用的时间，这是从时间上分析得到的。最后，这个云平台既然对国际开放，那安全是非常重要的。没有网络安全就没有国家安全，所以安全是必须考虑范围。恰好我们有一个很好的安全团队，对于FAST数据传输和传输安全里面的一个考虑。同时，现在正在投资150万在FAST的楼上正在做态势感知，FAST数据国际开放云平台的安全系统，大概两个月就可以结束了，所以整个网络安全全部在可控范围内，是可以放心。

FAST及天文数据向国际国内开放，2021年4月FAST数据正式向国际开放，进行国际合作，建设FAST数据国际开放云平台，支撑FAST国际开放，提升贵州整体基础研究的水平和能见度，带动贵州相关高科技产业发展。这个很重要，强调是带动贵州整体基础研究的水平和能见度，因为有了大数据，才有了今天一体化数据中心的国家枢纽。现在一提到贵州，不光是有茅台，还有FAST，这个东西非常重要，这就是能见度。