基于OpenStack构建开放创新的智算中心操作系统

2020-11-28 02:18亓开元
软件和集成电路 2020年8期
关键词:浪潮开源虚拟化

近十年来,OpenStack已经发布了21个版本,从A版本到U版本经历了不断成长、日渐成熟的过程。从2010年到现在,OpenStack从两个项目发展到42个项目,社区贡献者达到10.5万人,参与公司及组织达到692个,每天有近900个代码提交、1.8万次大的测试,这些持续构建使得OpenStack越来越强大,可以说,OpenStack已经成为目前非常受欢迎的开源项目。

目前,浪潮通过敏捷开发模式,在开源版本基础上融入大量企业级的增强和优化,在生态安全体系完善方面完成了持续创新。针对目前应用最广泛的核心业务—上云的场景,我们也进行了虚拟化增强和优化,利用我们在虚拟化技术领域的积累,在OpenStack中融入了大量虚拟化的功能,比如在线修改密码、整机备份等。另外我们持续完善社会虚拟化类型和异构设备的加速能力,比如说增强了裸磁盘、GPU等原来社区版本中没有的功能。

在云平台的发展过程中,上线后的监控也是关键一环,我们基于开源组件自研了针对大规模集群的监控系统,对分布式采集、实时数据存储进行了全流程的规划;同时,我们自研了集群化方案,针对海量历史数据进行数据分片、缓存、负载均衡等数据服务,提高监控性能和可靠性,达到秒级监控。

针对大规模集群稳态和非稳态产品我们进行建模全站优化,优化了各个模块的数据库检索,并且针对高并发场景下出现的大量IT分配失败的情况,优化了分布式机制,从而大大避免了分配碰撞,减少时间、保证了成功率,对比原生方案,创建虚拟机平均时长缩短了18.5秒,同时优化了操作系统参数以及数据库、负载均衡的系统参数,提升性能基础能力。

为了保证整个平台的稳定性,我们针对高可用场景进行了反复测试调优,避免各个平面的单点故障,提高业务持续服务能力。第一,基于集群管理,在管理、业务、存储三个平面监控,做出不同的处理方式,实现精细的故障检测。第二,针对HA疏散过程,进一步优化疏散算法,在时间窗口内,如果达到阈值可以停止疏散,当故障个数大于熔断之后,集群可以熔断并且感知冷热迁移。这种方法兼顾速度和成功率,可以减少业务中断。

在技术创新和产品完善基础上,我们还通过生态协作方式加强行业方案场景化设计,支持标准的OpenStack接口,可以对各种集中式、分布式存储的各种网络和资源进行统一管理。支持对接第三方管理平台,把平台技术能力和行业方案进行深度整合,形成各行业大规模可复制的落地能力。

同时,我们通过自研与第三方厂商合作,持续完善安全体系,通过多项安全测评,在实际项目中满足了三级要求,并且研发了完整的持续交付工具集,在行业云、私有云场景下,提供专家级的服务。

2019年,浪潮完成了单一集群500节点、模拟500节点的测试,这是目前基于OpenStack进行的最大规模的单一集群测试认证,突破了高密度管理,实现了十万级设备秒级监控、分钟级高可用迁移。

2020年上半年,在帮助国内多所高校打造科研教学平台、完善产品的同时,浪潮的OpenStack团队也一直积极投入贡献,在2019年社区组织的上海峰会等活动中我们分享了在大规模运维开发、云数结合、安全、边缘计算等方面的进展。围绕核心模块,浪潮先后有80多个人参与到社区贡献当中来,将我们在应用性、安全增强、智能运维等方面的优化增强,通过BP的方式分享到社区中。BP代表一个版本周期内实现的重大规模蓝图,将经历代码审核、单元测试、功能测试、集成测试等程序,并接受全球顶尖工程师的层层审核,往往需要提交数10个patch、多个版本周期才能完成一个BP。在最新发布的U版本中,浪潮在完成蓝图数等多项核心指标中进入全球主要贡献企业。

云海OS整体路线就是把开源开放的技术通过敏捷的产品化过程,与关系国计民生的各行各业进行融合并规模化应用,从而构建开放、融合、创新的系统。浪潮这些年的发展实际上就是把握住了计算发展的需求。智慧计算代表计算发展的方向,是产业智慧化转型的需要,计算中心作为新基建,体现了开放标准、节约高效和朴实普惠三个基本特征。

作为计算中心中枢神经系统,智算中心操作系统要能充分满足2个方面的需求,第一,开放,开放是云海OS具备的属性,各个方向都开放是我们一贯坚持的原则。开放可以实现跨集群管理操作和业务互联,从而保证智算中心互联、互通、互操作。第二,云的本质就是追求高效率,私有云领域的规模化工作,要把握融合架构发展趋势进行持续创新,包括计算加速、持久化内存、智能网卡等。

以大数据为计算方法,浪潮实践表明,以云海OS为代表的OpenStack,成熟度可以作为上云的首选,在新基建的大规模落地实践期,从传统核心应用到大数据、深度学习、边缘计算等创新应用都可以“跑”在基础设施上。未来,浪潮将持续推动中国开源产业发展,构建开源生态,打造技术创新引擎。

猜你喜欢
浪潮开源虚拟化
校园武术“学、练、赛”一体化实践探索
新希望·悦珑湾开启后浪潮玩生活节
“双创”浪潮方兴未艾
五毛钱能买多少头牛
2019开源杰出贡献奖
新色彩浪潮
浅谈虚拟化工作原理
用户怎样选择虚拟化解决方案
虚拟化整合之势凸显
虚拟化技术:绿色IT的希望