前瞻性革新:百度永恒的基调——记百度云计算腾飞背后的创新故事

2012-11-06 06:15徐芳芳
科学中国人 2012年16期
关键词:基础架构数据中心百度

本刊记者 徐芳芳 特约通讯员 俞 悦

前瞻性革新:百度永恒的基调
——记百度云计算腾飞背后的创新故事

本刊记者 徐芳芳 特约通讯员 俞 悦

创新求变,是企业家口中经久不衰的话题,亦是百度永远坚守的文化。

当云计算和大数据这股浪潮席卷而来之时,笔者有幸走进了这家全球最大的中文搜索引擎公司。穿梭在落地窗包围着的办公区内,感受着日光的洗礼,聆听着众多技术人员坦陈自己的心路历程,百度的创新精神在我们的脑海中留下了深刻的烙印——

其实,在很早以前,百度人就预见了数据激增、开放平台+应用的产业形态、云平台与终端结合等趋势。基于这样的预判,这个互联网大佬从数据中心、基础架构、开发方式等多个层面进行了极具前瞻性和魄力的革新。

负载均衡设备成本节省比例达十分之九;产品新版本发布时间仅为原来的四分之一;存储系统写入能力提高50倍……一个个数字叙述着创新结下的累累硕果,也刻画出百度云计算的坚强后盾。

从百度的革新故事中,笔者不仅看到了创新的价值,更领悟到了创新的成功要素——“精准的预判力”加上“打破陈规的魄力”。或许,这就是百度能够成为一家伟大的公司,能够占据绝大部分中国搜索市场份额的重要原因吧。

降数据中心能耗大幅节省成本

站在数据中心机房中,耳边是服务器辛勤劳作发出的鸣响,两年多前,百度技术副总裁王劲已经有了决断:要加快数据中心节能降耗进程,大幅降低成本。

“以单体10万台服务器的数据中心为例,PUE(电能使用效率指标)每降0.1,一年就可为百度节约上千万元的成本;如果选择能源丰富的地理位置以降低电价,百度每年还可节约千万元成本。”曾就职于甲骨文、阿里巴巴、eBay、谷歌等公司并在互联网领域有着丰富经验的王劲,对数据中心节能的价值有着深刻的认识。而他也预见到,数据将爆发增长,数据中心规模也将随之快速扩张,因而,提前进行数据中心节能设计,将为百度未来数据中心降低能耗、节省成本打下坚实的基础。

基于对数据中心的了解和对未来的预判,一场数据中心加速节能的“战斗”悄然打响。在这场战斗中,既有引人入胜的精彩故事,也有百度人孜孜不倦的专研历程。

“这世上总有人在某些方面比你更强,你要带着敬畏的心去对待身边的每一个人”——抱着这样的心态,百度人通过独立思考、相互探讨与学习,渐渐明晰数据中心的节能降耗之路。

百度通过比赛等多种活动形式激发百度人的创新意识

百度通过比赛等多种活动形式激发百度人的创新意识

数据中心除了服务器及网络等主要用电设备外,还包括为其供电及制冷的供配电及空调等系统,每个系统的设备都需要消耗能源。要节省数据中心总能耗,需要控制源头,同时优化系统的各个环节,最大限度地降低各个系统的能耗。

那么,什么是源头?百度人通过充分沟通、认真研究后,确认了节能的源头即服务器的使用效率。简单来看,如果IT设备(主要是服务器)耗能X瓦,与之相应的供配电、空调系统等能耗为Y瓦,则数据中心总能耗为X+Y瓦;如果把服务器能耗降为0.8X瓦,那么相应的配套设备用电量也会降为0.8Y瓦,数据中心总能耗为0.8(X+Y)。“因此,百度由内而外,不断提高服务器的使用效率,降低运行每一单位业务时服务器的能耗,从源头进行降耗。”王劲娓娓道来。

不仅如此,百度还对硬件设备进行创新性优化设计。“百度自己设计了万兆交换机和负载均衡设备。前者的成本比目前市面上的商用产品下降了二分之一到三分之二;而负载均衡设备成本则为商用产品成本的十分之一。”谈到这些,负责系统部的总监朱永忠如数家珍,“此外,百度还设计了整机柜服务器,极大地提高了资源利用率,降低能源损耗。”

当然,数据中心的节能降耗,在为百度带来巨大效益的同时,还具有极大的社会效益。

如今,能源供应日益紧张,王劲希望百度绿色数据中心的实践,能够在其它同等类型的数据中心和众多中小型数据中心中起到示范效应。“百度在IT设备、空调系统以及供配电系统方面的节能解决方案,以及投入大量时间和资金研究出的节能减排和绿色环保技术,可以被全社会广泛借鉴和采用”。

为此,百度不仅积极参与《因特网数据中心的能效测评指标》的制订工作,还于今年5月初,和Facebook等业界领袖一起参与了旨在改进全球各地数据中心设计,降低能耗的“开放运算计划”。这样一方面可以对外分享百度的研究与实践,另一方面则可将业界先进的思想和方案带回百度,服务百度的数据中心建设。

如今,百度正在大力发展云战略。作为承载云服务的基础设施,数据中心扮演着重要角色。百度数据中心节能进程已经超前地走了一步,这为百度云战略的发展奠定了坚实的基础。

完善基础架构让数据发挥更大价值

“整个基础架构的作用是长期体现的。百度的领导层依靠远见与卓识,精准地预判了基础架构的长远价值。”回忆起两年多前的决策,曾经参与重塑百度基础架构的王继平面露笑容,很是兴奋。

事实确实如此。早在几年前,百度高层就认识到,未来,数据量将快速爆发,面对更大规模数据的存储和处理,系统将要耗费更长的时间,而用户和各类服务对计算、存储的实时性要求却会变得越来越高,这形成了矛盾。要解决这对矛盾就需要有更强大的基础架构来支撑。

“基础架构是非常重要的,它会为百度下一个十年发展提供动力。”王劲指出。有了这样的认识,一场基础架构的革新之战便如火如荼地展开。

问题的出现总能引发变革。在完善架构的初期,百度人曾对两条路径争论不休:“百度的架构是基于开源的产品去继续演进,还是根据百度的需求重新做?”

当时,百度高层召集相关人员连续开会,进行反复地探讨和论证,最终决定:自主研发的系统才能适应百度长远发展。

百度CEO李彦宏与百度人共同探讨技术创新问题

做出这个决策出于两方面的原因。“一方面,开源产品从设计之初就没有考虑到像百度这样的需处理如此大规模数据量的情况,另一方面,百度对架构能力的需求,已经远远超越了同时期演进中的开源产品所具备的能力。”王继平解释道,“举例来说,Facebook是推动开源产品Hadoop演进的主要参与者,但是Facebook处理的数据规模远比不上百度——Facebook处理的都是它自己的数据,而百度处理的却是整个互联网的数据。因而Hadoop并不能满足百度对系统架构能力的需求。”

百度人走上了自主研发的道路。“在开源产品上去做演进的方式,虽然前期见效快,但并不能最大化地推动百度业务发展,自主研发才是让百度长久受益的方式。”在王继平看来,领导层能做出这样的选择,需要极大的魄力。

如今,回过头看,百度基础架构的整合与完善不愧是一个明智的决定。它的作用在今天已经逐步体现。新一代的存储系统就是累累硕果中的一颗。这一存储系统将内存、磁盘、SSD等更充分地结合起来,以实现更高效、更先进的储存能力。

据了解,百度的新存储系统上线之后,写入能力提高了50倍,范围查询能力提高100倍,计算也变得更加实时。此外,当储存和计算能力提升后,使两件事情成为可能:更快的产品研发速度和更快的迭代速度。“例如,基于百度现在的云存储技术,百度的相册产品研发周期至少下降了80%;又比如,百度通常用A/B test的方法来做产品决策,即将产品分别附带A和B两种功能,一批用户使用的是具有A功能的产品,而另一批用户使用具有B功能产品。百度根据用户在使用产品过程中产生的行为等数据,判断哪一功能更佳,并最终推出带有更佳功能的产品。在这一过程中,百度完善的基础架构使得数据处理、分析速度大大提升,进而从整体上提升新产品开发、上线速度。”百度执行总监范丽以形象的例子为我们描绘出了完善基础架构所带来的巨大价值。

如今,百度先进的基础架构不仅仅服务于百度自身产品,还被开放给开发者,成为百度云战略的一个重要组成部分。

推行敏捷开发实现快速迭代

移动互联网大潮来临改变了人们的生活,也改变了互联网产品的开发速度——而在几年前,百度高层就看到了这些变化:“传统互联网上的产品特征之一便是快速迭代,在移动互联网上,这种产品迭代的速度将更快。”

为了更好地应对移动互联网潮流,也为了提高百度内部产品的开发效率,缩短开发时间,百度领导层意识到,百度内部必须系统性地推行敏捷开发方式。

但是,一种开发方式的改变不是一朝一夕可以完成的,如何解决这一难题?“先试点,立标杆,后普及”的方案最终成形并被付诸实践。

百度相关团队于是根据产品特点,选取某些产品作为敏捷开发试点。通过不断地、耐心地沟通,通过领导积极协调,百度成功地让几个试点产品采用了敏捷开发的方式,并达到了预想中的效果。

在成功树立标杆后,敏捷开发方式便开始逐步地在所有产品开发中推广开。

敏捷开发的基本思路是,将需求点分解成小点,然后快速实现,在实现功能的期间,信息确认、测试等环节也在同时进行,以实现高效的迭代开发,让用户的需求在最短的时间得到满足。这使得“原来发布新版本需要一个月时间,而使用敏捷开发后,只需要一周时间”。曾参与推广敏捷开发方式的百度质量部高级架构师温健对敏捷开发的价值深有感触。

同时,“敏捷开发能够节省很多测试时间,一方面,测试人员能更快速地了解产品及测试要求,减少测试前的准备工作时间;另一方面,一些产品是边开发边测试,节省了专门的测试时间。”温健表示,“原来的测试可能要一周,而在敏捷开发方式下,几乎不需要专门的测试时间,因为测试时间已经融入进研发过程中去了。”

敏捷开发方式的推行让每个产品的开发效率都得到了质的飞跃,进而使整个公司的效率得以提升。从更长远来看,敏捷开发方式的使用也为百度迎战移动互联网潮流奠定了基础:百度能够更快地对快速变化的用户需求做出反应。

打造云智能终端平台助力云端结合

今年的5月15日,百度联合长虹发布了搭建百度云智能终端平台的千元智能手机“炫色H5018”,受到了业界和用户的普遍关注。

也许,在百度刚宣布做手机操作系统时,外界还会质疑这一举措的目的和意义,但是,在今天来看,百度云智能终端平台的价值已经体现得淋漓尽致:

通过百度云智能终端平台,应用与框搜索能无缝整合,相互调用,用户可以在使用应用时实现应用内划词搜索;基于该平台,用户能享受到平台级的云服务——安装在平台上的应用可以无缝地与百度云服务衔接、调用,如云与端间的数据同步,应用内调用云服务等。

不仅如此,这种平台级的云服务还能使手机性能对服务的约束大大降低。“由于百度云智能终端平台将计算、存储、调用很强性能的服务都移到了云端,这款千元智能机与3000元价位手机得到的服务相近。”王劲表示。

实际上,这些价值能够得以实现,与百度人的远见与魄力密切相关——这一切需要回溯到两年多前。

面对市场上纷繁的操作系统,百度云智能终端平台该如何走出自己的路?彼时,百度高层仔细地分析了操作系统市场特征、各相关企业的发展情况,并总结出了属于百度的发展之道:如果能将百度的云计算能力与智能终端平台充分结合,依靠该终端平台将百度云服务的价值更完美地发挥出来,这对百度、对产业、对用户都极具价值。

最终,百度人走上了充分利用自身优势的道路——将百度的云服务融入智能终端平台中,让用户能够享受到更无缝的移动互联网体验。

有了这样的指导思想,百度便开始广招人才、扩建团队,潜心打造百度云智能终端平台。

有了好的产品,成功的另一个关键便是与产业链合作。在百度人的共同努力下,如今,百度已经与业界主流厂商进行了深入合作。此外,“国内外主流的硬件厂商、运营商都已和百度进行了密切沟通,寻求合作的可能。我们会在不同的市场时机和市场需求下,选择不同的厂商进行合作。”王劲指出。

两年多的时间一晃而过,而百度云智能终端平台的成长却在平台团队每个人的心中留下了深刻的印迹。“如今,这一平台已经很好地承载了百度的各种服务,并成为百度云战略的重要组成部分。”百度云智能终端平台负责人惠天舒对此十分自豪。

推动云战略发展繁荣产业链

百度人的预判力,让他们看到了降低数据中心能耗、完善基础架构、推行敏捷开发、打造百度云智能终端平台的长远价值;百度人的魄力让创新得以顺利进行,让价值得以实现。而百度的一个远大战略——百度云战略的落地,让这些价值更加凸显出来。

多年前,面对业界疯狂搭建各种云平台、提供云服务,百度高层和众多工程师们开始探讨一个问题:百度应该如何发展云计算?

当时,亚马逊提供云计算服务AWS(Amazon Web Services),其中包括高中低多种配置的虚拟主机EC2服务、基于网络的数据存储服务S3;谷歌也提供了GAE(Google App Engine)等云计算服务……这些服务的模式都是面向企业提供按需计费的储存、计算等能力。“百度是学习亚马逊模式还是走一条新的路?”这个疑问摆在了大家的面前。

百度发布搭载百度云智能终端平台的手机炫色H5018

百度技术副总裁王劲介绍百度云智能终端平台的优势

百度人经过研究与商讨后,发现了一条新路。“亚马逊的云服务里没有最终用户的概念,企业直接租用你的云计算能力,云服务的迁移成本较低。反过来看看百度的特征和优势——百度主营业务是搜索,是互联网的一大入口,拥有强大的流量和变现能力,能够很方便地接触到最终用户。”百度云首席架构师林仕鼎表示。

“善于利用自己的优势去实施云战略,才能走得更快”——有了这样的想法,百度逐渐明晰了自己的云平台定位。“我们要为开发者提供从开发支持、运营支撑,到应用分发,再到最后变现的一站式云服务平台,让百度的云服务能为开发者带来更大的价值。”百度移动·云事业部副总经理岳国峰指出。

在为开发者提供应用的开发、运营、分发服务时,百度的数据中心、基础架构、云智能终端平台发挥了极大的作用。百度数据中心和基础架构支撑着百度每天数十亿的搜索请求、70多款产品的正常运转,数据处理总量达上百PB——这种能力原来以专有云的形式供百度内部使用,而现在,百度将这一强大的云计算能力分享给了开发者。百度精心打造的百度云智能终端平台则成为应用分发的重要渠道。

当然,只服务开发者还远远不够。“移动云产业的竞争本质是生态系统的竞争。百度要努力携手其他合作伙伴共建云生态圈,繁荣整个产业链。”百度移动·云事业部总经理李明远道出了百度云战略的精华。

为了实现建立生态圈的伟大目标,百度人积极与电信运营商、终端厂商等展开密切合作,为合作伙伴带去利益,实现产业链的共赢。“对硬件厂商来说,百度云智能终端平台拥有平台级的云服务、平台级的智能框搜索服务,是具有互联网基因的平台级解决方案,可以使硬件厂商的手机产品在移动互联网时代更具差异化的竞争优势。同时,百度积极与硬件厂商探索新盈利模式。”百度技术委员会理事长陈尚义向我解释了百度云生态圈的共赢机制,“而对运营商来说,拥有各种服务的云智能终端平台能提高ARPU(每用户平均收入)值,同时,运营商可以借助该平台良好的服务和体验,吸引新用户。”

在积极推动云战略发展的同时,百度还参与到国家的云计算相关项目中。“目前,我们获得了国家战略新兴产业云计算示范工程专项的支持,并成为国家首批云计算示范企业。此外,百度还参与了许多其他的与云计算相关的国家项目。”陈尚义表示,“这有助于百度利用自身的强大技术推动国家云产业发展,让我国在云计算产业中把握先机。这是百度的企业责任。”

写在结束之前

3月23日,百度召开开发者大会,正式发布云战略

由于时间关系,采访不得不结束了。太阳从宽大的落地窗斜射进来,显得宁静而祥和,但创新的激情在百度成千上万的80后甚或是90后年轻的工程师心中激荡……

此刻,我突然明白了,为什么百度每天有上百项创新技术或产品上线。

由于时间原因,我们不得不离开百度大厦。虽然很多百度的大佬没被采访到,令人颇感遗憾,但百度人勇于创新、忘我奋斗的精神,却着实让我获益良多。百度人依托自身的梦想与远见卓识,不断进行着前瞻性革新——这亦是百度永恒的基调。这样的革新使百度在数据中心、基础架构、开发方式、操作系统、云战略等方面得到了快速的发展,让百度以更佳的姿态参与到产业变革中,实现“让人们最平等便捷地获取信息,找到所求”的愿景。

猜你喜欢
基础架构数据中心百度
浅析数据中心空调节能发展趋势
Robust adaptive UKF based on SVR for inertial based integrated navigation
关于建立“格萨尔文献数据中心”的初步构想
我国云IT基础架构投资保持高速增长
IDC发布云计算IT基础架构Q4跟踪报告
革新数据中心及边缘基础架构
百度年度热搜榜
不懂就百度
红帽推出业内首个生产就绪的开源超融合基础架构
2017第十届中国数据中心大会榜单