“腾讯大数据-天工”助力万物互联,抬高云计算竞争壁垒

2021-05-26 21:21磐石之心
数字商业时代 2021年5期
关键词:数智算力数据处理

磐石之心

2021年的上海车展最大看点并不是新车,而是火爆的自动驾驶技术以及车联网。美团王兴说,车成了互联网技术的载体。笔者非常赞同这一看法。

在自动驾驶和车联网的背后是大数据、云计算以及各种网络服务。在万物互联的时代,会有越来越多的行业成为“载体”,而这些载体不停地产生数据,这就必须提升数据的处理分析能力、安全防护能力,同时还要规避数据孤岛,让数据发挥最大价值。

无独有偶,4月18日,腾讯发布自研的第四代数智融合计算平台“腾讯大数据—天工”。腾讯称,这一数据平台是新基础设施的重要组成部分,通过数智融合计算以安全方式打通数据孤岛,桥接多方数据,以统一的数据处理引擎更高效地挖掘数据价值,以智能化的方式驱动整个数据处理闭环,为开发者、企业、以及政府的数字化、智能化升级提供更好服务。

那么,“腾讯大数据—天工”发布的背景是什么?具体解决了哪些问题?接下来,笔者将用非常通俗易懂的语言与各位读者分享。

万物互联时代面临的问题和难题

在文章开头,我们提到车的自动驾驶技术和车联网,咱们就以此为例来看下车联网时代面临的一系列难题。

车想要实现自动驾驶,就必须对道路、障碍物以及各类突发情况进行识别,然后通过算法对这些情况进行建模。简单讲,车想要自动驾驶,必须先学习识别路况。

而这些路况信息十分复杂,需要通过车不断的进行路测去采集道路数据,采集驾驶员数据等各种不规则数据,然后对数据进行分析和学习。

在数据采集、分析和学习的过程中,面临数据的计算、数据孤岛、数据的应用等多个问题。

想要对海量数据进行计算,就必须提高算力。想要突破数据孤岛,就需要让路况、障碍物、突发事件、驾驶员等各类数据发生关联,而应用数据过程中,还需要保证数据的安全。

除了自动驾驶行业外,在金融、制造、家居等任何需要数字化的领域都会遇到类似问题,这也对数据平台这一基础设施的能力提出了更高要求。这也是腾讯大数据平台升级的行业背景。

腾讯大数据基础设施的变迁

为应对万物互联时代,海量复杂数据的处理和分析,需要构建一个强大的数据处理基础设施,这包括服务器、算力、数据库等。

目前,腾讯大数据日接入消息量超过55万亿,日实时计算量超过65万亿,平台整体算力超过500万核,日分析任务达到1500万,腾讯大数据平台的能力不断被刷新,腾讯云已经成为国内算力最强的云厂商,同时也是日实时计算量最大的公司。

腾讯云自研的星星海服务器,对应云上实例星星海SA3可提供最高232个核心的单节点算力,能够进一步满足用户在视频编解码、离线渲染、数据库、AI等场景下对算力性能的需求。

数据库方面,腾讯云原有的TDSQL、TBase、CynosDB三大产品线统一升级为“腾讯云企业级分布式数据库TDSQL”。

作为数据的底层处理平台,腾讯的大数据平台也一直随着数据处理需求的变化而升级。2009年,第一代平台以离线计算为主要模式化,依托Hadoop生态,结合业务场景进行局部优化,处理任务通常需要小时甚至天级别时间完成。

2012年,以Spark/Storm为代表的实时计算处理框架为代表,腾讯大数据平台的处理性能迈入毫秒时代,在开源框架基础上重写了核心模块,显著提升了性能。

2015年附近,随着深度学习浪潮兴起,腾讯大数据进入第三代,从0到1自研了机器学习框架Angel,意味着整体大数据平台进入机器学习时代。

2019年开始,腾讯大数据在规划第四代计算平台,包括批流融合、数据湖、联邦学习等新型技术,围绕安全、智能、统一等提出了下一代腾讯天工数智融合计算平台。

作为第四代大数据平台,腾讯天工数智融合计算平台把AI、大数据以及最热门的隐私计算全都融合在一起,实现在保护数据隐私的同时,提供联合数据分析、联合数据建模等能力。

目前,腾讯大数据技术既可支撑内部所有业务,又可以服务各类企业、政府机构。比如,内部的企业微信、腾讯会议、微信小程序、微信支付等都在用。外部客户包括中行、建行、招行、中国人保、太平洋保险、海通证券、江苏消防、山东电力、湖南国电等。

腾讯天工数智融合计算平台为何难以复制?

有些人会说,腾讯大数据平台使用的是Hadoop、Spark/Storm等开源框架,是不是同行们也可以轻松实现腾讯天工数智融合计算平台的能力?

其实,这个疑问是多余的。首先,没有几家企业具备腾讯的业务范围和数据规模。这是少有企业具备腾讯同样复杂的数据处理需求和数据处理能力,腾讯的业务涵盖了社交、游戏、视频、金融、办公、教育等几乎所有行业,而且多个行业都是行业领先,而同行则只覆盖一个或几个行业的业务。

这也让腾讯可以在全行业中打磨自己的数据平台,同时海量的数据处理能力也是其他同行不具备的。目前,腾讯大数据平台日接入消息量超过55万亿,日实时计算量超过65万亿。

其次,在IaaS、PaaS以及SaaS上的综合实力。当前一些第三方调研机构的份额排行,大多数只提供IaaS的数据,事实上除了公有云外,PaaS\SaaS服务早就大行其道。而腾讯除了在传统的公有云上具备领先地位外,其PaaS\SaaS服务更是涵盖范围广,服务用户多,合计市场份额一直在国内位居第二。

得益于业务范围广、数据量大、云计算服务范围广的优势,“腾讯大数据—天工”可以支持千亿级规模的海量数据训练,性能参数领先业界5倍,金融级安全强度的腾讯隐私计算技术已广泛应用在医疗、金融风控、数字政务等众多领域。

“腾讯大数据-天工”可以支持千亿级规模的海量数据训练,性能参数领先业界5倍,在此基础上,提供3072bit加密和TEE硬件双保险。同时,凭借自研隐私计算技术,腾讯大数据相关团队获得iDash 2020世界隐私计算大赛冠军。

一句话,“腾讯大数据-天工”是难以被复制和超越的,具有极强的竞争壁垒,也必然从根本上提升腾讯云各类解决方案服务客户的能力,实现差异化竞争。

结语

面對即将爆发式增长的万物互联时代,在多年技术积累和需求的强力推动下,腾讯云已经打通了IaaS+PaaS+SaaS全方位云服务体系,在服务器、算力、算法、数据库、大数据平台、PaaS/ SaaS解决方案上都完成了全面的布局,综合云计算服务的市场份额领先,并保持高速增长。

可以说,现在万事俱备只欠东风。腾讯产业互联网业务正处在爆发前夜,值得期待!

猜你喜欢
数智算力数据处理
杭州“算力小镇”
电容式传感系统数据处理电路的设计
“数智”时代会计教育重构:供需矛盾与要素创新
智能计算浪潮迭起
边缘计算与算力网络专题导读
“数智”时代高职课堂教学设计与实践
“数智”助力城市算好资源账
基于ARCGIS 的三种数据处理方法的效率对比研究
攀云赋智,宗申动力抢抓“数智”新风口
计算万物 算力之下要有坚实的地基