云边端协同技术发展助推生态融合

王德政

打破数据孤岛，构建云上数据安全体系极为重要，中兴将会在这两个方面为企业提供持续的、强有力的技术支持。

我今天的演讲题目是《云边端协同发展生态融合》，我希望从当前面临哪些问题，如何解决这些问题，这两个角度展开今天的演讲。

大数据市场仍然处于高速增长期，数据成为社会的重要资产已经得到了整个行业的共识。我们怎样从数据中挖掘价值，成为每个应用系统必须解决的问题。在数据处理方面，我们面临两个挑战：一是业务挑战。在数据虚拟过程中，每次都需要建造一个系统去解决问题，最后建立出了“烟囱”系统，这些“烟囱”系统会形成数据孤岛，提高成本，还引发了标准、数据不统一、数据与业务之间割裂的问题，懂业务的人不懂数据，懂数据的人不懂业务，造成了鸿沟。数据的价值挖掘重度依赖于从业人员的经验，我们尝试把AI嵌入到数字处理系统中，但这样的系统仍然重度依赖专家经验。二是数据架构的挑战。数据的传输负载很高，实时响应能力比较差，安全程度比较低，一点被攻破整个数据全部摧毁。云边协同还会带来新的难题，如，在云边协同如何进行多点数据管理？如何协同计算？如何保证数据安全？

我们开始着手开发融合开放的数据管理技术以解决云边端协同的问题，这一方案能够加强云边端协同数据的安全性，同时我们还借助数据计算技术，进行计算协同、需要协同扩展，最后把这些技术组合在一起，建设跨云边端协同的一站式智能平台，提供一站式解决方案。

跨云边端协同一站式平台需要灵活多样的部署。如今的云环境需要大规模的集成扩张。我们需要保障全链路的数据安全，从数据采集、集成、建模到形成数据应用、应用开发，再到制定数据标准和数据质量过程的可靠性。某一个环节采用人工，或者是工具和工具之间有断层，会给数据的处理带来非常大的问题。

而数据管理技术还有一个重要的特征，就是需要统一的数据服务，而统一的数据服务要针对不同的侧面，如针对用户区分，划分用户角色和权限，对于不同用户提供接口、查看、回溯;针对数据来源对数据分类、隐私、权限提供相应的接口;针对数据价值，提供相应的审批流程、价值HR主动推送、HR价值调整回溯等。

高效可靠的数据安全技术的一个重要的特征或者说是技术变化趋势，就是需要提供细粒度的安全管控。多租户架构现在已经成为标准，几乎所有大数据管理系统都会提供相应的多租户管理，采用多租户去隔离不同租户之间的计算、存储资源、业务数据，从而保障数据安全。但是对于细粒度的安全管控，业界实现得并不多。我们要设计支持多种脱密进行分级管理的数据保护策略，有效保护数据隐私。

作为高效可靠的数据计算技术，大数据脱敏技术在未来会非常重要。传统的方案是采用中间件去实现数据脱敏，就是从数据库提取数据，通过中间件实现脱敏。这种处理在数据量较小的情况下能够发挥效能，但在P级别数据量情况下基本不可用。我们在云端进行集中管理，把策略部署在离数据最近的地方，将这些策略和算法下移至代理处。让代理直接在离相应数据最近的地方执行相应的脱敏，最后将脱敏之后的数据归类和整合，向用户输出。这种模式可以对P级数据量进行较好的处理。

协同扩展的数据计算技术也十分重要。未来我们将会有18核的计算任务。中兴通讯目前使用Adlik（深度学习推理优化工具），在模型优化后，进行编译并部署。而这种部署，可能在云端，也可能在计算能力很弱的环境下。我们可以针对不同环境对模型进行编译、扩展部署。

可视化的探索台也是我们聚焦的关键点。可视化工具影响着效率，通过可视化工具我们可以实现通用拖拽式的AI建模、拼接，最后把模型组合起来，形成算法。也可以采用数据驱动的方式，启动不同的数据。如果我們将AI建立在大数据基础上，它可以进行深度学习、强化学习、联邦学习。这个平台为其不同的学习模式提供了一站式解决方案。对于大数据平台，探索台关联的数据库都可以提供相应的数据接口。这也是可视化模型探索台应该具备的特征。

未来技术发展有两个趋势。第一个趋势是能力的下沉。边缘云架构会持续把能力往边缘、终端下沉，终端将有更多能力部署任务。对于一些计算量、数据传输量特别大，对于数据传输时延非常高的业务，处理要尽可能去接近数据，才能满足业务需求、实现数据KPI。如果全部传输到云端，像自动驾驶这样的领域就无法满足需求。第二个趋势是生态融合，现在大数据基于flink生态，但是生态正在持续不断的演进、融合，我们的技术需要满足以下几个特征：第一，技术要去适应极大的或极小的弹性工作环境。第二，容器裸金属一体化管理协同。第三，异构跨集群数据协同，也就是说数据、计算可能是异构的，计算资源、基础设施也可能是异构的。要实现这些具有异构特征资源的协同工作。第四，存储和计算分离，目前的数据库在存储和计算上基本上都采用一种绑定策略。未来计算资源跟存储并不会协同增长，而是各自与业务增长曲线相连。计算与存储分离，将会成为系统的发展趋势。

（根据演讲内容整理，未经本人审核）