从复杂性角度看大数据面临的挑战

大数据技术和人类探索复杂性的努力有密切关系。20 世纪70 年代， 新三论的兴起对几百年来贯穿科学技术研究的还原论发起了挑战。但30年来并未取得预期的效果， 其原因之一可能是当时还没有出现解决复杂性的技术。

而随着集成电路、计算机与通信技术的发展大大增强了人类研究和处理复杂问题的能力。大数据技术将复杂性科学的新思想发扬光大，可能使复杂性科学得以落地。

复杂性科学是大数据技术的科学基础，大数据方法可以看作复杂性科学的技术实现。大数据方法为还原论与整体论的辩证统一提供了技术实现途径。

但目前大数据技术还不成熟， 面对海量、异构、动态变化的数据， 传统的数据处理和分析技术难以应对， 现有的数据处理系统实现大数据应用的效率较低， 成本和能耗较大， 而且难以扩展。这些挑战大多来自数据本身的复杂性、计算的复杂性和信息系统的复杂性。

数据复杂性引起的挑战

图文检索、主题发现、语义分析、情感分析等数据分析工作十分困难， 其原因是大数据涉及复杂的类型、复杂的结构和复杂的模式， 数据本身具有很高的复杂性。

目前，人们对大数据背后的物理意义缺乏理解， 对大数据的复杂性和计算复杂性的内在联系也缺乏深刻的理解， 领域知识的缺乏制约了人们对大数据模型的发现和高效计算方法的设计。形式化或定量化地描述大数据复杂性的本质特征及度量指标， 需要深入研究数据复杂性的内在机理。人脑的复杂性主要体现在千万亿级的树突和轴突的链接，大数据的复杂性也体现在数据之间的相互关联。理解数据之间关联的奥秘可能就是揭示微观到宏观“涌现” 规律的关键突破口。

大数据复杂性规律的研究有助于理解其复杂模式的本质特征和生成机理， 从而简化大数据的表征， 获取更好的知识抽象。

为此，需要建立多模态关联关系下的数据分布理论和模型， 理清数据复杂度和计算复杂度之间的内在联系， 奠定大数据计算的理论基础。

计算复杂性引起的挑战

大数据计算不能像处理小样本数据集那样做全局数据的统计分析和迭代计算， 在分析大数据时， 往往需要重新审视和研究它的可计算性、计算复杂性和求解算法。大数据样本量巨大， 内在关联密切而复杂， 价值密度分布极不均衡， 这些特征对建立大数据计算范式提出了挑战。对于PB 级的数据， 即使只有线性复杂性的计算也难以实现， 而且， 由于数据分布的稀疏性， 可能做了许多无效计算。

传统的计算复杂度是指某个问题求解时需要的时间空间与问题规模的函数关系。所谓具有多项式复杂性的算法是指当问题的规模增大时， 计算时间和空间的增长速度在可容忍的范围内。传统科学计算关注的重点是， 针对给定规模的问题， 如何“算得快”。大数据应用本质上是在给定的时间、空间限制下， 如何“算得多”。从“算得快”到“算得多”， 考虑计算复杂性的思维逻辑有很大的转变。所谓“算得多” 并不是计算的数据量越大越好， 需要探索从足够多的数据，到刚刚好的数据， 再到有价值的数据的按需约简方法。

基于大数据求解困难问题的一条思路是放弃通用解， 针对特殊的限制条件求具体问题的解。

人类的认知问题一般都是NP 难问题，但只要数据充分多， 在限制条件下可以找到十分满意的解， 近几年自动驾驶汽车取得重大进展就是很好的案例。为了降低计算量， 需要研究基于自举和采样的局部计算和近似方法， 提出不依赖于全量数据的新型算法理论， 研究适应大数据的非确定性算法等理论。

系统复杂性引起的挑战

大数据对计算机系统的运行效率和能耗提出了苛刻要求， 大数据处理系统的效能评价与优化问题具有挑战性， 不但要求理清大数据的计算复杂性与系统效率、能耗间的关系， 还要综合度量系统的吞吐率、并行处理能力、作业计算精度、作业单位能耗等多种效能因素。

针对大数据的价值稀疏性和访问弱局部性的特点， 我们需要研究大数据的分布式存储和处理架构。

大数据应用涉及几乎所有的领域， 大数据的优势是能在长期应用中发现往往被忽视的稀疏而珍贵的价值， 但一种优化的计算机系统结构很难适应各种不同的需求， 碎片化的应用大大增加了信息系统的复杂性。

像昆虫种类一样多（500多万种）的大数据和物联网应用如何形成手机一样的巨大市场， 这就是所谓“昆虫纲悖论”。为了化解计算机系统的复杂性， 需要研究异构计算系统和可塑计算技术。

大数据应用中， 计算机系统的负载量发生了本质性变化， 计算机系统结构需要革命性的重构。

信息系统需要从数据围着处理器转改变为处理能力围着数据转， 关注的重点不是数据加工， 而是数据的搬运； 系统结构设计的出发点要从重视单任务的完成时间转变到提高系统吞吐率和并行处理能力， 并发执行的规模要提高到10 亿级以上。构建以数据为中心的计算系统的基本思路是从根本上消除不必要的数据流动， 必要的数据搬运也应由“大象搬木头” 转变为“蚂蚁搬大米”。

相关链接

每种数据来源都有一定局限性，只有融合集成各方面的原始数据才能反映事物全貌。不同的数据可能角度不同，但描述的是同一件事。政府的数据可能是更客观的事实，网上的数据可能是主观的民意。对同一个问题，不同的数据可以反映不同的互补信息，增进了解。这就是大数据的作用，它是集成各方面的信息

目前支持大数据产业的数据来源主要是政府。开放数据后，众多中小企业会创造出各类数据应用，形成过去没有的数据生态链。

李国杰院士认为，政府共享数据可分为三类。

第一类是面向操作业务的信息共享。这类共享是为办事人员设计的，办理银行贷款时要查信用数据库；办理出入境手续时要查局级干部名单表。现在政府部门出台的政策所提到的开放数据，主要是指这部分数据。不管是广州、上海还是宁波，提及的开放数据大部分指这类，是政府各部门之间办公流程所需要的数据。

第二类是面向管理的信息共享。使用这类共享数据的大多为各项业务的管理者。管理者需要及时看到业务各方面的运行状态，便于及时控制、调整及记录数据以备查看。

第三类是面向研究和决策的信息共享。使用这类数据的主要是政策研究人员和企业领导。这类信息共享的作用是发现知识、总结规律，从数据中发现新知识、新问题，制定新政策，更需要大数据。

目前，在政府数据共享方面，我们还处在阶段一，从一到三还有很长的路要走。