异构环境下大数据传输能耗优化的方法——评《大数据处理平台能耗优化方法的研究》

许 立(河北北方学院附属第一医院)

伴随着我国移动互联网、云计算和大数据等信息技术的快速崛起与发展，蜂窝网络的覆盖范围越来越广，使处理数据的计算机数量迅速增长，移动数据流量爆炸式增长导致大数据系统产生高能耗问题，引起我国政府和业界的高度重视。研究降低大数据系统的能耗，有助于降低异构网络部署和运营成本，提升频谱有效性和能量有效性。将现有的绿色计算研究成果运用于大数据处理平台，有针对性地优化基于中间件的能耗问题。在异构网络环境下出于经济和环境方面的考虑，提升蜂窝网络能量的有效性成为关键性能指标，为有效解决异构网络中大量基站部署导致的网络能耗激增问题，还要研究异构网络中的能量有效干扰管理、负载均衡技术问题。为解决大数据环境下的无线通信数据传输能耗过大问题，需要研究异构环境下大数据传输能耗优化的方法，如将无线传输节点任务分配到网络节点中，在源节点和目的节点寻找合适的路径，进行数据转发，并选择簇头节点和制定通信协议。还可以在多重网络异构环境下，对大数据传输的能耗进行优化设计，采用新的海量网络数据传输能耗控制优化方法，以降低大数据传输系统的开销，从而提升大数据处理平台传输的保真性。

为此，由宋杰撰写的《大数据处理平台能耗优化方法的研究》一书，有助于异构环境下大数据传输能耗优化的方法研究。该书是作者近年来在大数据领域的科研成果，重点围绕大数据处理平台中的能耗优化方法进行深入研究，提出缩减节点的等待时间，以减少空闲能耗这一优化方法。作者首先从大数据处理平台和能耗优化研究两个方面进行了综述，然后对评价模型和核心技术展开论述。在模型层面和技术层面分别介绍了如何建立大数据处理平台能耗模型、求解最小能耗值、主流NoSQL数据库系统、能耗基准测试方法及测试结果，以及通过优化资源分配和任务调度策略消除资源瓶颈和减少资源等待；通过优化数据布局策略提高节点并行性和减少节点间等待，从而最终达到降低大数据处理平台能耗的目的。最后，探讨了大数据处理平台能耗优化思路、方法和途径，阐述了面向大数据处理算法的能耗优化方法。读者通过该书能更加深入了解大数据处理平台的核心技术、能耗优化等前沿性学术问题，可以帮助读者更加有效地构建平台和对现有平台进行改进，对开展大数据和绿色计算领域的交叉研究具有重要的科学意义和广泛应用前景。

作者首先对大数据处理平台做了一些描述，分别介绍了大数据分析、云计算、分布式系统和分布式计算等概念，然后介绍了能耗优化研究的进展情况，阐述了能耗研究的层次、能耗优化方法、集群环境下的能耗优化方法、数据库系统能耗优化方法等问题，并对研究现状进行了细致分析。其次，论述了大数据处理平台的能效度量模型。在介绍了相关工作之后阐述了能效模型、能效测量方法、能效计算方法和能效极值分析，并对单机实验和集群环境实验进行了分析。第三，论述了大数据处理平台的能耗基准测试与分析，具体阐述了数据模型、测试用例、能耗模型、能耗分析方法、能耗测量方法等基准测试方法。通过实验环境分析、基准能耗比较分析和等待能耗分析等实验分析，得出大数据处理平台的能耗优化方法。最后，论述了大数据处理平台的资源比模型、普适的资源和能效模型优化等问题，阐述了优化大数据处理平台能耗的任务分发算法和数据布局算法，并对大数据处理算法能耗优化研究进行了展望。

在异构环境下采用无线传感器网络技术的大数据传输和调度，使得大数据传输得以深入发展，但是大数据传输信道遭受到了多种干扰从而产生信道失衡，这样造成的能量消耗极大，因此，采用能耗优化模型设计有助于大数据传输节能。传统大数据传输能耗均衡模型建设，一般采用自适应均衡、信道均衡和大数据传输能耗均衡三种算法。在异构环境下，通过大数据传输信道线性与非线性均衡器进行能耗预测，通过优化均衡配置提升大数据传输效率。但是，在大数据传输能耗均衡配置过程中，采用这三种计算法导致计算开销过大、抗干扰性能差和能量开销无法合理控制，还需要进一步优化算法和改进能耗模型设计。作者提出了一种更加先进的大数据传输能耗优化模型设计，那就是基于自适应负载均衡控制、异构环境下的能耗模型，通过大数据传输信道模型设计和自适应负载均衡控制算法，进行大数据传输信道均衡设计以降低传输能耗；通过仿真实验进行性能测试，实现了大数据高效均衡调度和传输，从而实现了能耗开支小和信道均衡性高的目的。

为建构异构环境下的大数据传输系统和多径信道模型，作者认为采用 BPSK调制码元的分布设计可以很好优化大数据传输信道和降低能耗开销，大数据传输信道模型设计为很好完成异构环境下的大数据传输能耗优化提供了基础。在异构环境下大数据传输信道均衡设计和能耗优化控制模型设计过程中，采用自适应负载均衡控制算法可以大大降低大数据传输能耗。作者为此通过仿真实验与结果分析来验证这种算法的实效性，测试出本算法在大数据传输能耗优化中的优越性能，从而大幅度降低了发射功率和传输能耗。这种基于自适应负载均衡控制的大数据传输信道模型和能耗优化模型设计，以及采用的自适应负载均衡控制算法，实现了大数据的均衡调度和高效传输。还可以采用实用有效的改进算法，以降低海量数据的传输能耗问题，通过建立异构环境下大数据传输能耗优化模型和大数据传输信道模型，对网络数据节点能耗进行计算，选取合适节点对网络数据和大数据传输信道进行参数设计，从而实现大数据均衡调度和高效传输，以降低大数据传输能耗的问题。