基于MapReduce集群的加权公平队列调度算法研究
2011-12-31 00:00:00开华
电脑知识与技术 2011年9期
摘要：该文针对Hadoop自带的MapReduce调度器的不足，提出了具有优先级和权重的公平调度算法。算法可以清楚地区分出用户服务的等级，同时又保证一定程度的公平性，保证不至于被少量高优先级用户占有系统绝大部分资源。同时可以更好的实现数据的本地性，提高系统的整体效率和并行度，从而减小相应时间，避免节点闲置，浪费系统资源。
关键词：MapReduce；Hadoop；加权轮转调度；公平调度
中图分类号：TP309文献标识码：A文章编号：1009-3044(2011)09-2129-04
Degin and Implementation Priority Based Weighted Fair Queue of Based on MapReduce Cluster
KAI Hua-d
