官网链接

任何文档都没有比官网提供的更权威、更准确

https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-site/FairScheduler.html

说明

• vim如下两个配置文件
• 分发至所有节点
• 重启yarn

vim fair-scheduler.xml

<!-- 队列最小资源 --><minResources>2048mb,2vcores</minResources><!-- 队列最大资源 --><maxResources>4096mb,4vcores</maxResources><!-- 队列中最多同时运行的应用数，默认 50，根据线程数配置 --><maxRunningApps>4</maxRunningApps><!-- 队列中 Application Master 占用资源的最大比例 --><maxAMShare>0.5</maxAMShare><!-- 该队列资源权重,默认值为 1.0 --><weight>1.0</weight><!-- 队列内部的资源分配策略 --><schedulingPolicy>fair</schedulingPolicy></queue><!-- 任务队列分配策略,可配置多层规则,从第一个规则开始匹配,直到匹配成功 --><queuePlacementPolicy><!-- 提交任务时指定队列,如未指定提交队列,则继续匹配下一个规则; false 表示：如果指定队列不存在,不允许自动创建--><rule name="specified" create="false"/><!-- 提交到 root.group.username 队列,若 root.group 不存在,不允许自动创建；若root.group.user 不存在,允许自动创建 --><rule name="nestedUserQueue" create="true"><rule name="primaryGroup" create="false"/></rule><!-- 最后一个规则必须为 reject 或者 default。Reject 表示拒绝创建提交失败，default 表示把任务提交到 default 队列 --><rule name="default" /></queuePlacementPolicy> </allocations>

vim yarn-site.xml

<!--配置公平调度器--> <property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value><description>配置使用公平调度器</description> </property> <property><name>yarn.scheduler.fair.allocation.file</name><value>/opt/dmgeo/bigdata/apps/hadoop-2.9.2/etc/hadoop/fair-scheduler.xml</value><description>指明公平调度器队列分配配置文件</description> </property> <property><name>yarn.scheduler.fair.preemption</name><value>false</value><description>禁止队列间资源抢占</description> </property>

总结

以上是生活随笔为你收集整理的hadoop 2.9.2 yarn配置公平调度器的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。