bigbrother的补充单节点hdfs搭建好后搭建mapredce

bigbrother的补充单节点hdfs搭建好后搭建mapredce
1、环境文件的配置
（1）hadoop已经配置了一个环境变量文件
hadoop-env.sh在里面修改了javahome
（2）再把map，yarn的环境文件配置一下
修改map的env.sh文件
默认如图，记得把注释删除掉
改为下图
（3）修改yarn的环境文件
类似的修改如下：

2、配置map的配置文件

首先先把模板copy一份变为可以生效的xml
使用的框架为yarn 另外可以选择的还有classic和local
修改etc/hadoop/mapred-site.xml:

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property> </configuration>

3、修改 etc/hadoop/yarn-site.xml:
单节点：

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname.rm1</name><value>node1</value> </property><property><name>yarn.resourcemanager.webapp.address.rm1</name><value>node1:8088</value> </property>

四节点：

<configuration><!—让yarn启动服务支持map任务和reduce任务container之间的通信，洗牌 HTTP GET 由nodemanager统一管理的--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-启用ResourceManager的高可用--> <property><name>yarn.resourcemanager.ha.enabled</name><value>true</value> </property> <!—指代ResourceManager HA的两台RM的逻辑名称 --> <property><name>yarn.resourcemanager.cluster-id</name><value>Mycluster</value> </property> <!--指定该高可用ResourceManager下的两台ResourceManager的逻辑名称--> <property><name>yarn.resourcemanager.ha.rm-ids</name><value>rm1,rm2</value> </property> <!—指定第一台ResourceManager服务器所在的主机名称 --> <property><name>yarn.resourcemanager.hostname.rm1</name><value>node3</value> </property> <property><name>yarn.resourcemanager.hostname.rm2</name><value>node4</value> </property> <!—指定resourcemanager的web服务器的主机名和端口号--> <property><name>yarn.resourcemanager.webapp.address.rm1</name><value>node3:8088</value> </property> <property><name>yarn.resourcemanager.webapp.address.rm2</name><value>node4:8088</value> </property> <!—做ResourceManager HA故障切换用到的zookeeper集群地址 --> <property><name>yarn.resourcemanager.zk-address</name><value>node2:2181,node3:2181,node4:2181</value> </property> </configuration>

4、访问页面测试
active激活的节点有一个我这个是单节点的所以是这样的，下面的是任务的详情，succeed证明任务已经完成了
5、开启mapreduce任务
参考文件：
https://blog.csdn.net/jjjjjjabnannnan/article/details/110239351

总结

以上是生活随笔为你收集整理的bigbrother的补充单节点hdfs搭建好后搭建mapredce的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。