欢迎访问 生活随笔!

生活随笔

当前位置: 首页 > 编程资源 > 编程问答 >内容正文

编程问答

hadoop配置流程

发布时间:2023/12/20 编程问答 43 豆豆
生活随笔 收集整理的这篇文章主要介绍了 hadoop配置流程 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

第一步:重新新建一个虚拟机,命名为hadoop[内存不能太小了]

第二步:添加镜像文件(ISO文件)

第三步:root用户登录

第四步:

第五步:修改主机名为master

执行:vim /etc/sysconfig/network

第六步:配置静态IP地址
执行:vim /etc/sysconfig/network-scripts/ifcfg-eth0

执行:ifconfig

第七步:修改主机映射文件
执行:vim /etc/hosts

执行:ping master

第八步:关闭防火墙
执行:service iptables stop

第九步:启动ssh服务
执行:service sshd start

第十步:生成ssh公钥
执行:ssh-keygen -t rsa

第十一步:拷贝公钥到本机

第十二步:验证无密码登录
执行:ssh master

第十三步:xshell远程连接
打开xshell软件

接受并保存→输入用户名hadoop→输入密码

第十四步:查看并卸载jdk安装包
执行:rpm -qa | grep jdk

第十五步:改变/opt目录的权限
执行:chown -R hadoop:hadoop /opt

第十六步:登录filezilla,连接虚拟机(关闭Windows防火墙)

第十七步:上传jdk和hadoop压缩包至/opt目录下
找到压缩包的位置,右键点击压缩包,选择上传

第十八步:解压jdk
执行:cd /opt
执行:tar -zxvf jdk-7u80-linux-x64.tar.gz

第十九步:配置全局环境变量
执行:vim /etc/profile
在该文件的最下面追加以下内容:

第二十步:环境变量生效
执行:source /etc/profile
第二十一步:验证Java环境
执行:java -version

第二十二步:解压hadoop压缩包
执行:cd /opt
执行:tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz

第二十三步:打开hadoop的配置文件目录
执行:cd /opt/hadoop-2.6.0-cdh5.7.0/etc/hadoop

第二十四步:修改hadoop-env.sh配置文件

在该文件的最下方追加以下内容:

第二十五步:修改core-site.xml配置文件
执行:sudo vim ./core-site.xml
在该文件中追加以下内容:

第二十六步:修改hdfs-site.xml配置文件

在该文件中追加以下内容:

第二十七步:修改slaves配置文件

第二十八步:配置全局环境变量
执行:vim /etc/profile
在该文件最下方追加以下内容:

第二十九步:环境变量生效
执行:source /etc/profile
第三十步:格式化HDFS
执行:hadoop namenode -format

第三十一步:进去sbin目录
执行:cd /opt/hadoop-2.6.0-cdh5.7.0/sbin

第三十二步:执行开始脚本
./start-all.sh 启动的
如果没有出来完关闭了再启动一次
./stop-all.sh
第三十三步:检验是否成功

总结

以上是生活随笔为你收集整理的hadoop配置流程的全部内容,希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错,欢迎将生活随笔推荐给好友。