hadoop配置流程
第一步:重新新建一个虚拟机,命名为hadoop[内存不能太小了]
第二步:添加镜像文件(ISO文件)
第三步:root用户登录
第四步:
第五步:修改主机名为master
执行:vim /etc/sysconfig/network
第六步:配置静态IP地址
执行:vim /etc/sysconfig/network-scripts/ifcfg-eth0
执行:ifconfig
第七步:修改主机映射文件
执行:vim /etc/hosts
第八步:关闭防火墙
执行:service iptables stop
第九步:启动ssh服务
执行:service sshd start
第十步:生成ssh公钥
执行:ssh-keygen -t rsa
第十一步:拷贝公钥到本机
第十二步:验证无密码登录
执行:ssh master
第十三步:xshell远程连接
打开xshell软件
第十四步:查看并卸载jdk安装包
执行:rpm -qa | grep jdk
第十五步:改变/opt目录的权限
执行:chown -R hadoop:hadoop /opt
第十六步:登录filezilla,连接虚拟机(关闭Windows防火墙)
第十七步:上传jdk和hadoop压缩包至/opt目录下
找到压缩包的位置,右键点击压缩包,选择上传
第十八步:解压jdk
执行:cd /opt
执行:tar -zxvf jdk-7u80-linux-x64.tar.gz
第十九步:配置全局环境变量
执行:vim /etc/profile
在该文件的最下面追加以下内容:
第二十步:环境变量生效
执行:source /etc/profile
第二十一步:验证Java环境
执行:java -version
第二十二步:解压hadoop压缩包
执行:cd /opt
执行:tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz
第二十三步:打开hadoop的配置文件目录
执行:cd /opt/hadoop-2.6.0-cdh5.7.0/etc/hadoop
第二十四步:修改hadoop-env.sh配置文件
在该文件的最下方追加以下内容:第二十五步:修改core-site.xml配置文件
执行:sudo vim ./core-site.xml
在该文件中追加以下内容:
第二十六步:修改hdfs-site.xml配置文件
在该文件中追加以下内容:
第二十七步:修改slaves配置文件
第二十八步:配置全局环境变量
执行:vim /etc/profile
在该文件最下方追加以下内容:
第二十九步:环境变量生效
执行:source /etc/profile
第三十步:格式化HDFS
执行:hadoop namenode -format
第三十一步:进去sbin目录
执行:cd /opt/hadoop-2.6.0-cdh5.7.0/sbin
第三十二步:执行开始脚本
./start-all.sh 启动的
如果没有出来完关闭了再启动一次
./stop-all.sh
第三十三步:检验是否成功
总结
以上是生活随笔为你收集整理的hadoop配置流程的全部内容,希望文章能够帮你解决所遇到的问题。
- 上一篇: [病毒木马] 什么是LSP劫持
- 下一篇: 关于渗透测试以及网络安全法