5.Hadoop的学习（Hadoop的配置（伪分布式的搭建）-1）

1.Hadoop的配置

 独立模式、伪分布式、完全分布式

2.安装完之后就已经是独立模式了。

 （1）在独立模式之下是没有守护进程的，可以输入命令 jps   会发现只有一个Jps,没有其他守护进程。

 （2） Hadoop里面的命令和Ubuntu里面差不多，只是有点区别：

          命令  ： hadoop  fs  -ls  /   :查看Hadoop的根目录。

3.伪分布式模式

  伪分布式是完全分布式的一个特例

   在伪分布式模式下，需要配置四个文件

    ①core-site.xml  ②  hdfs-site.xml ③ yarn-site.xml  ④mapred-site.xml

    namenode（名称节点，简称NN）:存放文件系统的目录    ,他的副本-->secondaryNamenode

    dataNode（数据节点，简称DN）:数据的真正存放地点  ,他的副本-->replication

（1）进入到   安装好的haoop里面把文件夹复制一份。结果如图：

（2）然后进入到hadoop_pseudo里面 ，

       执行sudo *-site.xml    :配置所有的-site.xml文件；

 （3）看清楚首先要配置的文件 

    ①core-site.xml           

     在<configuration>标签里面加入

        <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost/</value>
       </property>

②  hdfs-site.xml

      在<configuration>标签里面加入

        <property>
               <name>dfs.replication</name>
               <value>1</value>
         </property>

③ yarn-site.xml

     在<configuration>标签里面加入

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

 <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
 </property>

④mapred-site.xml

   因为没有mapred-site.xml这个文件所以，进行已经有的模板的复制：

  输入命令： cp mapred-site.xml.template  mapred-site.xml

  然后把下面的内容放到里面（命令 sudo nano mapred-site.xml）：

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
  </property>

 这样这四个配置文件就配置完成了。下一节继续配置

总结

以上是生活随笔为你收集整理的5.Hadoop的学习（Hadoop的配置（伪分布式的搭建）-1）的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。