欢迎访问 生活随笔！
TAG聚合

生活随笔

当前位置： 首页 > 编程资源 > 编程问答 >内容正文

编程问答

ZooKeeper 3.4.5 分布式环境搭建详解

发布时间：2025/3/20 编程问答 31 豆豆
生活随笔 收集整理的这篇文章主要介绍了 ZooKeeper 3.4.5 分布式环境搭建详解 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

概述

上一篇中，我们说到了关于 Hadoop-2.2.0 集群的搭建。在这个系列中，Zookeeper 是必不可少的。本文会介绍 Zookeeper-3.4.5 的安装，后面会介绍 HBase-0.96 的安装。希望于你有益。

版权说明

著作权归作者所有。
商业转载请联系作者获得授权，非商业转载请注明出处。
本文作者：Q-WHai
发表日期： 2016年5月18日
本文链接：http://blog.csdn.net/lemon_tree12138/article/details/51445689
来源：CSDN
更多内容：分类 >> 大数据之 Hadoop

环境说明

  • CentOS release 6.5 (Final) ( master )
  • CentOS release 6.5 (Final) ( slave1 )
  • CentOS release 6.5 (Final) ( slave2 )
  • JDK-1.8.0_92 ( Oracle )
  • Hadoop-2.2.0
  • 虚拟机环境： VMware® Workstation 12 Pro
    • 序号虚拟机 IPhostname
    1172.16.2.117master
    2172.16.2.115slave1
    3172.16.2.116slave2

    Zookeeper 环境搭建

    下载

    http://zookeeper.apache.org/releases.html
    进入 Apache 的官网下载一个合适的 Zookeeper 版本进行安装。

    $ tar -zxvf zookeeper-3.4.5.tar.gz $ mv zookeeper-3.4.5 ~/zookeeper

    配置环境变量

    $ sudo vim /etc/profile

    在文件的末尾处，添加如下信息

    export ZOOKEEPER_HOME=/home/hadoop/zookeeper export PATH=$PATH:${ZOOKEEPER_HOME}/bin

    设置上面的配置立即生效

    $ source /etc/profile

    配置 zoo.cfg

    配置 zoo.cfg 的路径是 ${ZOOKEEPER_HOME}/conf/zoo.cfg，不过一般情况下，这个文件是不存在的，需要从 zoo_sample.cfg 复制获得

    $ cp zoo_smaple.cfg zoo.cfg $ vim zoo.cfg

    配置文件中的内容如下

    tickTime=2000 initLimit=10 syncLimit=5 dataDir=/home/hadoop/data/zookeeper clientPort=2181server.1=master:2888:3888 server.2=slave1:2888:3888 server.3=slave2:2888:3888

    配置防火墙

    这里选择关闭防火墙

    $ sudo service iptables stop $ sudo chkconfig iptables off # 设置防火墙不随系统启动，这一条你可以选择性添加

    配置 myid

    [hadoop@master ~]$ echo 1 > /home/hadoop/data/zookeeper/myid [hadoop@slave1 ~]$ echo 2 > /home/hadoop/data/zookeeper/myid [hadoop@slave2 ~]$ echo 3 > /home/hadoop/data/zookeeper/myid

    注意这里 myid 的路径要与上面 zoo.cfg 中 dataDir 的路径一致。否则你的 Zookeeper 将无法启动。
    另外上面的三条指令实际上是在三台虚拟机上完成的，这里需要注意，别傻乎乎地在同一台虚拟机上搞得起劲。

    配置下发

    $ scp -r zookeeper/ slave1:~/ $ scp -r zookeeper/ slave2:~/

    这里与 Hadoop 中的下发一样，将整个文件夹下发到你想要安放的目录。只是，这里需要在 scp 后面加上一个 -r，不然你就需要将 zookeeper 文件先压缩，再下发，再在各个子节点下再解压。麻烦死了~，还不如一个 -r 把控全局来得爽。

    节点配置修改

    这里主要有两个地方需要修改

  • myid
  • dataDir
    myid 不用再说了，上面已经讲过了。这里的 dataDir 路径，你必须保证它存在，所以你要去创建它。

    • 启动测试

    $ zkServer.sh start JMX enabled by default Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg Starting zookeeper ... STARTED

    需要注意的是，要在每一台机器上都启动 zookeeper 才可以。

    启动验证

    $ jps [hadoop@master ~]$ jps 6888 QuorumPeerMain 7353 Jps

    如果这里存在 QuorumPeerMain 进程的话，就说明 Zookeeper 启动成功了。

    功能验证

    上面的启动验证只是说明了你的 Zookeeper 已经启动了，并不能说明，你的 Zookeeper 启动成功了。我们需要使用下面的指令查看 Zookeeper 是否启动成功。

    $ zkServer.sh status [hadoop@master ~]$ zkServer.sh status JMX enabled by default Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg Error contacting service. It is probably not running.

    果然，这里的输出信息足以说明我们的 zookeeper 没有启动成功。百度了一通，完全无用！还有的一些完全是在胡说八道。

    解决方案

    在网上搜了很多的解决方案都不可行。也看了 zookeeper.out 信息，都没有什么发现。于是尝试着修改了 dataDir 的路径到 Zookeeper 的安装目录下（这是网上的教程中都用的目录），并重启计算机，问题解决。当然，我不能保证你按照我的步骤一定可以解决问题。只是把我解决此问题的过程分享给你而已，如果你未能解决它，可能你是另外的情况，但我希望你也可以不吝啬地把你的解决方案分享给大家。

    验证结果
    master

    [hadoop@master zookeeper]$ zkServer.sh status JMX enabled by default Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg Mode: leader

    slave1

    [hadoop@slave1 conf]$ zkServer.sh status JMX enabled by default Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg Mode: follower

    slave2

    [hadoop@slave2 conf]$ zkServer.sh status JMX enabled by default Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg Mode: follower

    测试 zkClient

    zkCli.sh -server master:2181 Connecting to master:2181 2016-05-18 09:48:28,985 [myid:] - INFO [main:Environment@100] - Client environment:zookeeper.version=3.4.5-1392090, built on 09/30/2012 17:52 GMT 2016-05-18 09:48:28,990 [myid:] - INFO [main:Environment@100] - Client environment:host.name=master 2016-05-18 09:48:28,990 [myid:] - INFO [main:Environment@100] - Client environment:java.version=1.8.0_92 ( ... 此处省略 N 条 ... ) Welcome to ZooKeeper! 2016-05-18 09:48:29,095 [myid:] - INFO [main-SendThread(master:2181):ClientCnxn$SendThread@966] - Opening socket connection to server master/172.16.2.117:2181. Will not attempt to authenticate using SASL (unknown error) JLine support is enabled 2016-05-18 09:48:29,309 [myid:] - INFO [main-SendThread(master:2181):ClientCnxn$SendThread@849] - Socket connection established to master/172.16.2.117:2181, initiating session 2016-05-18 09:48:29,420 [myid:] - INFO [main-SendThread(master:2181):ClientCnxn$SendThread@1207] - Session establishment complete on server master/172.16.2.117:2181, sessionid = 0x154c4bf7e640000, negotiated timeout = 30000WATCHER::WatchedEvent state:SyncConnected type:None path:null [zk: master:2181(CONNECTED) 0]

    至此，我们的 Zookeeper 终于搭建完成了。以下是搭建完成之后在 Zookeeper 里面的玩耍：

    [zk: master:2181(CONNECTED) 0] ls / [zookeeper] [zk: master:2181(CONNECTED) 1] create /newfile hello Created /newfile [zk: master:2181(CONNECTED) 2] ls / [zookeeper, newfile] [zk: master:2181(CONNECTED) 3] get /newfile hello cZxid = 0x200000002 ctime = Wed May 18 09:50:50 PDT 2016 mZxid = 0x200000002 mtime = Wed May 18 09:50:50 PDT 2016 pZxid = 0x200000002 cversion = 0 dataVersion = 0 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 5 numChildren = 0 [zk: master:2181(CONNECTED) 4] set /newfile gootdayWATCHER::WatchedEvent state:SyncConnected type:NodeDataChanged path:/newfile cZxid = 0x200000002 ctime = Wed May 18 09:50:50 PDT 2016 mZxid = 0x200000003 mtime = Wed May 18 09:53:55 PDT 2016 pZxid = 0x200000002 cversion = 0 dataVersion = 1 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 7 numChildren = 0 [zk: master:2181(CONNECTED) 7] get /newfile gootday cZxid = 0x200000002 ctime = Wed May 18 09:50:50 PDT 2016 mZxid = 0x200000003 mtime = Wed May 18 09:53:55 PDT 2016 pZxid = 0x200000002 cversion = 0 dataVersion = 1 aclVersion = 0 ephemeralOwner = 0x0 dataLength = 7 numChildren = 0 [zk: master:2181(CONNECTED) 8] delete /newfile [zk: master:2181(CONNECTED) 9] ls / [zookeeper] [zk: master:2181(CONNECTED) 10] quit Quitting... 2016-05-18 09:56:03,079 [myid:] - INFO [main:ZooKeeper@684] - Session: 0x154c4bf7e640000 closed 2016-05-18 09:56:03,080 [myid:] - INFO [main-EventThread:ClientCnxn$EventThread@509] - EventThread shut down

    Ref

    • http://www.iteblog.com/archives/904

    征集

    如果你也需要使用ProcessOn这款在线绘图工具，可以使用如下邀请链接进行注册：
    https://www.processon.com/i/56205c2ee4b0f6ed10838a6d

    总结

    以上是生活随笔为你收集整理的ZooKeeper 3.4.5 分布式环境搭建详解的全部内容，希望文章能够帮你解决所遇到的问题。

    如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。