hadoop 部分问题

1.hadoop使用start-all.sh启动时namenode启不了

查看namenode日志：

WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Remote journal 192.168.146.212:8485 failed to write txns 124097-124097. Will tryto write to this JN again after the next log roll. org.apache.hadoop.ipc.RemoteException(java.io.IOException):Cannot lock storage /home/hadoop/app/hdfs/hadoop/journaldata/hf. The directory is already locked

分析：连接不了8485端口，也就是journalnode
start-all.sh启动集群，journalnode（端口8485）是在namenode后启动的。默认情况下namenode启动10s(maxRetries=10, sleepTime=1000)后journalnode还没有启动，就会报上述错误。
解决：
1.手动启动namenode

hadoop-daemon.sh start namenode

2.修改core-site.xml中的ipc参数,如果没有就添加如下参数

<!--修改core-site.xml中的ipc参数,防止出现连接journalnode服务ConnectException--><property><name>ipc.client.connect.max.retries</name><value>100</value><description>Indicates the number of retries a client will make to establish a server connection.</description></property><property><name>ipc.client.connect.retry.interval</name><value>10000</value><description>Indicates the number of milliseconds a client will wait for before retrying to establish a server connection.</description></property>

注意：

1) 仅对于这种由于服务没有启动完成造成连接超时的问题，都可以调整core-site.xml中的ipc参数来解决。如果目标服务本身没有启动成功，这边调整ipc参数是无效的。

2) 该配置使namenode连接journalnode最大时间增加至1000s(maxRetries=100, sleepTime=10000),假如集群节点数过多，或者网络情况不稳定，造成连接时间超过1000s,仍会导致namenode挂掉。

参考：https://blog.csdn.net/chuyouyinghe/article/details/78976933

总结

以上是生活随笔为你收集整理的hadoop 部分问题的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。