两步实现spark集群

进入spark 的安装目录下的sbin文件夹
master节点
#master的ip是192.168.1.8

这一步就是声明:我是Master!
你们这些worker向我看其听我指挥;

./start-master.sh --host 192.168.10.182#master的ip是192.168.10.182

slave节点

cd /home/luogan/spark_install/spark-2.3.1-bin-hadoop2.7/conf cp spark-env.sh.template spark-env.sh vi spark-env.sh

对slave节点进行配置,声明这个worker出多少人,SPARK_WORKER_CORES=1;
出多少钱,SPARK_WORKER_MEMORY=1g

JAVA_HOME=/home/luogan/spark_install/jdk1.8.0_151 SPARK_WORKER_CORES=1 SPARK_WORKER_MEMORY=1g cp slaves.template slaves vi slaves 你打算在哪几个主机上放worker就在slaves里加入它的主机名 luogan

进入slave电脑下的 spark 的安装目录下的sbin文件夹

./start-slave.sh spark://192.168.1.8:7077

通过下面这条命令就可以在集群环境下进行操作

#./bin/spark-shell --master spark://IP:PORT ./bin/spark-shell --master spark://luogandeMacBook-Pro.local:7077

官方文档

参考链接

总结

以上是生活随笔为你收集整理的两步实现spark集群的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。