当前位置：首页 > 编程资源 > 编程问答 >内容正文

编程问答

spark-1.5.2集群安装

发布时间：2025/5/22 编程问答 65 豆豆

生活随笔收集整理的这篇文章主要介绍了 spark-1.5.2集群安装小编觉得挺不错的,现在分享给大家,帮大家做个参考.

2019独角兽企业重金招聘Python工程师标准>>>

Spark版本：Spark1.5.2

Scala版本：2.11.7

Spark安装路径：/home/hadoop

Scala安装路径：/home/hadoop

1. 解压安装包

[hadoop@hd1 ~]#tar zxvf scala-2.11.7.tgz

[hadoop@hd1 ~]#tar zxvf spark-1.5.2-bin-hadoop2.6.tgz

2. 配置环境变量

[root@hd1 ~]#vim /etc/profile

加上以下对应内容：

export JAVA_HOME=/home/yy/jdk1.8

export SCALA_HOME=/home/yy/scala

export SPARK_HOME=/home/yy/spark-1.5.2-bin-hadoop2.6

export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

执行source /etc/profile使配置生效

3.修改spark配置

[hadoop@hd1 ~]cd spark-1.5.2-bin-hadoop2.6/conf

3.1复制模板文：

[hadoop@hd1 conf]#cp spark-env.sh.template spark-env.sh

[hadoop@hd1 conf]#cp slaves.template slaves

3.2编辑spark-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79

export SCALA_HOME=/home/hadoop/scala

export SPARK_MASTER_IP=open1

export SPARK_WORKER_INSTANCES=2

export SPARK_WORKER_MEMORY=6g

export master=spark://hd1:7077

export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.6.0/etc/hadoop

export SPARK_HOME=/home/hadoop/spark-1.5.2

export HADOOP_HOME=/home/hadoop/hadoop-2.6.0

export SPARK_CLASSPATH=/home/hadoop/test/aliopen01/mysql-connector-java-5.1.40-bin.jar:$SPARK_HOME/lib/hbase-client-0.98.22-hadoop2.jar:$SPARK_HOME/lib/hbase-common-0.98.22-hadoop2.jar:$SPARK_HOME/lib/hbase-protocol-0.98.22-hadoop2.jar:$SPARK_HOME/lib/hbase-server-0.98.22-hadoop2.jar:$SPARK_HOME/lib/htrace-core-2.04.jar:$SPARK_HOME/lib/protobuf-java-2.5.0.jar:$SPARK_HOME/lib/guava-12.0.1.jar:$SPARK_HOME/lib/hive-hbase-handler-1.2.1.jar:$SPARK_CLASSPATH

export SPARK_YARN_USER_ENV="CLASSPATH=/home/hadoop/hadoop-2.6.0/etc/hadoop"

ps：

            spark-shell 后面的参数释义
                    --executor-memory 默认1GB 是每个executor占用的内存
                    --driver-memory driver占用的内存，（Driver：一个Spark作业运行时包括一个Driver进程，也是作业的主进程，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。）
                    --total-executor-cores 全部executor占用的总CPU核数
                    --num-executors 这个spark-shell 总共开启多少个executor（Executor：即真正执行作业的地方，一个集群一般包含多个Executor，每个Executor接收Driver的命令Launch Task，一个Executor可以执行一到多个Task。）
                    --executor-cores 每个executor使用的cpu核数

3.3编辑slaves

添加上你的对应信息，所有的集群的机器：

hd2

hd3

hd4

hd5

进入spark-1.5.2-bin-hadoop2.6/sbin/目录，执行：./start-all.sh

（如果没有设置ssh免密码登陆，会要求输入密码）

这时候jps查看多了个master和worker

表示安装成功

转载于:https://my.oschina.net/gywbest/blog/780338