Docker 下安装 Spark

1. 安装Docker, 见上篇。

2. 安装ubuntu:    docker run --name dcSpark ubuntu                     

3. 运行 Bash:     docker exec -ti dcSpark /bin/bash                      

4. apt-get update

5. apt-get install software-properties-common

6. 添加PPA软件源：  add-apt-repository ppa:webupd8team/java

7. 然后更新系统,刷新软件源：  apt-get update

8. 安装 JDK:  apt-get install oracle-java8-installer

9. 查看 版本：  java -version

 

1 ## Java 2 sudo apt-get update 3 sudo apt-get install default-jdk 4 5 ## Scala 6 sudo apt-get remove scala-library scala 7 sudo wget http://scala-lang.org/files/archive/scala-2.12.1.deb 8 sudo dpkg -i scala-2.12.1.deb 9 sudo apt-get update 10 sudo apt-get install scala 11 12 ## SBT 13 echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list 14 sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823 15 sudo apt-get update 16 sudo apt-get install sbt

 

下载Spark:

mkdir download

cd download

wget https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

解压：

1 sudo tar -zxf ~/下载/spark-1.6.0-bin-without-hadoop.tgz -C /usr/local/ 2 cd /usr/local 3 sudo mv ./spark-1.6.0-bin-without-hadoop/ ./spark 4 sudo chown -R hadoop:hadoop ./spark

运行 Spark Shell,   到 Spark的目录下，执行

./bin/spark-shell

测试：（Scala)

1 val textFile = sc.textFile("file:///usr/local/spark/README.md") 2 3 textFile.count() // RDD 中的 item 数量，对于文本文件，就是总行数 4 // res0: Long = 95 5 6 textFile.first() // RDD 中的第一个 item，对于文本文件，就是第一行内容 7 // res1: String = # Apache Spark

参考： http://www.powerxing.com/spark-quick-start-guide/

转载于:https://www.cnblogs.com/ybst/p/9050660.html

总结

以上是生活随笔为你收集整理的Docker 下安装 Spark的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。