pyspark基础教程

pyspark基础教程

下面一段代码是简单教程,对与如何向spark 集群提交代码任务,无论文档和博客都有很多说法,其实很简单,只要在脚本中setMaster(“spark://192.168.10.182:7077”),
spark://192.168.10.182:7077是master的url,
192.168.10.182是master的ip
7077是端口号

conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077")

代码只在本地运行

conf=SparkConf().setAppName("miniProject").setMaster("local[*]")

全部代码

import pyspark from pyspark import SparkContext as sc from pyspark import SparkConf #conf=SparkConf().setAppName("miniProject").setMaster("local[*]") conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077") sc=sc.getOrCreate(conf)#（a）利用list创建一个RDD;使用sc.parallelize可以把Python list，NumPy array或者Pandas Series,Pandas DataFrame转成Spark RDD。 rdd = sc.parallelize(list(range(10**2))) #print(rdd) #Output:ParallelCollectionRDD[0] at parallelize at PythonRDD.scala:480#（b）getNumPartitions()方法查看list被分成了几部分 print(rdd.getNumPartitions() )

我的代码都在anaconda 的spyder里编写,
如何对spyder 配置spark请看我的这篇博客
如何对spyder 配置spark

总结

以上是生活随笔为你收集整理的pyspark基础教程的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。