本文主要包含spark,python等服务器相关知识,malingyu的专栏希望可以进行参考
spark python 环境搭建 windows
- 下载jdk8 并配置环境变量
- 下载hadoop2.7.3
- 下载spark-2.1.0-bin-hadoop2.7 (1)
- 配置PYTHONPATH环境变量
- 验证是否配置成功，在python编辑器中输入以下代码：
conf = SparkConf().setMaster("local[*]").setAppName("First_App")
sc = SparkContext(conf=conf)
data = sc.parallelize(range(10))
ans = data.reduce(lambda x, y: x + y)
print (ans)
lines = sc.textFile("F:\malingyu\spark2.1.0hadoop2.7\README.md")
print (lines.count())