创新互联Python教程：怎么用python写spark

为什么要使用python来写Spark

成都创新互联公司-专业网站定制、快速模板网站建设、高性价比睢宁县网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式睢宁县网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖睢宁县地区。费用合理售后完善，十载实体公司更值得信赖。

Python写spark我认为唯一的理由就是：你要做数据挖掘，AI相关的工作。因为很多做数挖的他们的基础语言都是python，他们如果重新学scala比较耗时，而且，python他的强大类库是他的优势，很多算法库只有python有。

Win本地编写代码调试

编辑器：PyCharm

Spark：1.6

Python：2.7

Win环境准备

Python的安装

解压python包，在环境变量里面配上bin的路径

Spark的安装

下载spark的bin文件，解压即可，在环境变量配置SPARK_HOME

要可以通过编辑器来安装，如pycharm，查找pyspark库安装即可

Hadoop安装

安装hadoop环境 。在win下面需要winutils.exe；在环境里面配置HADOOP_HOME 即可。

代码示例

# -*- coding: utf-8 -*-
from __future__ import print_function
from pyspark import *
import os
print(os.environ['SPARK_HOME'])
print(os.environ['HADOOP_HOME'])
if __name__ == '__main__':
    sc = SparkContext("local[8]")
    rdd = sc.parallelize("hello Pyspark world".split(" "))
    counts = rdd \
        .flatMap(lambda line: line) \
        .map(lambda word: (word, 1)) \
        .reduceByKey(lambda a, b: a + b) \
        .foreach(print)
    sc.stop

python学习网，大量的免费python学习视频，欢迎在线学习！

问题：

from pyspark import *

找不到pyspark。那你需要把spark的bin包下面的python的所有都拷贝到（可能需要解压py4j）

%PYTHON%\Lib\site-packages下面去。这样，你的编辑器才能找到。

或者：

配置你的编辑器的环境变量：

PYTHONPATH=F:\home\spark-1.6.0-bin-hadoop2.6\python;F:\python2.7\Lib\site-packages

使用spark-submit提交时用到其他类库 –py-files xxxx/xxxx.zip,xxxx.py。

分享标题：创新互联Python教程：怎么用python写spark
分享路径：http://www.shufengxianlan.com/qtweb/news6/291056.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联