前言：前兩天準(zhǔn)備用 Python 在 Spark 上處理量幾十G的數(shù)據(jù)，熟料在利用PyCharm進(jìn)行PySpark遠(yuǎn)程調(diào)試時(shí)掉入深坑，特寫(xiě)此博文以幫助同樣深處坑中的bigdata&machine learning fans早日出坑。

Version ：Spark 1.5.0、Python 2.7.14

1. 遠(yuǎn)程Spark集群環(huán)境

首先Spark集群要配置好且能正常啟動(dòng)，版本號(hào)可以在Spark對(duì)應(yīng)版本的官方網(wǎng)站查到，注意：Spark 1.5.0作為一個(gè)比較古老的版本，不支持Python 3.6+；另外Spark集群的每個(gè)節(jié)點(diǎn)的Python版本必須保持一致。這里只講如何加入pyspark遠(yuǎn)程調(diào)試所需要修改的部分。在$SPARK_HOME/conf/spark-env.sh中添加一行：

export PYSPARK_PYTHON=/home/hadoop/anaconda2/bin/python2

這里的Python路徑是集群上Python版本的路徑，我這里是用的anaconda安裝的Python2，所以路路徑如上。正常啟動(dòng)Spark集群后，在命令行輸入pyspark后回車(chē)，能正確進(jìn)入到pyspark shell。

2. 本地PyCharm配置

首先將Spark集群的spark-1.5.0部署包拷貝到本地機(jī)器，并在/etc/hosts(Linux類(lèi)機(jī)器)或C:/Windows/System32…./hosts(Windows機(jī)器)中加入Spark集群Master節(jié)點(diǎn)的IP與主機(jī)名的映射；本地正確安裝Spark集群同版本Python；

安裝py4j

添加spark-1.5.0/python目錄

新建一個(gè)Python文件Simple，編輯Edit Configurations添加SPARK_HOME變量

寫(xiě)一個(gè)類(lèi)似下面的簡(jiǎn)單測(cè)試程序

# -*- encoding: UTF-8 -*-# @auther:Mars# @datetime:2018-03-01from pyspark import SparkContextsc = SparkContext("spark://master:7077","Simple APP")logData = sc.textFile("hdfs://master:9000/README.md").cache()numAs = logData.filter(lambda s: 'a' in s).count()numBs = logData.filter(lambda s: 'b' in s).count()print("Lines with a: %i, lines with b: %i"%(numAs, numBs))sc.stop()

運(yùn)行可以得到看到下圖，就OK了~

切記，1）本地與Spark集群的版本要一致；2）程序中不要用IP地址（不信可以試試，如果你用IP地址不報(bào)錯(cuò)，請(qǐng)告知我~謝謝）

以上這篇PyCharm+PySpark遠(yuǎn)程調(diào)試的環(huán)境配置的方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持武林站長(zhǎng)站。