pyspark 如何设置python的版本

PySpark 在工作程序中都需要使用的为默认环境的python版本,怎样把python的版本切换成3的版本,您可以通过 PYSPARK_PYTHON 指定要使用的Python版本。

python3 环境需要提前安装好,如果没按照可以参考centos7 下python2与python3共存

修改spark-env.sh文件, 在末尾添加export PYSPARK_PYTHON=/usr/bin/python3

若为集群环境,需要把修改后的 spark-env.sh 分发到其他子节点的spark安装包下的conf目录下

修改spark安装包bin目录下的pyspark,修改下图红色方框的位置,将原来PYSPARK_PYTHON=python改成PYSPARK_PYTHON=python3,同样的,其他子节点也都需要修改

修改前

1
2
3
4
5
6
7
8
if [[ -z "$PYSPARK_PYTHON" ]]; then
if [[ $PYSPARK_DRIVER_PYTHON == *ipython* && ! $WORKS_WITH_IPYTHON ]]; then
echo "IPython requires Python 2.7+; please install python2.7 or set PYSPARK_PYTHON" 1>&2
exit 1
else
PYSPARK_PYTHON=python3
fi
fi

重启Spark,启动pyspark,可发现python的版本已切换成3.6.4的版本

评论