报错原因

如何查看是不是这个错误

简便解决方法

彻底解决方法

应该是pyspark低里自带一个Python2版本，可以通升级pyspark自带的python版本来解决

除了rdd.foreach(print)报错NameError还有一个表现就是：

当使用rdd.collect()时，会出现不正常的u字母

[(u'DataStructure', 5), (u'Music', 1), (u'Algorithm', 5), (u'DataBase', 5)]

在启动的时候可以看到你的python版本

上图的python版本就是python 2.7.5

每次启动pyspark时，先输入一条语句(from __future__ import print_function)即可

1.安装python3

参考链接：centos安装python3详细教程_知行合一-CSDN博客_centos安装python3

如果要用的3.0以上的版本需要手动安装，下载地址：https://www.python.org/ftp/python/

(1)先查看系统python的位置在哪儿

python2.7默认安装是在 /usr/bin目录中，切换到/usr/bin/

查看有关python的文件的详细信息

从下面的图中可以看出，python指向的是python2，python2指向的是python2.7，因此我们可以装个python3，然后将python指向python3，然后python2指向python2.7，那么两个版本的python就能共存了

(2)下载python3的包之前，要先安装相关的依赖包，用于下载编译python3

运行了以上命令以后，就安装了编译python3所用到的相关依赖

(3)默认的centos7是没有安装pip，先添加epel扩展源

(4)安装pip

(5)安装wget

(6)用wget下载python3的源码包，或者自己先下载好，上传到服务器再安装，如果网络快可以直接安装

(7)编译python3源码包，解压

(8)进入解压后的目录，依次执行下面命令进行手动编译

(9)安装依赖zlib、zlib-deve

(10)最后没提示出错，就代表正确安装了，在/usr/local/目录下就会有python3目录

(11)添加软链接，将原来的链接备份

(12)添加python3的软链接

(13)测试是否安装成功

(14)更改yum配置，因为其要用到python2才能执行，否则会导致yum不能正常使用

(15)把第一行的#! /usr/bin/python 修改为如下

(16)还有一个地方也需要修改

(17)把第一行的#! /usr/bin/python 修改如下

(18)启动python2

(19)启动python3

改好之后的链接

2.pyspark设置python版本

参考链接：pyspark设置python的版本_abc_321a的博客-CSDN博客_spark指定python版本

(1)修改spark-env.sh文件，在末尾添加export PYSPARK_PYTHON=/usr/local/bin/python3.6

(2)修改spark安装包bin目录下的pyspark

修改如图两个位置，将原来的python改成python3，如下图

（3）启动pyspark可以看到python版本变了

3.执行语句测试应该就不会报错了

如有侵权，联系删除