Pyspark 2.1.0与python 3.6不兼容,请参阅https://issues.apache.org/jira/browse/SPARK-19019。
您需要使用早期的python版本,或者可以尝试从github构建master或2.1分支,它应该可以工作。
使用count()和first()时,iPython Notebook中的PySpark引发Py4JJavaError
Pyspark 2.1.0与python 3.6不兼容,请参阅https://issues.apache.org/jira/browse/SPARK-19019。
您需要使用早期的python版本,或者可以尝试从github构建master或2.1分支,它应该可以工作。