您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

创建Spark DataFrame。无法推断类型的架构:

创建Spark DataFrame。无法推断类型的架构:

SparkSession.createDataFrame,这是发动机罩下使用的,需要一个RDD/listRow/ tuple/list/ dict *或者pandas.DataFrame,除非用模式DataType设置。尝试将float转换为元组,如下所示:

myFloatRdd.map(lambda x: (x, )).toDF()

甚至更好:

from pyspark.sql import Row

row = Row("val") # Or some other column name
myFloatRdd.map(row).toDF()

要从DataFrame标量列表创建一个,您必须SparkSession.createDataFrame直接使用并提供一个模式***:

from pyspark.sql.types import FloatType

df = spark.createDataFrame([1.0, 2.0, 3.0], FloatType())

df.show()

## +-----+
## |value|
## +-----+
## |  1.0|
## |  2.0|
## |  3.0|
## +-----+

但对于一个简单的范围,最好使用SparkSession.range

from pyspark.sql.functions import col

spark.range(1, 4).select(col("id").cast("double"))

*不再受支持

** Spark sql还为Python对象公开的模式推断提供了有限的支持__dict__

***仅在Spark 2.0或更高版本中受支持

其他 2022/1/1 18:34:46 有462人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶