您可以使用collect_list
Hive UDAF:
from pyspark.sql.functions import expr
from pyspark import HiveContext
sqlContext = HiveContext(sc)
df = sqlContext.createDataFrame(rdd)
df.groupBy("x").agg(expr("collect_list(y) AS y"))
在1.6或更高版本中,可以使用collect_list函数:
from pyspark.sql.functions import collect_list
df.groupBy("x").agg(collect_list(y).alias("y"))
在2.0或更高版本中,无需Hive支持即可使用它。
但是,这并不是特别有效的操作,因此您应适度使用它。
另外,请勿使用字典进行模式推断。从1.2开始不推荐使用