python – 大型Pandas Dataframe并行处理

5b51 2022/1/14 8:23:01 python 字数 1260 阅读 626 来源 www.jb51.cc/python

我正在访问一个非常大的Pandas数据帧作为全局变量.通过 joblib并行访问此变量. 例如. df = db.query("select id, a_lot_of_data from table") def process(id): temp_df = df.loc[id] temp_df.apply(another_function) Parallel(n_jobs=8)

概述

例如.

df = db.query("select id,a_lot_of_data from table")

def process(id):
    temp_df = df.loc[id]
    temp_df.apply(another_function)

Parallel(n_jobs=8)(delayed(process)(id) for id in df['id'].to_list())

以这种方式访问??原始df似乎是跨进程复制数据.这是意料之外的,因为原始df在任何子进程中都没有被改变？ (或者是吗？)

一种解决方案是使用表格格式将数据存储在HDF(df.to_hdf)中.然后,您可以使用select来选择数据子集以进行进一步处理.在实践中,这对于交互式使用来说太慢了.它也非常复杂,您的工作人员需要存储他们的工作,以便在最后一步中进行整合.

另一种方法是使用target =’parallel’探索numba.vectorize.这将需要使用NumPy数组而不是Pandas对象,因此它也有一些复杂性成本.

从长远来看,希望dask能够为熊猫带来并行执行,但这不是很快就会发生的事情.

总结

以上是编程之家为你收集整理的python – 大型Pandas Dataframe并行处理全部内容，希望文章能够帮你解决python – 大型Pandas Dataframe并行处理所遇到的程序开发问题。

如果您也喜欢它,动动您的小指点个赞吧

除非注明，文章均由 laddyq.com 整理发布，欢迎转载。

转载请注明：
链接：http://laddyq.com
来源：laddyq.com
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

python – 大型Pandas Dataframe并行处理

概述

总结

分类汇总

您的鼓励是对我最大的支持