您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

Apache Spark如何处理python多线程问题?

Apache Spark如何处理python多线程问题?

多线程python问题与Apache Spark内部结构分开。Spark上的并行性在JVM内部处理。

在此处输入图片说明

原因是在Python驱动程序中,SparkContext使用Py4J启动JVM并创建JavaSparkContext。

Py4J仅在驱动程序上用于Python和Java SparkContext对象之间的本地通信。大数据传输是通过不同的机制执行的。

Python中的RDD转换映射为Java中的PythonRDD对象的转换。在远程工作机上,PythonRDD对象启动Python子进程,并使用管道与它们进行通信,发送用户代码和要处理的数据。

PS:我不确定这是否能完全回答您的问题。

python 2022/1/1 18:28:04 有202人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶