您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

使用OMP_NUM_THREADS = 1进行Python多处理

使用OMP_NUM_THREADS = 1进行Python多处理

由于您在评论中说过,您的Python程序正在调用使用OpenMP的C模块:

OpenMP在一个进程中执行多线程处理,认的线程数通常是cpu实际可以同时运行的数目。(这通常是cpu内核的数量,如果cpu具有SMT功能(例如Intel的超线程),则为该内核的数量的倍数。)因此,例如,如果您有四核非超线程cpu,则OpenMP将要认运行4个线程。

当您使用Python的multiprocessing模块时,您的程序将启动多个可以同时运行的Python进程。您可以控制进程的数量,但是通常您希望它是cpu内核/线程的数量,例如由返回multiprocessing.cpu_count()

那么,如果您运行一个multiprocessing运行4个Python进程的程序,并且每个调用一个OpenMP函数运行4个线程,那么在该四核cpu上会发生什么?您最终在4个内核上运行了16个线程。这会起作用,但不会达到最高效率,因为每个内核都必须花一些时间在任务之间进行切换。

设置OMP_NUM_THREADS=1基本上会关闭OpenMP多线程,因此您的每个Python进程都保持单线程。

但是,请确保您启动了足够的Python进程!如果您有4个cpu内核,并且仅运行2个单线程Python进程,则将使用2个内核,另外2个处于空闲状态。(在这种情况下,您可能需要设置OMP_NUM_THREADS=2。)

python 2022/1/1 18:28:53 有220人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶