您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

如何在Python中使用multiprocessing.pool创建全局锁/信号灯?

如何在Python中使用multiprocessing.pool创建全局锁/信号灯?

创建池时,请使用initializer和initargs参数,以便在所有子进程中定义全局变量

例如:

from multiprocessing import Pool, Lock
from time import sleep

def do_job(i):
    "The greater i is, the shorter the function waits before returning."
    with lock:
        sleep(1-(i/10.))
        return i

def init_child(lock_):
    global lock
    lock = lock_

def main():
    lock = Lock()
    poolsize = 4
    with Pool(poolsize, initializer=init_child, initargs=(lock,)) as pool:
        results = pool.imap_unordered(do_job, range(poolsize))
        print(list(results))

if __name__ == "__main__":
    main()

代码将按升序(提交作业的顺序)打印数字0-3,因为它使用了锁。注释掉该with lock:行以查看它以降序打印出数字。

解决方案在Windows和UNIX上均适用。但是,由于进程可以在unix系统上派生,因此unix只需要在模块范围内声明全局变量。子进程将获取父级内存的副本,其中包括仍有效的锁对象。因此,并不是严格要求初始化程序,但是它可以帮助记录代码的预期工作方式。当多处理能够通过派生创建流程时,以下内容也将起作用。

from multiprocessing import Pool, Lock
from time import sleep

lock = Lock()

def do_job(i):
    "The greater i is, the shorter the function waits before returning."
    with lock:
        sleep(1-(i/10.))
        return i

def main():
    poolsize = 4
    with Pool(poolsize) as pool:
        results = pool.imap_unordered(do_job, range(poolsize))
        print(list(results))

if __name__ == "__main__":
    main()
python 2022/1/1 18:46:49 有320人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶