您不能将普通multiprocessing.Lock
对象传递给Pool
方法,因为它们不能被腌制。有两种方法可以解决此问题。一种是创建Manager()
并传递一个Manager.Lock()
:
def main():
iterable = [1, 2, 3, 4, 5]
pool = multiprocessing.Pool()
m = multiprocessing.Manager()
l = m.Lock()
func = partial(target, l)
pool.map(func, iterable)
pool.close()
pool.join()
不过,这有点重量级;使用Manager
需要产生另一个进程来托管Manager
服务器。并且所有对acquire
/release
锁的调用都必须通过IPC发送到该服务器。
另一种选择是multiprocessing.Lock()
使用initializer
kwarg在创建池时传递常规值。这将使您的锁实例在所有子工作者中都是全局的:
def target(iterable_item):
for item in items:
# Do cool stuff
if (... some condition here ...):
lock.acquire()
# Write to stdout or logfile, etc.
lock.release()
def init(l):
global lock
lock = l
def main():
iterable = [1, 2, 3, 4, 5]
l = multiprocessing.Lock()
pool = multiprocessing.Pool(initializer=init, initargs=(l,))
pool.map(target, iterable)
pool.close()
pool.join()
第二种解决方案具有不再需要的副作用partial
。