您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

具有多处理的Python装饰器失败

具有多处理的Python装饰器失败

问题是,泡菜需要某种方式来重新组装您泡菜的所有东西。请参阅此处以获取可腌制食品的列表:

http://docs.python.org/library/pickle.html#what-c??an-be-pickled-and- unpickled

酸洗时my_func,需要酸洗以下成分:

这可以。Pickle将存储该类的名称并对其__dict__内容进行腌制。取消拾取时,它将使用名称查找类,然后创建一个实例并填写__dict__内容。但是,__dict__内容存在问题…

这不是很好。这是顶层的功能,通常可以将它们腌制。Pickle将存储该函数名称。但是,问题在于名称“ my_func”不再绑定到未修饰的函数,而是绑定到修饰的函数。这意味着pickle将无法查找未修饰的函数来重新创建对象。可悲的是,泡菜没有任何办法知道它始终试图在其名称下找到要泡菜的对象__main__.my_func

您可以像这样更改它,它将起作用:

import random
import multiprocessing
import functools

class my_decorator(object):
    def __init__(self, target):
        self.target = target
        try:
            functools.update_wrapper(self, target)
        except:
            pass

    def __call__(self, candidates, args):
        f = []
        for candidate in candidates:
            f.append(self.target([candidate], args)[0])
        return f

def old_my_func(candidates, args):
    f = []
    for c in candidates:
        f.append(sum(c))
    return f

my_func = my_decorator(old_my_func)

if __name__ == '__main__':
    candidates = [[random.randint(0, 9) for _ in range(5)] for _ in range(10)]
    pool = multiprocessing.Pool(processes=4)
    results = [pool.apply_async(my_func, ([c], {})) for c in candidates]
    pool.close()
    f = [r.get()[0] for r in results]
    print(f)

您已经观察到装饰器功能在类无效时起作用。我相信这是因为functools.wraps修改修饰的函数,使其具有包装的函数名称和其他属性。就pickle模块所能分辨的而言,它与普通的顶级函数没有区别,因此它通过存储其名称来对其进行腌制。取消拾取后,该名称便绑定到装饰的函数上,因此一切正常。

python 2022/1/1 18:46:14 有311人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶