您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

Python timeit令人惊讶的结果:Counter()vs defaultdict()vs dict()

Python timeit令人惊讶的结果:Counter()vs defaultdict()vs dict()

是的,这是预期的;该Counter() 构造 的用途Counter.update(),它使用self.get()加载初始值,而不是依靠__missing__

此外,defaultdict__missing__工厂完全由C代码处理,尤其是在使用其他类似的类型int()(本身由C实现)时。Counter源是纯Python,因此该Counter.__missing__方法需要Python框架才能执行。

由于dict.get()仍在C中处理,因此对于,构造器方法是更快的方法Counter(),只要您使用相同的技巧Counter.update()和别名self.get作为本地优先项即可:

>>> import timeit
>>> import random
>>> import sys
>>> sys.version_info
sys.version_info(major=2, minor=7, micro=9, releaselevel='final', serial=0)
>>> to_count = [random.randint(0, 100) for r in range(60)]
>>> timeit.timeit('for i in to_count: c[i] += 1',
...               'from collections import Counter; from __main__ import to_count; c = Counter()',
...               number=10000)
0.2510359287261963
>>> timeit.timeit('for i in to_count: c[i] = c_get(i, 0) + 1',
...               'from collections import Counter; from __main__ import to_count; c = Counter(); c_get = c.get',
...               number=10000)
0.20978617668151855

两者defaultdictCounter为他们的功能,而不是他们的表现内置有用的类; 不依赖__missing__钩子可以更快:

>>> timeit.timeit('for i in to_count: d[i] = d_get(i, 0) + 1',
...               'from __main__ import to_count; d = {}; d_get = d.get',
...               number=10000)
0.11437392234802246

这是使用别名dict.get()方法以实现最大速度的常规词典。但是随后,您还必须重新实现CounterCounter.most_common()方法的bag行为。该defaultdict用例去的方式数不胜数。

在Python 3.2中,Counter()通过添加一个处理这种情况的C库来更新速度。参见问题10667。在Python 3.4上进行测试,Counter()构造函数现在击败了别名dict.get情况:

>>> timeit.timeit('Counter(to_count)',
...               'from collections import Counter; from __main__ import to_count',
...               number=100000)
0.8332311600097455
>>> timeit.timeit('for i in to_count: d[i] = d_get(i, 0) + 1',
...               'from __main__ import to_count; d = {}; d_get = d.get',
...               number=100000)
0.961191965994658
>>> import sys
>>> sys.version_info
sys.version_info(major=3, minor=4, micro=2, releaselevel='final', serial=0)

(注意:要获得有意义的计时结果,迭代次数从10k增加到100k;因此,如果将上述dict.get()情况与上述情况进行比较,则需要在计时中乘以10倍,即1.144秒)。

python 2022/1/1 18:33:11 有321人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶