您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

列表理解和生成器表达式的收益

列表理解和生成器表达式的收益

:这是cpython处理incomprehensionyield生成器表达式中的错误,已在Python 3.8中修复,并在Python 3.7中弃用了警告。请参阅Python错误报告Python 3.7Python 3.8 的新增功能 条目。

生成器表达式以及set和dict理解将编译为(生成器)函数对象。在Python 3中,列表推导得到相同的处理。从本质上讲,它们都是一个新的嵌套范围。

如果尝试反汇编生成器表达式,则可以看到以下内容

>>> dis.dis(compile("(i for i in range(3))", '', 'exec'))
  1           0 LOAD_CONST               0 (<code object <genexpr> at 0x10f7530c0, file "", line 1>)
              3 LOAD_CONST               1 ('<genexpr>')
              6 MAKE_FUNCTION            0
              9 LOAD_NAME                0 (range)
             12 LOAD_CONST               2 (3)
             15 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
             18 GET_ITER
             19 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
             22 POP_TOP
             23 LOAD_CONST               3 (None)
             26 RETURN_VALUE
>>> dis.dis(compile("(i for i in range(3))", '', 'exec').co_consts[0])
  1           0 LOAD_FAST                0 (.0)
        >>    3 FOR_ITER                11 (to 17)
              6 STORE_FAST               1 (i)
              9 LOAD_FAST                1 (i)
             12 YIELD_VALUE
             13 POP_TOP
             14 JUMP_ABSOLUTE            3
        >>   17 LOAD_CONST               0 (None)
             20 RETURN_VALUE

上面显示生成器表达式已编译为代码对象,并作为函数加载(MAKE_FUNCTION代码对象创建函数对象)。该.co_consts[0]引用使我们可以看到为表达式生成代码对象,并且它的用法YIELD_VALUE生成函数一样。

因此,yield表达式在该上下文中起作用,因为编译器将它们视为伪装函数

这是一个错误yield在这些表达式中没有位置。Python 3.7之前的Python 语法 允许它使用(这就是为什么代码可编译的原因),但是yield表达式规范表明使用yield此处实际上不起作用:

yield表达式仅在定义 生成 函数时使用,因此只能在函数定义的主体中使用。

已确认这是问题10544中错误。该bug的解决方案是在Python 3.8中使用yieldyield from引发一个SyntaxError错误; 在Python 3.7中,它提出了一个DeprecationWarning以确保代码停止使用此构造。如果您使用启用了Python 3兼容性警告的-3命令行开关,则会在Python 2.7.15及更高版本中看到相同的警告。

3.7.0b1警告看起来像这样;将警告变成错误会给您一个SyntaxError例外,就像3.8中那样:

>>> [(yield i) for i in range(3)]
<stdin>:1: DeprecationWarning: 'yield' inside list comprehension
<generator object <listcomp> at 0x1092ec7c8>
>>> import warnings
>>> warnings.simplefilter('error')
>>> [(yield i) for i in range(3)]
  File "<stdin>", line 1
SyntaxError: 'yield' inside list comprehension

如何之间的差异yield列表中的理解和yield在发电机运转的表达在这两个表达式是如何实现的差异造成的。在Python 3中,列表推导使用LIST_APPEND调用将堆栈顶部添加到要构建的列表中,而生成器表达式则产生该值。添加(yield <expr>)只是YIELD_VALUE向其中一个添加一个操作码:

>>> dis.dis(compile("[(yield i) for i in range(3)]", '', 'exec').co_consts[0])
  1           0 BUILD_LIST               0
              3 LOAD_FAST                0 (.0)
        >>    6 FOR_ITER                13 (to 22)
              9 STORE_FAST               1 (i)
             12 LOAD_FAST                1 (i)
             15 YIELD_VALUE
             16 LIST_APPEND              2
             19 JUMP_ABSOLUTE            6
        >>   22 RETURN_VALUE
>>> dis.dis(compile("((yield i) for i in range(3))", '', 'exec').co_consts[0])
  1           0 LOAD_FAST                0 (.0)
        >>    3 FOR_ITER                12 (to 18)
              6 STORE_FAST               1 (i)
              9 LOAD_FAST                1 (i)
             12 YIELD_VALUE
             13 YIELD_VALUE
             14 POP_TOP
             15 JUMP_ABSOLUTE            3
        >>   18 LOAD_CONST               0 (None)
             21 RETURN_VALUE

YIELD_VALUE字节码索引分别为15和12的操作码是多余的,是巢中的杜鹃。因此,对于list-comprehension-turned- generator,您每次生成1都会产生堆栈的顶部(用yield返回值替换堆栈的顶部),而对于Generator expression变体,您将产生堆栈的顶部(整数),然后 再次 产生,但现在堆栈包含的返回值,yield您将获得None第二次。

对于列表理解,list仍然会返回预期的对象输出,但是Python 3将其视为生成器,因此将返回值附加为StopIteration异常作为value属性

>>> from itertools import islice
>>> listgen = [(yield i) for i in range(3)]
>>> list(islice(listgen, 3))  # avoid exhausting the generator
[0, 1, 2]
>>> try:
...     next(listgen)
... except StopIteration as si:
...     print(si.value)
... 
[None, None, None]

这些None对象是yield表达式的返回值。

并再次重申这一点;同样的问题也适用于Python 2和Python 3中的字典和集合理解;在Python 2中,yield返回值仍会添加到预期的字典或set对象中,并且返回值最后一次“屈服”而不是附加到StopIteration异常:

>>> list({(yield k): (yield v) for k, v in {'foo': 'bar', 'spam': 'eggs'}.items()})
['bar', 'foo', 'eggs', 'spam', {None: None}]
>>> list({(yield i) for i in range(3)})
[0, 1, 2, set([None])]
其他 2022/1/1 18:42:40 有453人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶