網站首頁編程語言正文

python協程之yield和yield?from實例詳解_python

作者：代碼輸入中... ? 更新時間： 2023-02-04 編程語言

前言

字典為動詞“to yield”給出了兩個釋義：產出和讓步。對于 Python 生成器中的 yield 來說，這兩個含義都成立。yield item 這行代碼會產出一個值，提供給 next(...) 的調用方；此外，還會作出讓步，暫停執行生成器，讓調用方繼續工作，直到需要使用另一個值時再調用 next()。調用方會從生成器中拉取值。

從句法上看，協程與生成器類似，都是定義體中包含 yield 關鍵字的函數?？墒?，在協程中，yield 通常出現在表達式的右邊（例如，datum = yield），可以產出值，也可以不產出----yield 關鍵字后面沒有表達式。協程可能會從調用方接收數據，調用方使用 .send(datum) 方法把數據提供給協程。

一：生成器如何進化成協程

自python中加入yield關鍵字后，又經過了一系列的演化：

yield 關鍵字可以在表達式中使用（a = yield b）；

生成器 API 中增加了.send(value) 方法（生成器的調用方可以使用 .send(...) 方法發送數據，發送的數據會成為生成器函數中 yield 表達式的值）；

PEP 342 添加了 .throw(...) 和 .close() 方法（前者的作用是讓調用方拋出異常，在生成器中處理；后者的作用是終止生成器）；

因此，生成器可以作為協程使用。協程是指一個過程，這個過程與調用方協作，產出由調用方提供的值。

協程最近的演進來自 Python 3.3實現的“PEP 380—Syntax for Delegating to a Subgenerator”（https://www.python.org/dev/peps/pep-0380/）。PEP 380 對生成器函數的句法做了兩處改動：

生成器可以返回一個值；以前如果在生成器中給 return 語句提供值，會拋出 SyntaxError 異常；

新引入了 yield from 句法，使用它可以把復雜的生成器重構成小型的嵌套生成器，省去了之前把生成器的工作委托給子生成器所需的大量樣板代碼。

二：用作協程的生成器的基本行為

協程可以身處四個狀態中的一個。當前狀態可以使用inspect.getgeneratorstate(...) 函數確定，該函數會返回下述字符串中的一個。

GEN_CREATED：等待開始執行；

GEN_RUNNING：解釋器正在執行（只有在多線程應用中才能看到這個狀態）；

GEN_SUSPENDED：在 yield 表達式處暫停；

GEN_CLOSED：執行結束；

一個簡單的例子如下；

>>> def simple_coro2(a):
...     print('-> Started: a =', a)
...     b = yield a
...     print('-> Received: b =', b)
...     c = yield a + b
...     print('-> Received: c =', c)
...
>>> my_coro2 = simple_coro2(14)
>>> from inspect import getgeneratorstate
>>> getgeneratorstate(my_coro2)
'GEN_CREATED'
>>> next(my_coro2)
-> Started: a = 14
14
>>> getgeneratorstate(my_coro2)
'GEN_SUSPENDED'
>>> my_coro2.send(28)
-> Received: b = 28
42
>>> my_coro2.send(99)
-> Received: c = 99
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration
>>> getgeneratorstate(my_coro2)
'GEN_CLOSED'

最先調用 next(my_coro2) 函數這一步通常稱為“預激”（prime）協程（即，讓協程向前執行到第一個 yield 表達式，準備好作為活躍的協程使用）。

關鍵的一點是，協程在 yield 關鍵字所在的位置暫停執行。在賦值語句中，=右邊的代碼在賦值之前執行。因此，對于 b = yield a 這行代碼來說，等到客戶端代碼再激活協程時才會設定 b 的值。

simple_coro2 協程的執行過程分為 3 個階段，如下圖所示：

三：使用協程計算移動平均值

下面是一個計算移動平均值的協程：

def averager():
    total = 0.0
    count = 0
    average = None
    while True:
        term = yield average
        total += term
        count += 1
        average = total/count
 
>>> coro_avg = averager()
>>> next(coro_avg)   #調用 next 函數，預激協程
>>> coro_avg.send(10)
10.0
>>> coro_avg.send(30)
20.0
>>> coro_avg.send(5)
15.0

這個無限循環表明，只要調用方不斷把值發給這個協程，它就會一直接收值，然后生成結果。僅當調用方在協程上調用 .close() 方法，或者沒有對協程的引用而被垃圾回收程序回收時，這個協程才會終止。

調用 next(coro_avg) 函數后，協程會向前執行到yield 表達式，產出 average 變量的初始值——None，因此不會出現在控制臺中。此時，協程在 yield 表達式處暫停，等到調用方發送值。coro_avg.send(10) 那一行發送一個值，激活協程，把發送的值賦給 term，并更新 total、count 和 average 三個變量的值，然后開始 while 循環的下一次迭代，產出 average 變量的值，等待下一次為term 變量賦值。

四：預激協程的裝飾器

如果不預激，那么協程沒什么用。調用 my_coro.send(x) 之前，記住一定要調用next(my_coro)。為了簡化協程的用法，有時會使用一個預激裝飾器。

下面就是一個預激裝飾器的例子（Python3）：

from functools import wraps
 
def coroutine(func):
    @wraps(func)
    def primer(*args,**kwargs):
        gen = func(*args,**kwargs)
        next(gen)
        return gen
    return primer    
 
@coroutine
def averager2():
    total = 0.0
    count = 0
    average = None
    while True:
        term = yield average
        total += term
        count += 1
        average = total/count
 
>>> coro_avg = averager()
>>> from inspect import getgeneratorstate
>>> getgeneratorstate(coro_avg)
'GEN_SUSPENDED'
>>> coro_avg.send(10)
10.0
>>> coro_avg.send(30)
20.0
>>> coro_avg.send(5)
15.0

注意，使用 yield from 句法調用協程時，會自動預激。

五：終止協程和異常處理

協程中未處理的異常會向上冒泡，傳給 next 函數或 send 方法的調用方（即觸發協程的對象）。

>>> from coroaverager1 import averager
>>> coro_avg = averager()
>>> coro_avg.send(40)
40.0
>>> coro_avg.send(50)
45.0
>>> coro_avg.send('spam')
Traceback (most recent call last):
...
TypeError: unsupported operand type(s) for +=: 'float' and 'str'
>>> coro_avg.send(60)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration

由于在協程內沒有處理異常，協程會終止。如果試圖重新激活協程，會拋出StopIteration 異常。

從 Python 2.5 開始，客戶代碼可以在生成器對象上調用兩個方法：throw 和 close，顯式地把異常發給協程。

1：generator.throw(exc_type[, exc_value[, traceback]])

使生成器在暫停的 yield 表達式處拋出指定的異常。如果生成器處理了拋出的異常，代碼會向前執行到下一個 yield 表達式，而產出的值會成為調用 generator.throw方法得到的返回值。如果生成器沒有處理拋出的異常，異常會向上冒泡，傳到調用方的上下文中。

2：generator.close()

使生成器在暫停的 yield 表達式處拋出 GeneratorExit 異常。如果生成器沒有處理這個異常，或者拋出了 StopIteration 異常（通常是指運行到結尾），調用方不會報錯。如果收到 GeneratorExit 異常，生成器一定不能產出值，否則解釋器會拋出RuntimeError 異常。生成器拋出的其他異常會向上冒泡，傳給調用方。

示例如下：

class DemoException(Exception):
    """為這次演示定義的異常類型。"""
    
def demo_exc_handling():
    print('-> coroutine started')
    while True:
        try:
            x = yield
        except DemoException:
            print('*** DemoException handled. Continuing...')
        else:
            print('-> coroutine received: {!r}'.format(x))
    raise RuntimeError('This line should never run.')
    
>>> exc_coro = demo_exc_handling()
>>> next(exc_coro)
-> coroutine started
>>> exc_coro.send(11)
-> coroutine received: 11
>>> exc_coro.send(22)
-> coroutine received: 22
 
>>> exc_coro.throw(DemoException)
*** DemoException handled. Continuing...
>>> getgeneratorstate(exc_coro)
'GEN_SUSPENDED'
 
>>> exc_coro.close()
>>> from inspect import getgeneratorstate
>>> getgeneratorstate(exc_coro)
'GEN_CLOSED'

六：讓協程返回值

在Python2中，生成器函數中的return不允許返回附帶返回值。在Python3中取消了這一限制，因而允許協程可以返回值：

from collections import namedtuple
Result = namedtuple('Result', 'count average')
 
def averager():
    total = 0.0
    count = 0
    average = None
    while True:
        term = yield
        if term is None:
            break
        total += term
        count += 1
        average = total/count
    return Result(count, average)
    
>>> coro_avg = averager()
>>> next(coro_avg)
>>> coro_avg.send(10)
>>> coro_avg.send(30)
>>> coro_avg.send(6.5)
>>> coro_avg.send(None)
Traceback (most recent call last):
...
StopIteration: Result(count=3, average=15.5)

發送 None 會終止循環，導致協程結束，返回結果。一如既往，生成器對象會拋出StopIteration 異常。異常對象的 value 屬性保存著返回的值。

注意，return 表達式的值會偷偷傳給調用方，賦值給 StopIteration 異常的一個屬性。這樣做有點不合常理，但是能保留生成器對象的常規行為——耗盡時拋出StopIteration 異常。如果需要接收返回值，可以這樣：

>>> try:
...    coro_avg.send(None)
... except StopIteration as exc:
...    result = exc.value
...
>>> result
Result(count=3, average=15.5)

獲取協程的返回值要繞個圈子，可以使用Python3.3引入的yield from獲取返回值。yield from 結構會在內部自動捕獲 StopIteration 異常。這種處理方式與 for 循環處理 StopIteration 異常的方式一樣。對 yield from 結構來說，解釋器不僅會捕獲 StopIteration 異常，還會把value 屬性的值變成 yield from 表達式的值。

七：使用yield from

yield from 是 Python3.3 后新加的語言結構。在其他語言中，類似的結構使用 await 關鍵字，這個名稱好多了，因為它傳達了至關重要的一點：在生成器 gen 中使用 yield from subgen() 時，subgen 會獲得控制權，把產出的值傳給 gen 的調用方，即調用方可以直接控制 subgen。與此同時，gen 會阻塞，等待 subgen 終止。

yield from 可用于簡化 for 循環中的 yield 表達式。例如：

>>> def gen():
... for c in 'AB':
...     yield c
... for i in range(1, 3):
...     yield i
...
>>> list(gen())
['A', 'B', 1, 2]

可以改為

>>> def gen():
...     yield from 'AB'
...     yield from range(1, 3)
...
>>> list(gen())
['A', 'B', 1, 2]

yield from x 表達式對 x 對象所做的第一件事是，調用 iter(x)，從中獲取迭代器。因此，x 可以是任何可迭代的對象。

如果 yield from 結構唯一的作用是替代產出值的嵌套 for 循環，這個結構很有可能不會添加到 Python 語言中。

yield from 的主要功能是打開雙向通道，把最外層的調用方與最內層的子生成器連接起來，這樣二者可以直接發送和產出值，還可以直接傳入異常，而不用在位于中間的協程中添加大量處理異常的樣板代碼。有了這個結構，協程可以通過以前不可能的方式委托職責。

PEP 380 使用了一些yield from使用的專門術語：

委派生成器：包含 yield from <iterable> 表達式的生成器函數；

子生成器：從 yield from 表達式中 <iterable> 部分獲取的生成器；

調用方：調用委派生成器的客戶端代碼；

下圖是這三者之間的交互關系：

委派生成器在 yield from 表達式處暫停時，調用方可以直接把數據發給子生成器，子生成器再把產出的值發給調用方。子生成器返回之后，解釋器會拋出StopIteration 異常，并把返回值附加到異常對象上，此時委派生成器會恢復。

下面是一個求平均身高和體重的示例代碼：

from collections import namedtuple
 
Result = namedtuple('Result', 'count average')
 
# 子生成器
def averager():
    total = 0.0
    count = 0
    average = None
    while True:
        # main 函數發送數據到這里 
        print("in averager, before yield")
        term = yield
        if term is None: # 終止條件
            break
        total += term
        count += 1
        average = total/count
 
    print("in averager, return result")
    return Result(count, average) # 返回的Result 會成為grouper函數中yield from表達式的值
 
 
# 委派生成器
def grouper(results, key):
     # 這個循環每次都會新建一個averager 實例，每個實例都是作為協程使用的生成器對象
    while True:
        print("in grouper, before yield from averager, key is ", key)
        results[key] = yield from averager()
        print("in grouper, after yield from, key is ", key)
 
 
# 調用方
def main(data):
    results = {}
    for key, values in data.items():
        # group 是調用grouper函數得到的生成器對象
        group = grouper(results, key)
        print("\ncreate group: ", group)
        next(group) #預激 group 協程。
        print("pre active group ok")
        for value in values:
            # 把各個value傳給grouper 傳入的值最終到達averager函數中；
            # grouper并不知道傳入的是什么，同時grouper實例在yield from處暫停
            print("send to %r value %f now"%(group, value))
            group.send(value)
        # 把None傳入groupper，傳入的值最終到達averager函數中，導致當前實例終止。然后繼續創建下一個實例。
        # 如果沒有group.send(None)，那么averager子生成器永遠不會終止，委派生成器也永遠不會在此激活，也就不會為result[key]賦值
        print("send to %r none"%group)
        group.send(None)
    print("report result: ")
    report(results)
 
 
# 輸出報告
def report(results):
    for key, result in sorted(results.items()):
        group, unit = key.split(';')
        print('{:2} {:5} averaging {:.2f}{}'.format(result.count, group, result.average, unit))
 
 
data = {
    'girls;kg':[40, 41, 42, 43, 44, 54],
    'girls;m': [1.5, 1.6, 1.8, 1.5, 1.45, 1.6],
    'boys;kg':[50, 51, 62, 53, 54, 54],
    'boys;m': [1.6, 1.8, 1.8, 1.7, 1.55, 1.6],
}
 
if __name__ == '__main__':
    main(data)

grouper 發送的每個值都會經由 yield from 處理，通過管道傳給 averager 實例。grouper 會在 yield from 表達式處暫停，等待 averager 實例處理客戶端發來的值。averager 實例運行完畢后，返回的值綁定到 results[key] 上。while 循環會不斷創建 averager 實例，處理更多的值。

外層 for 循環重新迭代時會新建一個 grouper 實例，然后綁定到 group 變量上。前一個 grouper 實例（以及它創建的尚未終止的 averager 子生成器實例）被垃圾回收程序回收。

代碼結果如下：

create group:  <generator object grouper at 0x7f34ce8458e0>
in grouper, before yield from averager, key is  girls;kg
in averager, before yield
pre active group ok
send to <generator object grouper at 0x7f34ce8458e0> value 40.000000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce8458e0> value 41.000000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce8458e0> value 42.000000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce8458e0> value 43.000000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce8458e0> value 44.000000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce8458e0> value 54.000000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce8458e0> none
in averager, return result
in grouper, after yield from, key is  girls;kg
in grouper, before yield from averager, key is  girls;kg
in averager, before yield
 
create group:  <generator object grouper at 0x7f34ce845678>
in grouper, before yield from averager, key is  girls;m
in averager, before yield
pre active group ok
send to <generator object grouper at 0x7f34ce845678> value 1.500000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce845678> value 1.600000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce845678> value 1.800000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce845678> value 1.500000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce845678> value 1.450000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce845678> value 1.600000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce845678> none
in averager, return result
in grouper, after yield from, key is  girls;m
in grouper, before yield from averager, key is  girls;m
in averager, before yield
 
create group:  <generator object grouper at 0x7f34ce845620>
in grouper, before yield from averager, key is  boys;kg
in averager, before yield
pre active group ok
send to <generator object grouper at 0x7f34ce845620> value 50.000000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce845620> value 51.000000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce845620> value 62.000000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce845620> value 53.000000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce845620> value 54.000000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce845620> value 54.000000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce845620> none
in averager, return result
in grouper, after yield from, key is  boys;kg
in grouper, before yield from averager, key is  boys;kg
in averager, before yield
 
create group:  <generator object grouper at 0x7f34ce8458e0>
in grouper, before yield from averager, key is  boys;m
in averager, before yield
pre active group ok
send to <generator object grouper at 0x7f34ce8458e0> value 1.600000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce8458e0> value 1.800000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce8458e0> value 1.800000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce8458e0> value 1.700000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce8458e0> value 1.550000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce8458e0> value 1.600000 now
in averager, before yield
send to <generator object grouper at 0x7f34ce8458e0> none
in averager, return result
in grouper, after yield from, key is  boys;m
in grouper, before yield from averager, key is  boys;m
in averager, before yield
report result: 
 6 boys  averaging 54.00kg
 6 boys  averaging 1.68m
 6 girls averaging 44.00kg
 6 girls averaging 1.58m

這個試驗想表明的關鍵一點是，如果子生成器不終止，委派生成器會在yield from 表達式處永遠暫停。如果是這樣，程序不會向前執行，因為 yield from（與 yield 一樣）把控制權轉交給客戶代碼（即，委派生成器的調用方）了。

八：yield from的意義

把迭代器當作生成器使用，相當于把子生成器的定義體內聯在 yield from 表達式中。此外，子生成器可以執行 return 語句，返回一個值，而返回的值會成為 yield from 表達式的值。

PEP 380 在“Proposal”一節（https://www.python.org/dev/peps/pep-0380/#proposal）分六點說明了 yield from 的行為。這里幾乎原封不動地引述，不過把有歧義的“迭代器”一詞都換成了“子生成器”，還做了進一步說明。上面的示例闡明了下述四點：

子生成器產出的值都直接傳給委派生成器的調用方（即客戶端代碼）；

使用 send() 方法發給委派生成器的值都直接傳給子生成器。如果發送的值是None，那么會調用子生成器的 __next__() 方法。如果發送的值不是 None，那么會調用子生成器的 send() 方法。如果子生成器拋出 StopIteration 異常，那么委派生成器恢復運行。任何其他異常都會向上冒泡，傳給委派生成器；

生成器退出時，生成器（或子生成器）中的 return expr 表達式會觸發StopIteration(expr) 異常拋出；

yield from 表達式的值是子生成器終止時傳給 StopIteration 異常的第一個參數。

yield from 的具體語義很難理解，尤其是處理異常的那兩點。在PEP 380 中闡述了 yield from 的語義。還使用偽代碼（使用 Python 句法）演示了 yield from 的行為。

若想研究那段偽代碼，最好將其簡化，只涵蓋 yield from 最基本且最常見的用法：yield from 出現在委派生成器中，客戶端代碼驅動著委派生成器，而委派生成器驅動著子生成器。為了簡化涉及到的邏輯，假設客戶端沒有在委派生成器上調用throw(...) 或 close() 方法。而且假設子生成器不會拋出異常，而是一直運行到終止，讓解釋器拋出 StopIteration 異常。上面示例中的腳本就做了這些簡化邏輯的假設。

下面的偽代碼，等效于委派生成器中的 RESULT = yield from EXPR 語句（這里針對的是最簡單的情況：不支持 .throw(...) 和 .close() 方法，而且只處理 StopIteration 異常）：

_i = iter(EXPR) 
try:
    _y = next(_i)
except StopIteration as _e:
    _r = _e.value
else:
    while 1:
        _s = yield _y
    try:
        _y = _i.send(_s)
    except StopIteration as _e:
        _r = _e.value
        break
RESULT = _r

但是，現實情況要復雜一些，因為要處理客戶對 throw(...) 和 close() 方法的調用，而這兩個方法執行的操作必須傳入子生成器。此外，子生成器可能只是純粹的迭代器，不支持 throw(...) 和 close() 方法，因此 yield from 結構的邏輯必須處理這種情況。如果子生成器實現了這兩個方法，而在子生成器內部，這兩個方法都會觸發異常拋出，這種情況也必須由 yield from 機制處理。調用方可能會無緣無故地讓子生成器自己拋出異常，實現 yield from 結構時也必須處理這種情況。最后，為了優化，如果調用方調用 next(...) 函數或 .send(None) 方法，都要轉交職責，在子生成器上調用next(...) 函數；僅當調用方發送的值不是 None 時，才使用子生成器的 .send(...) 方法。

下面的偽代碼，是考慮了上述情況之后，語句：RESULT = yield from EXPR的等效代碼：

_i = iter(EXPR)
try:
    _y = next(_i)
except StopIteration as _e:
    _r = _e.value
else:
    while 1:
        try:
            _s = yield _y
        except GeneratorExit as _e:
            try:
                _m = _i.close
            except AttributeError:
                pass
            else:
                _m()
            raise _e
        except BaseException as _e:
            _x = sys.exc_info()
            try:
                _m = _i.throw
            except AttributeError:
                raise _e
            else:
                try:
                    _y = _m(*_x)
                except StopIteration as _e:
                    _r = _e.value
                    break
        else:
            try:
                if _s is None:
                    _y = next(_i)
                else:
                    _y = _i.send(_s)
            except StopIteration as _e:
                _r = _e.value
                break
RESULT = _r

上面的偽代碼中，會預激子生成器。這表明，用于自動預激的裝飾器與 yield from 結構不兼容。

總結

原文鏈接：https://blog.csdn.net/m0_59485658/article/details/128457794

上一篇：基于Python的GUI圖形用戶界面編程詳細講解_pytho
下一篇：前端面試學習中幾個常見有用的知識點_經驗交流

日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

網站首頁編程語言正文

python協程之yield和yield?from實例詳解_python

目錄

前言

一：生成器如何進化成協程

二：用作協程的生成器的基本行為

三：使用協程計算移動平均值

四：預激協程的裝飾器

五：終止協程和異常處理

六：讓協程返回值

七：使用yield from

八：yield from的意義

總結

相關推薦

日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

網站首頁 編程語言 正文

python協程之yield和yield?from實例詳解_python

目錄

前言

一：生成器如何進化成協程

二：用作協程的生成器的基本行為

三：使用協程計算移動平均值

四：預激協程的裝飾器

五：終止協程和異常處理

六：讓協程返回值

七：使用yield from

八：yield from的意義

總結

相關推薦

網站首頁編程語言正文