【generator101】 - generator是一种显式控制的协程

894974231 发布于2019-07-24 17:40 / 2049人阅读

摘要：协程其实就是一个可中途中断，由外部来控制执行进程的函数。这些第三方的选择的共同特点是协程的都是隐式的。这就是显示控制和隐式控制的区别。本文讨论的协程就是这一种，后面会逐渐展开到如何利用这种显示控制的协程来解决阻塞和流程阻塞的问题。

Python官方的实现里，协程只有generator这一招。协程其实就是一个可中途中断，由外部来控制执行进程的函数。除了官方的generator，还有很多第三方的实现可以选择。常见的第三方选择有：

Greenlet，基于Python的常规版本（CPython）的C扩展实现

Stackless Python，是一个修改版本的Python解释器，支持tasklet api

Pypy，是一个修改版本的Python解释器，支持continulet api。它还基于此实现了模拟Greenlet和Stackless的上层api。

这些第三方的选择的共同特点是协程的都是隐式的。比如，使用基于Greenlet的gevent，调用http api的时候，可能代码写起来是这样的

urllib2.urlopen("http://www.google.com")

表面上看上去就是一个普通的函数调用，但是内部可能是

urlopen => http call => tcp socket open => create socket, register fd on event loop

最终在最内层，把当前的协程的控制权交出去了，让event loop去回调当前的协程。也就是说urlopen这个函数调用可能导致当前执行的协程发生变化，而作为调用方可能根本不知情，除非你了解urlopen内层的所有实现，这就叫隐式的。
反观generator，只要当前的语句没有关键字“yield”，你就可以非常放心的认为当前这句话不会跳出当前协程，而会连续地执行下去。这个是一个优点，可以让代码变得更好理解，更不容易出因为执行顺序不同修改共享状态造成bug。但也是一个缺点，传统的没有yield的代码是无法“自动”地“魔法般”地享受一些一步框架可能带来的好处。比如说：

def process():
    for i in sub_process():
        yield i

def sub_process():
    yield 1
    yield 2
    yield 3

print(list(process()))

process不会因为调用了sub_process()，而sub_process()内又有yield就会自动交出当前协程的执行权，不会的。process如果想要交出执行权，必须自己再次yield。这就是显示控制和隐式控制的区别。本文讨论的协程就是generator这一种，后面会逐渐展开到如何利用这种显示控制的协程来解决I/O阻塞和流程阻塞的logic locality问题。

专线服务混合云 generated Generators Generate Generation

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/37379.html

【generator101】 - 对比generator和greenlet

摘要：比如里可以直接把执行权交给，而完全不知情。虽然不能和多线程相比，但是效果是类似的。对于多线程的代码，是任何一行代码都可能与其他线程并行。加上协程之间有共享状态的话，一定程度上会产生类似多线程的并发读写状态的。前面讲generator是显式的协程的时候缺一个例子，现在补上 def parent_generator(): print(hello) yield from ...

CoyPan 2019-07-24 17:42 评论0 收藏0
【generator101】 - stackless的api

摘要：如果说相比来说，是一种隐式的协程的话，提供的就更加隐式了。通过调用可以知道这个链表目前的大小。正式因为没有把底层的协程直接控制接口开放，而是强买强卖了一个，所以想要在像那样随心所欲的操纵协程还是颇费一番周折的。如果说greenlet相比generator来说，是一种隐式的协程的话，stackless python提供的api就更加隐式了。 import stackless def...

philadelphia 2019-07-24 17:42 评论0 收藏0
Python中的协程

摘要：协程的基本行为协程包含四种状态等待开始执行。协程中重要的两个方法调用方把数据提供给协程。注意使用调用协程时会自动预激，因此与装饰器不兼容标准库中的装饰器不会预激协程，因此能兼容句法。因此，终止协程的本质在于向协程发送其无法处理的异常。导语：本文章记录了本人在学习Python基础之控制流程篇的重点知识及个人心得，打算入门Python的朋友们可以来一起学习并交流。本文重点： 1、掌握协...

shinezejian 2019-07-31 11:05 评论0 收藏0
PHP回顾之协程

摘要：本文先回顾生成器，然后过渡到协程编程。其作用主要体现在三个方面数据生成生产者，通过返回数据数据消费消费者，消费传来的数据实现协程。解决回调地狱的方式主要有两种和协程。重点应当关注控制权转让的时机，以及协程的运作方式。转载请注明文章出处： https://tlanyan.me/php-review... PHP回顾系列目录 PHP基础 web请求 cookie web响应 sess...

Java3y 2019-07-01 12:30 评论0 收藏0
【妙用协程】 - 可持久化的协程能被用来实现工作流

摘要：常规版本的的是不可以被持久化保存的。在流程被阻塞的时候比如需要审批老板不在把协程持久化成入库，等流程不再阻塞的时候把协程重新从数据库里拉起来继续执行。常规版本的Python的generator是不可以被持久化保存的。但是stackless和pypy这两个修改版本的Python解释器可以。下面这段代码演示了如何把一个执行中的函数持久化保存，然后过段时间再把函数从上次执行到的地方原样拉起...

wpw 2019-07-24 17:40 评论0 收藏0