资讯专栏INFORMATION COLUMN

python 生产者消费者模式

cjie / 2769人阅读

摘要:为什么使用生产者消费者模式在线程世界里,生产者就是生产数据的线程,消费者就是消费数据的线程。什么是生产者消费者模式生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。

生产者消费者模式概述

在并发编程中使用生产者和消费者模式能够解决大不多的并发问题。该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度。

为什么使用生产者消费者模式

在线程世界里,生产者就是生产数据的线程,消费者就是消费数据的线程。在多线程开发中,如果生产者处理速度很快,而消费者处理速度很慢,那么生产者就必须等待消费者处理完才能继续生产数据。同样的道理,如果消费者的处理能力大于生产者,那么消费者就必须等待生产者。为了解决这个问题引入了生产者和消费者模式。

什么是生产者消费者模式

生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯,而通过阻塞队列来进行通讯,所以生产者生产完数据之后不用通过等待消费者处理,直接扔给阻塞队列,消费者不着生产者拿数据,而是直接从阻塞队列中取,阻塞队列相当于一个缓冲区,平衡了生产者和消费者的处理能力。

代码案例

import threadingimport queueimport time#定义一个生产者def producer():    count = 0    #判断队列中任务的数量    while q.qsize()<5:        print("第%s顿饭......",count)        q.put(count)        count+=1        time.sleep(1)#定义一个消费者def consumer(name):    while True:        print("%s 吃了第%s饭" % (name,q.get()))#定义一个队列q = queue.Queue(maxsize=4)t1 = threading.Thread(target=producer)t2 = threading.Thread(target=consumer,args=("jibu",))t1.start()t2.start()结果:%s顿饭...... 0jibu 吃了第0饭第%s顿饭...... 1jibu 吃了第1饭第%s顿饭...... 2jibu 吃了第2饭第%s顿饭...... 3jibu 吃了第3饭第%s顿饭...... 4jibu 吃了第4饭第%s顿饭...... 5jibu 吃了第5饭第%s顿饭...... 6jibu 吃了第6饭第%s顿饭...... 7jibu 吃了第7饭第%s顿饭...... 8# 另外,如果供大于求或者求大于供,可以在相对小的一方在增加线程的数量

当然如果需要进一步优化可以让消费者执行完队列中所有任务的时候告诉生产者一声

import threadingimport queueimport time#定义一个生产者def producer():    count = 0    #判断队列中任务的数量    for i in range(5):        print("第%s顿饭......",count)        q.put(count)        count+=1        time.sleep(1)    q.join()#定义一个消费者def consumer(name):    while True:        print("%s 吃了第%s饭" % (name,q.get()))        q.task_done()        print("消费者执行完了所有任务")#定义一个队列q = queue.Queue(maxsize=4)t1 = threading.Thread(target=producer)t2 = threading.Thread(target=consumer,args=("jibu",))t1.start()t2.start()结果第0顿饭......jibu 吃了第0饭消费者执行完了所有任务第1顿饭......jibu 吃了第1饭消费者执行完了所有任务第2顿饭......jibu 吃了第2饭消费者执行完了所有任务第3顿饭......jibu 吃了第3饭消费者执行完了所有任务第4顿饭......jibu 吃了第4饭消费者执行完了所有任务

结论:
生产者消费者的2个主要作用
1.程序的解耦合
2.程序的异步执行,提高了程序的运行效率(在排队的时候可以做别的事,过一会可以回来拿这个结果)

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/119307.html

相关文章

  • Python多线程实现产者费者模式

    摘要:在生产者与消费者之间的缓冲区称之为仓库。生产者负责往仓库运输商品,而消费者负责从仓库里取出商品,这就构成了生产者消费者模式。中的多线程编程在实现生产者消费者模式之前,我们先学习下中的多线程编程。 什么是生产者消费者模式 在软件开发的过程中,经常碰到这样的场景:某些模块负责生产数据,这些数据由其他模块来负责处理(此处的模块可能是:函数、线程、进程等)。产生数据的模块称为生产者,而处理数据...

    lastSeries 评论0 收藏0
  • Python多线程实现产者费者模式

    摘要:在生产者与消费者之间的缓冲区称之为仓库。生产者负责往仓库运输商品,而消费者负责从仓库里取出商品,这就构成了生产者消费者模式。中的多线程编程在实现生产者消费者模式之前,我们先学习下中的多线程编程。 什么是生产者消费者模式 在软件开发的过程中,经常碰到这样的场景:某些模块负责生产数据,这些数据由其他模块来负责处理(此处的模块可能是:函数、线程、进程等)。产生数据的模块称为生产者,而处理数据...

    _Suqin 评论0 收藏0
  • rabbitmq中文教程python版 - 发布 / 订阅

    摘要:交易所在本教程的前几部分中,我们发送消息并从队列中接收消息。消费者是接收消息的用户的应用程序。中的消息传递模型的核心思想是生产者永远不会将任何消息直接发送到队列中。交换和队列之间的关系称为绑定。 源码:https://github.com/ltoddy/rabbitmq-tutorial 发布 / 订阅 (using the Pika Python client) 本章节教程重点介绍的...

    alphahans 评论0 收藏0
  • python大佬养成计划-----多进程

    摘要:多进程执行任务结束,创建进程和销毁进程是时间的,如果长度不够,会造成多线程快过多进程多线程执行任务结束,进程间通信生产者消费者模型与队列演示了生产者和消费者的场景。 进程 Python是运行在解释器中的语言,查找资料知道,python中有一个全局锁(GIL),在使用多进程(Thread)的情况下,不能发挥多核的优势。而使用多进程(Multiprocess),则可以发挥多核的优势真正地提...

    zhangfaliang 评论0 收藏0
  • 消息队列深入解析

    摘要:消息队列和消息消息队列是在消息的传输过程中保存消息的容器。但是在使用消息队列之后,用户的请求数据发送给消息队列之后立即返回,再由消息队列的消费者进程从消息队列中获取数据,异步写入数据库。来自官网翻译高级消息队列协议。 消息队列和消息 消息队列(Message queue)是在消息的传输过程中保存消息的容器。消息 是在两台计算机间传送的数据单位。消息可以非常简单,例如只包含文本字符串;...

    Carbs 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<