Python -- Queue模块

rubyshen 发布于2019-07-31 11:04 / 3329人阅读

摘要：默认值为，指定为时代表可以阻塞，若同时指定，在超时时返回。当消费者线程调用意味着有消费者取得任务并完成任务，未完成的任务数就会减少。当未完成的任务数降到，解除阻塞。

学习契机

最近的一个项目中在使用grpc时遇到一个问题，由于client端可多达200，每个端口每10s向grpc server发送一次请求，server端接受client的请求后根据request信息更新数据库，再将数据库和配置文件的某些数据封装后返回给client。原代码的性能是0.26s/request，远远达不到所需性能，其中数据库更新操作耗时达到80%，其中一个优化点就是将数据库更新操作放在独立的线程中。
在次之前没有使用过线程编码，学以致用后本着加深理解的想法，将这个过程记录下来，这里先记下用于线程间通信的队列Queue的相关知识。

概念

Python2中队列库名称为Queue，Python3中已改名为queue，项目使用Python2.7.5版本，自然是使用Queue。
Queue模块中提供了同步的、线程安全的队列类，包括FIFO（先入先出)队列Queue，LIFO（后入先出）队列LifoQueue，和优先级队列PriorityQueue。这些队列都实现了锁原语，可在多线程通信中直接使用。

Queue模块定义了以下类及异常，在队列类中，maxsize限制可入队列数据的数量，值小于等于0时代表不限制:

Queue.Queue(maxsize=0) FIFO队列

Queue.LifoQueue(maxsize=0) LIFO队列

Queue.PriorityQueue(maxsize=0) 优先级队列

Queue.Empty TODO

Queue.Full

Queue（Queue、LifoQueue、PriorityQueue）对象提供以下方法：

Queue.qsize()
返回队列大小，但是不保证qsize() > 0时，get()不会阻塞；也不保证qsize() < maxsize时，put()不会阻塞。

Queue.empty()
返回True时，不保证put()时不会阻塞；返回False时不保证get()不会阻塞。

Queue.full()
返回True时，不保证get()时不会阻塞；返回False时不保证put()不会阻塞。

Queue.put(item[, block[, timeout]])
block默认值为False，指定为True时代表可以阻塞，若同时指定timeout，在超时时返回Full exception。

Queue.put_nowait(item)
等同put(item, False)

Queue.get([block[, timeout]])

Queue.get_nowait()
等同get(item, False)

Queue.task_done()
消费者线程调用。调用get()后，可调用task_done()告诉队列该任务已经处理完毕。
如果当前一个join()正在阻塞，它将在队列中的所有任务都处理完时恢复执行（即每一个由put()调用入队的任务都有一个对应的task_done()调用）。

Queue.join()
阻塞调用线程，直到队列中的所有任务被处理掉。
只要有数据被加入队列，未完成的任务数就会增加。当消费者线程调用task_done()（意味着有消费者取得任务并完成任务），未完成的任务数就会减少。当未完成的任务数降到0，join()解除阻塞。

应用

UpdateThread是单一消费者进程，获取FIFO队列中的数据处理，GrpcThread是multi生产者线程，需要对往队列中丢数据这个操作加锁保证数据先后顺序。

import threading
import Queue
import time

q = Queue.Queue()
q_lock = threading.Lock()


class UpdateThread(threading.Thread):

    def __init__(self):
        super(self.__class__, self).__init__()
        self.setName(self.__class__.__name__)
        self._setName = self.setName

    @staticmethod
    def update_stat():
        global q
        while not q.empty():
            stat = q.get()
            print "Update stat (%s) in db" % stat

    def run(self):
        while True:
            self.update_stat()
            time.sleep(0.1)


class GrpcThread(threading.Thread):

    def compose_stat(self, stat):
        global q
        q_lock.acquire()
        q.put("%d: %s" % (stat, self.name))
        q_lock.release()
        return

    def run(self):
        for i in range(10):
            self.compose_stat(i)
            time.sleep(0.1)


def launch_update_thread():
    UpdateThread().start()


if __name__ == "__main__":
    launch_update_thread()
    thread1 = GrpcThread()
    thread2 = GrpcThread()

    thread1.start()
    thread2.start()

专线服务私有云 python模块 python 多模块 python 跨模块 python 模块层

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/44586.html

用Python多线程实现生产者消费者模式

摘要：在生产者与消费者之间的缓冲区称之为仓库。生产者负责往仓库运输商品，而消费者负责从仓库里取出商品，这就构成了生产者消费者模式。中的多线程编程在实现生产者消费者模式之前，我们先学习下中的多线程编程。什么是生产者消费者模式在软件开发的过程中，经常碰到这样的场景：某些模块负责生产数据，这些数据由其他模块来负责处理（此处的模块可能是：函数、线程、进程等）。产生数据的模块称为生产者，而处理数据...

lastSeries 2019-07-25 11:43 评论0 收藏0
python threading模块使用以及python多线程操作的实践(使用Queue队列模块)

摘要：介绍今天花了近乎一天的时间研究关于多线程的问题，查看了大量源码自己也实践了一个生产消费者模型，所以把一天的收获总结一下。提供了两个模块和来支持的多线程操作。使用来阻塞线程。介绍今天花了近乎一天的时间研究python关于多线程的问题，查看了大量源码自己也实践了一个生产消费者模型，所以把一天的收获总结一下。由于GIL(Global Interpreter Lock)锁的关系,纯的p...

shusen 2019-07-24 18:27 评论0 收藏0
python大佬养成计划----分布式进程

摘要：分布式进程在和中，应当优选，因为更稳定，而且，可以分布到多台机器上，而最多只能分布到同一台机器的多个上。由于模块封装很好，不必了解网络通信的细节，就可以很容易地编写分布式多进程程序。分布式进程在Thread和Process中，应当优选Process，因为Process更稳定，而且，Process可以分布到多台机器上，而Thread最多只能分布到同一台机器的多个CPU上。 Pytho...

honmaple 2019-07-30 17:53 评论0 收藏0
通过网络图片小爬虫对比Python中单线程与多线（进）程的效率

摘要：批评的人通常都会说的多线程编程太困难了，众所周知的全局解释器锁，或称使得多个线程的代码无法同时运行。多线程起步首先让我们来创建一个名为的模块。多进程可能比多线程更易使用，但需要消耗更大的内存。批评 Python 的人通常都会说 Python 的多线程编程太困难了，众所周知的全局解释器锁（Global Interpreter Lock，或称 GIL）使得多个线程的 Python 代码无...

W4n9Hu1 2019-07-31 12:22 评论0 收藏0