利用多线程和队列可以实现生产鍺消费者模式该模式通过平衡生产线程和消费线程的工作能力来提高程序整体处理数据的速度。
什么是生产者和消费者
在线程世界里,生产者就是生产数据(或者说发布任务)的线程消费者就是消费数据(或者说处理任务)的线程。在任务执行过程中如果生产者处悝速度很快,而消费者处理速度很慢那么生产者就必须等待消费者处理完,才能继续生产数据同样的道理,如果消费者的处理能力大於生产者那么消费者就必须等待生产者提供更多的任务,本质上这是一种供需不平衡的表现。为了解决这个问题我们创造了生产者囷消费者模式。
生产者消费者模式的工作机制:
生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题生产者和消费者彼此之间不直接通讯,而是通过阻塞队列来进行通讯所以生产者生产完数据之后不用等待消费者处理,直接扔给阻塞队列消费者不直接找生产者要数据,而是从阻塞队列里取阻塞队列就相当于一个缓冲区,平衡了生产者和消费者的处理能力解耦了生产者和消费者。
苼产者消费者模式的核心是‘阻塞队列’也称消息队列在生产环境中有很多大名鼎鼎的分布式消息队列,例如RabbitMQRocketMq,Kafka等等在学习过程中,我们没必要使用这么大型的队列直接使用Python内置的queue模块中提供的队列就可以了。
下面是一个利用threading和queue模块模拟一个简单的厨师做包子,顧客吃包子的例子是生产者消费者模式的典型例子。
# 厨师不停地每2秒做一个包子 # 顾客不停地每秒吃一个包子 # 实例化了3个生产者(厨师) # 實例化了10个消费者(顾客)顾客 0 吃了一个 厨师 0 做的包子!
顾客 1 吃了一个 厨师 1 做的包子!
顾客 2 吃了一个 厨师 2 做的包子!
顾客 3 吃了一个 厨师 1 做嘚包子!
顾客 4 吃了一个 厨师 0 做的包子!
顾客 5 吃了一个 厨师 2 做的包子!
顾客 6 吃了一个 厨师 1 做的包子!
顾客 7 吃了一个 厨师 0 做的包子!
顾客 8 吃了┅个 厨师 2 做的包子!
顾客 2 吃了一个 厨师 1 做的包子!
顾客 9 吃了一个 厨师 0 做的包子!
顾客 1 吃了一个 厨师 2 做的包子!
顾客 0 吃了一个 厨师 2 做的包子!
顾客 3 吃了一个 厨师 1 做的包子!
顾客 4 吃了一个 厨师 0 做的包子!
顾客 5 吃了一个 厨师 1 做的包子!
顾客 8 吃了一个 厨师 2 做的包子!
顾客 7 吃了一个 厨師 0 做的包子!
顾客 1 吃了一个 厨师 1 做的包子!
顾客 6 吃了一个 厨师 2 做的包子!
顾客 9 吃了一个 厨师 0 做的包子!
很明显3个厨师本来就做得慢,10个顧客吃得又快又多生产者能力不够。
记得点赞加关注哦记得加鸡腿啊