课程: 编程基础知识：知识延伸
生产者消费者模型
在这节课中，我将介绍在多进程技术中， 最经典的生产者和消费者模型。 生产者消费者模型， 是一种比较常见的并发编程模型。 它用于解决 生产者和消费者之间的数据交换和协作问题。 它一共有三个对象： 分别是生产者、消费者，还有缓冲区。 生产者就是负责生产数据， 把数据放入共享的缓冲区中； 而生产者的任务是不断地生产数据， 直到达到某种条件为止。 而消费者则负责从缓冲区中获取数据， 并对数据进行处理。 需要说明的是， 多个生产者之间是可以同步运行的。 多个消费者之间也是可以同步运行的。 通过应用多个生产者和多个消费者 并发的产生任务和处理任务， 程序的效率可以得到极大的提高， 是并行编程的最经典的模型。 我们看缓冲区。 它适用于存放生产者生成的数据 以供消费者消费。 一般而言，缓冲区， 它可以是对列、栈或者是其他形式数据结构。 它实际上起到了 生产者和消费者之间的桥梁作用。 接下来，我们通过一段实际的代码， 来学习生产者和消费者模型。 生产者消费者模型， 是一种常见的并发编程设计模式。 主要用来解决 生产者和消费者之间的 资源共享和同步问题。 它的过程是生产者负责生成数据， 并将其放到缓冲区内， 而消费者负责从缓冲区中取出数据进行处理。 下面，我以一个分布式数据处理过程， 来说明为什么我们需要生产者和消费者模型。 假设，在一个数据采集并处理的场景中， 数据的采集远比数据处理要快得多。 在传统的数据处理的流程中， 数据处理占据大部分的时间， 导致这个任务进行得非常地慢。 而我们可以引入生产者和消费者模型， 来解决这个问题。 比如，由于生产者它采集速度比较快， 我们可以设置少量的生产者。 在这里我设置了两个。 两个生产者不断地去采集数据， 并将其放到下面的这个队列中。 而消费者，它的数据处理的时间比较长， 因此我们设置了更多的消费者。 在这里我设置了五个。 它不断地从上面这个队列中， 取出数据来进行处理。 这样子，我们就可以将这个任务进行加速， 把它扩展到多个机器上， 进行分布式的数据处理。 下面，我们通过线程， 来实现一个简单的生产者和消费者模型。 首先，我们导入必要的模块。 第一个模块，“threading”模块， 用来创建和管理线程。 第二个模块， 提供了一个线程安全的队列实现。 “time”模块， 用来处理时间相关的一些操作。 而“random”模块则用来生成随机数。 首先，我们创建一个任务队列。 这里，我们创建了 一个最大长度为“10”的任务队列， 用来存放生产者生成任务。 接下来，我们实现一个生产者的线程函数。 前面我们提到生产者是在不断地生成数据， 所以我们使用“while”命令来模拟。 在这里，生产者他不断地去生成一个 1 到 100 之间的随机数， 并使用“put”命令， 将它放到任务队列中。 再使用“time.sleep”命令， 来模拟生产任务的时间间隔。 对于消费者的线程函数， 我们同样使用“while”命令， 来模拟它不断处理数据的过程。 它使用“get”， 不断地从任务队列中取出数据来进行消费， 再使用“time.sleep”， 来模拟消费任务的时间间隔。 由于数据处理的时间更长， 所以我们设置了更长的间隔。 最后我们创建生产者和消费者的线程。 在创建生产者线程的过程中， 我们将生产者函数， 放入“threading”的对象中。 在这里，我们还给出了一个参数。 这个参数是用来辨别生产者的编号。 第二条命令是设置线程为守护线程， 来确保主线程结束时， 这些线程也会自动结束。 第三条是将线程进行启动。 消费者线程的设置和生产者一样。 最后，我们使用一个“join”命令， 来使得主线程， 在等待队列中，所有任务完成之后再结束。 最后，我们运行一下。 可以看到几个生产者之间， 不断地在生产数据， 而消费者之间， 五个消费者都在消费生产者所生产的任务。
下载课程离线学习
下载课程到移动设备，轻松离线学习。在领英学习 iOS 或安卓版 APP 下载课程