生产者/消费者问题的多种Java实现方式

实质上，很多后台服务程序并发控制的基本原理都可以归纳为生产者/消费者模式，而这是恰恰是在本科操作系统课堂上老师反复讲解，而我们却视而不见不以为然的。在博文《一种面向作业流(工作流)的轻量级可复用的异步流水开发框架的设计与实现》中将介绍一种生产者/消费者模式的具体应用。

生产者消费者问题是研究多线程程序时绕不开的经典问题之一，它描述是有一块缓冲区作为仓库，生产者可以将产品放入仓库，消费者则可以从仓库中取走产品。解决生产者/消费者问题的方法可分为两类：（1）采用某种机制保护生产者和消费者之间的同步；（2）在生产者和消费者之间建立一个管道。第一种方式有较高的效率，并且易于实现，代码的可控制性较好，属于常用的模式。第二种管道缓冲区不易控制，被传输数据对象不易于封装等，实用性不强。因此本文只介绍同步机制实现的生产者/消费者问题。

同步问题核心在于：如何保证同一资源被多个线程并发访问时的完整性。常用的同步方法是采用信号或加锁机制，保证资源在任意时刻至多被一个线程访问。Java语言在多线程编程上实现了完全对象化，提供了对同步机制的良好支持。在Java中一共有四种方法支持同步，其中前三个是同步方法，一个是管道方法。

（1）wait() / notify()方法

（2）await() / signal()方法

（3）BlockingQueue阻塞队列方法

（4）PipedInputStream / PipedOutputStream

本文只介绍最常用的前三种，第四种暂不做讨论，有兴趣的读者可以自己去网上找答案。

一、wait() / notify()方法

wait() / nofity()方法是基类Object的两个方法，也就意味着所有Java类都会拥有这两个方法，这样，我们就可以为任何对象实现同步机制。

wait()方法：当缓冲区已满/空时，生产者/消费者线程停止自己的执行，放弃锁，使自己处于等等状态，让其他线程执行。

notify()方法：当生产者/消费者向缓冲区放入/取出一个产品时，向其他等待的线程发出可执行的通知，同时放弃锁，使自己处于等待状态。

光看文字可能不太好理解，咱来段代码就明白了：

[java] view plain copy

1. import java.util.LinkedList;
2. /**
3. * 仓库类Storage实现缓冲区
4. *
5. * Email:530025983@qq.com
6. *
7. * @author MONKEY.D.MENG 2011-03-15
8. *
9. */
10. public class Storage
11. {
12. // 仓库最大存储量
13. private final int MAX_SIZE = 100;
14. // 仓库存储的载体
15. private LinkedList<Object> list = new LinkedList<Object>();
16. // 生产num个产品
17. public void produce(int num)
18. {
19. // 同步代码段
20. synchronized (list)
21. {
22. // 如果仓库剩余容量不足
23. while (list.size() + num > MAX_SIZE)
24. {
25. System.out.println("【要生产的产品数量】:" + num + "/t【库存量】:"
26. + list.size() + "/t暂时不能执行生产任务!");
27. try
28. {
29. // 由于条件不满足，生产阻塞
30. list.wait();
31. }
32. catch (InterruptedException e)
33. {
34. e.printStackTrace();
35. }
36. }
37. // 生产条件满足情况下，生产num个产品
38. for (int i = 1; i <= num; ++i)
39. {
40. list.add(new Object());
41. }
42. System.out.println("【已经生产产品数】:" + num + "/t【现仓储量为】:" + list.size());
43. list.notifyAll();
44. }
45. }
46. // 消费num个产品
47. public void consume(int num)
48. {
49. // 同步代码段
50. synchronized (list)
51. {
52. // 如果仓库存储量不足
53. while (list.size() < num)
54. {
55. System.out.println("【要消费的产品数量】:" + num + "/t【库存量】:"
56. + list.size() + "/t暂时不能执行生产任务!");
57. try
58. {
59. // 由于条件不满足，消费阻塞
60. list.wait();
61. }
62. catch (InterruptedException e)
63. {
64. e.printStackTrace();
65. }
66. }
67. // 消费条件满足情况下，消费num个产品
68. for (int i = 1; i <= num; ++i)
69. {
70. list.remove();
71. }
72. System.out.println("【已经消费产品数】:" + num + "/t【现仓储量为】:" + list.size());
73. list.notifyAll();
74. }
75. }
76. // get/set方法
77. public LinkedList<Object> getList()
78. {
79. return list;
80. }
81. public void setList(LinkedList<Object> list)
82. {
83. this.list = list;
84. }
85. public int getMAX_SIZE()
86. {
87. return MAX_SIZE;
88. }
89. }
90. /**
91. * 生产者类Producer继承线程类Thread
92. *
93. * Email:530025983@qq.com
94. *
95. * @author MONKEY.D.MENG 2011-03-15
96. *
97. */
98. public class Producer extends Thread
99. {
100. // 每次生产的产品数量
101. private int num;
102. // 所在放置的仓库
103. private Storage storage;
104. // 构造函数，设置仓库
105. public Producer(Storage storage)
106. {
107. this.storage = storage;
108. }
109. // 线程run函数
110. public void run()
111. {
112. produce(num);
113. }
114. // 调用仓库Storage的生产函数
115. public void produce(int num)
116. {
117. storage.produce(num);
118. }
119. // get/set方法
120. public int getNum()
121. {
122. return num;
123. }
124. public void setNum(int num)
125. {
126. this.num = num;
127. }
128. public Storage getStorage()
129. {
130. return storage;
131. }
132. public void setStorage(Storage storage)
133. {
134. this.storage = storage;
135. }
136. }
137. /**
138. * 消费者类Consumer继承线程类Thread
139. *
140. * Email:530025983@qq.com
141. *
142. * @author MONKEY.D.MENG 2011-03-15
143. *
144. */
145. public class Consumer extends Thread
146. {
147. // 每次消费的产品数量
148. private int num;
149. // 所在放置的仓库
150. private Storage storage;
151. // 构造函数，设置仓库
152. public Consumer(Storage storage)
153. {
154. this.storage = storage;
155. }
156. // 线程run函数
157. public void run()
158. {
159. consume(num);
160. }
161. // 调用仓库Storage的生产函数
162. public void consume(int num)
163. {
164. storage.consume(num);
165. }
166. // get/set方法
167. public int getNum()
168. {
169. return num;
170. }
171. public void setNum(int num)
172. {
173. this.num = num;
174. }
175. public Storage getStorage()
176. {
177. return storage;
178. }
179. public void setStorage(Storage storage)
180. {
181. this.storage = storage;
182. }
183. }
184. /**
185. * 测试类Test
186. *
187. * Email:530025983@qq.com
188. *
189. * @author MONKEY.D.MENG 2011-03-15
190. *
191. */
192. public class Test
193. {
194. public static void main(String[] args)
195. {
196. // 仓库对象
197. Storage storage = new Storage();
198. // 生产者对象
199. Producer p1 = new Producer(storage);
200. Producer p2 = new Producer(storage);
201. Producer p3 = new Producer(storage);
202. Producer p4 = new Producer(storage);
203. Producer p5 = new Producer(storage);
204. Producer p6 = new Producer(storage);
205. Producer p7 = new Producer(storage);
206. // 消费者对象
207. Consumer c1 = new Consumer(storage);
208. Consumer c2 = new Consumer(storage);
209. Consumer c3 = new Consumer(storage);
210. // 设置生产者产品生产数量
211. p1.setNum(10);
212. p2.setNum(10);
213. p3.setNum(10);
214. p4.setNum(10);
215. p5.setNum(10);
216. p6.setNum(10);
217. p7.setNum(80);
218. // 设置消费者产品消费数量
219. c1.setNum(50);
220. c2.setNum(20);
221. c3.setNum(30);
222. // 线程开始执行
223. c1.start();
224. c2.start();
225. c3.start();
226. p1.start();
227. p2.start();
228. p3.start();
229. p4.start();
230. p5.start();
231. p6.start();
232. p7.start();
233. }
234. }
235. 【要消费的产品数量】:50   【库存量】:0 暂时不能执行生产任务!
236. 【要消费的产品数量】:30   【库存量】:0 暂时不能执行生产任务!
237. 【要消费的产品数量】:20   【库存量】:0 暂时不能执行生产任务!
238. 【已经生产产品数】:10    【现仓储量为】:10
239. 【要消费的产品数量】:20   【库存量】:10    暂时不能执行生产任务!
240. 【要消费的产品数量】:30   【库存量】:10    暂时不能执行生产任务!
241. 【要消费的产品数量】:50   【库存量】:10    暂时不能执行生产任务!
242. 【已经生产产品数】:10    【现仓储量为】:20
243. 【要消费的产品数量】:50   【库存量】:20    暂时不能执行生产任务!
244. 【要消费的产品数量】:30   【库存量】:20    暂时不能执行生产任务!
245. 【已经消费产品数】:20    【现仓储量为】:0
246. 【已经生产产品数】:10    【现仓储量为】:10
247. 【已经生产产品数】:10    【现仓储量为】:20
248. 【已经生产产品数】:80    【现仓储量为】:100
249. 【要生产的产品数量】:10   【库存量】:100   暂时不能执行生产任务!
250. 【已经消费产品数】:30    【现仓储量为】:70
251. 【已经消费产品数】:50    【现仓储量为】:20
252. 【已经生产产品数】:10    【现仓储量为】:30
253. 【已经生产产品数】:10    【现仓储量为】:40

看完上述代码，对wait() / notify()方法实现的同步有了了解。你可能会对Storage类中为什么要定义public void produce(int num);和public void consume(int num);方法感到不解，为什么不直接在生产者类Producer和消费者类Consumer中实现这两个方法，却要调用Storage类中的实现呢？淡定，后文会有解释。我们先往下走。

二、await() / signal()方法

在JDK5.0之后，Java提供了更加健壮的线程处理机制，包括同步、锁定、线程池等，它们可以实现更细粒度的线程控制。await()和signal()就是其中用来做同步的两种方法，它们的功能基本上和wait() / nofity()相同，完全可以取代它们，但是它们和新引入的锁定机制Lock直接挂钩，具有更大的灵活性。通过在Lock对象上调用newCondition()方法，将条件变量和一个锁对象进行绑定，进而控制并发程序访问竞争资源的安全。下面来看代码：

[java] view plain copy

1. import java.util.LinkedList;
2. import java.util.concurrent.locks.Condition;
3. import java.util.concurrent.locks.Lock;
4. import java.util.concurrent.locks.ReentrantLock;
5. /**
6. * 仓库类Storage实现缓冲区
7. *
8. * Email:530025983@qq.com
9. *
10. * @author MONKEY.D.MENG 2011-03-15
11. *
12. */
13. public class Storage
14. {
15. // 仓库最大存储量
16. private final int MAX_SIZE = 100;
17. // 仓库存储的载体
18. private LinkedList<Object> list = new LinkedList<Object>();
19. // 锁
20. private final Lock lock = new ReentrantLock();
21. // 仓库满的条件变量
22. private final Condition full = lock.newCondition();
23. // 仓库空的条件变量
24. private final Condition empty = lock.newCondition();
25. // 生产num个产品
26. public void produce(int num)
27. {
28. // 获得锁
29. lock.lock();
30. // 如果仓库剩余容量不足
31. while (list.size() + num > MAX_SIZE)
32. {
33. System.out.println("【要生产的产品数量】:" + num + "/t【库存量】:" + list.size()
34. + "/t暂时不能执行生产任务!");
35. try
36. {
37. // 由于条件不满足，生产阻塞
38. full.await();
39. }
40. catch (InterruptedException e)
41. {
42. e.printStackTrace();
43. }
44. }
45. // 生产条件满足情况下，生产num个产品
46. for (int i = 1; i <= num; ++i)
47. {
48. list.add(new Object());
49. }
50. System.out.println("【已经生产产品数】:" + num + "/t【现仓储量为】:" + list.size());
51. // 唤醒其他所有线程
52. full.signalAll();
53. empty.signalAll();
54. // 释放锁
55. lock.unlock();
56. }
57. // 消费num个产品
58. public void consume(int num)
59. {
60. // 获得锁
61. lock.lock();
62. // 如果仓库存储量不足
63. while (list.size() < num)
64. {
65. System.out.println("【要消费的产品数量】:" + num + "/t【库存量】:" + list.size()
66. + "/t暂时不能执行生产任务!");
67. try
68. {
69. // 由于条件不满足，消费阻塞
70. empty.await();
71. }
72. catch (InterruptedException e)
73. {
74. e.printStackTrace();
75. }
76. }
77. // 消费条件满足情况下，消费num个产品
78. for (int i = 1; i <= num; ++i)
79. {
80. list.remove();
81. }
82. System.out.println("【已经消费产品数】:" + num + "/t【现仓储量为】:" + list.size());
83. // 唤醒其他所有线程
84. full.signalAll();
85. empty.signalAll();
86. // 释放锁
87. lock.unlock();
88. }
89. // set/get方法
90. public int getMAX_SIZE()
91. {
92. return MAX_SIZE;
93. }
94. public LinkedList<Object> getList()
95. {
96. return list;
97. }
98. public void setList(LinkedList<Object> list)
99. {
100. this.list = list;
101. }
102. }
103. 【要消费的产品数量】:50   【库存量】:0 暂时不能执行生产任务!
104. 【要消费的产品数量】:30   【库存量】:0 暂时不能执行生产任务!
105. 【已经生产产品数】:10    【现仓储量为】:10
106. 【已经生产产品数】:10    【现仓储量为】:20
107. 【要消费的产品数量】:50   【库存量】:20    暂时不能执行生产任务!
108. 【要消费的产品数量】:30   【库存量】:20    暂时不能执行生产任务!
109. 【已经生产产品数】:10    【现仓储量为】:30
110. 【要消费的产品数量】:50   【库存量】:30    暂时不能执行生产任务!
111. 【已经消费产品数】:20    【现仓储量为】:10
112. 【已经生产产品数】:10    【现仓储量为】:20
113. 【要消费的产品数量】:30   【库存量】:20    暂时不能执行生产任务!
114. 【已经生产产品数】:80    【现仓储量为】:100
115. 【要生产的产品数量】:10   【库存量】:100   暂时不能执行生产任务!
116. 【已经消费产品数】:50    【现仓储量为】:50
117. 【已经生产产品数】:10    【现仓储量为】:60
118. 【已经消费产品数】:30    【现仓储量为】:30
119. 【已经生产产品数】:10    【现仓储量为】:40

只需要更新仓库类Storage的代码即可，生产者Producer、消费者Consumer、测试类Test的代码均不需要进行任何更改。这样我们就知道为神马我要在Storage类中定义public void produce(int num);和public void consume(int num);方法，并在生产者类Producer和消费者类Consumer中调用Storage类中的实现了吧。将可能发生的变化集中到一个类中，不影响原有的构架设计，同时无需修改其他业务层代码。无意之中，我们好像使用了某种设计模式，具体是啥我忘记了，啊哈哈，等我想起来再告诉大家~

三、BlockingQueue阻塞队列方法

BlockingQueue是JDK5.0的新增内容，它是一个已经在内部实现了同步的队列，实现方式采用的是我们第2种await() / signal()方法。它可以在生成对象时指定容量大小。它用于阻塞操作的是put()和take()方法。

put()方法：类似于我们上面的生产者线程，容量达到最大时，自动阻塞。

take()方法：类似于我们上面的消费者线程，容量为0时，自动阻塞。

关于BlockingQueue的内容网上有很多，大家可以自己搜，我在这不多介绍。下面直接看代码，跟以往一样，我们只需要更改仓库类Storage的代码即可：

[java] view plain copy

1. import java.util.concurrent.LinkedBlockingQueue;
2. /**
3. * 仓库类Storage实现缓冲区
4. *
5. * Email:530025983@qq.com
6. *
7. * @author MONKEY.D.MENG 2011-03-15
8. *
9. */
10. public class Storage
11. {
12. // 仓库最大存储量
13. private final int MAX_SIZE = 100;
14. // 仓库存储的载体
15. private LinkedBlockingQueue<Object> list = new LinkedBlockingQueue<Object>(
16. 100);
17. // 生产num个产品
18. public void produce(int num)
19. {
20. // 如果仓库剩余容量为0
21. if (list.size() == MAX_SIZE)
22. {
23. System.out.println("【库存量】:" + MAX_SIZE + "/t暂时不能执行生产任务!");
24. }
25. // 生产条件满足情况下，生产num个产品
26. for (int i = 1; i <= num; ++i)
27. {
28. try
29. {
30. // 放入产品，自动阻塞
31. list.put(new Object());
32. }
33. catch (InterruptedException e)
34. {
35. e.printStackTrace();
36. }
37. System.out.println("【现仓储量为】:" + list.size());
38. }
39. }
40. // 消费num个产品
41. public void consume(int num)
42. {
43. // 如果仓库存储量不足
44. if (list.size() == 0)
45. {
46. System.out.println("【库存量】:0/t暂时不能执行生产任务!");
47. }
48. // 消费条件满足情况下，消费num个产品
49. for (int i = 1; i <= num; ++i)
50. {
51. try
52. {
53. // 消费产品，自动阻塞
54. list.take();
55. }
56. catch (InterruptedException e)
57. {
58. e.printStackTrace();
59. }
60. }
61. System.out.println("【现仓储量为】:" + list.size());
62. }
63. // set/get方法
64. public LinkedBlockingQueue<Object> getList()
65. {
66. return list;
67. }
68. public void setList(LinkedBlockingQueue<Object> list)
69. {
70. this.list = list;
71. }
72. public int getMAX_SIZE()
73. {
74. return MAX_SIZE;
75. }
76. }
77. 【库存量】:0 暂时不能执行生产任务!
78. 【库存量】:0 暂时不能执行生产任务!
79. 【现仓储量为】:1
80. 【现仓储量为】:1
81. 【现仓储量为】:3
82. 【现仓储量为】:4
83. 【现仓储量为】:5
84. 【现仓储量为】:6
85. 【现仓储量为】:7
86. 【现仓储量为】:8
87. 【现仓储量为】:9
88. 【现仓储量为】:10
89. 【现仓储量为】:11
90. 【现仓储量为】:1
91. 【现仓储量为】:2
92. 【现仓储量为】:13
93. 【现仓储量为】:14
94. 【现仓储量为】:17
95. 【现仓储量为】:19
96. 【现仓储量为】:20
97. 【现仓储量为】:21
98. 【现仓储量为】:22
99. 【现仓储量为】:23
100. 【现仓储量为】:24
101. 【现仓储量为】:25
102. 【现仓储量为】:26
103. 【现仓储量为】:12
104. 【现仓储量为】:1
105. 【现仓储量为】:1
106. 【现仓储量为】:2
107. 【现仓储量为】:3
108. 【现仓储量为】:4
109. 【现仓储量为】:5
110. 【现仓储量为】:6
111. 【现仓储量为】:7
112. 【现仓储量为】:27
113. 【现仓储量为】:8
114. 【现仓储量为】:6
115. 【现仓储量为】:18
116. 【现仓储量为】:2
117. 【现仓储量为】:3
118. 【现仓储量为】:4
119. 【现仓储量为】:5
120. 【现仓储量为】:6
121. 【现仓储量为】:7
122. 【现仓储量为】:8
123. 【现仓储量为】:9
124. 【现仓储量为】:10
125. 【现仓储量为】:16
126. 【现仓储量为】:11
127. 【现仓储量为】:12
128. 【现仓储量为】:13
129. 【现仓储量为】:14
130. 【现仓储量为】:15
131. 【现仓储量为】:1
132. 【现仓储量为】:2
133. 【现仓储量为】:3
134. 【现仓储量为】:3
135. 【现仓储量为】:15
136. 【现仓储量为】:1
137. 【现仓储量为】:0
138. 【现仓储量为】:1
139. 【现仓储量为】:1
140. 【现仓储量为】:1
141. 【现仓储量为】:2
142. 【现仓储量为】:3
143. 【现仓储量为】:4
144. 【现仓储量为】:0
145. 【现仓储量为】:1
146. 【现仓储量为】:5
147. 【现仓储量为】:6
148. 【现仓储量为】:7
149. 【现仓储量为】:8
150. 【现仓储量为】:9
151. 【现仓储量为】:10
152. 【现仓储量为】:11
153. 【现仓储量为】:12
154. 【现仓储量为】:13
155. 【现仓储量为】:14
156. 【现仓储量为】:15
157. 【现仓储量为】:16
158. 【现仓储量为】:17
159. 【现仓储量为】:1
160. 【现仓储量为】:1
161. 【现仓储量为】:2
162. 【现仓储量为】:3
163. 【现仓储量为】:4
164. 【现仓储量为】:5
165. 【现仓储量为】:6
166. 【现仓储量为】:3
167. 【现仓储量为】:3
168. 【现仓储量为】:1
169. 【现仓储量为】:2
170. 【现仓储量为】:3
171. 【现仓储量为】:4
172. 【现仓储量为】:5
173. 【现仓储量为】:6
174. 【现仓储量为】:7
175. 【现仓储量为】:8
176. 【现仓储量为】:9
177. 【现仓储量为】:10
178. 【现仓储量为】:11
179. 【现仓储量为】:12
180. 【现仓储量为】:13
181. 【现仓储量为】:14
182. 【现仓储量为】:15
183. 【现仓储量为】:16
184. 【现仓储量为】:17
185. 【现仓储量为】:18
186. 【现仓储量为】:19
187. 【现仓储量为】:6
188. 【现仓储量为】:7
189. 【现仓储量为】:8
190. 【现仓储量为】:9
191. 【现仓储量为】:10
192. 【现仓储量为】:11
193. 【现仓储量为】:12
194. 【现仓储量为】:13
195. 【现仓储量为】:14
196. 【现仓储量为】:15
197. 【现仓储量为】:16
198. 【现仓储量为】:17
199. 【现仓储量为】:18
200. 【现仓储量为】:19
201. 【现仓储量为】:20
202. 【现仓储量为】:21
203. 【现仓储量为】:22
204. 【现仓储量为】:23
205. 【现仓储量为】:24
206. 【现仓储量为】:25
207. 【现仓储量为】:26
208. 【现仓储量为】:27
209. 【现仓储量为】:28
210. 【现仓储量为】:29
211. 【现仓储量为】:30
212. 【现仓储量为】:31
213. 【现仓储量为】:32
214. 【现仓储量为】:33
215. 【现仓储量为】:34
216. 【现仓储量为】:35
217. 【现仓储量为】:36
218. 【现仓储量为】:37
219. 【现仓储量为】:38
220. 【现仓储量为】:39
221. 【现仓储量为】:40

当然，你会发现这时对于public void produce(int num);和public void consume(int num);方法业务逻辑上的实现跟前面两个例子不太一样，没关系，这个例子只是为了说明BlockingQueue阻塞队列的使用。

有时使用BlockingQueue可能会出现put()和System.out.println()输出不匹配的情况，这是由于它们之间没有同步造成的。当缓冲区已满，生产者在put()操作时，put()内部调用了await()方法，放弃了线程的执行，然后消费者线程执行，调用take()方法，take()内部调用了signal()方法，通知生产者线程可以执行，致使在消费者的println()还没运行的情况下生产者的println()先被执行，所以有了输出不匹配的情况。