基于阻塞队列的生产者消费者C#并发设计
这是从上文的<<图文并茂的生产者消费者应用实例demo>>整理总结出来的,具体就不说了,直接给出代码,注释我已经加了,原来的code请看<<.Net中的并行编程-7.基于BlockingCollection实现高性能异步队列>>,我改成适合我的版本了,直接给code:
调用code:
static void Main(string[] args)
{
ProcessQueue<int> processQueue = new ProcessQueue<int>();
processQueue.ProcessExceptionEvent += ProcessQueue_ProcessExceptionEvent;
processQueue.ProcessItemEvent += ProcessQueue_ProcessItemEvent; for (int i = ; i < ; i++)
{
processQueue.Enqueue(i);
} Console.WriteLine("阻塞队列的数量: {0}", processQueue.GetInternalItemCount()); processQueue.Flush(); Console.Read();
} /// <summary>
/// 该方法对入队的每个元素进行处理
/// </summary>
/// <param name="value"></param>
private static void ProcessQueue_ProcessItemEvent(int value)
{
Console.WriteLine("输出: {0}", value);
} /// <summary>
/// 处理异常
/// </summary>
/// <param name="obj">队列实例</param>
/// <param name="ex">异常对象</param>
/// <param name="value">出错的数据</param>
private static void ProcessQueue_ProcessExceptionEvent(dynamic obj, Exception ex, int value)
{
Console.WriteLine(ex.ToString());
}
封装的队列:
public class ProcessQueue<T>
{
private BlockingCollection<T> _queue;
private CancellationTokenSource _cancellationTokenSource;
private CancellationToken _cancellToken;
//内部线程池
private List<Thread> _threadCollection; //队列是否正在处理数据
private int _isProcessing;
//有线程正在处理数据
private const int Processing = ;
//没有线程处理数据
private const int UnProcessing = ;
//队列是否可用 单个线程下用while来判断,多个线程下用if判断,随后while循环队列的数量
private volatile bool _enabled = true;
//内部处理线程数量
private int _internalThreadCount;
// 消费者处理事件
public event Action<T> ProcessItemEvent;
//处理异常,需要三个参数,当前队列实例,异常,当时处理的数据
public event Action<dynamic, Exception, T> ProcessExceptionEvent; public ProcessQueue()
{
_queue = new BlockingCollection<T>();
_cancellationTokenSource = new CancellationTokenSource();
_internalThreadCount = ;
_cancellToken = _cancellationTokenSource.Token;
_threadCollection = new List<Thread>();
} public ProcessQueue(int internalThreadCount) : this()
{
this._internalThreadCount = internalThreadCount;
} /// <summary>
/// 队列内部元素的数量
/// </summary>
public int GetInternalItemCount()
{
//return _queue.Count;
return _threadCollection.Count;
}
//生产者生产
public void Enqueue(T items)
{
if (items == null)
{
throw new ArgumentException("items");
} _queue.Add(items);
DataAdded();
} public void Flush()
{
StopProcess(); while (_queue.Count != )
{
T item = default(T);
if (_queue.TryTake(out item))
{
try
{
ProcessItemEvent(item);
}
catch (Exception ex)
{
OnProcessException(ex, item);
}
}
}
}
// 通知消费者消费队列元素
private void DataAdded()
{
if (_enabled)
{
if (!IsProcessingItem())
{
Console.WriteLine("DataAdded");
ProcessRangeItem();
StartProcess();
}
}
} //判断是否队列有线程正在处理
private bool IsProcessingItem()
{
// 替换第一个参数, 如果相等
//int x = Interlocked.CompareExchange(ref _isProcessing, Processing, UnProcessing);
return !(Interlocked.CompareExchange(ref _isProcessing, Processing, UnProcessing) == UnProcessing);
}
// 多消费者消费
private void ProcessRangeItem()
{
for (int i = ; i < this._internalThreadCount; i++)
{
ProcessItem();
}
}
// 开启消费处理
private void ProcessItem()
{
Thread currentThread = new Thread((state) =>
{
T item = default(T);
while (_enabled)
{
try
{
try
{
if (!_queue.TryTake(out item))
{
//Console.WriteLine("阻塞队列为0时的item: {0}", item);
//Console.WriteLine("ok!!!");
break;
}
// 处理事件
ProcessItemEvent(item);
}
catch (OperationCanceledException ex)
{
DebugHelper.DebugView(ex.ToString());
} }
catch (Exception ex)
{
OnProcessException(ex, item);
}
}
});
_threadCollection.Add(currentThread);
}
// 开启消费者
private void StartProcess()
{
//Console.WriteLine("线程的数量: {0}", _threadCollection.Count);
foreach (var thread in _threadCollection)
{
thread.Start();
thread.IsBackground = true;
}
}
// 终止运行
private void StopProcess()
{
this._enabled = false;
foreach (var thread in _threadCollection)
{
if (thread.IsAlive)
{
thread.Join();
}
}
_threadCollection.Clear();
} private void OnProcessException(Exception ex, T item)
{
var tempException = ProcessExceptionEvent;
Interlocked.CompareExchange(ref ProcessExceptionEvent, null, null); if (tempException != null)
{
ProcessExceptionEvent(this, ex, item);
}
} }
基于阻塞队列的生产者消费者C#并发设计的更多相关文章
- 基于异步队列的生产者消费者C#并发设计
继上文<<基于阻塞队列的生产者消费者C#并发设计>>的并发队列版本的并发设计,原文code是基于<<.Net中的并行编程-4.实现高性能异步队列>>修改 ...
- Java并发(基础知识)—— 阻塞队列和生产者消费者模式
1.阻塞队列 Blocki ...
- Java并发编程()阻塞队列和生产者-消费者模式
阻塞队列提供了可阻塞的put和take方法,以及支持定时的offer和poll方法.如果队列已经满了,那么put方法将阻塞直到有空间可用:如果队列为空,那么take方法将会阻塞直到有元素可用.队列可以 ...
- Java多线程—阻塞队列和生产者-消费者模式
阻塞队列支持生产者-消费者这种设计模式.该模式将“找出需要完成的工作”与“执行工作”这两个过程分离开来,并把工作项放入一个“待完成“列表中以便在随后处理,而不是找出后立即处理.生产者-消费者模式能简化 ...
- Java BlockingQueue Example(如何使用阻塞队列实现生产者-消费者问题)
Today we will look into Java BlockingQueue. java.util.concurrent.BlockingQueue is a java Queue that ...
- java 用阻塞队列实现生产者消费者
package com.lb; import java.util.concurrent.ArrayBlockingQueue; import java.util.concurrent.Blocking ...
- Python之路(第三十八篇) 并发编程:进程同步锁/互斥锁、信号量、事件、队列、生产者消费者模型
一.进程锁(同步锁/互斥锁) 进程之间数据不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是没有问题的, 而共享带来的是竞争,竞争带来的结果就是错乱,如何控制,就是加锁处理. 例 ...
- [并发编程 - socketserver模块实现并发、[进程查看父子进程pid、僵尸进程、孤儿进程、守护进程、互斥锁、队列、生产者消费者模型]
[并发编程 - socketserver模块实现并发.[进程查看父子进程pid.僵尸进程.孤儿进程.守护进程.互斥锁.队列.生产者消费者模型] socketserver模块实现并发 基于tcp的套接字 ...
- 并发、并行、同步、异步、全局解释锁GIL、同步锁Lock、死锁、递归锁、同步对象/条件、信号量、队列、生产者消费者、多进程模块、进程的调用、Process类、
并发:是指系统具有处理多个任务/动作的能力. 并行:是指系统具有同时处理多个任务/动作的能力. 并行是并发的子集. 同步:当进程执行到一个IO(等待外部数据)的时候. 异步:当进程执行到一个IO不等到 ...
随机推荐
- Apache Commons Configuration读取xml配置
近期项目自己手写一个字符串连接池.因为环境不同有开发版本.测试版本.上线版本.每一个版本用到的数据库也是不一样的.所以需要能灵活的切换数据库连接.当然这个用maven就解决了.Apache Commo ...
- 从Storm和Spark 学习流式实时分布式计算的设计
0. 背景 最近我在做流式实时分布式计算系统的架构设计,而正好又要参加CSDN博文大赛的决赛.本来想就写Spark源码分析的文章吧.但是又想毕竟是决赛,要拿出一些自己的干货出来,仅仅是源码分析貌似分量 ...
- Sharepoint Solution Gallery Active Solution时激活按钮灰色不可用的解决方法
在做CRM与sharepoint集成的时候,需要在sharepoint中上传crmlistcomponent组件,上传后需要激活,但会碰到激活按钮是灰色的无法点击的问题,如下图中这样,包括点击组件后面 ...
- Java之恋
初次见面那是一个河北的夏天风随沙散落天涯蝴蝶依旧恋着花回首走过的日子手指和键盘之间的梦想之光已恍如昨日 那年我还是一个刚踏进这个曾经只在地理课本上狂念南稻北麦,南油北花的土地那年你只是我必须要学的编程 ...
- Linux中printk()实例
新建hello.c #include <linux/kernel.h> #include <linux/module.h> int init_module(void) { pr ...
- UNIX网络编程——僵尸进程
在fork()/exec()过程中,假设子进程结束时父进程仍存在,而父进程fork()之前既没安装SIGCHLD信号处理函数调用waitpid()等待子进程结束,又没有显式忽略该信号,则子进 ...
- Docker教程:dokcer的配置和命令
http://blog.csdn.net/pipisorry/article/details/50803028 Docker命令查询 终端运行docker命令,它会打印所有可用的命令列表及使用描述:# ...
- 【shell脚本】nginx每天自动切割日志脚本
nginx每天日志量比较大的时候,最好每天自动切割,存储,这样可以方面以后的查询和分析 #!/bin/sh ################### #filename: nginx_log_rotat ...
- 【一天一道LeetCode】#121. Best Time to Buy and Sell Stock
# 一天一道LeetCode 本系列文章已全部上传至我的github,地址:ZeeCoder's Github 欢迎大家关注我的新浪微博,我的新浪微博 欢迎转载,转载请注明出处 (一)题目 Say ...
- Django练习——TodoList
TodoList是django入门一个比较基础的例程,主要参考如下博客,写的非常好: simple-todo: http://www.cnblogs.com/cacique/archive/2012/ ...