unit IOCPQueue; interface uses windows, classes; type TOnQueueProc = procedure(sender: tobject; ParamA, ParamB: integer) of object; TIOCPQueue = class  private    FCompletionPort: THandle;    FOnQueueProc: TOnQueueProc;    FOverlapped: Overlapped;   …

使用IOCP完成端口队列做任务队列 与其自己费力设计异步任务队列,不如使用WINDOWS内核级的IOCP完成端口队列做任务队列. 1)引用单元 uses windows; 2)定义完成端口句柄 var g_iocp_handle: THandle;            // 完成端口句柄 3)创建完成端口 g_iocp_handle := CreateIoCompletionPort(INVALID_HANDLE_VALUE, 0, 0, si.dwNumberOfProcessors); 4…

http://www.ibm.com/developerworks/cn/java/j-lo-iocp/ https://msdn.microsoft.com/en-us/library/windows/desktop/aa365198(v=vs.85).aspx http://stackoverflow.com/questions/23791024/java-nio-windows-implementation http://stackoverflow.com/questions/336929…

IOCP数据中间件 每包最大8K(8192字节),超过8187字节的数据要分包传输 首包有5个字节的包头:4字节数据长度(告诉对方,此次总共将传输几字节数据) + 1字节命令字(告诉对方,此次请求的何种命令) 命令分类1)请求查询数据,应答查询数据2)请求提交数据,应答提交数据3)请求上传文件,应答上传文件4)请求下载文件,应答下载文件5)请求发送字符串消息,应答发送字符串消息 unit uFun;// 应用协议// cxg 2016-9-23 interface uses SysUtils,…

前言 本文内容比较长,请见谅.如有评议,还请评论区指点,谢谢大家! >> 目录 开门见山:Node和浏览器的异步执行顺序问题 两种环境下的宏任务和微任务(macrotask && microtask) Node和浏览器的事件循环模型在实现层面的区别 Node和浏览器的事件循环的任务队列(task queue) Node和浏览器的事件循环模型在表现层面的差异 理清libuv的“7队列”和Node“6队列”的关系 Node和浏览器环境下setTimeout的最小延迟时间 setTi…

转自:http://www.ibm.com/developerworks/cn/java/j-lo-iocp/#author   郭 仁祥, 软件工程师, IBM 简介: 传统的 Server/Client 实现都是为每个请求创建独立的线程,处理一个客户的请求.但这种实现在客户端请求并发量巨大的情形下效率低下,于是出现了 IOCP(Input/Output Completion Port).本文从 IOCP 的基本概念和思想出发,比较 IOCP 与传统 Server/Client 实现的利弊,分…

前言 传统socket编程中服务端一般为每一个客户端创建一个线程(一对一).这样虽然可以使程序的结构简单明了并且方便对数据处理,但是这些都是建立在创建多个线程的基础上,也就是以牺牲线程为代价.一旦有大量数量了客户端连接服务端,我们的服务端需要创建很多线程,这样会造成很大的系统开销这显然是不能被我们所接受的.那么为了解决这个问题就必须采用一种方法令有限的线程去处理所有的客户端连接,利用windows的IOCP完成端口配合线程池就可以帮助我们完成这个操作. IOCP实现高并发整体思路 IOCP实现高…

前段时间在Django Web平台开发中,碰到一些请求执行的任务时间较长(几分钟),为了加快用户的响应时间,因此决定采用异步任务的方式在后台执行这些任务.在同事的指引下接触了Celery这个异步任务队列框架,鉴于网上关于Celery和Django结合的文档较少,大部分也只是粗粗介绍了大概的流程,在实践过程中还是遇到了不少坑,希望记录下来帮助有需要的朋友. 一.Django中的异步请求 Django Web中从一个http请求发起,到获得响应返回html页面的流程大致如下:http请求发起 --…

Buffer Type Buffer I/O 针对Buffer I/O的请求,系统会为其分配一个非换页内存作为缓存区,其大小等同于I/O请求的缓存区大小.对于写操作,I/O管理器在创建IRP时,将请求者的缓存区数据拷贝到申请得到的非换页缓存区中.对于读操作,I/O管理器将会在I/O完成时,将数据从非换页内存缓存区中拷贝到请求者的缓存区中.在I/O完成后,会释放掉该次申请到的非换页缓存区. Direct I/O I/O管理器在处理Direct I/O类型的请求时,会将请求者的缓存区锁定在内存中,使…

一般来说,软件中总会有一些长时间的操作,这类操作包括下载文件,转储数据库,或者处理复杂的运算. 一种处理做法是,在主界面上提示正在操作中,有进度条,其他部分不可用.这里带来很大的问题, 使用者不知道到底执行到什么程度,无法暂停或者取消任务.而即使花了很大的力气实现了暂停和取消,也很难形成通用的模块. 另一种是类似下载工具那样,有多个在任务队列中的任务,提示用户当前执行了多少,可以选择暂停或者取消任务.如下图:…

前言:由于最近在做SDK的功能,需要设计线程池.看了很多资料不知道从何开始着手,突然发现了AsyncTask有对线程池的封装,so,就拿它开刀,本文将从AsyncTask的基本用法,到简单的封装,再到任务队列分析,最后自定义线程池. 1.概念 Android 中的异步任务常用的一种方式是:Handler + Thread 组合来实现的.Thread 负责子线程的耗时操作,Handler 负责线程间的通信,用的最多的当属子线程和主线程通信. Android 为了简化操作,提供了 AsyncTask…

2016-08-3116:44:09 server 端 /******************************************************************* author:xuqing date:2016-5-20 about the io thread the init part must be less than 1000,just the real_part_count THREAD_DEAL_COUNT is the count one thread…

感谢rulary的指正!博文中我对IOCP的理解是有误的,正确的方式请见评论区rulary的回复! 由于项目实际设计的需要,最终IO事件处理没有采用IOCP,而是采用了NT6.0引入的WSAPoll,其编程模型和linux下poll基本一致,此处就不赘述了! ==================================================   IOCP是windows下IO事件处理的最高效的一种方式了,结合OVERLAPPED IO可以实现真正的完全异步IO.windows在…

有些小伙伴看了之前发的WIN平台下IOCP和WSA异步协同处理SOCKET后有些疑惑,所以就画了个简易流程图+架构图发上来给小伙伴参考 简单说,WSA异步控制CONNECT,IOCP控制WSASend/WSARecv/Closesocket,2个底层协同控制SOCKET整个生命周期 WEIMJSAM原创,转载请注明出处:http://www.cnblogs.com/weimjsam/p/6051985.html 测试技术交流群:478717918…

WSABUF 结构的原型如下: typedef struct __WSABUF { u_long len; char FAR *buf; } WSABUF, *LPWSABUF; 该结构在IOCP 中用于函数WSARecv() 和WSASend() 函数的第二个参数,同时第三个参数指定该参数做为数组时的数组元素个数. 而该结构在两个函数中的意义也有小小的不同,主要在于 WSABUF::len 这个参数.它做WSARecv() 函数的参数时,len 被理解为缓冲区WSABUF::buf 的长度.而…

完成端口(Completion Port)详解 此文讲解最好,也很全面一下其他文章看看就行,也可不看. 单句柄数据,单IO数据 此文讲述比较清晰,可以辅助理解上文. IOCP编程之基本原理:http://www.cnblogs.com/FCoding/archive/2012/07/16/2594442.html#undefined 此文对IOCP基本原理做了比较好的解释,易于理解,但没有好的实践实例. IOCP模型与网络编程:http://blog.csdn.net/neicole/artic…

上一个项目libevent应该是select,现在libuv是iocp,都知道Windows下iocp比select效率高,boost asio 也是iocp,但具体使用select和iocp发现没有定论,看了云风 http://blog.codingnow.com/2006/04/iocp_kqueue_epoll.html 我擦,2006年写的 好像别人都不关心是好像他更关心的网络架构更合理 个人感觉能用iocp还是用iocp,毕竟效率高,但网络框架比这个要重要,上一个用的libevent用…

这一次总结和分享用Redis实现分布式锁 与 实现任务队列 这两大强大的功能.先扯点个人观点,之前我看了一篇博文说博客园的文章大部分都是分享代码,博文里强调说分享思路比分享代码更重要(貌似大概是这个意思,若有误请谅解),但我觉得,分享思路固然重要,但有了思路,却没有实现的代码,那会让人觉得很浮夸的,在工作中的程序猿都知道,你去实现一个功能模块,一段代码,虽然你有了思路,但是实现的过程也是很耗时的,特别是代码调试,还有各种测试等等.所以我认为,思路+代码,才是一篇好博文的主要核心. 直接进入主题.…

原文:http://blog.csdn.net/shallwake/article/details/5265287 首先,介绍几种常见的I/O模型及其区别,如下: blocking I/O nonblocking I/O I/O multiplexing (select and poll) signal driven I/O (SIGIO) asynchronous I/O (the POSIX aio_functions) blocking I/O     这个不用多解释吧,阻塞套接字.下图是…

毕业后稀里糊涂的闭门造车了两年,自己的独立博客也写了两年,各种乱七八糟,最近准备把自己博客废了,现在来看了下这两年写的对我来说略微有点意义的文章只此一篇,转载过来以作留念. 写的很肤浅且凌乱,请见谅. 我的服务器主要完成一个内网音视频实时转发功能,以及其他一些业务.设计大概如下: 服务器上分为接收线程,业务处理线程,发送线程.接收线程socket绑定到完成端口.业务处理线程是采用多线程的模拟完成端口,发送线程也是多线程采用模拟完成端口.这样做的目的是想业务处理线程阻塞并不影响发送和接收. 客户端…

1. Winsock IO模型之IOCP模型 来自csdn blog,版权声明:本文为博主原创文章,未经博主允许不得转载. 我这里记录下,不算转载吧 http://blog.csdn.net/lostyears/article/details/7436802 2.IOCP模型与网络编程 来自本园的形象生动带插图的高质量文章 http://www.cnblogs.com/lidabo/archive/2012/12/10/2812230.html 3. Windows网络与通信程序设计 (非扫面版…

上篇说到IOCP的精简实现,这篇来讲IOCP客户端和消息传递 在ConnectEx代码之前,CreateIoCompletionPort的第三个参数,把socket句柄+0x01000000作为传递 sNew = ::WSASocket(AF_INET, SOCK_STREAM, , NULL, , WSA_FLAG_OVERLAPPED); if (sNew != SOCKET_ERROR) { ::CreateIoCompletionPort((HANDLE)sNew, hCompletio…

本人工作是服务端性能测试,因工作需要开发机器人框架,选用底层的时候看到网上满大街的IOCP介绍,还有说IOCP比WSAAsyncSelect复杂等等,所以只好转WSAAsyncSelect实现. 因并发客户端需要进行调试测试,压力测试工具作为客户端来说性能十分重要,没有经过测试的鬼知道秒并发多少请求,秒并发多少connect,所以就需要实现高效服务端进行调试客户端,在工作之余又继续研究IOCP,吐槽这些无非就是,没人想过怎么优化精简流程,生搬硬套实现IOCP的处理,其实可以利用MSG和简单IOC…

原文地址:http://www.theukwebdesigncompany.com/articles/iocp-thread-pooling.php PartOne : Introduction 当使用C#构建服务器端应用时,创建线程池是一个十分重要的能力.线程池允许服务器端程序通过队列最大程度的处理任务.除了构建线程池之外,还有两个方案: 1.        使用单线程处理所有的任务. 2.        当任务需要时就产生子线程来处理任务. 本文定义任务为需要处理的事件,这些工作也许是也许不…

咏南IOCP REST中间件 让DELPHI7也能编写REST服务. 使用IOCP通信+UNIDAC数据库引擎. 客户端跨开发语言调用.…

咏南IOCP中间件支持海量并发方案(集群) 支持D7~XE10.1.1开发 支持负载均衡,自动故障转移 可以在不停机的状态下,根据负载情况灵活增加中间件机器 中间件使用IOCP通信,单中间件支持并发数量上万,再辅以中间件集群,支持真正的海量并发 中间件使用UNIDAC数据引擎,支持MSSQL,MYSQL,ORACLE,SYBASE,SQLITE,DB2...几乎所有的数据库 可为不同语言开发的中间件提供通用的集群解决方案,中间件和客户端可以是其它语言开发的,只要遵守集群协议,就可以加入集群 有意…

咏南IOCP中间件 特大好消息,咏南中间件系列新增加——咏南IOCP中间件.咏南IOCP中间件完全兼容咏南DATASNAP中间件的远程方法接口. 中间件DELPHI7~DELPHI XE10.1.1都能编译. 中间件使用UNIDAC数据数据,可以驱动市面上几乎所有的数据库. 客户端开发支持DELPHI6~DELPHI XE10.1.1. 购买咏南IOCP中间件,提供全部源码.有意者可索取演示! 赠送:CS开发框架.BS开发框架.安卓APP演示程序,全部提供源码. 支持服务端消息推送 附上压力测试…

IOCP模型 IOCP全称I/O Completion Port,中文译为I/O完成端口.IOCP是一个异步I/O的Windows API,它可以高效地将I/O事件通知给应用程序,类似于Linux中的Epoll. 简介 IOCP模型属于一种通讯模型,适用于Windows平台下高负载服务器的一个技术.在处理大量用户并发请求时,如果采用一个用户一个线程的方式那将造成CPU在这成千上万的线程间进行切换,后果是不可想象的.而IOCP完成端口模型则完全不会如此处理,它的理论是并行的线程数量必须有一个上限-…

相关对象 IO EndPoint, 所有支持重叠IO(overlapped IO)的设备,比如文件,Winsock,管道等. IOCP, IO完成端口内核对象,可以使用API CreateIoCompletionPort 创建.在使用该API创建IOCP的同时可以关联一个IO EndPoint,也可以在创建后再次调用该API关联其他的IO Endpoint. Thread,Windows 线程.用来响应IO完成通知.通常用来处理接受到的数据等. 一个IOCP可以关联多个IO EndPoint,但…

IOCP(I/O Completion Port,I/O完成端口)是性能最好的一种I/O模型.它是应用程序使用线程池处理异步I/O请求的一种机制.在处理多个并发的异步I/O请求时,以往的模型都是在接收请求是创建一个线程来应答请求.这样就有很多的线程并行地运行在系统中.而这些线程都是可运行的,Windows内核花费大量的时间在进行线程的上下文切换,并没有多少时间花在线程运行上.再加上创建新线程的开销比较大,所以造成了效率的低下. 调用的步骤如下: 抽象出一个完成端口大概的处理流程: :创建一个完成…