boost中asio网络库多线程并发处理实现,以及asio在多线程模型中线程的调度情况和线程安全。
1、实现多线程方法:
其实就是多个线程同时调用io_service::run
for (int i = 0; i != m_nThreads; ++i)
{
boost::shared_ptr<boost::thread> pTh(new boost::thread(
boost::bind(&boost::asio::io_service::run,&m_ioService)));
m_listThread.push_back(pTh);
}
2、多线程调度情况:
asio规定:只能在调用io_service::run的线程中才能调用事件完成处理器。
注:事件完成处理器就是你async_accept、async_write等注册的句柄,类似于回调的东西。
单线程:
如果只有一个线程调用io_service::run,根据asio的规定,事件完成处理器也只能在这个线程中执行。也就是说,你所有代码都在同一个线程中运行,因此变量的访问是安全的。
多线程:
如果有多个线程同时调用io_service::run以实现多线程并发处理。对于asio来说,这些线程都是平等的,没有主次之分。如果你投递的一个请求比如async_write完成时,asio将随机的激活调用io_service::run的线程。并在这个线程中调用事件完成处理器(async_write当时注册的句柄)。如果你的代码耗时较长,这个时候你投递的另一个async_write请求完成时,asio将不等待你的代码处理完成,它将在另外的一个调用io_service::run线程中,调用async_write当时注册的句柄。也就是说,你注册的事件完成处理器有可能同时在多个线程中调用。
当然你可以使用 boost::asio::io_service::strand让完成事件处理器的调用,在同一时间只有一个, 比如下面的的代码:
socket_.async_read_some(boost::asio::buffer(buffer_),
strand_.wrap(
boost::bind(&connection::handle_read, shared_from_this(),
boost::asio::placeholders::error,
boost::asio::placeholders::bytes_transferred)));
...
boost::asio::io_service::strand strand_;
此时async_read_som完成后掉用handle_read时,必须等待其它handle_read调用完成时才能被执行(async_read_som引起的handle_read调用)。
多线程调用时,还有一个重要的问题,那就是无序化。比如说,你短时间内投递多个async_write,那么完成处理器的调用并不是按照你投递async_write的顺序调用的。asio第一次调用完成事件处理器,有可能是第二次async_write返回的结果,也有可能是第3次的。使用strand也是这样的。strand只是保证同一时间只运行一个完成处理器,但它并不保证顺序。
代码测试:
服务器:
将下面的代码编译以后,使用cmd命令提示符下传人参数<IP> <port> <threads>调用
比如:test.exe 0.0.0.0 3005 10
客服端 使用windows自带的telnet
cmd命令提示符:
telnet 127.0.0.1 3005
原理:客户端连接成功后,同一时间调用100次boost::asio::async_write给客户端发送数据,并且在完成事件处理器中打印调用序号,和线程ID。
核心代码:
void start()
{
for (int i = 0; i != 100; ++i)
{
boost::shared_ptr<string> pStr(new string);
*pStr = boost::lexical_cast<string>(boost::this_thread::get_id());
*pStr += "\r\n";
boost::asio::async_write(m_nSocket,boost::asio::buffer(*pStr),
boost::bind(&CMyTcpConnection::HandleWrite,shared_from_this(),
boost::asio::placeholders::error,
boost::asio::placeholders::bytes_transferred,
pStr,i)
);
}
}
//去掉 boost::mutex::scoped_lock lk(m_ioMutex); 效果更明显。
void HandleWrite(const boost::system::error_code& error
,std::size_t bytes_transferred
,boost::shared_ptr<string> pStr,int nIndex)
{
if (!error)
{
boost::mutex::scoped_lock lk(m_ioMutex);
cout << "发送序号=" << nIndex << ",线程id=" << boost::this_thread::get_id() << endl;
}
else
{
cout << "连接断开" << endl;
}
}
完整代码:
#include <boost/bind.hpp>
#include <boost/shared_ptr.hpp>
#include <boost/enable_shared_from_this.hpp>
#include <boost/asio.hpp>
#include <boost/lexical_cast.hpp>
#include <boost/thread.hpp>
#include <boost/thread/mutex.hpp>
#include <string>
#include <iostream>
using std::cout;
using std::endl;
using std::string;
using boost::asio::ip::tcp;
class CMyTcpConnection
: public boost::enable_shared_from_this<CMyTcpConnection>
{
public:
CMyTcpConnection(boost::asio::io_service &ser)
:m_nSocket(ser)
{
}
typedef boost::shared_ptr<CMyTcpConnection> CPMyTcpCon;
static CPMyTcpCon CreateNew(boost::asio::io_service& io_service)
{
return CPMyTcpCon(new CMyTcpConnection(io_service));
}
public:
void start()
{
for (int i = 0; i != 100; ++i)
{
boost::shared_ptr<string> pStr(new string);
*pStr = boost::lexical_cast<string>(boost::this_thread::get_id());
*pStr += "\r\n";
boost::asio::async_write(m_nSocket,boost::asio::buffer(*pStr),
boost::bind(&CMyTcpConnection::HandleWrite,shared_from_this(),
boost::asio::placeholders::error,
boost::asio::placeholders::bytes_transferred,
pStr,i)
);
}
}
tcp::socket& socket()
{
return m_nSocket;
}
private:
void HandleWrite(const boost::system::error_code& error
,std::size_t bytes_transferred
,boost::shared_ptr<string> pStr,int nIndex)
{
if (!error)
{
boost::mutex::scoped_lock lk(m_ioMutex);
cout << "发送序号=" << nIndex << ",线程id=" << boost::this_thread::get_id() << endl;
}
else
{
cout << "连接断开" << endl;
}
}
private:
tcp::socket m_nSocket;
boost::mutex m_ioMutex;
};
class CMyService
: private boost::noncopyable
{
public:
CMyService(string const &strIP,string const &strPort,int nThreads)
:m_tcpAcceptor(m_ioService)
,m_nThreads(nThreads)
{
tcp::resolver resolver(m_ioService);
tcp::resolver::query query(strIP,strPort);
tcp::resolver::iterator endpoint_iterator = resolver.resolve(query);
boost::asio::ip::tcp::endpoint endpoint = *resolver.resolve(query);
m_tcpAcceptor.open(endpoint.protocol());
m_tcpAcceptor.set_option(boost::asio::ip::tcp::acceptor::reuse_address(true));
m_tcpAcceptor.bind(endpoint);
m_tcpAcceptor.listen();
StartAccept();
}
~CMyService(){Stop();}
public:
void Stop()
{
m_ioService.stop();
for (std::vector<boost::shared_ptr<boost::thread>>::const_iterator it = m_listThread.cbegin();
it != m_listThread.cend(); ++ it)
{
(*it)->join();
}
}
void Start()
{
for (int i = 0; i != m_nThreads; ++i)
{
boost::shared_ptr<boost::thread> pTh(new boost::thread(
boost::bind(&boost::asio::io_service::run,&m_ioService)));
m_listThread.push_back(pTh);
}
}
private:
void HandleAccept(const boost::system::error_code& error
,boost::shared_ptr<CMyTcpConnection> newConnect)
{
if (!error)
{
newConnect->start();
}
StartAccept();
}
void StartAccept()
{
CMyTcpConnection::CPMyTcpCon newConnect = CMyTcpConnection::CreateNew(m_tcpAcceptor.get_io_service());
m_tcpAcceptor.async_accept(newConnect->socket(),
boost::bind(&CMyService::HandleAccept, this,
boost::asio::placeholders::error,newConnect));
}
private:
boost::asio::io_service m_ioService;
boost::asio::ip::tcp::acceptor m_tcpAcceptor;
std::vector<boost::shared_ptr<boost::thread>> m_listThread;
std::size_t m_nThreads;
};
int main(int argc, char* argv[])
{
try
{
if (argc != 4)
{
std::cerr << "<IP> <port> <threads>\n";
return 1;
}
int nThreads = boost::lexical_cast<int>(argv[3]);
CMyService mySer(argv[1],argv[2],nThreads);
mySer.Start();
getchar();
mySer.Stop();
}
catch (std::exception& e)
{
std::cerr << "Exception: " << e.what() << "\n";
}
return 0;
}
测试发现和上面的理论是一致的,发送序号是乱的,线程ID也不是同一个。
asio多线程中线程的合理个数:
作为服务器,在不考虑省电的情况下,应该尽可能的使用cpu。也就是说,为了让cpu都忙起来,你的线程个数应该大于等于你电脑的cpu核心数(一个核心运行一个线程)。具体的值没有最优方案,大多数人使用cpu核心数*2 + 2的这种方案,但它不一定适合你的情况。
asio在windows xp等系统中的实现:
asio在windows下使用完成端口,如果你投递的请求没有完成,那么这些线程都在等待GetQueuedCompletionStatus的返回,也就是等待内核对象,此时线程是不占用cpu时间的。
boost中asio网络库多线程并发处理实现,以及asio在多线程模型中线程的调度情况和线程安全。的更多相关文章
- Boost中的网络库ASIO,nginx
boost C++ 本身就是跨平台的,在Linux.Unix.Windos上都可以使用. Boost.Asio 针对网络编程,很多服务端C++开发使用此库. 这个库在以下的平台和编译器上测试通过: ...
- [Boost基础]并发编程——asio网络库——定时器deadline_timer
asio库基于操作系统提供的异步机制,采用前摄器设计模式(Proactor)实现了可移植的异步(或者同步)IO操作,而且并不要求使用多线程和锁定,有些的避免了多线程编程带来的诸多有害副作用(如条件竞争 ...
- [Boost基础]并发编程——asio网络库——同步socket处理
网络通信简述 asio库支持TCP,UDP和ICMP通信协议,它在名字空间boost::asio::ip里提供了大量的网络通信方面的函数和类,很好的封装了原始的Berkeley Socket API, ...
- [Boost基础]并发编程——asio网络库——异步socket处理
异步服务器端 #include <conio.h> #include <iostream> using namespace std; #include <boost/as ...
- Mudo C++网络库第六章学习笔记
muduo网络库简介 高级语言(Java, Python等)的Sockects库并没有对Sockects API提供更高层的封装, 直接用它编写程序很容易掉到陷阱中: 网络库的价值还在于能方便地处理并 ...
- muduo网络库架构总结
目录 muduo网络库简介 muduo网络库模块组成 Recator反应器 EventLoop的两个组件 TimerQueue定时器 Eventfd Connector和Acceptor连接器和监听器 ...
- 网游中的网络编程系列1:UDP vs. TCP
原文:UDP vs. TCP,作者是Glenn Fiedler,专注于游戏网络编程相关工作多年. 目录 网游中的网络编程系列1:UDP vs. TCP 网游中的网络编程2:发送和接收数据包 网游中的网 ...
- 网游中的网络编程3:在UDP上建立虚拟连接
目录 网游中的网络编程系列1:UDP vs. TCP 网游中的网络编程2:发送和接收数据包 网游中的网络编程3:在UDP上建立虚拟连接 TODO 二.在UDP上建立虚拟连接 介绍 UDP是无连接的,一 ...
- -1-5 java 多线程 概念 进程 线程区别联系 java创建线程方式 线程组 线程池概念 线程安全 同步 同步代码块 Lock锁 sleep()和wait()方法的区别 为什么wait(),notify(),notifyAll()等方法都定义在Object类中
本文关键词: java 多线程 概念 进程 线程区别联系 java创建线程方式 线程组 线程池概念 线程安全 同步 同步代码块 Lock锁 sleep()和wait()方法的区别 为什么wait( ...
随机推荐
- 谈谈Facebook的聊天系统架构
今天看到一份 Facebook 公司 2009 年的 Slideshow, 介绍它的聊天系统架构, 其中的一张图结构非常清晰, 所以我对这张图谈谈我的看法. Web Tier: 用 PHP 开发, 聊 ...
- 我在北京找工作(二):java实现算法<1> 冒泡排序+直接选择排序
工作.工作.找工作.经过1个多星期的思想斗争还是决定了找JAVA方面的工作,因为好像能比PHP的工资高点.呵呵 :-) (其实我这是笑脸,什么QQ输入法,模拟表情都没有,忒不人性化了.) 言归正传, ...
- (3)选择元素——(2)文档对象模型(The Document Object Model)
One of the most powerful aspects of jQuery is its ability to make selecting elements in the DOM easy ...
- poj 3281 Dining 网络流-最大流-建图的题
题意很简单:JOHN是一个农场主养了一些奶牛,神奇的是这些个奶牛有不同的品味,只喜欢吃某些食物,喝某些饮料,傻傻的John做了很多食物和饮料,但她不知道可以最多喂饱多少牛,(喂饱当然是有吃有喝才会饱) ...
- POJ 1410 Intersection(线段相交&&推断点在矩形内&&坑爹)
Intersection 大意:给你一条线段,给你一个矩形,问是否相交. 相交:线段全然在矩形内部算相交:线段与矩形随意一条边不规范相交算相交. 思路:知道详细的相交规则之后题事实上是不难的,可是还有 ...
- 百度——地图API——IOS v2.0.2—入门篇
建议高手飘过------ 本以为一个地图的helloworld很简单.实际使用却不是那么回事.就想把地图的头文件和静态库添加到文件中.应该就能用了. baidu提供的xcode工程是支持ios4.3的 ...
- C++ sizeof 操作符的用法总结
在VC中,sizeof有着许多的用法,而且很容易引起一些错误.下面根据sizeof后面的参数对sizeof的用法做个总结. A.参数为数据类型或者为一般变量: 例如sizeof(int),sizeof ...
- 小猪猪逆袭成博士之C++基础篇(三)字符串
小猪猪逆袭成博士之C++基础篇(三)字符串 String 写在题外的话: 非常感谢在我发了第一篇随笔以后有很多人看还评论了,这大概就是一种笔记性质的,也不一定全对,如果不对的地方请指出来让我加以改正. ...
- Oracle自带的exception
存储过程中自带的exception: --查询人员资料历史 BEGIN SELECT * INTO Po_Sac01 FROM Sac01 WHERE Aac001 = Pi_Aac001 ); EX ...
- 断开/删除 SVN 链接(.svn)的几种方法
上传到正式的服务器时需要去掉这些不必要的文件,找到了几种方法: 1.windows下: xcopy project_dir project_dir_1 /s /i (从project_dir 复制文件 ...