使用splice实现高效的代理服务器
很多网络应用场景下, 当原设备与目标设备无法直接建立连接时,这时就需要一台代理服务器进行中转。代理服务器只需要将来自源设备的报文 原封不动的转发给目标设备,而并不需要知道报文的具体内容。在这种情况下,服务器就没必要将客户端的报文读出来。每读取一次都需要从内核态到用户态的一次拷贝,在流量密集型的应用中,这样做显然很消耗服务器性能。而splice就是为了解决这个问题,它实现了不同文件描述符之间的0拷贝操作。关于splice函数的描述如下:
ssize_t splice(int fd_in, loff_t* off_in,int fd_out, loff_t* off_out, size_t len, unsigned int flags);
fd_in参数是带输入的文件描述符
off_in表示从输入数据流的何处开始读取数据,如果fd_in是管道文件描述符,则必须设置为NULL,表示从0开始
fd_out/off_out 表示输出的文件描述符与偏移
len表示要读取的长度
flags 标志,常用的两个标志SPLICE_F_NONBLOCK,表示非阻塞的splice操作,但要依赖于文件描述符本身的阻塞状态;SPLICE_F_MORE表示给内核一个提示,后续splice调用将读取更多数据
使用splice时,fd_in于fd_out必须至少有一个是管道文件描述符
下面给出一个demo,实现两个客户端之间的报文透传
服务器代码:
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <assert.h>
#include <stdio.h>
#include <unistd.h>
#include <errno.h>
#include <string.h>
#include <fcntl.h>
#include <stdlib.h>
#include <sys/epoll.h>
#include <pthread.h> #define MAX_EVENT_NUMBER 1024
#define BUFFER_SIZE 10 int connfd[] = {}; int setnonblocking( int fd )
{
int old_option = fcntl( fd, F_GETFL );
int new_option = old_option | O_NONBLOCK;
fcntl( fd, F_SETFL, new_option );
return old_option;
} void addfd( int epollfd, int fd, bool enable_et )
{
epoll_event event;
event.data.fd = fd;
event.events = EPOLLIN;
if( enable_et )
{
event.events |= EPOLLET;
}
epoll_ctl( epollfd, EPOLL_CTL_ADD, fd, &event );
setnonblocking( fd );
} void lt( epoll_event* events, int number, int epollfd, int listenfd )
{
char buf[ BUFFER_SIZE ];
for ( int i = ; i < number; i++ )
{
int sockfd = events[i].data.fd;
if ( sockfd == listenfd )
{
static int conntimes = ;
struct sockaddr_in client_address;
socklen_t client_addrlength = sizeof( client_address );
int fd = accept( listenfd, ( struct sockaddr* )&client_address, &client_addrlength );
addfd( epollfd, fd, false );
if(conntimes <= )
{
connfd[conntimes] = fd;
}
conntimes++;
printf("new conn, %d\n",fd);
}
else if ( events[i].events & EPOLLIN )
{
int pipefd[];
pipe(pipefd);
if(sockfd == connfd[])
{
splice(connfd[], NULL, pipefd[], NULL, ,SPLICE_F_MORE);
splice(pipefd[], NULL, connfd[], NULL, ,SPLICE_F_MORE);
}
else if(sockfd == connfd[])
{
splice(connfd[], NULL, pipefd[], NULL, ,SPLICE_F_MORE);
splice(pipefd[], NULL, connfd[], NULL, ,SPLICE_F_MORE);
}
else
{
int recvlen = read(sockfd,buf,BUFFER_SIZE-);
buf[recvlen] = ;
printf("recv buf : %s\n",buf);
}
close(pipefd[]);
close(pipefd[]);
}
else
{
printf( "something else happened \n" );
}
}
} int main( int argc, char* argv[] )
{
if( argc <= )
{
printf( "usage: %s ip_address port_number\n", basename( argv[] ) );
return ;
}
const char* ip = argv[];
int port = atoi( argv[] ); int ret = ;
struct sockaddr_in address;
bzero( &address, sizeof( address ) );
address.sin_family = AF_INET;
inet_pton( AF_INET, ip, &address.sin_addr );
address.sin_port = htons( port ); int listenfd = socket( PF_INET, SOCK_STREAM, );
assert( listenfd >= ); ret = bind( listenfd, ( struct sockaddr* )&address, sizeof( address ) );
assert( ret != - ); ret = listen( listenfd, );
assert( ret != - ); epoll_event events[ MAX_EVENT_NUMBER ];
int epollfd = epoll_create( );
assert( epollfd != - );
addfd( epollfd, listenfd, true ); while( )
{
int ret = epoll_wait( epollfd, events, MAX_EVENT_NUMBER, - );
if ( ret < )
{
printf( "epoll failure\n" );
break;
}
lt( events, ret, epollfd, listenfd );
}
close( listenfd );
return ;
}
客户端代码:
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <assert.h>
#include <stdio.h>
#include <unistd.h>
#include <string.h>
#include <stdlib.h>
#include <poll.h>
#include <fcntl.h> int connectserver(const char *ip, int port)
{
int rcv_size = ;
size_t optlen = sizeof(int);
struct sockaddr_in server_address;
bzero( &server_address, sizeof( server_address ) );
server_address.sin_family = AF_INET;
inet_pton( AF_INET, ip, &server_address.sin_addr );
server_address.sin_port = htons( port );
int sockfd = socket( PF_INET, SOCK_STREAM, );
assert( sockfd >= );
if ( connect( sockfd, ( struct sockaddr* )&server_address, sizeof( server_address ) ) < )
{
printf( "connection failed\n" );
close( sockfd );
return -;
}
return sockfd;
} int main( int argc, char* argv[] )
{
if( argc <= )
{
printf( "usage: %s ip_address port_number\n", argv[] );
return ;
}
const char* ip = argv[];
int port = atoi( argv[] );
int pipefd[];
pipe(pipefd);
int sockfd = connectserver(ip,port);
assert(sockfd >= );
fd_set readsets;
FD_ZERO(&readsets);
while()
{
FD_SET(STDIN_FILENO,&readsets);
FD_SET(sockfd, &readsets);
int ret = select(sockfd+ , &readsets,NULL,NULL,NULL);
assert(ret >= );
if(FD_ISSET(STDIN_FILENO, &readsets))
{
splice(STDIN_FILENO, NULL, pipefd[], NULL, ,SPLICE_F_MORE);
splice(pipefd[], NULL, sockfd, NULL, ,SPLICE_F_MORE);
}
else if(FD_ISSET(sockfd,&readsets))
{
splice(sockfd, NULL, pipefd[], NULL, ,SPLICE_F_MORE);
splice(pipefd[], NULL, STDOUT_FILENO, NULL, ,SPLICE_F_MORE);
}
}
close(pipefd[]);
close(pipefd[]);
close(sockfd);
return ;
}
使用splice实现高效的代理服务器的更多相关文章
- linux网络编程九:splice函数,高效的零拷贝
from:http://blog.csdn.net/jasonliuvip/article/details/22600569 linux网络编程九:splice函数,高效的零拷贝 最近在看<Li ...
- linux网络编程:splice函数和tee( )函数高效的零拷贝
splice( )函数 在两个文件描述符之间移动数据,同sendfile( )函数一样,也是零拷贝. 函数原型: #include <fcntl.h> ssize_t splice(int ...
- 高效配置Linux代理服务器 Squid介绍
作为一种免费的网络操作系统,Linux越来越受到广大网络爱好者的欢迎,目前Internet上运行的主机有相当一部分采用的就是Linux,而且中国已经把Linux作为政府上网的指定网络操作系统.种种迹象 ...
- 安装TFS(2015)工作组模式代理服务器(Agent)
TFS的代理服务器(agent)用于持续集成编译和发布,为开发.测试团队和运维团队带来的非常便捷高效的发布和测试速度,许多企业和研发团队都在自己的研发测试平台中广泛使用这一技术. 在部署TFS代理服务 ...
- twemproxy explore,redis和memcache代理服务器
twemproxy,也叫nutcraker.是一个twtter开源的一个redis和memcache代理服务器. redis作为一个高效的缓存服务器,非常具有应用价值.但是当使用比较多的时候,就希望可 ...
- Nginx为什么比Apache Httpd高效:原理篇
一.进程.线程? 进程是具有一定独立功能的,在计算机中已经运行的程序的实体.在早期系统中(如linux 2.4以前),进程是基本运作单位,在支持线程的系统中(如windows,linux2.6)中,线 ...
- 用Java开发代理服务器
基础知识 不管以哪种方式应用代理服务器,其监控HTTP传输的过程总是如下: 步骤一:内部的浏览器发送请求给代理服务器.请求的第一行包含了目标URL. 步骤二:代理服务器读取该URL,并把请求转发给合适 ...
- list::splice()函数详解
http://blog.csdn.net/bichenggui/article/details/4674900 list::splice实现list拼接的功能.将源list的内容部分或全部元素删除,拼 ...
- 【翻译】使用nginx作为反向代理服务器,uWSGI作为应用服务器来部署flask应用
最近在看关于Docker和Nginx方面的内容,先于在Docker上开发以及部署python应用自然要先能够在本机上部署,其中找到一篇文章写的最为详细并且实验成功,所以在此翻译转载过来以备后需.[原文 ...
随机推荐
- [题解]bzoj 3223 文艺平衡树
3223: Tyvj 1729 文艺平衡树 Time Limit: 10 Sec Memory Limit: 128 MBSubmit: 3884 Solved: 2235[Submit][Sta ...
- 【转】安卓Fragment不完全介绍
转两篇博客: 1.http://blog.csdn.net/lmj623565791/article/details/37970961 2.http://blog.csdn.net/lmj623565 ...
- BZOJ3202 [Sdoi2013]项链
Problem E: [Sdoi2013]项链 Time Limit: 30 Sec Memory Limit: 512 MBSubmit: 427 Solved: 146[Submit][Sta ...
- UVa 10718 - Bit Mask
题目大意:给一数N,在区间[L, U]上找到一个数M使得M| N的值最大,如果有M有多个可能值,取最小的那个值. 从最高位开始逐位判断,如果N的该位为0,为使M | N的值最大,M的该位应考虑置为1, ...
- TCMalloc
一. 原理 tcmalloc就是一个内存分配器,管理堆内存,主要影响malloc和free,用于降低频繁分配.释放内存造成的性能损耗,并且有效地控制内存碎片.glibc中的内存分配器是ptmalloc ...
- javascript 简单工厂
function detail() { this.imgArr = []; this.codeArr = []; } detail.prototype.addimg = function(img) { ...
- Cocos2d-x 详解坐标系统
这篇博文将介绍一下在cocos2dx中的一些坐标系统概念: 一. (1) OpenGL坐标系 Cocos2D-x以OpenGL和OpenGL ES为基础,所以自然支持OpenGL坐标系.该坐标系原点在 ...
- CRtmpServer分析与应用
CRtmpServer分析与应用 官方地址:http://www.rtmpd.com/ CRtmpServer是一款不错的开源流媒体服务器,用c++语言编写,跨平台.官方介绍CRtmpServer不仅 ...
- DEVTMPFS
devtmpfs选项保证了系统启动使用临时文件系统.不选会启动出现readonly ,无法启动
- linux上静态库链接的有关问题
求大神,linux下静态库链接的问题有两个文件和一个库,a.c, b.c,libh.a,其中b.c里面会有调用libh.a的函数func1,现在将a.c, b.c,libh.a编译链接生成可执行文件, ...