如何写一个简单的http服务器
最近几天用C++重新写了之前的HTTP服务器,对以前的代码进行改进。新的HTTP服务器采用Reactor模式,有多个线程并且每个线程有一个EventLoop,主程序将任务分发到每个线程,其中采用的是轮盘调度来均匀分配任务。
服务器的源代码放在Github。以前的旧版本也放在我的GitHub上,在Oh-Server仓库中。新代码又新建了一个仓库。
HTTP基础知识
写HTTP服务器当然要了解HTTP的基础知识。HTTP/1.1由RFC2616定义,它和TCP/IP协议族内的其他协议相同,是用于客户和服务器之
间的通信。请求访问资源的一端成为客户端,而提供资源响应的一端成为服务器端。我们要写的是服务端。
HTTP请求报文
HTTP协议规定,请求从客户端发出,然后服务器响应该请求。一个HTTP请求报文的例子如下所示:
GET / HTTP/1.1
Host: www.cnblogs.com
User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:49.0) Gecko/20100101 Firefox/49.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-US,en;q=0.5
Connection: keep-alive
这是一个真实的HTTP请求的例子,其中每一行都以\r\n
结尾。由于我们写的是简单的服务器,所以我们只关心其中的几行。
第一行称为请求行,GET
是请求方法,表示获取资源,除此之外还有POST
方法、PUT
方法、HEAD
方法、DELETE
方法和OPTIONS
方法等。由于我们写一个简单的服务器,所以暂时仅支
持GET
方法。/
是URI,表示客户希望访问的资源的URI。HTTP/1.1
是HTTP协议的版本,此例中表示1.1版本。我们需要解析请求行,需要解析出方法字段、URI和HTTP协议版本。
第二行是Host
字段,表示所请求的资源所在的主机名和端口号。
第三行User-Agent
是客户的浏览器的类型,此例是运行在Ubuntu上的Firefox浏览器。
第四行Accept
表示客户接受的资源的类型。
第四行Accept-Language
表示客户接受的语言类型。
第五行Connection
表示服务器在发送完客户请求的数据之后是否断开TCP连接。keep-alive
表示不断开,close
表示断开。
HTTP应答报文
HTTP/1.1 200 OK
Server: Apache/2.2.22 (Debian)
Content-length: 1223
Content-Type: text/html
第一行为应答行,HTTP/1.1
是协议版本,200
是状态码,OK
是状态短语,表示请求正常。
第二行Server
表示服务器的类型,此例中是Apache服务器。
第三行Content-length
表示实体的长度,单位字节。
第四行Content-Type
表示实体的文件类型。
程序运行流程
编译完毕后在终端中输入 ./Servant 8080
开始运行服务器程序,再打开浏览器输入localhost:8080
访问我们写的HTTP服务器。
服务器在Servant.cpp
中定义的mian函数中监听到了客户浏览器发送的连接请求,主函数accept
客户连接并选择一个线程将客户的已连接套接字注册到此线程的EventLoop
中。
EventLoop
是一个事件循环,每个循环都是在试图从其中的epoll中获取活动的套接字描述符并交给Handler
类中处理。
Handler
类是处理客户HTTP请求的类,它首先将客户的原始请求转发给Parser
类处理,从而获取客户请求的解析结果,Parser
类将解析后的结果存入HTTPRequest
类型的结构体中。Handler
类根据解析后的结果首先测试客户请求的文件是否存在,如果不存在将返回错误。如果文件存在但客户的权限不允许那么也返回客户错误信息。
每个客户请求处理完毕后就关闭此套接字然后EventLoop
继续循环。
解析HTTP请求
HTTP服务器的一个重要任务是解析HTTP请求,源代码中Parser.h
和Parser.cpp
文件中定义的Parser
类就是干这个的。为了表示解析后的结果我们定义了
一个结构体HTTPRequest
结构存储解析后的结果,定义如下:
// 解析请求后的数据存储在HTTPRequest结构体中
typedef struct
{
std::string method; // 请求的方法
std::string uri; // 请求的uri
std::string version; // HTTP版本
std::string host; // 请求的主机名
std::string connection; // Connection首部
} HTTPRequest;
各个字段的意义正如注释中所示。Parser
类的构造函数接受一个字符串类型的参数,解析后的值存储在_parseResult
结构体中,并提供一个接口getParseResult
函数访问解析
后的结果。解析的顺序如下:
首先parseLine
函数按照\r\n
作为分隔解析出每一行请求,并把结果存储在_lines
中,其中每一个元素是一行请求。
然后调用parseRequestLine
函数解析请求行,函数按空格解析各个字段,并把解析得到的方法、URI和HTTP版本存入HTTPRequest
类型的结构体中。
最后调用parseHeaders
函数解析其他头部字段,并将结果存入HTTPRequest
类型的结构体中。
线程池
要想提高服务器的性能,使用线程池是一种很好的方法,它避免了单线程的低效率,并且避免了每次创建一个线程的额外开销。源代码中EventLoopThreadPool.h
文件定义了线程池的类EventLoopThreadPool
。其中的每个线程都是一个EventLoopThread
,EventLoopThread
是EventLoop
和Thread
类的结合体,意思就是每个线程运行一个EventLoop
。每个线程的运行函数就是EventLoop
类中定义的loop
函数。线程池中线程的数目由主函数设置,我设置为4。线程的数目不宜过多也不宜过少,过多的话会增加CPU的调度开销;过少的话不能发挥多核CPU的性能。所以线程池中常驻线程的数目应该等于CPU核心数,以尽量减少任务切换带来的额外开销并充分发挥处理器的性能。
具体实现请参考源代码。
其他模块的作用
由于我们写的是非阻塞的HTTP服务器,所以缓冲区是必须要有的。在读取客户浏览器的请求和发送服务器的响应时我们会先将不完整的请求和响应暂存到缓冲区中,等到数据全部读完或者写完后再一并发送或者交给其他模块处理。所以Buffer.cpp
和Buffer.h
文件中定义的Buffer
类就显得非常有用了。
Buffer类有readFd
和sendFd
函数分别用于读取客户的请求和发送服务器的响应。Buffer类底层存储的是一个char
型的vector
,每次添加数据就调用push_back
将数据添加到字符数组末尾。_readIndex
和_writeIndex
分别表示开始读的索引和开始写的索引,用这两个索引可以方便的读和写数据。
I/O复用
我们使用I/O复用技术的epoll系列函数来监听套接字并通知主函数。至于为什么选择epoll
而不是select
或者poll
,是因为epoll
采用回调的方式通知事件;而select
和poll
采用的
都是轮询的方式,每次调用都要扫描整个注册文件描述符集合,并将其中就绪的描述符返回给用户。因此它们的时间复杂度是O(n),而epoll
由于采用回调的方式所以其时间复杂度为O(1)。
但是当活动连接比较多的时候epoll_wait
的效率未必比select
和poll
高多少,因为此时回调函数触发的比较频繁,所以epoll_wait
用于连接数量多但是活动连接比较少的情况。
其他注意的地方
对于监听套接字设置
SO_REUSEADDR
套接字选项,以允许服务器在其派生的子进程正在处理客户请求的过程中重启服务器进程。忽略SIGPIPE信号,当一个进程向某个已收到RST的套接字执行写操作时,内核向该进程发送一个
SIGPIPE
信号,该信号的默认动作是终止进程,因此进程必须捕获它以免被终止。
参考资料:
UNIX网络编程(第三版)卷一 人民邮电出版社
深入理解计算机系统(第二版) 机械工业出版社
Linux多线程服务端编程 电子工业出版社
Linux高性能服务器编程 机械工业出版社
如何写一个简单的http服务器的更多相关文章
- 如何用PHP/MySQL为 iOS App 写一个简单的web服务器(译) PART1
原文:http://www.raywenderlich.com/2941/how-to-write-a-simple-phpmysql-web-service-for-an-ios-app 作为一个i ...
- 如何写一个简单的HTTP服务器(重做版)
最近几天用C++重新写了之前的HTTP服务器,对以前的代码进行改进.新的HTTP服务器采用Reactor模式,有多个线程并且每个线程有一个EventLoop,主程序将任务分发到每个线程,其中采用的是轮 ...
- nodejs写一个简单的Web服务器
目录文件如 httpFile.js如下: const httpd = require("http"); const fs = require("fs"); // ...
- 用Python写一个简单的Web框架
一.概述 二.从demo_app开始 三.WSGI中的application 四.区分URL 五.重构 1.正则匹配URL 2.DRY 3.抽象出框架 六.参考 一.概述 在Python中,WSGI( ...
- 一个简单的web服务器
写在前面 新的一年了,新的开始,打算重新看一遍asp.net本质论这本书,再重新认识一下,查漏补缺,认认真真的过一遍. 一个简单的web服务器 首先需要引入命名空间: System.Net,关于网络编 ...
- (2)自己写一个简单的servle容器
自己写一个简单的servlet,能够跑一个简单的servlet,说明一下逻辑. 首先是写一个简单的servlet,这就关联到javax.servlet和javax.servlet.http这两个包的类 ...
- Tomcat剖析(二):一个简单的Servlet服务器
Tomcat剖析(二):一个简单的Servlet服务器 1. Tomcat剖析(一):一个简单的Web服务器 2. Tomcat剖析(二):一个简单的Servlet服务器 3. Tomcat剖析(三) ...
- Tomcat剖析(一):一个简单的Web服务器
Tomcat剖析(一):一个简单的Web服务器 1. Tomcat剖析(一):一个简单的Web服务器 2. Tomcat剖析(二):一个简单的Servlet服务器 3. Tomcat剖析(三):连接器 ...
- 自己模拟的一个简单的web服务器
首先我为大家推荐一本书:How Tomcat Works.这本书讲的很详细的,虽然实际开发中我们并不会自己去写一个tomcat,但是对于了解Tomcat是如何工作的还是很有必要的. Servlet容器 ...
随机推荐
- CentOS 下 sftp 有人能连有人不能连 程序设定了禁用IP
问题现象: 局域网的一台Linux上运行有sftp Server. 大家用FileZilia 连接,有两个人能够连接,有两个人不能连接. 解决问题: 1.先查看服务器上的sftp server是哪一个 ...
- 锋利的jQuery学习总结
通过对<锋利的jQuery>(第二版)一书的学习,发现此书讲解通俗易懂,是学习jQuery的一本很好的指导书,特作如下总结.此书主要讲解了jQuery的常用操作,包括认识jQuery,jQ ...
- HUD 4007 [扫描线][序]
/* 大连热身B题 不要低头,不要放弃,不要气馁,不要慌张 题意: 坐标平面内给很多个点,放置一个边长为r的与坐标轴平行的正方形,问最多有多少个点在正方形内部. 思路: 按照x先排序,然后确定x在合法 ...
- Google Developing for Android 三 - Performance最佳实践
Google Developing for Android 三 - Performance最佳实践 发表于 2015-06-07 | 分类于 Android最佳实践 原文 Developing ...
- 尚学堂Spring视频教程(二):Spring控制反转
用Spring来实现IOC 在上节中我们自定义了一个接口BeanFactory和类ClassPathXmlApplicationContext来模拟Spring,其实它们在Spring中确实是存在的, ...
- STL容器
啦啦啦,今天听啦高年级学长讲的STL容器啦,发现有好多东西还是有必要记载的,毕竟学长是身经百战的,他在参加各种比赛的时候积累的经验可不是一天两天就能学来的,那个可是炒鸡有价值的啊,啊啊啊啊啊 #inc ...
- Raspberry pi(-) Mac下安装系统
购买树莓派一般的操作说明书都是windows下的,因为本人只有MBP,外加虚拟机Parallels Desktop无法识别SD卡,所以就直接参考Mac教程了. 1.系统镜像官网下载 推荐用Raspbi ...
- 显示全部select change 异常
异常信息(异常类型:Genersoft.Platform.Core.Error.GSPException)异常提示:调用方法SelectChange发生异常,详细请看内部异常信息!异常信息:调用方法S ...
- java后台访问接口
// 发送url地址获取信息 public static String sendPost(String jsonStr, String path) { String msg = "" ...
- Effective objective-c 2.0阅读笔记
这本书非常的好,看完后,感触挺深,总结纪录一下,针对ios开发的备忘: 注:分类和原著有些不同,自己总结学习用的,仅供参考. 系统篇: 了解oc起源:继承c,由Smalltalk演化而来.动态语言 ...