如何写一个简单的HTTP服务器(重做版)
最近几天用C++重新写了之前的HTTP服务器,对以前的代码进行改进。新的HTTP服务器采用Reactor模式,有多个线程并且每个线程有一个EventLoop,主程序将任务分发到每个线程,其中采用的是轮盘调度来均匀分配任务。
服务器的源代码放在Github。以前的旧版本也放在我的GitHub上,在Oh-Server仓库中。新代码又新建了一个仓库。
HTTP基础知识
写HTTP服务器当然要了解HTTP的基础知识。HTTP/1.1由RFC2616定义,它和TCP/IP协议族内的其他协议相同,是用于客户和服务器之
间的通信。请求访问资源的一端成为客户端,而提供资源响应的一端成为服务器端。我们要写的是服务端。
HTTP请求报文
HTTP协议规定,请求从客户端发出,然后服务器响应该请求。一个HTTP请求报文的例子如下所示:
GET / HTTP/1.1
Host: www.cnblogs.com
User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:49.0) Gecko/20100101 Firefox/49.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-US,en;q=0.5
Connection: keep-alive
这是一个真实的HTTP请求的例子,其中每一行都以\r\n
结尾。由于我们写的是简单的服务器,所以我们只关心其中的几行。
第一行称为请求行,GET
是请求方法,表示获取资源,除此之外还有POST
方法、PUT
方法、HEAD
方法、DELETE
方法和OPTIONS
方法等。由于我们写一个简单的服务器,所以暂时仅支
持GET
方法。/
是URI,表示客户希望访问的资源的URI。HTTP/1.1
是HTTP协议的版本,此例中表示1.1版本。我们需要解析请求行,需要解析出方法字段、URI和HTTP协议版本。
第二行是Host
字段,表示所请求的资源所在的主机名和端口号。
第三行User-Agent
是客户的浏览器的类型,此例是运行在Ubuntu上的Firefox浏览器。
第四行Accept
表示客户接受的资源的类型。
第四行Accept-Language
表示客户接受的语言类型。
第五行Connection
表示服务器在发送完客户请求的数据之后是否断开TCP连接。keep-alive
表示不断开,close
表示断开。
HTTP应答报文
HTTP/1.1 200 OK
Server: Apache/2.2.22 (Debian)
Content-length: 1223
Content-Type: text/html
第一行为应答行,HTTP/1.1
是协议版本,200
是状态码,OK
是状态短语,表示请求正常。
第二行Server
表示服务器的类型,此例中是Apache服务器。
第三行Content-length
表示实体的长度,单位字节。
第四行Content-Type
表示实体的文件类型。
程序运行流程
编译完毕后在终端中输入 ./Servant 8080
开始运行服务器程序,再打开浏览器输入localhost:8080
访问我们写的HTTP服务器。
服务器在Servant.cpp
中定义的mian函数中监听到了客户浏览器发送的连接请求,主函数accept
客户连接并选择一个线程将客户的已连接套接字注册到此线程的EventLoop
中。
EventLoop
是一个事件循环,每个循环都是在试图从其中的epoll中获取活动的套接字描述符并交给Handler
类中处理。
Handler
类是处理客户HTTP请求的类,它首先将客户的原始请求转发给Parser
类处理,从而获取客户请求的解析结果,Parser
类将解析后的结果存入HTTPRequest
类型的结构体中。Handler
类根据解析后的结果首先测试客户请求的文件是否存在,如果不存在将返回错误。如果文件存在但客户的权限不允许那么也返回客户错误信息。
每个客户请求处理完毕后就关闭此套接字然后EventLoop
继续循环。
解析HTTP请求
HTTP服务器的一个重要任务是解析HTTP请求,源代码中Parser.h
和Parser.cpp
文件中定义的Parser
类就是干这个的。为了表示解析后的结果我们定义了
一个结构体HTTPRequest
结构存储解析后的结果,定义如下:
// 解析请求后的数据存储在HTTPRequest结构体中
typedef struct
{
std::string method; // 请求的方法
std::string uri; // 请求的uri
std::string version; // HTTP版本
std::string host; // 请求的主机名
std::string connection; // Connection首部
} HTTPRequest;
各个字段的意义正如注释中所示。Parser
类的构造函数接受一个字符串类型的参数,解析后的值存储在_parseResult
结构体中,并提供一个接口getParseResult
函数访问解析
后的结果。解析的顺序如下:
首先parseLine
函数按照\r\n
作为分隔解析出每一行请求,并把结果存储在_lines
中,其中每一个元素是一行请求。
然后调用parseRequestLine
函数解析请求行,函数按空格解析各个字段,并把解析得到的方法、URI和HTTP版本存入HTTPRequest
类型的结构体中。
最后调用parseHeaders
函数解析其他头部字段,并将结果存入HTTPRequest
类型的结构体中。
线程池
要想提高服务器的性能,使用线程池是一种很好的方法,它避免了单线程的低效率,并且避免了每次创建一个线程的额外开销。源代码中EventLoopThreadPool.h
文件定义了线程池的类EventLoopThreadPool
。其中的每个线程都是一个EventLoopThread
,EventLoopThread
是EventLoop
和Thread
类的结合体,意思就是每个线程运行一个EventLoop
。每个线程的运行函数就是EventLoop
类中定义的loop
函数。线程池中线程的数目由主函数设置,我设置为4。线程的数目不宜过多也不宜过少,过多的话会增加CPU的调度开销;过少的话不能发挥多核CPU的性能。所以线程池中常驻线程的数目应该等于CPU核心数,以尽量减少任务切换带来的额外开销并充分发挥处理器的性能。
具体实现请参考源代码。
其他模块的作用
由于我们写的是非阻塞的HTTP服务器,所以缓冲区是必须要有的。在读取客户浏览器的请求和发送服务器的响应时我们会先将不完整的请求和响应暂存到缓冲区中,等到数据全部读完或者写完后再一并发送或者交给其他模块处理。所以Buffer.cpp
和Buffer.h
文件中定义的Buffer
类就显得非常有用了。
Buffer类有readFd
和sendFd
函数分别用于读取客户的请求和发送服务器的响应。Buffer类底层存储的是一个char
型的vector
,每次添加数据就调用push_back
将数据添加到字符数组末尾。_readIndex
和_writeIndex
分别表示开始读的索引和开始写的索引,用这两个索引可以方便的读和写数据。
I/O复用
我们使用I/O复用技术的epoll系列函数来监听套接字并通知主函数。至于为什么选择epoll
而不是select
或者poll
,是因为epoll
采用回调的方式通知事件;而select
和poll
采用的
都是轮询的方式,每次调用都要扫描整个注册文件描述符集合,并将其中就绪的描述符返回给用户。因此它们的时间复杂度是O(n),而epoll
由于采用回调的方式所以其时间复杂度为O(1)。
但是当活动连接比较多的时候epoll_wait
的效率未必比select
和poll
高多少,因为此时回调函数触发的比较频繁,所以epoll_wait
用于连接数量多但是活动连接比较少的情况。
其他注意的地方
对于监听套接字设置
SO_REUSEADDR
套接字选项,以允许服务器在其派生的子进程正在处理客户请求的过程中重启服务器进程。忽略SIGPIPE信号,当一个进程向某个已收到RST的套接字执行写操作时,内核向该进程发送一个
SIGPIPE
信号,该信号的默认动作是终止进程,因此进程必须捕获它以免被终止。
参考资料:
UNIX网络编程(第三版)卷一 人民邮电出版社
深入理解计算机系统(第二版) 机械工业出版社
Linux多线程服务端编程 电子工业出版社
Linux高性能服务器编程 机械工业出版社
如何写一个简单的HTTP服务器(重做版)的更多相关文章
- 如何用PHP/MySQL为 iOS App 写一个简单的web服务器(译) PART1
原文:http://www.raywenderlich.com/2941/how-to-write-a-simple-phpmysql-web-service-for-an-ios-app 作为一个i ...
- 如何写一个简单的http服务器
最近几天用C++写了一个简单的HTTP服务器,作为学习网络编程和Linux环境编程的练手项目,这篇文章记录我在写一个HTTP服务器过程中遇到的问题和学习到的知识. 服务器的源代码放在Github. H ...
- nodejs写一个简单的Web服务器
目录文件如 httpFile.js如下: const httpd = require("http"); const fs = require("fs"); // ...
- 用Python写一个简单的Web框架
一.概述 二.从demo_app开始 三.WSGI中的application 四.区分URL 五.重构 1.正则匹配URL 2.DRY 3.抽象出框架 六.参考 一.概述 在Python中,WSGI( ...
- 一个简单的web服务器
写在前面 新的一年了,新的开始,打算重新看一遍asp.net本质论这本书,再重新认识一下,查漏补缺,认认真真的过一遍. 一个简单的web服务器 首先需要引入命名空间: System.Net,关于网络编 ...
- (2)自己写一个简单的servle容器
自己写一个简单的servlet,能够跑一个简单的servlet,说明一下逻辑. 首先是写一个简单的servlet,这就关联到javax.servlet和javax.servlet.http这两个包的类 ...
- Tomcat剖析(二):一个简单的Servlet服务器
Tomcat剖析(二):一个简单的Servlet服务器 1. Tomcat剖析(一):一个简单的Web服务器 2. Tomcat剖析(二):一个简单的Servlet服务器 3. Tomcat剖析(三) ...
- Tomcat剖析(一):一个简单的Web服务器
Tomcat剖析(一):一个简单的Web服务器 1. Tomcat剖析(一):一个简单的Web服务器 2. Tomcat剖析(二):一个简单的Servlet服务器 3. Tomcat剖析(三):连接器 ...
- 自己模拟的一个简单的web服务器
首先我为大家推荐一本书:How Tomcat Works.这本书讲的很详细的,虽然实际开发中我们并不会自己去写一个tomcat,但是对于了解Tomcat是如何工作的还是很有必要的. Servlet容器 ...
随机推荐
- Kali-linux绘制网络结构图
CaseFile工具用来绘制网络结构图.使用该工具能快速添加和连接,并能以图形界面形式灵活的构建网络结构图.本节将介绍Maltego CaseFile的使用. 在使用CaseFile工具之前,需要修改 ...
- jquery mobile header title左对齐 button右对齐
<div data-theme="b" data-role="header" data-position="fixed"> &l ...
- 链表推导式 【list comprehension】
x for x in x 链表推导式 [list comprehension]链表推导式提供了一个创建链表的简单途径,无需使用 map(), filter() 以及 lambda.返回链表的定义通常要 ...
- Samba服务器的配置与使用
1.系统环境变量 Fedora: yum install libacl-devel libblkid-devel gnutls-devel \ readline-devel python-devel ...
- openstack 虚拟机 迁移
迁移. 如果 你的 云 系统 正在 使用 共享 存储, 使用 nova live- migration 命令 就可以. 首先, 要 获得 需要 被 迁移 的 实例 列表: # nova list -- ...
- Gradle Goodness: Add Incremental Build Support to Custom Tasks with Annotations
In a previous post we learned how we can use the inputs and outputs properties to set properties or ...
- Java 8-lambda表达式及方法引用
Lambda表达式 Lambda表达式是一个类似于匿名函数的语法糖,它实现一个函数式接口,它允许我们将函数当成参数传递给某个方法,或者把代码本身当作数据处理. 一个 Lambda 表达式可以有零个或多 ...
- ajax 动态载入html后不能执行其中的js解决方法
事件背景 有一个公用页面需要在多个页面调用,其中涉及到部分js已经写在了公用页面中,通过ajax加载该页面后无法执行其中的js. 解决思路 1. 采用附加一个iframe的方法去执行js,为我等代码洁 ...
- mysql/mariadb学习记录——连接查询(JOIN)
//本文使用的数据表格//persons表中id_p为主键//orders表中id_o为主键,id_p为外键参考persons表中的id_p mysql> select * from perso ...
- shell习题第5题:批量更改文件后缀名
[题目要求] 找到123/目录下所有后缀名为.txt的文件 1. 批量修改.txt为.txt.bak 2. 把所有.bak文件打包压缩为123.tar.gz 3. 批量还原文件的名字,即把增加的.ba ...