Web静态服务器-5-非堵塞模式

单进程非堵塞模型

import socket
import time def main(): tcp_socket_server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
tcp_socket_server.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
tcp_socket_server.bind(("", 8090)) tcp_socket_server.listen(128)
# 设置为非阻塞
tcp_socket_server.setblocking(False) client_socket_list = list() while True: time.sleep(0.5) try:
new_client, client_addr = tcp_socket_server.accept() except:
print("--没有新的客户端到来--")
else:
print("--新的客户端到了了--")
new_client.setblocking(False) # 设置为非阻塞
client_socket_list.append(new_client) for client_socket in client_socket_list:
try:
recv_data = client_socket.recv(1024) except Exception as e:
print(e)
print("没有新的数据到来")
else:
print("消灭或死亡")
print(recv_data)
if recv_data:
print("客户端发送来了数据")
else:
client_socket.close()
client_socket_list.remove(client_socket)
print("关闭客户端") if __name__ == "__main__":
main()

web静态服务器-单进程非堵塞

import socket
import re def handle_client(new_client, recv_data):
"""处理客户端请求""" # GET / HTTP/1.1
request_header_lines = recv_data.splitlines()
for line in request_header_lines:
print(line)
http_request_line = request_header_lines[0];
get_file_name = re.match("[^/]+(/[^ ]*)", http_request_line).group(1)
print("file name is -> " + get_file_name) # print(recv_data)
if get_file_name == "/":
get_file_name = "/index.html" root_path = "./html"
get_file_name = root_path + get_file_name;
try:
f = open(get_file_name, "rb")
except:
response_body = b"page not found"
response_headers = "HTTP/1.1 404 NOT FOUND\r\n"
response_headers += "Content-Length: %d\r\n" % len(response_body)
response_headers += "\r\n"
else: # 组装响应的内容
response_body = f.read()
response_headers = "HTTP/1.1 200 OK\r\n"
response_headers += "Content-Length: %d\r\n" % len(response_body)
response_headers += "\r\n"
f.close() new_client.send(response_headers.encode("utf-8"))
new_client.send(response_body) # new_client.close() def main(): # 创建套接字
tcp_socket_server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
tcp_socket_server.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) # 绑定本地消息
tcp_socket_server.bind(("", 8090)) # 套接字由主动变被动
tcp_socket_server.listen(128) # 设置为非堵塞
tcp_socket_server.setblocking(False) client_socket_list = list() while True: try:
# 接收新的请求
new_client, client_addr = tcp_socket_server.accept()
except Exception as ret:
pass
else:
new_client.setblocking(False)
client_socket_list.append(new_client) for client_socket in client_socket_list:
try:
recv_data = client_socket.recv(1024).decode("utf-8")
except:
pass
else:
if recv_data:
handle_client(client_socket, recv_data)
else:
client_socket.close()
client_socket_list.remove(client_socket) # 关闭套接字
tcp_socket_server.close() if __name__ == "__main__": main()

Web静态服务器-6-epoll

IO 多路复用

就是我们说的select,poll,epoll,有些地方也称这种IO方式为event driven IO。

select/epoll的好处就在于单个process就可以同时处理多个网络连接的IO。

它的基本原理就是select,poll,epoll这个function会不断的轮询所负责的所有socket,当某个socket有数据到达了,就通知用户进程。

web静态服务器-epool

示例代码如下:

import socket
import re
import select def handle_client(new_client, recv_data):
"""处理客户端请求""" # GET / HTTP/1.1
request_header_lines = recv_data.splitlines()
for line in request_header_lines:
print(line)
http_request_line = request_header_lines[0];
get_file_name = re.match("[^/]+(/[^ ]*)", http_request_line).group(1)
print("file name is -> " + get_file_name) # print(recv_data)
if get_file_name == "/":
get_file_name = "/index.html" root_path = "./html"
get_file_name = root_path + get_file_name;
try:
f = open(get_file_name, "rb")
except:
response_body = b"page not found"
response_headers = "HTTP/1.1 404 NOT FOUND\r\n"
response_headers += "Content-Length: %d\r\n" % len(response_body)
response_headers += "\r\n"
else: # 组装响应的内容
response_body = f.read()
response_headers = "HTTP/1.1 200 OK\r\n"
response_headers += "Content-Length: %d\r\n" % len(response_body)
response_headers += "\r\n"
f.close() new_client.send(response_headers.encode("utf-8"))
new_client.send(response_body) # new_client.close() def main(): # 创建套接字
tcp_socket_server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
tcp_socket_server.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) # 绑定本地消息
tcp_socket_server.bind(("", 8090)) # 套接字由主动变被动
tcp_socket_server.listen(128) # 创建epoll对象
epoll = select.epoll() epoll.register(tcp_socket_server.fileno(), select.EPOLLIN) new_client_dict = dict() while True: epoll_list = epoll.poll() for fd, events in epoll_list: if fd == tcp_socket_server.fileno():
new_client, client_addr = tcp_socket_server.accept()
new_client_dict[new_client.fileno()] = new_client
epoll.register(new_client.fileno(), select.EPOLLIN)
elif events == select.EPOLLIN: recv_data = new_client_dict[fd].recv(1024).decode("utf-8") if recv_data:
handle_client(new_client_dict[fd], recv_data)
else:
epoll.unregister(new_client_dict[fd])
new_client_dict[fd].close()
del new_client_dict[fd] # 关闭套接字
tcp_socket_server.close() if __name__ == "__main__": main()

说明:

  • EPOLLIN (可读)
  • EPOLLOUT (可写)
  • EPOLLET (ET模式)

epoll对文件描述符的操作有两种模式:LT(level trigger)和ET(edge trigger)。LT模式是默认模式,LT模式与ET模式的区别如下:

LT模式:当epoll检测到描述符事件发生并将此事件通知应用程序,应用程序可以不立即处理该事件。下次调用epoll时,会再次响应应用程序并通知此事件。
ET模式:当epoll检测到描述符事件发生并将此事件通知应用程序,应用程序必须立即处理该事件。如果不处理,下次调用epoll时,不会再次响应应用程序并通知此事件。

I/O 多路复用的特点:

通过一种机制使一个进程能同时等待多个文件描述符,而这些文件描述符(套接字描述符)其中的任意一个进入读就绪状态,epoll()函数就可以返回。 所以, IO多路复用,本质上不会有并发的功能,因为任何时候还是只有一个进程或线程进行工作,它之所以能提高效率是因为select\epoll 把进来的socket放到他们的 '监视' 列表里面,当任何socket有可读可写数据立马处理,那如果select\epoll 手里同时检测着很多socket, 一有动静马上返回给进程处理,总比一个一个socket过来,阻塞等待,处理高效率。

当然也可以多线程/多进程方式,一个连接过来开一个进程/线程处理,这样消耗的内存和进程切换页会耗掉更多的系统资源。 所以我们可以结合IO多路复用和多进程/多线程 来高性能并发,IO复用负责提高接受socket的通知效率,收到请求后,交给进程池/线程池来处理逻辑。

http协议、web服务器、并发服务器(下)的更多相关文章

  1. web服务器-并发服务器2

    阅读目录 1.Web静态服务器-5-非堵塞模式 2.Web静态服务器-6-epoll 3.Web静态服务器-7-gevent版 4.知识扩展-C10K问题 一.Web静态服务器-5-非堵塞模式 单进程 ...

  2. 14_Web服务器-并发服务器

    1.服务器概述 1.硬件服务器(IBM,HP): 主机 集群 2.软件服务器(HTTPserver Django flask): 网络服务器,在后端提供网络功能逻辑处理数据处理的程序或者架构等 3.服 ...

  3. Python复习笔记(十)Http协议--Web服务器-并发服务器

    1. HTTP协议(超文本传输协议) 浏览器===>服务器发送的请求格式如下:(浏览器告诉服务器,浏览器的信息) GET / HTTP/1.1 Host: www.baidu.com Conne ...

  4. Web服务器-并发服务器-Epoll(3.4.5)

    @ 目录 1.介绍 2.代码 关于作者 1.介绍 epoll是一种解决方案,nginx就是用的这个 中心思想:不要再使用多进程,多线程了,使用单进程,单线程去实现并发 在上面博客实现的代码中使用过的轮 ...

  5. Web服务器-并发服务器-长连接(3.4.4)

    @ 目录 1.说明 2.代码 关于作者 1.说明 每次new_socket都被强制关闭,造成短连接 所提不要关闭套接字 但是不关闭的话,浏览器不知道发完没有啊 此时用到header的属性Content ...

  6. Web服务器-并发服务器-单进程单线程非堵塞方式(3.4.3)

    @ 目录 1.分析 2.代码 关于作者 1.分析 当socket去监听的时候,是堵塞的状态 通过tcp_sever_socket.setblocking(False)去设置不堵塞 当socket发现没 ...

  7. Web服务器-并发服务器-协程 (3.4.2)

    @ 目录 1.分析 2.代码 关于作者 1.分析 随着网站的用户量越来愈多,通过多进程多线程的会力不从心 使用协程可以缓解这一问题 只要使用gevent实现 2.代码 from socket impo ...

  8. Web服务器-并发服务器-多进程(3.4.1)

    @ 目录 1.优化分析 2.代码 3. 关于作者 1.优化分析 在单进程的时候,相当于 是来一个客户,派一个人去服务一下 效率低,现在使用多进程来服务 假设场景 100个人同时访问页面 单进程:一次处 ...

  9. linux学习之多高并发服务器篇(一)

    高并发服务器 高并发服务器 并发服务器开发 1.多进程并发服务器 使用多进程并发服务器时要考虑以下几点: 父最大文件描述个数(父进程中需要close关闭accept返回的新文件描述符) 系统内创建进程 ...

  10. 手把手让你实现开源企业级web高并发解决方案(lvs+heartbeat+varnish+nginx+eAccelerator+memcached)

    原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://freeze.blog.51cto.com/1846439/677348 此文凝聚 ...

随机推荐

  1. Python之旅Day12 HTML与CSS

    前端CSS与HTML部分 <a href="http://www.baidu.com" target="_Blank">百度</a>_B ...

  2. Maven3-依赖

    依赖配置 我们先来看一份简单的依赖声明: <project> ... <dependencies> <dependency> <groupId>...& ...

  3. 给你的WordPress站点添加下雪特效

    今天看到这个教程,感觉挺应景的,就自己尝试了下,效果还行,没截GIF图 方法: 该js文件已支持https,同时已将其及相关雪花图片进行CDN加速处理,可直接调用. 找到WordPress主题的foo ...

  4. StackExchange.Redis 模糊查询和删除

    初始化连接对象 _connectionString = ConfigurationManager.ConnectionStrings["RedisConnectionString" ...

  5. Python的串口通信(pyserial)

    串口通信是指外设和计算机间,通过数据信号线 .地线.控制线等,按位进行传输数据的一种通讯方式.这种通信方式使用的数据线少,在远距离通信中可以节约通信成本,但其传输速度比并行传输低.串口是计算机上一种非 ...

  6. Java 程序员必备的 15 个框架,前 3 个地位无可动摇!

    Java 程序员方向太多,且不说移动开发.大数据.区块链.人工智能这些,大部分 Java 程序员都是 Java Web/后端开发.那作为一名 Java Web 开发程序员必须需要熟悉哪些框架呢? 今天 ...

  7. linux audit工具

    一个不错的博客,可以吸收营养,等读完后再决定写什么? https://www.cnblogs.com/bldly1989/p/7204358.html changelog -------------- ...

  8. websocket ----简介,以及demo

    #导报 from dwebsocket.decorators import accept_websocket WebSocket是一种在单个TCP连接上进行全双工通信的协议 WebSocket使得客户 ...

  9. 【mysql】模糊查询的使用

    1.like/not like 关键字的模糊查询(SQL模式) 基础模板:  SELECT  *  FROM   test  WHERE name LIKE '%你好_'     :匹配       ...

  10. Jexus~mono中使用StackExchange.redis的问题

    在windows平台的vs里,添加包包时,可以选择StackExchange.redis,而如果你的应该程序需要部署到linux的mono环境上,使用这个StackExchange.redis是不行的 ...