提高Web服务器并发响应的经历】的更多相关文章

1 前言 ---------- 最近一直在维护一个线上运行的旧系统,系统本身的问题很多,然而又有大量客户准备试用.之前一直存有侥幸心理,希望系统能神奇的顶过这段时间,但这个蜗牛般的系统残忍的告诉我们--我们被客户给投诉了.现在真的不得不正视这个问题并且需要快速的解决掉. 2 处理 ---------- 2.1 初步分析 ============= 之前也初步分析过这个问题,定位在连接池那里有问题.现象是有大量的"Cannot open connections"的报错,dump出来的线程…
当linux下Nginx达到并发数很高,TCP TIME_WAIT套接字数量经常达到两.三万,这样服务器很容易被拖死.事实上,我们可以简单的通过修改Linux内核参数,可以减少Nginx服务器 的TIME_WAIT套接字数量,进而提高Nginx服务器并发性能.   vi /etc/sysctl.conf   增加以下几行: net.ipv4.tcp_fin_timeout = 30 net.ipv4.tcp_keepalive_time = 1200 net.ipv4.tcp_syncookie…
阅读目录 1.Web静态服务器-5-非堵塞模式 2.Web静态服务器-6-epoll 3.Web静态服务器-7-gevent版 4.知识扩展-C10K问题 一.Web静态服务器-5-非堵塞模式 单进程非堵塞 模型 #coding=utf-8 from socket import * import time # 用来存储所有的新链接的socket g_socket_list = list() def main(): server_socket = socket(AF_INET, SOCK_STRE…
面试中容易被问到你们服务器的并发是多少?但是这个问题我问过许多人,没有得到一个准确的答案!我总结了一些不错的回答,分享给大家! 面试题: 你们公司的服务器并发是多少? 我的回答: 1.并发这个词,许多人的理解不相同.最开始的时候并发是指一台服务器1秒内同时建立的TCP连接个数(来自百度百科),这个理解许多运维的同学会这样理解.一台服务器的10W左右的高配服务器,安装linux并做了linux内核优化TCP的参数(一些连接断开时间优化),这个理解的并发最高也只有1000个左右!服务器CPU和内存资…
@ 目录 1.介绍 2.代码 关于作者 1.介绍 epoll是一种解决方案,nginx就是用的这个 中心思想:不要再使用多进程,多线程了,使用单进程,单线程去实现并发 在上面博客实现的代码中使用过的轮询去查看套接字有没有数据,而epoll是主动通知 当使用多进程的时候,是复制一份资源去查看,epoll不用复制,直接来 优势:1.共享内存 2.事件通知 2.代码 import socket import select def tcp_server(new_tcp_socket, request):…
1. HTTP协议(超文本传输协议) 浏览器===>服务器发送的请求格式如下:(浏览器告诉服务器,浏览器的信息) GET / HTTP/1.1 Host: www.baidu.com Connection: keep-alive Cache-Control: max-age=0 Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, l…
@ 目录 1.说明 2.代码 关于作者 1.说明 每次new_socket都被强制关闭,造成短连接 所提不要关闭套接字 但是不关闭的话,浏览器不知道发完没有啊 此时用到header的属性Content-Length http_header += "Content-Length:%d\r\n\r\n" % len(http_body) 将http_body的长度装到返回头,送出给浏览器 当浏览器获取完数据了之后,就不会再加载了 2.代码 import socket import re d…
@ 目录 1.分析 2.代码 关于作者 1.分析 当socket去监听的时候,是堵塞的状态 通过tcp_sever_socket.setblocking(False)去设置不堵塞 当socket发现没有用户的时候会出错,执行异常 当连接上用户的时候会马上把用户发到socket列表中 再遍历socket列表时候也设置,new的socket为非阻塞状态 通过和上面一样的方式 2.代码 import socket import re def http_sever(new_socket, recv_da…
@ 目录 1.分析 2.代码 关于作者 1.分析 随着网站的用户量越来愈多,通过多进程多线程的会力不从心 使用协程可以缓解这一问题 只要使用gevent实现 2.代码 from socket import * import re from gevent import monkey import gevent monkey.patch_all() def service_client(new_socket): '''为这个客户端返回数据''' # 1.接收浏览器发送过来的请求,即http请求 #G…
@ 目录 1.优化分析 2.代码 3. 关于作者 1.优化分析 在单进程的时候,相当于 是来一个客户,派一个人去服务一下 效率低,现在使用多进程来服务 假设场景 100个人同时访问页面 单进程:一次处理,后面的会等待时间长 多进程:并发处理,一起处理 当然进程不能越多越好,硬件不支持 线程的开销比进程少,但最好使用协程 注意 用process来创建子进程的时候,子进程会复制主进程的资源 全局变量和局部变量都会复制 2.代码 from socket import * import re impor…