探测web服务器质量——pycurl
pycurl是一个用C语言写的libcurl Python实现,功能非常强大,支持的操作协议有FTP、HTTP、HTTPS、TELNET等,可以理解为Linux下curl命令功能的Python封装,简单易用。
下面会通过调用pycurl提供的方法,实现web服务质量的情况,比如相应的HTTP状态码、请求延时、HTTP头信息、下载速度等,利用这些信息可以定位服务响应慢的具体环节。
一、模块常用方法说明
pycurl.Curl()类实现创建一个libcurl包的Curl句柄对象,无参数,下面介绍Curl对象几个常用的方法。
(1)close():对应libcurl包中curl_easy_cleanup方法,无参数,实现关闭、回收Curl兑现。
(2)perform():对应libcurl包中curl_easy_perform方法,无参数,实现Curl对象请求的提交。
(3)setopt(option,value):对应libcurl包中的curl_easy_setopt方法,参数option是通过libcurl的常量来指定,参数value的值会依赖option,可以是一个字符串、整型、文件对象、列表、函数等,下面列举常用的常量:
In [1]: import pycurl #导入模块
In [2]: c = pycurl.Curl() #创建一个curl对象
In [3]: c.setopt(pycurl.CONNECTTIMEOUT,5) #连接的等待时间,设置为0则不等待
In [4]: c.setopt(pycurl.TIMEOUT,5) #请求超时时间
In [5]: c.setopt(pycurl.NOPROGRESS,0) #是否屏蔽下载进度条,非0则屏蔽
In [6]: c.setopt(pycurl.MAXREDIRS,5) #指定HTTP重定向的最大数
In [7]: c.setopt(pycurl.FORBID_REUSE,1) #完成交互后断开连接,不重用
In [8]: c.setopt(pycurl.FRESH_CONNECT,1) #强制获取新的连接,即替代缓存中的连接
In [9]: c.setopt(pycurl.DNS_CACHE_TIMEOUT,60) #设置保存DNS信息的时间,默认为120秒
In [10]: c.setopt(pycurl.URL,'http://www.baidu.com') #请求指定的URL
In [11]: c.setopt(pycurl.USERAGENT,'Mozilla/5.2 (compatible; MSIE 6.0; Windows NT 5.1;sv1; .NET CLR 1.1.4322; .NET CLR 2.0.50324)') #配置请求HTTP头的User-Agent
In [12]: c.setopt(pycurl.HEADERFUNCTION, getheader) #将返回的HTTP HEADER定向到回调函数gerheader
In [13]: c.setopt(pycurl.WRITEFUNCTION, getbody) #将返回的内容定向到回调函数getbody
In [14]: c.setopt(pycurl.WRITEHEADER, fileobj) #将返回的HTTP HEADER定向到fileobj文件
In [15]: c.setopt(pycurl.WRITEDATA, fileobj) #将返回的HTML内容定向到fileobj文件对象
(4)getinfo(option):对应libcurl包中的curl_easy_getinfo方法,参数option是通过libcurl的常量来指定的。下面列举常用的常量列表:
In [1]: import pycurl
In [2]: c = pycurl.Curl() #创建一个curl对象
In [3]: c.getinfo(pycurl.HTTP_CODE) #返回HTTP状态码
In [4]: c.getinfo(pycurl.TOTAL_TIME) #传输结束所消耗的总时间
In [5]: c.getinfo(pycurl.NAMELOOKUP_TIME) #DNS解析所消耗的时间
In [6]: c.getinfo(pycurl.CONNECT_TIME) #建立连接所消耗的时间
In [7]: c.getinfo(pycurl.PRETRANSFER_TIME) #从建立连接到准备传输所消耗的时间
In [8]: c.getinfo(pycurl.STARTTRANSFER_TIME) #从建立连接到传输开始消耗的时间
In [9]: c.getinfo(pycurl.REDIRECT_TIME) #重定向所消耗的时间
In [10]: c.getinfo(pycurl.SIZE_UPLOAD) #上传数据包的大小
In [11]: c.getinfo(pycurl.SIZE_DOWNLOAD) #下载数据包的大小
In [12]: c.getinfo(pycurl.SPEED_DOWNLOAD) #平均下载速度
In [13]: c.getinfo(pycurl.SPEED_UPLOAD) #平均上传速度
In [14]: c.getinfo(pycurl.HEADER_SIZE) #HTTP头部大小
我们利用libcurl包提供的这些常量值来达到探测web服务质量的目的。
二、实践:实现探测web服务质量
HTTP服务是最流行的互联网应用之一,服务质量的好坏关系到用户体验以及网站的运营服务水平,最常用的有两个标准,
一为服务的可用性,比如是否处于正常提供服务状态,而不是出现404页面未找到或500页面错误等;
二为服务的响应速度,比如静态类文件下载时间都控制在毫秒级,动态CGI为秒级。
本示例使用pycurl的setopt与getinfo方法实现HTTP服务质量的探测。
#!/usr/bin/env python2
#coding:utf-8
import os,sys
import time
import pycurl URL = "http://www.google.com" #探测的目标URL
c = pycurl.Curl() #创建一个Curl对象
c.setopt(pycurl.URL,URL) #定义请求的URL常量
c.setopt(pycurl.CONNECTTIMEOUT,5) #定义请求连接的等待时间
c.setopt(pycurl.TIMEOUT,5) #定义请求超时时间
c.setopt(pycurl.NOPROGRESS,1) #屏蔽下载进度条
c.setopt(pycurl.MAXREDIRS,1) #指定HTTP重定向的最大数为1
c.setopt(pycurl.FORBID_REUSE,1) #完成交互后强制断开连接,不重用
c.setopt(pycurl.DNS_CACHE_TIMEOUT,30) #设置保存DNS信息的时间为30秒 #创建一个文件对象,以“wb”方式打开,用来存储返回的http头部及页面的内容
indexfile = open(os.path.dirname(os.path.realpath(__file__))+"/content.txt","wb")
c.setopt(pycurl.WRITEHEADER,indexfile) #将返回的HTTP HEADER定向到indexfile文件
c.setopt(pycurl.WRITEDATA,indexfile) #将返回的HTML内容定向到indexfile文件 try:
c.perform()
except Exception,e:
print "连接错误"
indexfile.close()
c.close()
sys.exit() NAMELOOKUP_TIME = c.getinfo(c.NAMELOOKUP_TIME) #DNS解析所消耗的时间
CONNECT_TIME = c.getinfo(c.CONNECT_TIME) #建立连接所消耗的时间
PRETRANSFER_TIME = c.getinfo(c.PRETRANSFER_TIME) #从建立连接到准备传输所消耗的时间
STARTTRANSFER_TIME = c.getinfo(c.STARTTRANSFER_TIME) #从建立连接到传输开始消耗的时间
TOTAL_TIME = c.getinfo(c.TOTAL_TIME) #传输结束所消耗的总时间
HTTP_CODE = c.getinfo(c.HTTP_CODE) #返回HTTP状态码
SIZE_DOWNLOAD = c.getinfo(c.SIZE_DOWNLOAD) #下载数据包的大小
HEADER_SIZE = c.getinfo(c.HEADER_SIZE) #HTTP头部大小
SPEED_DOWNLOAD = c.getinfo(c.SPEED_DOWNLOAD) #平均下载速度 #打印输出相关数据
print "HTTP状态码:%s" % HTTP_CODE
print "DNS解析时间:%2f" % NAMELOOKUP_TIME*1000
print "建立连接时间:%2f" % CONNECT_TIME*1000
print "准备传输时间:%2f" % PRETEANSFER_TIME*1000
print "传输开始时间:%2f" % STARTTRANSFER_TIME*1000
print "传输结束总时间:%2f" % TOTAL_TIME*1000
print "下载数据包大小:%d bytes/s" % SIZE_DOWNLOAD
print "HTTP头部大小:%d bytes/s" % HEADER_SIZE
print "平均下载速度:%d bytes/s" % SPEED_DOWNLOAD #关闭文件及Curl对象
indexfile.close()
c.close()
探测web服务器质量——pycurl的更多相关文章
- 6.python探测Web服务质量方法之pycurl模块
才开始学习的时候有点忽略了这个模块,觉得既然Python3提供了requests库,为什么多此一举学习这个模块.后来才发现pycurl在探测Web服务器的时候的强大. pycurl是一个用c语言写的l ...
- 利用Python实现对Web服务器的目录探测
今天是一篇提升技能的干货分享,操作性较强,适用于中级水平的小伙伴,文章阅读用时约3分钟. PART 1/Python Python是一种解释型.面向对象.动态数据类型的高级程序设计语言. Python ...
- 利用 python 实现对web服务器的目录探测
一.pythonPython是一种解释型.面向对象.动态数据类型的高级程序设计语言.python 是一门简单易学的语言,并且功能强大也很灵活,在渗透测试中的应用广泛,让我们一起打造属于自己的渗透测试工 ...
- Harp – 内置常用预处理器的静态 Web 服务器
Harp 是一个基于 Node.js 平台的静态 Web 服务器,内置流行的预处理器,支持把 Jade, Markdown, EJS, Less, Stylus, Sass, and CoffeeSc ...
- Web服务器上可能被包含或被请求的不同脚本源代码文件
Web服务器上可能被包含或被请求的不同脚本源代码文件的大致数量(建议值为1024~4096). ; 如果你不能确定,则设为 0 :此设定主要用于拥有数千个源文件的站点. apc.optimizatio ...
- Web服务器处理HTTP压缩之gzip、deflate压缩
现如今在处理http请求的时候,由于请求的资源较多,如果不启用压缩的话,那么页面请求的流量将会非常大.启用gzip压缩,在一定程度上会大大的提高页面性能. 目录 一.什么是gzip 二.什么是de ...
- 常用Java Web 服务器
Java Web应用程序需要部署在Java web服务器中运行,常用的Java Web服务器有Tomcat.GlassFish.WebLogic.JBoss.WebSphere.Jetty.JRun等 ...
- Nginx做web服务器反向代理
实验目的 通过nginx实现反向代理的功能,类似apache反向代理和haproxy反向代理 工作中用nginx做反向代理和负载均衡的也越来越多了 有些公司从web服务器到反向代理,都使用nginx. ...
- 常用/常见Java Web 服务器/应用服务器Logo图文介绍
常用/常见应用服务器介绍:自己总结.整理一些常见的应用服务器,资料主要来源于网上. 常用Java Web 服务器Java Web应用程序需要部署在Java web服务器中运行,常用的Java ...
随机推荐
- 《学习bash》笔记--进程处理
1.进程ID和作业编号 当通过附加&号后执行命令时.shell会响应例如以下: $ ls & [1] 3318 当中[1]是作业号,3318是进程号. 一个后台进程完毕时.shell ...
- C# 反编译工具
justdecompile http://down.51cto.com/data/2067031 ILSpy http://www.fishlee.net/soft/ilspy_chs/
- AspectJ风格的Aop切点表达式
execution(*com.aptech.jb.epet.dao.hibimpl.*.*(..)) 这样写应该就可以了,这是com.aptech.jb.epet.dao.hibimpl 包下所有的类 ...
- JUnit单元测试中的setUpBeforeClass()、tearDownAfterClass()、setUp()、tearDown()方法小结
编写JUnit单元测试的时候,会用到 setUpBeforeClass().tearDownAfterClass().setUp().tearDown()这四个方法,例如用 eclipse新建一个ju ...
- 优化MyDb
import pymysqlclass MyDb(object): #新式类 def __del__(self):#析构函数 self.cur.close() self.coon.close() pr ...
- Pycharm中的scrapy安装教程
在利用pycharm安装scrapy包是遇到了挺多的问题.在折腾了差不多折腾了两个小时之后总算是安装好了.期间各种谷歌和百度,发现所有的教程都是利用命令行窗口安装的.发现安装scrapy需要的包真是多 ...
- JQuery find函数选择器使用
- window 服务(二)
接Window服务(一) ServiceController方法调用 public partial class Service1 : ServiceBase { public Service1() { ...
- mysql临时表空间暴涨
(此文刚好遇到转载记录) 一.内部临时表使用 在某些情况下,服务器在处理语句时创建内部临时表,而用户无法直接控制临时表何时发生,完全有MySQL内部自行决定. MySQL在以下几种情况会创建临时表: ...
- Qemu事件处理机制简介
Qmeu 采用了基于事件驱动的架构,所有的事件都在一个事件循环(event loop)中被处理,系统中默认的事件循环是在main-loop.c 中的主循环(main loop).我们也可以使用 –ob ...