pycurl是一个用C语言写的libcurl Python实现,功能非常强大,支持的操作协议有FTP、HTTP、HTTPS、TELNET等,可以理解为Linux下curl命令功能的Python封装,简单易用。

下面会通过调用pycurl提供的方法,实现web服务质量的情况,比如相应的HTTP状态码、请求延时、HTTP头信息、下载速度等,利用这些信息可以定位服务响应慢的具体环节。

一、模块常用方法说明

pycurl.Curl()类实现创建一个libcurl包的Curl句柄对象,无参数,下面介绍Curl对象几个常用的方法。

(1)close():对应libcurl包中curl_easy_cleanup方法,无参数,实现关闭、回收Curl兑现。

(2)perform():对应libcurl包中curl_easy_perform方法,无参数,实现Curl对象请求的提交。

(3)setopt(option,value):对应libcurl包中的curl_easy_setopt方法,参数option是通过libcurl的常量来指定,参数value的值会依赖option,可以是一个字符串、整型、文件对象、列表、函数等,下面列举常用的常量:

In [1]: import pycurl  #导入模块
In [2]: c = pycurl.Curl() #创建一个curl对象
In [3]: c.setopt(pycurl.CONNECTTIMEOUT,5) #连接的等待时间,设置为0则不等待
In [4]: c.setopt(pycurl.TIMEOUT,5) #请求超时时间
In [5]: c.setopt(pycurl.NOPROGRESS,0) #是否屏蔽下载进度条,非0则屏蔽
In [6]: c.setopt(pycurl.MAXREDIRS,5) #指定HTTP重定向的最大数
In [7]: c.setopt(pycurl.FORBID_REUSE,1) #完成交互后断开连接,不重用
In [8]: c.setopt(pycurl.FRESH_CONNECT,1) #强制获取新的连接,即替代缓存中的连接
In [9]: c.setopt(pycurl.DNS_CACHE_TIMEOUT,60) #设置保存DNS信息的时间,默认为120秒
In [10]: c.setopt(pycurl.URL,'http://www.baidu.com') #请求指定的URL
In [11]: c.setopt(pycurl.USERAGENT,'Mozilla/5.2 (compatible; MSIE 6.0; Windows NT 5.1;sv1; .NET CLR 1.1.4322; .NET CLR 2.0.50324)') #配置请求HTTP头的User-Agent
In [12]: c.setopt(pycurl.HEADERFUNCTION, getheader) #将返回的HTTP HEADER定向到回调函数gerheader
In [13]: c.setopt(pycurl.WRITEFUNCTION, getbody) #将返回的内容定向到回调函数getbody
In [14]: c.setopt(pycurl.WRITEHEADER, fileobj) #将返回的HTTP HEADER定向到fileobj文件
In [15]: c.setopt(pycurl.WRITEDATA, fileobj) #将返回的HTML内容定向到fileobj文件对象

(4)getinfo(option):对应libcurl包中的curl_easy_getinfo方法,参数option是通过libcurl的常量来指定的。下面列举常用的常量列表:

In [1]: import pycurl
In [2]: c = pycurl.Curl() #创建一个curl对象
In [3]: c.getinfo(pycurl.HTTP_CODE) #返回HTTP状态码
In [4]: c.getinfo(pycurl.TOTAL_TIME) #传输结束所消耗的总时间
In [5]: c.getinfo(pycurl.NAMELOOKUP_TIME) #DNS解析所消耗的时间
In [6]: c.getinfo(pycurl.CONNECT_TIME) #建立连接所消耗的时间
In [7]: c.getinfo(pycurl.PRETRANSFER_TIME) #从建立连接到准备传输所消耗的时间
In [8]: c.getinfo(pycurl.STARTTRANSFER_TIME) #从建立连接到传输开始消耗的时间
In [9]: c.getinfo(pycurl.REDIRECT_TIME) #重定向所消耗的时间
In [10]: c.getinfo(pycurl.SIZE_UPLOAD) #上传数据包的大小
In [11]: c.getinfo(pycurl.SIZE_DOWNLOAD) #下载数据包的大小
In [12]: c.getinfo(pycurl.SPEED_DOWNLOAD) #平均下载速度
In [13]: c.getinfo(pycurl.SPEED_UPLOAD) #平均上传速度
In [14]: c.getinfo(pycurl.HEADER_SIZE) #HTTP头部大小

我们利用libcurl包提供的这些常量值来达到探测web服务质量的目的。

二、实践:实现探测web服务质量

HTTP服务是最流行的互联网应用之一,服务质量的好坏关系到用户体验以及网站的运营服务水平,最常用的有两个标准,

一为服务的可用性,比如是否处于正常提供服务状态,而不是出现404页面未找到或500页面错误等;

二为服务的响应速度,比如静态类文件下载时间都控制在毫秒级,动态CGI为秒级。

本示例使用pycurl的setopt与getinfo方法实现HTTP服务质量的探测。

#!/usr/bin/env python2
#coding:utf-8
import os,sys
import time
import pycurl URL = "http://www.google.com" #探测的目标URL
c = pycurl.Curl() #创建一个Curl对象
c.setopt(pycurl.URL,URL) #定义请求的URL常量
c.setopt(pycurl.CONNECTTIMEOUT,5) #定义请求连接的等待时间
c.setopt(pycurl.TIMEOUT,5) #定义请求超时时间
c.setopt(pycurl.NOPROGRESS,1) #屏蔽下载进度条
c.setopt(pycurl.MAXREDIRS,1) #指定HTTP重定向的最大数为1
c.setopt(pycurl.FORBID_REUSE,1) #完成交互后强制断开连接,不重用
c.setopt(pycurl.DNS_CACHE_TIMEOUT,30) #设置保存DNS信息的时间为30秒 #创建一个文件对象,以“wb”方式打开,用来存储返回的http头部及页面的内容
indexfile = open(os.path.dirname(os.path.realpath(__file__))+"/content.txt","wb")
c.setopt(pycurl.WRITEHEADER,indexfile) #将返回的HTTP HEADER定向到indexfile文件
c.setopt(pycurl.WRITEDATA,indexfile) #将返回的HTML内容定向到indexfile文件 try:
c.perform()
except Exception,e:
print "连接错误"
indexfile.close()
c.close()
sys.exit() NAMELOOKUP_TIME = c.getinfo(c.NAMELOOKUP_TIME) #DNS解析所消耗的时间
CONNECT_TIME = c.getinfo(c.CONNECT_TIME) #建立连接所消耗的时间
PRETRANSFER_TIME = c.getinfo(c.PRETRANSFER_TIME) #从建立连接到准备传输所消耗的时间
STARTTRANSFER_TIME = c.getinfo(c.STARTTRANSFER_TIME) #从建立连接到传输开始消耗的时间
TOTAL_TIME = c.getinfo(c.TOTAL_TIME) #传输结束所消耗的总时间
HTTP_CODE = c.getinfo(c.HTTP_CODE) #返回HTTP状态码
SIZE_DOWNLOAD = c.getinfo(c.SIZE_DOWNLOAD) #下载数据包的大小
HEADER_SIZE = c.getinfo(c.HEADER_SIZE) #HTTP头部大小
SPEED_DOWNLOAD = c.getinfo(c.SPEED_DOWNLOAD) #平均下载速度 #打印输出相关数据
print "HTTP状态码:%s" % HTTP_CODE
print "DNS解析时间:%2f" % NAMELOOKUP_TIME*1000
print "建立连接时间:%2f" % CONNECT_TIME*1000
print "准备传输时间:%2f" % PRETEANSFER_TIME*1000
print "传输开始时间:%2f" % STARTTRANSFER_TIME*1000
print "传输结束总时间:%2f" % TOTAL_TIME*1000
print "下载数据包大小:%d bytes/s" % SIZE_DOWNLOAD
print "HTTP头部大小:%d bytes/s" % HEADER_SIZE
print "平均下载速度:%d bytes/s" % SPEED_DOWNLOAD #关闭文件及Curl对象
indexfile.close()
c.close()

探测web服务器质量——pycurl的更多相关文章

  1. 6.python探测Web服务质量方法之pycurl模块

    才开始学习的时候有点忽略了这个模块,觉得既然Python3提供了requests库,为什么多此一举学习这个模块.后来才发现pycurl在探测Web服务器的时候的强大. pycurl是一个用c语言写的l ...

  2. 利用Python实现对Web服务器的目录探测

    今天是一篇提升技能的干货分享,操作性较强,适用于中级水平的小伙伴,文章阅读用时约3分钟. PART 1/Python Python是一种解释型.面向对象.动态数据类型的高级程序设计语言. Python ...

  3. 利用 python 实现对web服务器的目录探测

    一.pythonPython是一种解释型.面向对象.动态数据类型的高级程序设计语言.python 是一门简单易学的语言,并且功能强大也很灵活,在渗透测试中的应用广泛,让我们一起打造属于自己的渗透测试工 ...

  4. Harp – 内置常用预处理器的静态 Web 服务器

    Harp 是一个基于 Node.js 平台的静态 Web 服务器,内置流行的预处理器,支持把 Jade, Markdown, EJS, Less, Stylus, Sass, and CoffeeSc ...

  5. Web服务器上可能被包含或被请求的不同脚本源代码文件

    Web服务器上可能被包含或被请求的不同脚本源代码文件的大致数量(建议值为1024~4096). ; 如果你不能确定,则设为 0 :此设定主要用于拥有数千个源文件的站点. apc.optimizatio ...

  6. Web服务器处理HTTP压缩之gzip、deflate压缩

    现如今在处理http请求的时候,由于请求的资源较多,如果不启用压缩的话,那么页面请求的流量将会非常大.启用gzip压缩,在一定程度上会大大的提高页面性能.   目录 一.什么是gzip 二.什么是de ...

  7. 常用Java Web 服务器

    Java Web应用程序需要部署在Java web服务器中运行,常用的Java Web服务器有Tomcat.GlassFish.WebLogic.JBoss.WebSphere.Jetty.JRun等 ...

  8. Nginx做web服务器反向代理

    实验目的 通过nginx实现反向代理的功能,类似apache反向代理和haproxy反向代理 工作中用nginx做反向代理和负载均衡的也越来越多了 有些公司从web服务器到反向代理,都使用nginx. ...

  9. 常用/常见Java Web 服务器/应用服务器Logo图文介绍

    常用/常见应用服务器介绍:自己总结.整理一些常见的应用服务器,资料主要来源于网上.     常用Java Web 服务器Java Web应用程序需要部署在Java web服务器中运行,常用的Java ...

随机推荐

  1. Codeforces Round #254 (Div. 2) B (445B)DZY Loves Chemistry

    推理可得终于结果为2的(n-可分组合数)次方. 问题是怎么求出可分组合数,深搜就可以,当然并查集也能够. AC代码例如以下: 深搜代码!!! #include<iostream> #inc ...

  2. 基于bootstrsp的jquery富文本编辑器的手冊说明

    重点:当在页面插入文本编辑器后.无法用js/jq的方式去将某些值写入到文本编辑器.如:$("textarea").val("111");$("text ...

  3. 程序员必备SQL语句优化技巧

    1.任何地方都不要使用 select * from t ,用具体的字段列表代替"*",不要返回用不到的任何字段. 2.尽量使用数字型字段,字符型会降低查询和连接的性能,并会增加存储 ...

  4. 谈一谈Http Request 与Http Response

    1.什么是HTTPRequest与HTTP Response? 我们平时打开浏览器,输入网址,点击Enter按键,然后我们想要的网页就呈现在我们的眼前,可是这个过程是怎么实现的呢? 简单来说是这样的: ...

  5. 约瑟夫环用php实现

    百度百科的解释:约瑟夫环(约瑟夫问题)是一个数学的应用问题:已知n个人(以编号1,2,3...n分别表示)围坐在一张圆桌周围.从编号为k的人开始报数,数到m的那个人出列:他的下一个人又从1开始报数,数 ...

  6. JAVA、Android与Cordova环境搭建

    一些坑(如Manager.exe闪退的问题)请查看:https://www.cnblogs.com/CyLee/p/9911195.html 官方网址: # Cordova http://cordov ...

  7. Android实现夜间模式小结

    随着APP实现的功能越来越丰富, 看小说看视频上网等等, 如今不少人花在手机平板等移动终端上的时间越来越长了. 但手机和平板的屏幕并不像Kindle那类电纸书的水墨屏那么耐看, 因为自发光的屏幕特性, ...

  8. executable null\bin\winutils.exe in the Hadoop binaries.

    在windows 使用eclipse远程调用hadoop集群时抛出下面异常 executable null\bin\winutils.exe in the Hadoop binaries. 这个问题 ...

  9. linux把某个文件拷贝到不同的目录下面

    find -name '7*' -type d|xargs -n 1 cp PBClassname.properties

  10. iOS ZipArchive文件解压缩

    ZipArchive可以用于iOS中文件的解压缩 压缩文件的方法: //将工程中picture添加到左面111.zip压缩文件中 如果崩溃请更换压缩路径 -(void)testZipFile{ //压 ...