洗礼灵魂，修炼python（59）--爬虫篇—httplib模块

httplib

1.简介

同样的，httplib默认存在于python2，python3不存在：

httplib是python中http协议的客户端实现，可以用来与 HTTP 服务器进行交互，支持HTTP和HTTPS。httplib功能挺实用，也挺简单，不信的话，接着看

2.方法/属性

httplib的内容不是很多，也比较简单

3.常用方法/属性解析

httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] )：HTTPConnection类的构造函数（有没有发现和urllib.urlopen对象很像？），表示一次与服务器之间的交互，即请求/响应。

• host：服务器ip或者url，如：www.baidu.com
• port：端口号，默认值为80
• strict：默认值为false， 表示在无法解析服务器返回的状态行时( status line)，是否抛BadStatusLine 异常（最常见的： HTTP/1.0 200 OK ）
• timeout：超时时间

对象HTTPConnection的方法：

HTTPConnection.request ( method , url [ , body [ , headers ]] )（这里是不是又很像urllib2.request）:调用request 方法会向服务器发送一次请求

• method：请求的方法，常用有方法有get 和post
• url：请求的资源的url
• body：提交到服务器的数据，必须是字符串（如果method 是”post” ，则可以把body 理解为html 表单中的数据）
• headers：请求的http头

HTTPConnection.connect()：连接到Http服务器

HTTPConnection.close()：关闭与服务器的连接

HTTPConnection.set_debuglevel ( level )：设置高度级别，参数level的默认值为0 ，表示不输出任何调试信息

HTTPConnection.getresponse()：表示服务器对客户端请求的http响应，返回的对象是HTTPResponse 的实例，下面提到

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

/* Style Definitions */
table.MsoNormalTable
{mso-style-name:普通表格;
mso-tstyle-rowband-size:0;
mso-tstyle-colband-size:0;
mso-style-noshow:yes;
mso-style-priority:99;
mso-style-parent:"";
mso-padding-alt:0cm 5.4pt 0cm 5.4pt;
mso-para-margin:0cm;
mso-para-margin-bottom:.0001pt;
mso-pagination:widow-orphan;
font-size:10.5pt;
mso-bidi-font-size:11.0pt;
font-family:"Calibri","sans-serif";
mso-ascii-font-family:Calibri;
mso-ascii-theme-font:minor-latin;
mso-hansi-font-family:Calibri;
mso-hansi-theme-font:minor-latin;
mso-font-kerning:1.0pt;}

对象httplib.HTTPResponse方法：

HTTPResponse.read([amt])：获取响应的消息体。如果请求的是一个普通的网页，那么该方法返回的是页面的html。可选参数amt表示从响应流中读取指定字节的数据。

HTTPResponse.getheader(name[, default])：获取响应头

• name表示头域(header field)名
• default在头域名不存在的情况下作为默认值返回

HTTPResponse.getheaders()：以列表的形式返回所有的头信息

HTTPResponse.msg：获取所有的响应头信息

HTTPResponse.version：获取服务器所使用的http协议版本，比如11表示http/1.1；10表示http/1.0

HTTPResponse.status：获取响应的状态码，如：200

HTTPResponse.reason：返回服务器处理请求的结果说明，多为”OK”

例：

#coding=utf-8
import httplib
test=httplib.HTTPConnection('www.baidu.com',80,False)
test.request('GET','/',headers={'Host': 'www.baidu.com',
                                    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0',
                                    'Accept': 'text/plain'})
res = test.getresponse()
print 'version:%s'%res.version
print 'reason:%s'%res.reason
print 'status:%s'%res.status
print 'msg:%s'%res.msg
print 'headers:%s'%res.getheaders()  

print res.read()
test.close()

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

/* Style Definitions */
table.MsoNormalTable
{mso-style-name:普通表格;
mso-tstyle-rowband-size:0;
mso-tstyle-colband-size:0;
mso-style-noshow:yes;
mso-style-priority:99;
mso-style-parent:"";
mso-padding-alt:0cm 5.4pt 0cm 5.4pt;
mso-para-margin:0cm;
mso-para-margin-bottom:.0001pt;
mso-pagination:widow-orphan;
font-size:10.5pt;
mso-bidi-font-size:11.0pt;
font-family:"Calibri","sans-serif";
mso-ascii-font-family:Calibri;
mso-ascii-theme-font:minor-latin;
mso-hansi-font-family:Calibri;
mso-hansi-theme-font:minor-latin;
mso-font-kerning:1.0pt;}

结果：

其他方法和属性自己下去再测试了

Httplib模块中还定义了一些常量：

Httplib. HTTP_PORT：值为80，表示默认的端口号为80

Httplib.OK：值为200，表示请求成功返回

Httplib. NOT_FOUND：值为404，表示请求的资源不存在

可以通过httplib.responses 查询相关变量的含义：

其实有没有觉得httplib还相对挺简单的，我个人感觉比urllib功能多点，比urllib2简单。

免责声明

本博文只是为了分享技术和共同学习为目的，并不出于商业目的和用途，也不希望用于商业用途，特此声明。如果内容中测试的贵站站长有异议，请联系我立即删除