一直以来技术群里会有新入行的同学提问关于urllib和urllib2以及cookielib相关的问题.所以我打算在这里总结一下,避免大家反复回答同样的问题浪费资源. 这篇属于教程类的文字,如果你已经非常了解urllib2和cookielib那么请忽略本篇. 首先从一段代码开始, #cookie import urllib2 import cookielib cookie = cookielib.CookieJar() opener = urllib2.build_opener(urllib2.H…

#!/usr/bin/env pythonimport urllib2 # change followings before useuser = 'foo'passwd = 'bar'proxyserver = '1.2.3.4:5'url = 'http://www.google.com/' def proxy1(): # work proxy = 'http://%s:%s@%s' % (user, passwd, proxyserver) opener = urllib2.build_op…

urllib2 - extensible library for opening URLs Note The urllib2 module has been split across several modules in Python 3 named urllib.request and urllib.error. The 2to3 tool will automatically adapt imports when converting your sources to Python 3. Th…

1.使用python的库urllib2,用到urlopen和Request方法. 2.方法urlopen原形 urllib2.urlopen(url[, data][, timeout]) 其中: url表示目标网页地址,可以是字符串,也可以是请求对象Request data表示post方式提交给目标服务器的参数 timeout表示超时时间设置 改方法返回一个类似文件的对象,有geturl().info().read()方法其中geturl()返回连接地址,info()返回网页信息. 要获取网页…

区别 1) urllib2可以接受一个Request类的实例来设置URL请求的headers,urllib仅可以接受URL.这意味着,用urllib时不可以伪装User Agent字符串等. 2) urllib提供urlencode方法用来encode发送的data,而urllib2没有.这是为何urllib常和urllib2一起使用的原因. urllib 1 urllib.urlopen(url[,data[,proxies]]) 打开一个url的方法,返回一个文件对象 >>> req…

一.urllib2简单获取html页面 #!/usr/bin/env python # -*- coding:utf-8 -*- import urllib2 response = urllib2.urlopen('http://www.baidu.com'); html = response.read(); print html 简单的几行代码就能拿到html页面,接下来局势html的解析工作了. 想象很美好,实际操作就出问题了.baidu没有禁止机器人抓取可以正常抓取到页面,但是比如:htt…

#coding=utf-8 import urllib,urllib2 url = 'http://www.xxx.com' values = {'wd' : 'python', 'language' : 'Chinese' } data = urllib.urlencode(values) headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Ch…

#! usr/bin/python #coding=utf-8 import urllib2 fp = open('test', 'wb') req = urllib2.urlopen('http://192.168.230.138/index.zip') for line in req: if not line: break fp.write(line) fp.close()…

使用Python访问网页主要有三种方式: urllib, urllib2, httpliburllib比较简单,功能相对也比较弱,httplib简单强大,但好像不支持session1. 最简单的页面访问res=urllib2.urlopen(url) print res.read() 2. 加上要get或post的数据data={"name":"hank", "passwd":"hjz"} urllib2.urlopen(ur…

urllib2.urlopen(url[, data][, timeout]) 请求url,获得请求数据,url参数可以是个String,也可以是个Request参数 没有data参数时为GET请求,设置data参数时为POST请求,另外data格式必须为application/x-www-form-urlencoded,urllib.urlencode()能够设置请求参数的编码,data是字典,需要经urllib.urlencode()编码 timeout设置请求阻塞的超时时间,如果没有设置的…