python urllib基础学习

# -*- coding: utf-8 -*-

# python:2.x

__author__ = 'Administrator'

#使用python创建一个简单的WEB客户端

import urllib,urllib2,urlparse

"""

web地址元素

URL部件                 描述

prot_sch             网络协议或者下载规划

nety_loc             服务器位置（或者也有用户信息）

path                 斜杠(/)限定文件或者CGI应用程序路径

query                连接符(&)连接键值对

params               可选参数

frag                 拆分文档中特殊锚

网络定位元素

net_loc

部件                   描述

user                   用户名

password               密码

host                 web服务器运行机器名或者地址（必须字段）

port                 端口号(默认为80)

"""

#urlparse.urlparse()urlparse(url, scheme='', allow_fragments=True)

"""

将url解析成一个6元组(prot_sch,net_loc,path,params,query,frag)

当url中没有提供默认网络协议或者下载规划时可以使用scheme,allw_fragments标识一个URL是否允许使用零部件

"""

#例如

#print urlparse.urlparse('http://www.python.org/doc/FAQ.html')

#ParseResult(scheme='http', netloc='www.python.org', path='/doc/FAQ.html', params='', query='', fragment='')

#urlparse.urlunparse()功能与urlparse.urlparse()相反：它是拼合一个6元组(prot_sch,net_loc,path,params,query,frag)

#url1=urlparse.urlparse('http://www.163.com')

#print urlparse.urlunparse(url1)

#urlparse.urljoin()进行多个结合一起

##                       'photo.shtml')

"""urllib

支持WEB协议，HTTP,FTP,GOPHER协议，可以进行上载下载,避免使用以前的那些模块

"""

#urllib.urlopen()打开一个给定的URL字符串与WEB连接，返回文件类型

#语法urllib.urlopen(url,data=None,proxies=None):如果没有给定协议或者下载，或者文件规划早已给出，它会打开本地文件

"""

对于所有HTTP请教，常见的请求是GET，在这样的情况下，WEB服务器会发送请求字符串（编码键值或者引用）

如果要求使用POST方法信息，请查看CGI应用编程部分普通文档或者文本。

f.info()方法返回MIME（多目标因特网邮件扩展，Multipurpose internet mail extension）头文件，这个头文件通知浏览器返回文件类型可以是那类应用程序打开

geturl()方法在考虑了所有可能发生间接导向后，从最终打开的文件中获得真实的URL

"""

"""

urllilb.urlopen()方法如下

对象方法                                       描述

f.read([bytes])              从f中读出所有或者bytes个字节

f.readline()                 从f中读出一行

f.readlines()                读取所有行返回一个列表

f.close()                    关闭连接

f.fileno()                   返回f文件句柄

f.geturl()                   返回f所打开的真正URL

如果需要复杂的URL或者要处理复杂的情况，比如cookie等问题，建议使用urllib2模块

"""

#urllib.urlretrieve(url,fulename=None,reporthook=None,data=None)当需要URL文档时，可以使用它

"""

reporthook这个函数会在每块数据下载或者传输完之后被调用，3个参数：目前读入块数，块的字节数和文件字节数，

urlretrieve（）返回一个2元组，(filename,mime_hdrs),filename包含下载数据本地文件名,mime_hdrs是对WEB服务器响应后返回一系列MIME文件判断

更多信息可以看mimetools的message类，对于本地文件来说mime_hdrs是空的

"""

#urllib.quote()和urllib.quote_plus()

"""

quote*()函数获取URL数据，将其编码，从而适用于URL字符串中，对于一些不能被打印或者不被WEB服务器作为有效的URL接收特殊字符串可以使用此函数

语法如

quote(urldata,safe='/')

"""

#例如

# name='jon mama'

# number=6

# base='http://www/~foo/cgi-bin/s.py'

# final='%s?name=%s&num=%d'%(base,name,number)

# print final

# print urllib.quote(final)

# print urllib.quote_plus(final)

#urllib.unquote(),urllib.unquote_plus()这2个函数功能完全相反，将所有编码'%xx'式的字母转换成它们的ascii值

#调用unquote()函数会把s中所有URL编码字母都解码，返回字符串，urllib.unquote_plus()函数会将加号转换成空格符

#urllib.urlencode()它是接收字典键-值对，将其编译成CGI请求的URL字符串，键值对格式：键=值，以连接符&划分，更进一步，键和它们值被传到quote_pluis()进行适当的编码

#例如

adict={'name':'georgion garica','b':'c'}

print urllib.urlencode(adict)

#urllib方法的例子学习

url1='http://cnblogs.com'

#代理服务器

proxies={'http':'http://cnblogs.com'}

#使用代理服务器打开

r=urllib.urlopen(url1,proxies=proxies)

print r.info()

print r.getcode()

print r.geturl()

#打开本地文件

f=urllib.urlopen(url='file:/f:/from2.html')

#print f.read()

#print f.readline()

print f.readlines()

#打开ftp服务器

#f = urllib.urlopen(url = 'ftp://username:password@ftpaddress')

#保存网页显示进度

def urlabc(a,b,c):

"""

a:数量

b:大小

c:状态

"""

per=100.*a*b/c

if per>100:

per=100

print '%.2f%%'%per

url='http://www.oschina.net/news/55121/tiobe-2014-9'

local='oschina.net'

print  urllib.urlretrieve(url,local,urlabc)

#get方法

params=urllib.urlencode({'s':1,'b':2,'c':3})

f=urllib.urlopen("http://www.musi-cal.com/cgi-bin/query?%s" % params)

print f.read()

print '*'*300

#post方法

params=urllib.urlencode({'s':1,'b':2,'c':3})

f=urllib.urlopen("http://www.musi-cal.com/cgi-bin/query?%s" % params)

print f.read()

print '*'*300

#编码解码

data='name=~a+3'

data1=urllib.quote(data)

print data1

print urllib.unquote(data1)

data2=urllib.quote_plus(data)

print data2

print urllib.unquote_plus(data2)

data3 = urllib.urlencode({ 'name': 'dark-bull', 'age': 200 })

print data3

data4=urllib.pathname2url(r'F:\qtgui\netword1\oschina.net')

print data4

print urllib.url2pathname(data4)