python urllib基础学习
# -*- coding: utf-8 -*-
# python:2.x
__author__ = 'Administrator'
#使用python创建一个简单的WEB客户端
import urllib,urllib2,urlparse
"""
web地址元素
URL部件 描述
prot_sch 网络协议或者下载规划
nety_loc 服务器位置(或者也有用户信息)
path 斜杠(/)限定文件或者CGI应用程序路径
query 连接符(&)连接键值对
params 可选参数
frag 拆分文档中特殊锚
网络定位元素
net_loc
部件 描述
user 用户名
password 密码
host web服务器运行机器名或者地址(必须字段)
port 端口号(默认为80)
"""
#urlparse.urlparse()urlparse(url, scheme='', allow_fragments=True)
"""
将url解析成一个6元组(prot_sch,net_loc,path,params,query,frag)
当url中没有提供默认网络协议或者下载规划时可以使用scheme,allw_fragments标识一个URL是否允许使用零部件
"""
#例如
#print urlparse.urlparse('http://www.python.org/doc/FAQ.html')
#ParseResult(scheme='http', netloc='www.python.org', path='/doc/FAQ.html', params='', query='', fragment='')
#urlparse.urlunparse()功能与urlparse.urlparse()相反:它是拼合一个6元组(prot_sch,net_loc,path,params,query,frag)
#url1=urlparse.urlparse('http://www.163.com')
#print urlparse.urlunparse(url1)
#urlparse.urljoin()进行多个结合一起
## 'photo.shtml')
"""urllib
支持WEB协议,HTTP,FTP,GOPHER协议,可以进行上载下载,避免使用以前的那些模块
"""
#urllib.urlopen()打开一个给定的URL字符串与WEB连接,返回文件类型
#语法urllib.urlopen(url,data=None,proxies=None):如果没有给定协议或者下载,或者文件规划早已给出,它会打开本地文件
"""
对于所有HTTP请教,常见的请求是GET,在这样的情况下,WEB服务器会发送请求字符串(编码键值或者引用)
如果要求使用POST方法信息,请查看CGI应用编程部分普通文档或者文本。
f.info()方法返回MIME(多目标因特网邮件扩展,Multipurpose internet mail extension)头文件,这个头文件通知浏览器返回文件类型可以是那类应用程序打开
geturl()方法在考虑了所有可能发生间接导向后,从最终打开的文件中获得真实的URL
"""
"""
urllilb.urlopen()方法如下
对象方法 描述
f.read([bytes]) 从f中读出所有或者bytes个字节
f.readline() 从f中读出一行
f.readlines() 读取所有行返回一个列表
f.close() 关闭连接
f.fileno() 返回f文件句柄
f.geturl() 返回f所打开的真正URL
如果需要复杂的URL或者要处理复杂的情况,比如cookie等问题,建议使用urllib2模块
"""
#urllib.urlretrieve(url,fulename=None,reporthook=None,data=None)当需要URL文档时,可以使用它
"""
reporthook这个函数会在每块数据下载或者传输完之后被调用,3个参数:目前读入块数,块的字节数和文件字节数,
urlretrieve()返回一个2元组,(filename,mime_hdrs),filename包含下载数据本地文件名,mime_hdrs是对WEB服务器响应后返回一系列MIME文件判断
更多信息可以看mimetools的message类,对于本地文件来说mime_hdrs是空的
"""
#urllib.quote()和urllib.quote_plus()
"""
quote*()函数获取URL数据,将其编码,从而适用于URL字符串中,对于一些不能被打印或者不被WEB服务器作为有效的URL接收特殊字符串可以使用此函数
语法如
quote(urldata,safe='/')
"""
#例如
# name='jon mama'
# number=6
# base='http://www/~foo/cgi-bin/s.py'
# final='%s?name=%s&num=%d'%(base,name,number)
# print final
# print urllib.quote(final)
# print urllib.quote_plus(final)
#urllib.unquote(),urllib.unquote_plus()这2个函数功能完全相反,将所有编码'%xx'式的字母转换成它们的ascii值
#调用unquote()函数会把s中所有URL编码字母都解码,返回字符串,urllib.unquote_plus()函数会将加号转换成空格符
#urllib.urlencode()它是接收字典键-值对,将其编译成CGI请求的URL字符串,键值对格式:键=值,以连接符&划分,更进一步,键和它们值被传到quote_pluis()进行适当的编码
#例如
adict={'name':'georgion garica','b':'c'}
print urllib.urlencode(adict)
#urllib方法的例子学习
url1='http://cnblogs.com'
#代理服务器
proxies={'http':'http://cnblogs.com'}
#使用代理服务器打开
r=urllib.urlopen(url1,proxies=proxies)
print r.info()
print r.getcode()
print r.geturl()
#打开本地文件
f=urllib.urlopen(url='file:/f:/from2.html')
#print f.read()
#print f.readline()
print f.readlines()
#打开ftp服务器
#f = urllib.urlopen(url = 'ftp://username:password@ftpaddress')
#保存网页显示进度
def urlabc(a,b,c):
"""
a:数量
b:大小
c:状态
"""
per=100.*a*b/c
if per>100:
per=100
print '%.2f%%'%per
url='http://www.oschina.net/news/55121/tiobe-2014-9'
local='oschina.net'
print urllib.urlretrieve(url,local,urlabc)
#get方法
params=urllib.urlencode({'s':1,'b':2,'c':3})
f=urllib.urlopen("http://www.musi-cal.com/cgi-bin/query?%s" % params)
print f.read()
print '*'*300
#post方法
params=urllib.urlencode({'s':1,'b':2,'c':3})
f=urllib.urlopen("http://www.musi-cal.com/cgi-bin/query?%s" % params)
print f.read()
print '*'*300
#编码解码
data='name=~a+3'
data1=urllib.quote(data)
print data1
print urllib.unquote(data1)
data2=urllib.quote_plus(data)
print data2
print urllib.unquote_plus(data2)
data3 = urllib.urlencode({ 'name': 'dark-bull', 'age': 200 })
print data3
data4=urllib.pathname2url(r'F:\qtgui\netword1\oschina.net')
print data4
print urllib.url2pathname(data4)
python urllib基础学习的更多相关文章
- Python入门基础学习 三
Python入门基础学习 三 数据类型 Python区分整型和浮点型依靠的是小数点,有小数点就是浮点型. e记法:e就是10的意思,是一种科学的计数法,15000=1.5e4 布尔类型是一种特殊的整形 ...
- Python入门基础学习 二
Python入门基础学习 二 猜数字小游戏进阶版 修改建议: 猜错的时候程序可以给出提示,告诉用户猜测的数字偏大还是偏小: 没运行一次程序只能猜测一次,应该提供多次机会给用户猜测: 每次运行程序,答案 ...
- Python入门基础学习 一
Python入门基础学习 一 Python下载及安装 下载地址:https://www.python.org/,选择最新的版本下载 稍等一会,安装完成. 简单语句 从idle启动Python:IDLE ...
- python函数基础学习
函数的定义与调用: def 函数名(参数1,参数2): ‘’’函数注释’’’ print(‘函数体’) return 返回值 定 义:def关键字开关,空格之后接函数名和圆括号,最后冒号结尾 def ...
- Python入门基础学习(文件与异常处理)
Python基础学习笔记(七) 捕获异常的语法格式: 文件的基本操作: 打开文件 读.写文件 关闭文件 read方法 --读取文件: open函数的第一个参数是要打开的文件名(文件名区分大小写) 如果 ...
- Python入门基础学习(时间模块,随机模块)
Python基础学习笔记(六) time模块: 时间的三种表示方法: 1.格式化字符串 2.时间戳 用来表示和1970年的时间间隔,单位为s 3.元组 struct_time 9个元素 time的st ...
- Python入门基础学习(模块,包)
Python基础学习笔记(五) 模块的概念:模块是python程序架构的一个核心概念 每个以拓展名py结尾的python源代码文件都是一个模块 模块名同样也是一个标识符,需要符合标识符的命名规则 在模 ...
- Python入门基础学习(面向对象)
Python基础学习笔记(四) 面向对象的三个基本特征: 封装:把客观事物抽象并封装成对象,即将属性,方法和事件等集合在一个整体内 继承:允许使用现有类的功能并在无须重新改写原来的类情况下,对这些功能 ...
- Python入门基础学习(函数)
Python基础学习笔记(三) 函数的概念: 所谓函数,就是把具有独立功能的代码块组织为一个小模块,在需要的时候调用 函数的使用包含两个步骤: 1.定义函数 --封装独立的功能 2.调用函数 --享受 ...
随机推荐
- Python 中文报错 SyntaxError: Non-ASCII character解决办法
只需要在最顶部的位置加上 #-*- coding:utf-8 -*- 就行了. 如果还是没有好,打开设置并搜索file encoding并作如图修改便好.
- 带中文索引的ListView 仿微信联系人列表
因为各种原因,项目经理和产品经理把我做的东西给否定了,所以决定分享出去. 主要功能: 1 .带中文索引的ListView 2.自己定义顶部搜索视图,能够对返回button,搜索button加入事件监听 ...
- 使用PHPExcel导入导出excel格式文件
使用PHPExcel导入导出excel格式文件 作者:zccst 因为导出使用较多,以下是导出实现过程. 第一步,将PHPExcel的源码拷贝到项目的lib下 文件包含:PHPExcel.ph ...
- vmware下给linux添加硬盘
http://blog.csdn.net/robbie1314520/archive/2010/08/10/5802724.aspx 创建虚拟硬盘 1.关闭VM中正在运行的虚拟系统: 2.EDIT V ...
- top 命令SQLServer-sybase-oracle
SQLServer: select top 10 * from tablename; select top 10 percent from tablename; select * from table ...
- js_day8
- 严重: Exception starting filter struts2 --Unable to load configuration
严重: Exception starting filter struts2 Unable to load configuration. - [unknown location] at com.open ...
- hdu Intelligent IME
算法:字典树 题意:手机9键拼音:2:abc 3:def 4:ghi 5:jkl 6:mno 7:pqrs 8:tuv 9:wxyz: 第一行读入一个T,代表测试组数: 之后输入两个整数n和m, 有 ...
- C#设置textboox只能输入数字`
1.在闪电KeyPress事件中添加 private void textBox_pwmx_fre_KeyPress(object sender, KeyPressEventArgs e) { //如果 ...
- hdfs-over-ftp安装与配置
hdfs-over-ftp是一个开源,简单易用的实现了对HDFS系统的下载和上传功能的小工具.可以作为管理工具来使用,快捷方便. 1 安装jdk(1.6以上版本)并配置环境变量分别执行java -ve ...