爬虫之request库主要解析---参照慕课北理工嵩天
kv = {'key1':'value1','key2':'value2'}
r = requests.request (' GET' , 'http://python123.io/ws' , params =kv)
print(r.url)
'''
requests.request(methid,url,**kwargs)
**kwargs:控制访问参数,均为可选项
params:字典或字节序列,作为参数增加到url中
'''
body = '主体内容'
r = requests.request('post','http://python123.io/ws' ,data=body) '''
**keargs:控制访问的参数,,均为可选项
data:字典、字节序列或文件对象,作为Request的内容
''' kv = {'key1':'valuel'}
r = requests.request('post','http://python123.io/ws',json=kv ) ''' **keargs:控制访问的参数,均为可选项
json:json格式的数据,作为request的内容
''' hd = {'user-agent':'Chrome/10'}
r = requests.request('post','http://python123.io/ws',headers=hd ) '''
**kwargs:控制访问参数,均为可选项
headers:字典,http定制头
作用:模拟任何想模拟的浏览器向服务器发起访问
'''
'''
其他**keargs
**kwargs:控制访问的参数,均为可选选项
cookies:字典或CookieJar,Request中的cookie
auth:元组,支持HTTP认证功能
'''
#**kwargs:控制访问参数,均为可选项
# files:字典类型,传输文件
#作用:向某一个链接 ,提交某一个文件,在特定条件下非常有用
fs = {'file':open('data.xls','rb')}
r = requests.request('POST','http://python123.io/ws',files = fs)
#**kwargs:控制访问参数,均为可选项
# timeout:设定超时时间,秒为单位
# 作用:再发起request请求时在设定时间内没有返回请求,将产生timeout的异常
r = requests.request('GET','http://www.baidu.com',timeout = 10)
#**kwargs:控制访问参数,均为可选项
#proxies:字典类型,设定访问代理服务器,可以增加登录认证
#作用:用代理服务器可以有效地隐藏用户,爬取网的原的ip地址信息,有效防止爬虫的逆追踪
pxs = {'http':'http:user:pass@10.10.10.1:1234'
'http':'https:10.10.10.1:4321' }
r = requests.request('GET' , 'http://www.baidu.com',proxies=pxs)
'''
#**kwargs:控制访问参数,均为可选项
alloe_redirects:True/Fales,默认为True,重定向开关
stream:True/Fales, 默认为True,获取内容立即下载开关
verify:True/False,默认为True,认证SSL证书开关
cert:本地SSL证书路径
'''
'''
类比requests的方法
requests.get(url,params = None,**kwargs)
url:你获取页面的url链接
params:url中的额外参数,字典或字节流格式,可选
**kwargs:12个控制访问的参数
requests.head(url,**kwatgs)
url:拟获取页面的url链接
**kwargs:13个控制访问的参数
requests.post(url,data=None,json=None,**kwatgs)
url:拟更新页面的url链接
data:字典,字节序列或文件,Request的内容
json:JSON格式的数据,Request的内容
**kwargs:11个控制访问的参数
requests.put(url,data=None,**kwargs)
url:拟更新页面的url链接
data:字典,字节序列或文件,Request的内容
**kwargs:12个控制访问的参数
requests.patch(url,data=None,**kwargs)
url:拟更新页面的url链接
data:字典,字节序列或文件,Request的内容
**kwargs:12个控制访问的参数
requsets.delete(url,**kwargs)
url:拟删除页面的url链接
**kwatgs:13个控制访问的参数
'''
爬虫之request库主要解析---参照慕课北理工嵩天的更多相关文章
- 【学习笔记】PYTHON网络爬虫与信息提取(北理工 嵩天)
学习目的:掌握定向网络数据爬取和网页解析的基本能力the Website is the API- 1 python ide 文本ide:IDLE,Sublime Text集成ide:Pychar ...
- 转 #HTTP协议学习# (一)request 和response 解析
http://www.cnblogs.com/bukudekong/p/3834020.html #HTTP协议学习# (一)request 和response 解析 注:本文转自:http:// ...
- 小白学 Python 爬虫(21):解析库 Beautiful Soup(上)
小白学 Python 爬虫(21):解析库 Beautiful Soup(上) 人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前 ...
- 小白学 Python 爬虫(22):解析库 Beautiful Soup(下)
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Li ...
- 小白学 Python 爬虫(23):解析库 pyquery 入门
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Li ...
- 爬虫代码实现五:解析所有分页url并优化解析实现类
如图,我们进入优酷首页,可以看到电视剧列表,我们称这个页面为电视剧列表页,而点击进入某个电视剧,则称为电视剧详情页.那么如何获取所有分页以及对应的详情页呢,通过下面的分页得到. 因此,首先,我们将St ...
- Scrapy爬虫入门Request和Response(请求和响应)
开发环境:Python 3.6.0 版本 (当前最新)Scrapy 1.3.2 版本 (当前最新) 请求和响应 Scrapy的Request和Response对象用于爬网网站. 通常,Request对 ...
- python爬虫之request and BeautifulSoup
1.爬虫的本质是什么? 模仿浏览器的行为,爬取网页信息. 2.requests 1.get请求 无参数实例 import requests ret = requests.get('https://gi ...
- 爬虫之request相关请求
一.解析json格式数据 (1) # (1)解析json 对象数据 # import requests # 返回的数据进行解析 # response = requests.get('http://ht ...
随机推荐
- mac下ip地址重定向
在终端临时使用最高权限用vim编辑/etc下的hosts文件,若提示Password: 输入开机登录密码并回车: yanguobindeMacBook-Pro:~ yanguobin$ sudo vi ...
- React+后端实现导出Excle表格的功能
最近在做一个基于React+antd前端框架的Excel导出功能,我主要在后端做了处理,根据以下步骤,可以很容易就实现导出Excel表格数据的功能. 在做这类导出文件的功能,其实,在后端进行处理,会更 ...
- 什么是Cookie?——每日一题20190623
什么是Cookie? Cookie实际上是一小段的文本信息,客户端请求服务器,如果服务器需要记录该用户状态,就使用 response 向客户端浏览器颁发一个Cookie.客户端会把Cookie存起来, ...
- GUI tkinter (pack、grid、place)布局篇
"""1.其实我们已经接触过 tkinter 的一种布局,就是 pack 布 局,它非常简单,我们不用做过多的设置,直接使用一个 pack 函数就可以了.2.grid 布 ...
- mysqlbinlog增量恢复(基于使用事件位置position的恢复)
1.在xtrabackup 备份+还原文章中我们记录了备份到的binlog文件名和position点位置使用如下命令就可以进行增量的恢复了shell> mysqlbinlog --stop-po ...
- django-搭建BBS关键点总结
0826自我总结 django-搭建BBS关键点总结 一.关于开口子,直接输入url访问文件内容 django自带开了个口子是static文件可以直接访问到 手动开口子 urs.py from dja ...
- Angular/Vue多复选框勾选问题
此页面效果以Angular实现,Vue也可按照其大致流程实现,其核心本质没有改变. 功能效果为:页面初始化效果为要有所有角色的复选框,要求初始化默认勾选的角色要显示勾选,之后,能按照最终勾选的状态提交 ...
- python-函数相关
一.函数: 函数是组织好的,可重复使用的,用来实现单一,或相关联功能的代码段. 函数能提高应用的模块性,和代码的重复利用率.你已经知道Python提供了许多内建函数,比如print(). 但你也可以自 ...
- 云计算 docker 容器使用命令
docker 使用命令: docker version 查看docker版本号 vi /etc/docker/daemon.json { "registry-mirrors": [ ...
- Java11新特性 - 新加一些实用的API
1. 新的本机不可修改集合API 自从Java9开始,JDK里面为集合(List/Set/Map)都添加了of和copyOf方法,他们可以来创建不可变的集合. Question1:什么叫做不可变集合? ...