Requests库的7个主要方法
  requests.request():构造一个请求,支持以下各方法的基础方法
  requests.get():获取HTML网页的主要方法,对应于HTTP的GET
  requests.head():获取HTML网页头信息的方法,对应于HTTP的HEAD
  requests.post():向HTML网页提交POST请求的方法,对应于HTTP的POST
  requests.put():向HTML网页提交PUT请求的方法,对应于HTTP的PUT
  requests.patch():向HTML网页提交局部修改请求,对应于HTTP的PATCH
  requests.delete():向HTML网页提交删除请求,对应于HTTP的Delete
HTTP协议对资源的操作(6种)与以上方法一一对应
  GET:请求URL位置的资源
  HEAD:请求获取URL位置资源的响应消息报告,即获得该资源的头部信息
  POST:请求向URL位置的资源后附加新的数据
  PUT:请求向URL位置存储一个资源,覆盖原URL位置的资源
  PATCH:请求局部更新URL位置的资源,即改变该处资源的部分内容
  DELETE:请求删除URL位置存储的资源
【注】PATCH和PUT的区别
  假设URL位置有一组数据UserInfo,包括UserID,UserName等20个字段
  需求:用户修改了UserName,其他不变
  *采用PATCH方法,仅向URL提交UserName的局部更新请求
  *采用PUT方法,由于他会覆盖原有URL位置资源,
  所以必须将所有20个字段一并提交到URL,未提交字段被删除
  比较PATCH和PUT看出
    Patch的最主要好处:节省网络带宽
HTTP协议:HypertextTransferProtocol,超文本传输协议
它是一个基于"请求与相应"模式的、
无状态的(第一次请求和第二次无相关关联)应用层协议
它一般采用URL作为网络资源的标识
URL是通过HTTP协议存取资源的Internet路径,一个URL对应一个数据资源
URL格式如下 http://host[:port][path]
host:合法的Internet主机域名或IP地址
port:端口号,缺省(默认)端口为80P
path:请求资源的路径
当我们向URLPOST一个字典或POST一个键值对时会默认地被存储到表单form的字段下
当我们向URLPOST字符串时会默认地被存储到data的字段下
服务器会根据提交的数据类型不同进行相关的整理
PUT方法相同,但是会把原有数据覆盖掉

'''
requests.request(method,url,**kwargs)
method:请求方式,对应get/put/post等7种
requests.request('GET',url,**kwargs)
requests.request('HEAD',url,**kwargs)
requests.request('POST',url,**kwargs)
requests.request('PUT',url,**kwargs)
requests.request('PATCH',url,**kwargs)
requests.request('delete',url,**kwargs)
requests.request('OPTIONS',url,**kwargs)
#向服务器获取一些与客户端打交道的参数,不与资源直接相关所以使用较少
url:拟获取页面的url链接
**kwargs:控制访问参数,共13个

'''

#显式定义的参数放在了形参里面,不怎么用的放在了可选里面
'''
###########################最常用
requests.get(url,params=None,**kwargs)
url:拟获取页面的url链接
params:url中的额外参数,字典或字节流格式,可选
**kwargs:12个控制访问参数(request方法中除了param之外的12个)
'''

'''
requests.head(url,**kwargs)
url:拟获取页面的url链接
**kwargs:13个控制访问参数
'''
'''
requests.post(url,data=None,json=None,**kwargs)
url:拟获取页面的url链接
data:字典、字节序列或文件,Request的内容
json:JSON格式的数据,Request的内容
**kwargs:11个控制访问参数(除了以上两个的11个)
'''
'''
requests.put(url,data=None,**kwargs)
url:拟获取页面的url链接
data:字典、字节序列或文件,Request的内容
**kwargs:12个控制访问参数(除了以上1个的12个)
'''
'''
requests.patch(url,data=None,**kwargs)
url:拟获取页面的url链接
data:字典、字节序列或文件,Request的内容
**kwargs:12个控制访问参数(除了以上1个的12个)
'''
'''
requests.delete(url,**kwargs)
url:拟获取页面的url链接
**kwargs:13个控制访问参数
'''

'''
爬取网页的通用代码框架
通用代码框架:一组代码,可以准确的爬取网页上的内容
用request库进行网页访问的时候经常用get函数
requests.get(url)获得url的相关内容
但是网络连接有风险
这样的语句并不是一定成立的,所以异常处理很重要
request库支持6种常用的连接异常
'''
#request.ConnectionError:网络连接异常,如DNS查询失败、拒绝连接等
#request.HTTPError:HTTP错误异常
#request.URLRequired:URL缺失异常
#request.TooManyRedirects:超过最大重定向次数,产生重定向异常
#request.ConnectTimeout:连接远程服务器超时异常
#request.TimeOut:请求URL超时,产生超时异常
'''
Response类与异常打交道的方法
r.raise_for_status():如果不是200,产生异常request.HTTPError
判断返回的response类型状态是不是200
'''
import requests
def getHTMLText(url):
try:
r=requests.get(url,timeout = 30)#,timeout = 30
r.raise_for_status()#如果状态不是200,引发HTTPError异常
r.encoding = r.apparent_encoding
#防乱码
return r.text
except:
return "产生异常"
if __name__=="__main__":
url="http://www.baidu.com"
print(getHTMLText(url))

Python request库与爬虫框架的更多相关文章

  1. Python的两个爬虫框架PySpider与Scrapy安装

    Python的两个爬虫框架PySpider与Scrapy安装 win10安装pyspider: 最好以管理员身份运行CMD,不然可能会出现拒绝访问文件夹的情况! pyspider:pip instal ...

  2. Python + request + unittest实现接口测试框架

    1.为什么要写代码实现接口自动化 大家知道很多接口测试工具可以实现对接口的测试,如postman.jmeter.fiddler等等,而且使用方便,那么为什么还要写代码实现接口自动化呢?工具虽然方便,但 ...

  3. python接口自动化28-requests-html爬虫框架

    前言 requests库的好,只有用过的人才知道,最近这个库的作者又出了一个好用的爬虫框架requests-html.之前解析html页面用过了lxml和bs4, requests-html集成了一些 ...

  4. Python+Request库+第三方平台实现验证码识别示例

    1.登录时经常的出现验证码,此次结合Python+Request+第三方验证码识别平台(超级鹰识别平台) 2.首先到超级鹰平台下载对应语言的识别码封装,超级鹰平台:http://www.chaojiy ...

  5. 【转】Python练习,网络爬虫框架Scrapy

    一.概述 下图显示了Scrapy的大体架构,其中包含了它的主要组件及系统的数据处理流程(绿色箭头所示).下面就来一个个解释每个组件的作用及数据的处理过程. 二.组件 1.Scrapy Engine(S ...

  6. python Request库

    命令行查看版本:python --version pip --version pip常用命令// 安装包pip install xxx// 升级包pip install -U xxx// 卸载包pip ...

  7. python request 库

    快速上手 迫不及待了吗?本页内容为如何入门Requests提供了很好的指引.其假设你已经安装了Requests.如果还没有, 去 安装 一节看看吧. 首先,确认一下: Requests 已安装 Req ...

  8. 介绍一款能取代 Scrapy 的 Python 爬虫框架 - feapder

    1. 前言 大家好,我是安果! 众所周知,Python 最流行的爬虫框架是 Scrapy,它主要用于爬取网站结构性数据 今天推荐一款更加简单.轻量级,且功能强大的爬虫框架:feapder 项目地址: ...

  9. python第三方库,你要的这里都有

    Python的第三方库多的超出我的想象. python 第三方模块 转 https://github.com/masterpy/zwpy_lst   Chardet,字符编码探测器,可以自动检测文本. ...

随机推荐

  1. .NET Core 跨平台发布Linux和OSX

    跨平台发布 简单新建一个项目. mkdir dotnethello cd dotnethello dotnet new dotnet new之后 修改project.json 如下: { " ...

  2. 关于Collections.sort()排序方法的源码探索

    /**下面在自己代码中使用Collections.sort()方法去比较Student对象,通过在自己写的类里面通过匿名内部类实现Comparator接口,这个接口是让你自己实现比较器的规则*/ // ...

  3. max_delay/min_delay和input_delay/output_delay

    今天在使用DC设置随路时钟的时候发现里两个比较容易混淆的设置:max_delay/min_delay和input_delay/output_delay. 1)max_delay/min_delay设置 ...

  4. IDEA中,将项目加入maven管理。

    在项目上右键->Add Framework Support Choose Maven 生成pom.xml 在<project>下配置国内仓库 <properties>&l ...

  5. 切面编程AOP之Castle.Core

    1.Nuget中搜索Castle.Core并install 2.创建一个普通的类(注意类中只有标记virtual才能实现拦截 ) public class TestInterceptor { publ ...

  6. java中解析excel 批量插入数据库

    Facade 层 实现类 (@Service("samePeriodModelImportFacade")) 1.  获取cells 的方法 public Cells getCel ...

  7. XUbuntu18.04(Bionic河狸)正式发布,系统安装升级记录

    XUbuntu18.04(Bionic河狸)正式发布,系统安装升级记录 详细介绍: https://blog.pythonwood.com/2018/04/XUbuntu18.04(Bionic河狸) ...

  8. 创建Jenkins构建触发器,代码提交至gitLab即自动触发构建

    下载所需插件,系统设置-->插件管理,搜索以下两个插件,选择安装 登录gitLab,生成一个Personal Access Tokens 进入Jenkins,添加api token,路径:首页- ...

  9. 第二期,问道PC端游戏免安装,下载即可体验

    最近 迷恋游戏搭建不能自拔.搭建过 手游梦幻诛仙,传奇等等. 今天还是推荐PC端的问道这款游戏,原因是个人投入修改的时间太多了.基本完善了好多.这还得感谢这都是论坛的各位大佬体验的结果. 原来这个游戏 ...

  10. PHP开发——目录

    PHP开发基础 PHP开发——环境安装 PHP开发——基础 PHP开发——变量 PHP开发——超全局数组变量 PHP开发——常量 PHP开发——数据类型 PHP开发——进制转换 PHP开发——运算符 ...