Python爬虫(requests模块)
Requests是唯一的一个非转基因的Python HTTP库,人类可以安全享用。
Requests基础学习
使用方法:
1.导入Requests模块:
import requests
2.尝试用get获取某个页面,以百度为例子
url = 'http://www.baidu.com'
r = requests.get(url)
r是一个response对象。可以从这个对象中获取所有想要的信息。
发送简单get的请求:
response.text和response.content的区别:
response.text
- 返回类型:str
- 解码类型:根据HTTP头部对响应的编码作出有根据的推测的文本编码
- 如何修改编码方式:response.encoding = 'gbk'
response.content
- 返回类型:bytes
- 解码类型:没有指定
- 如何修改编码方式:response.content.decode('ut8-f')
实例:获取百度图片
import requests
url = 'https://www.baidu.com/img/bd_logo1.png'
response = requests.get(url)
with open('baidu.png','wb') as p:
p.write(response.content)
发送带header的get请求:
发送带参数的get请求:
实战(贴吧爬虫):
import requests class TiebaSpider:
#构造函数,传入想要查询的贴吧名字和查询前num页,定义后面方法需要用的属性
def __init__(self,tieba_name,tieba_num):
self.tieba_num = tieba_num
self.tieba_name = tieba_name
#下面为url访问的格式,kw为贴吧名,pn为代表页数,贴吧可查首页pn=0,第一页50,第二页100,以此类推
self.url_temp = "https://tieba.baidu.com/f?kw=" + tieba_name + "&ie=utf-8&pn={}"
#模仿网页访问贴吧
self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36"} #获取url列表
def get_urlList(self):
url_list = []
for i in range(self.tieba_num):
url_list.append(self.url_temp.format(i * 50))
return url_list #访问网页,解析网页,返回
def parse_url(self,url):
response = requests.get(url,headers=self.headers)
return response.text #或者response.content.decode('utf-8') #保存网页
def save_html(self,html_str,page_num):
file_path = "{}-第{}页.html".format(self.tieba_name,page_num)
with open(file_path,'w',encoding='utf-8') as f:
f.write(html_str) def run(self):
url_list = self.get_urlList()
for url in url_list:
html_str = self.parse_url(url) #保存的内容
page_num = url_list.index(url) + 1 #文件的页码
self.save_html(html_str,page_num) def main():
tieba_name = input('请输入想查询的贴吧名:')
tieba_num = int(input('请输入想要查询前几页:'))
tieba = TiebaSpider(tieba_name, tieba_num)
tieba.run() if __name__ == '__main__':
main()
Requests深入学习
发送post请求
哪些地方我们会用到POST请求:
- 登录注册(POST比GET更安全)
- 需要传输大文本内容的时候(POST请求对数据长度没有要求)
- 所以同样的,我们的爬虫也需要在这两个地方回去模拟浏览器发送post请求
使用代理
为什么爬虫需要使用代理
- 让服务器以为不是同一个客户端在请求
- 防止我们的真实地址被泄漏,防止被追究
用法:request.get('http://www.baidu.com',proxies = proxies)
proxies的形式:字典
proxies = {
"http" : "http://12.34.56.79:9527",
"https" : "http://12.34.56.79:9527",
}
步骤:
- 准备一堆IP地址,组成ip池,随机选择一个ip来使用
- 随机选择代理ip,让使用次数较少的ip地址有更大的可能性被用到
- {"ip" : ip,"time",0}
- [{},{},{},{},]对这个ip列表进行排序,按照使用次数进行排序
- 选择使用次数较少的10个ip,从中随机选择一个
- 检查ip的可以性
- 可以使用requests添加超时参数,判断ip地址的质量
- 在线代理ip质量检测的网站
爬虫处理cookie和session
带上cookie,session的好处:
能够请求到登录之后的页面
带上cookie,session的弊端:
一套cookie和session往往和一个用户对应,请求太快或者太多,容易被服务器识别为爬虫
不需要cookie的时候尽量不去使用cookie
处理cookies,session请求
requests提供了一个叫session类,来实现客户端和服务端的会话保持
使用方法:
1.实例化一个session对象
2.让session发送get或者post请求
session = requests.session()
cookies = {cookies字典}
response = session.get(url,headers=headers,cookies=cookies)
Python爬虫(requests模块)的更多相关文章
- python 爬虫 requests模块 目录
requests模块(response常用属性) 基于requests模块的get请求 基于requests模块发起ajax的get请求 基于requests模块发起ajax的post请求
- python爬虫requests模块
requests库的七个主要方法 1. requests.requests(method, url, **kwargs) 构造一个请求,支撑以下各方法的基础方法 method:请求方式,对应get/p ...
- python 爬虫 requests模块(response常用属性)
response常用属性 content获取的response对象中的二进制(byte)类型的页面数据response.content 返回响应状态码response.status_code 200 ...
- Python爬虫之使用Fiddler+Postman+Python的requests模块爬取各国国旗
介绍 本篇博客将会介绍一个Python爬虫,用来爬取各个国家的国旗,主要的目标是为了展示如何在Python的requests模块中使用POST方法来爬取网页内容. 为了知道POST方法所需要传 ...
- Python爬虫—requests库get和post方法使用
目录 Python爬虫-requests库get和post方法使用 1. 安装requests库 2.requests.get()方法使用 3.requests.post()方法使用-构造formda ...
- python爬虫 urllib模块url编码处理
案例:爬取使用搜狗根据指定词条搜索到的页面数据(例如爬取词条为‘周杰伦'的页面数据) import urllib.request # 1.指定url url = 'https://www.sogou. ...
- python 爬虫 urllib模块 目录
python 爬虫 urllib模块介绍 python 爬虫 urllib模块 url编码处理 python 爬虫 urllib模块 反爬虫机制UA python 爬虫 urllib模块 发起post ...
- Python之requests模块-hook
requests提供了hook机制,让我们能够在请求得到响应之后去做一些自定义的操作,比如打印某些信息.修改响应内容等.具体用法见下面的例子: import requests # 钩子函数1 def ...
- Python之requests模块-cookie
cookie并不陌生,与session一样,能够让http请求前后保持状态.与session不同之处,在于cookie数据仅保存于客户端.requests也提供了相应到方法去处理cookie. 在py ...
- Python之requests模块-session
http协议本身是无状态的,为了让请求之间保持状态,有了session和cookie机制.requests也提供了相应的方法去操纵它们. requests中的session对象能够让我们跨http请求 ...
随机推荐
- Spring Security OAuth2 开发指南(非最新版本)
请注意哈,本文翻译的时候,官网的的版本和本文翻译的时候是一一对应的. 但是官网已经更新文档和概念了,因此和本文翻译的就不在是同一个范围了. 因此我已经将标题修改为(非最新版本),各位老铁直接看官网就可 ...
- python函数编程-装饰器decorator
函数是个对象,并且可以赋值给一个变量,通过变量也能调用该函数: >>> def now(): ... print('2017-12-28') ... >>> l = ...
- JDK性能分析工具-引用于深入理解JVM
1.jps(JVM Process Status Tool) 列出正在运行的虚拟机进程. 2.jstat(JVM Statistics Monitoring Tool) 显示运行状态信息. 3.jin ...
- 初步了解Node.js,学做简单的留言本案例
在还没有正式的学Node.js的时候, 你们认为Node.js 对于前端来说是什么呢? 会认为Node.js 是框架? 认为这是类似Jquery的一个快速.简洁的JavaScript框架? 反正我自己 ...
- LeetCode刷题191121
博主渣渣一枚,刷刷leetcode给自己瞅瞅,大神们由更好方法还望不吝赐教.题目及解法来自于力扣(LeetCode),传送门. 数据库: 编写一个 SQL 查询,来删除 Person 表中所有重复的电 ...
- C# Excel 读取导入数据库
使用Aspose.Cells组件. 表格第一行为表头合并,第二行为数据名称,从第三行开始数据. if (xtraOpenFileDialog1.ShowDialog() == DialogResult ...
- TP打印输出SQL语句
模型 -> getLastSql(); //TP打印SQL语句 $data = $this->field($field)->where($condition)->select( ...
- C#&.Net干货分享- 构建PrinterHelper直接调用打印机相关操作
namespace Frame.Printer{ /// <summary> /// /// </summary> public class Prin ...
- HAProxy实现网站高并发集群
简介:HAProxy提供高可用性.负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费.快速并且可靠的一种解决方案.HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会 ...
- shell 得到当前目录路径
shell 得到当前目录路径 cd "$(dirname $0)" project=$(pwd | cut -d / -f ) echo 'project: '$project c ...