Python爬虫入门(二)之Requests库
Python爬虫入门(二)之Requests库
我是照着小白教程做的,所以该篇是更小白教程hhhhhhhh
一、Requests库的简介
Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。(摘自Requests库官方文档)
二、Requests的功能特性
Requests 完全满足今日 web 的需求。
- Keep-Alive & 连接池
- 国际化域名和 URL
- 带持久 Cookie 的会话
- 浏览器式的 SSL 认证
- 自动内容解码
- 基本/摘要式的身份认证
- 优雅的 key/value Cookie
- 自动解压
- Unicode 响应体
- HTTP(S) 代理支持
- 文件分块上传
- 流下载
- 连接超时
- 分块请求
- 支持 .netrc
Requests 支持 Python 2.6—2.7以及3.3—3.7,而且能在 PyPy 下完美运行。
三、运行环境
- Windows版本
我的电脑用的是Win7系统,因为从上大学开始,很多软件装上使用不了,比如VC++6.0等等,当时是说Win10还有很多软件不兼容(PS:16年的Win10还不大成熟...),后来就一直用的Win7,当然前不久微软也发官方通告了,Win7被淘汰了,不过没关系,Win7和Win10在大多数情况下,是类似的,这个爬虫系列我就以Win7为例。 - Python版本
看了很多教程,我下了anaconda,它是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项(PS:应该蛮好用,要不然也不会那么多人用它hhh)。这次我下的是3.8版本的,传送门Anaconda官网。 - 集成开发环境(IDE)
我用的是PyCharm,这个比较经典还好用,是由JetBrains打造的一款Python IDE,传送门JetBrains官网。
四、软件安装
- 安装Python

进入Anaconda官网点击下载安装包

开始安装界面

自定义安装目录,它弹了个警告,就是因为我存放的文件夹名是program Files,中间有空格,建议大家取名用连字符命名,要不然以后装Conda packages会出问题

安装完成 - 安装IDE

进入JetBrains官网点击下载安装包

开始安装界面

- 第一个复选框是让你选择64位系统,你可以根据计算机系统确定是否勾选
- 第二个复选框是将打开的文件夹做为项目添加进去
- 第三个复选框是关联py类型的文件,默认此类型文件用PyCharm打开
- 第四个复选框是将启动器dir添加到路径里
五、安装Request库

点击开始菜单,找到Anaconda的安装目录,以管理员身份运行Anaconda Prompt
// 键入命令
conda install requests

键入上面的命令,开始安装Request库

安装完毕,传送门Requests库官方文档,其中有很多本文没提到的库操作方法。
在安装此库,我遇到了一些问题,就是我看的教程里,博主是直接用的cmd,我也用管理员身份运行,我怀疑是因为安装目录和操作目录不是一个,所以键入命令,不能识别我的字。使用了Anaconda来安装该库,可能对于我来说简单一丢丢hhhhhhh
六、初试PyCharm

打开PyCharm,新建项目,建议放在自己命名测试的文件夹里

在文件夹里新建Python文件
输入下方代码导入Request库
import requests #导入Request库
继续输入获取我们想要的网页
r = requests.get('https://unsplash.com') #像目标url地址发送get请求,返回一个response对象
print(r.text) #r.text是http response的网页HTML

点击运行该代码

页面下方得到运行结果

以上用了get请求,我们可以继续输入下方代码查看类型
向网站发送了一个get请求,然后网站会返回一个response,r 就是response
print(type(r))

可以看到输出结果如下

建议大家多看看Requests库官方文档
没有别的指南了,你现在要靠自己了
祝你好运
Python爬虫入门(二)之Requests库的更多相关文章
- python爬虫入门三:requests库
urllib库在很多时候都比较繁琐,比如处理Cookies.因此,我们选择学习另一个更为简单易用的HTTP库:Requests. requests官方文档 1. 什么是Requests Request ...
- Python爬虫利器一之Requests库的用法
前言 之前我们用了 urllib 库,这个作为入门的工具还是不错的,对了解一些爬虫的基本理念,掌握爬虫爬取的流程有所帮助.入门之后,我们就需要学习一些更加高级的内容和工具来方便我们的爬取.那么这一节来 ...
- (转)Python爬虫利器一之Requests库的用法
官方文档 以下内容大多来自于官方文档,本文进行了一些修改和总结.要了解更多可以参考 官方文档 安装 利用 pip 安装 $ pip install requests 或者利用 easy_install ...
- 2.Python爬虫入门二之爬虫基础了解
1.什么是爬虫 爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来.想抓取什么?这个由你来控制它咯. ...
- Python爬虫入门四之Urllib库的高级用法
1.设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性. 首先,打开我们的浏览 ...
- Python爬虫入门二之爬虫基础了解
1.什么是爬虫 爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来.想抓取什么?这个由你来控制它咯. ...
- 转 Python爬虫入门四之Urllib库的高级用法
静觅 » Python爬虫入门四之Urllib库的高级用法 1.设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我 ...
- 转 Python爬虫入门三之Urllib库的基本使用
静觅 » Python爬虫入门三之Urllib库的基本使用 1.分分钟扒一个网页下来 怎样扒网页呢?其实就是根据URL来获取它的网页信息,虽然我们在浏览器中看到的是一幅幅优美的画面,但是其实是由浏览器 ...
- 转 Python爬虫入门二之爬虫基础了解
静觅 » Python爬虫入门二之爬虫基础了解 2.浏览网页的过程 在用户浏览网页的过程中,我们可能会看到许多好看的图片,比如 http://image.baidu.com/ ,我们会看到几张的图片以 ...
- Python 爬虫入门(二)——爬取妹子图
Python 爬虫入门 听说你写代码没动力?本文就给你动力,爬取妹子图.如果这也没动力那就没救了. GitHub 地址: https://github.com/injetlee/Python/blob ...
随机推荐
- 三年工作经验,从小厂离职后,我凭什么拿到了阿里的offer
本篇文章主要记录分享我的面试准备过程. 很多朋友问我为什么离职 关于离职原因,马云有一句经典的话"要么钱没给到位,要么心委屈了",想必大家耳熟能详了,我这里再细说一下我个人离职原因 ...
- think PHP5.1使用时 session重定向丢失问题
查了很多资料,也看了redirect底层代码,具体来说,还是多个用的地方不太对.做个笔记防忘记: 遇重定向后丢失session时: 1.php.ini配置文件,不要自动启动,默认是0,session. ...
- Bootstrap 实现图片翻滚
今天给大家带来的是Bootstrap 实现的图片翻滚 效果图如下 点击左右箭头可以实现向左向右转动,这个功能在Bootstrap 官网和菜鸟教程上都有讲解,有点bootstrap基础的都能看明白 ,这 ...
- NS-3环境布置及安装
MMP的,入坑NS3了,LTE是什么鬼!!! ubantu安装NS3解决依赖环境 一堆安装包需要安装,试了N多次(CentOS没安装明白,转而ubantu).利用脚本进行按装. 貌似得先对本机软件进行 ...
- netstat与ss
netstat -t:tcp协议的连接 -u:udp协议的链接 -l:监听状态的连接 -a:所有状态的连接 -p:连接相关的进程 -n:数字格式显示 -r:显示路由表,类似于route或ip rout ...
- Newton插值的C++实现
Newton(牛顿)插值法具有递推性,这决定其性能要好于Lagrange(拉格朗日)插值法.其重点在于差商(Divided Difference)表的求解. 步骤1. 求解差商表,这里采用非递归法(看 ...
- 【linux】-Makefile简要知识+一个通用Makefile
目录 Makefile Makefile规则与示例 为什么需要Makefile Makefile样式 先介绍Makefile的两个函数 完善Makefile 通用Makefile的使用 通用的Make ...
- 面试题:你有没有搞混查询缓存和Buffer Pool
一. 关注送书!<Netty实战> 文章公号号首发!连载中!关注微信公号回复:"抽奖" 可参加抽活动 首发地址:点击跳转阅读原文,有更好的阅读体验 使用推荐阅读,有更好 ...
- Pandas_基础_全
Pandas基础(全) 引言 Pandas是基于Numpy的库,但功能更加强大,Numpy专注于数值型数据的操作,而Pandas对数值型,字符串型等多种格式的表格数据都有很好的支持. 关于Numpy的 ...
- mysql优化之2--索引优化
1. 创建联合索引时,要注意,离散度大的列前置. 可以通过 select count(distinct(A)),count(distinct(B)) from tb; 看哪个列离散度大. 2. 索引列 ...