Python爬虫入门(二)之Requests库

我是照着小白教程做的,所以该篇是更小白教程hhhhhhhh

一、Requests库的简介

Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。(摘自Requests库官方文档

二、Requests的功能特性

Requests 完全满足今日 web 的需求。

  • Keep-Alive & 连接池
  • 国际化域名和 URL
  • 带持久 Cookie 的会话
  • 浏览器式的 SSL 认证
  • 自动内容解码
  • 基本/摘要式的身份认证
  • 优雅的 key/value Cookie
  • 自动解压
  • Unicode 响应体
  • HTTP(S) 代理支持
  • 文件分块上传
  • 流下载
  • 连接超时
  • 分块请求
  • 支持 .netrc

Requests 支持 Python 2.6—2.7以及3.3—3.7,而且能在 PyPy 下完美运行。

三、运行环境

  • Windows版本

    我的电脑用的是Win7系统,因为从上大学开始,很多软件装上使用不了,比如VC++6.0等等,当时是说Win10还有很多软件不兼容(PS:16年的Win10还不大成熟...),后来就一直用的Win7,当然前不久微软也发官方通告了,Win7被淘汰了,不过没关系,Win7和Win10在大多数情况下,是类似的,这个爬虫系列我就以Win7为例。
  • Python版本

    看了很多教程,我下了anaconda,它是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项(PS:应该蛮好用,要不然也不会那么多人用它hhh)。这次我下的是3.8版本的,传送门Anaconda官网
  • 集成开发环境(IDE)

    我用的是PyCharm,这个比较经典还好用,是由JetBrains打造的一款Python IDE,传送门JetBrains官网

四、软件安装

  • 安装Python

    进入Anaconda官网点击下载安装包



    开始安装界面



    自定义安装目录,它弹了个警告,就是因为我存放的文件夹名是program Files,中间有空格,建议大家取名用连字符命名,要不然以后装Conda packages会出问题



    安装完成
  • 安装IDE



    进入JetBrains官网点击下载安装包



    开始安装界面

  1. 第一个复选框是让你选择64位系统,你可以根据计算机系统确定是否勾选
  2. 第二个复选框是将打开的文件夹做为项目添加进去
  3. 第三个复选框是关联py类型的文件,默认此类型文件用PyCharm打开
  4. 第四个复选框是将启动器dir添加到路径里

五、安装Request库



点击开始菜单,找到Anaconda的安装目录,以管理员身份运行Anaconda Prompt

// 键入命令
conda install requests



键入上面的命令,开始安装Request库



安装完毕,传送门Requests库官方文档,其中有很多本文没提到的库操作方法。

在安装此库,我遇到了一些问题,就是我看的教程里,博主是直接用的cmd,我也用管理员身份运行,我怀疑是因为安装目录和操作目录不是一个,所以键入命令,不能识别我的字。使用了Anaconda来安装该库,可能对于我来说简单一丢丢hhhhhhh

六、初试PyCharm



打开PyCharm,新建项目,建议放在自己命名测试的文件夹里



在文件夹里新建Python文件

输入下方代码导入Request库

import requests #导入Request库

继续输入获取我们想要的网页

r = requests.get('https://unsplash.com') #像目标url地址发送get请求,返回一个response对象
print(r.text) #r.text是http response的网页HTML



点击运行该代码



页面下方得到运行结果



以上用了get请求,我们可以继续输入下方代码查看类型

向网站发送了一个get请求,然后网站会返回一个response,r 就是response

print(type(r))



可以看到输出结果如下



建议大家多看看Requests库官方文档

没有别的指南了,你现在要靠自己了

祝你好运

Python爬虫入门(二)之Requests库的更多相关文章

  1. python爬虫入门三:requests库

    urllib库在很多时候都比较繁琐,比如处理Cookies.因此,我们选择学习另一个更为简单易用的HTTP库:Requests. requests官方文档 1. 什么是Requests Request ...

  2. Python爬虫利器一之Requests库的用法

    前言 之前我们用了 urllib 库,这个作为入门的工具还是不错的,对了解一些爬虫的基本理念,掌握爬虫爬取的流程有所帮助.入门之后,我们就需要学习一些更加高级的内容和工具来方便我们的爬取.那么这一节来 ...

  3. (转)Python爬虫利器一之Requests库的用法

    官方文档 以下内容大多来自于官方文档,本文进行了一些修改和总结.要了解更多可以参考 官方文档 安装 利用 pip 安装 $ pip install requests 或者利用 easy_install ...

  4. 2.Python爬虫入门二之爬虫基础了解

    1.什么是爬虫 爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来.想抓取什么?这个由你来控制它咯. ...

  5. Python爬虫入门四之Urllib库的高级用法

    1.设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性. 首先,打开我们的浏览 ...

  6. Python爬虫入门二之爬虫基础了解

    1.什么是爬虫 爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来.想抓取什么?这个由你来控制它咯. ...

  7. 转 Python爬虫入门四之Urllib库的高级用法

    静觅 » Python爬虫入门四之Urllib库的高级用法 1.设置Headers 有些网站不会同意程序直接用上面的方式进行访问,如果识别有问题,那么站点根本不会响应,所以为了完全模拟浏览器的工作,我 ...

  8. 转 Python爬虫入门三之Urllib库的基本使用

    静觅 » Python爬虫入门三之Urllib库的基本使用 1.分分钟扒一个网页下来 怎样扒网页呢?其实就是根据URL来获取它的网页信息,虽然我们在浏览器中看到的是一幅幅优美的画面,但是其实是由浏览器 ...

  9. 转 Python爬虫入门二之爬虫基础了解

    静觅 » Python爬虫入门二之爬虫基础了解 2.浏览网页的过程 在用户浏览网页的过程中,我们可能会看到许多好看的图片,比如 http://image.baidu.com/ ,我们会看到几张的图片以 ...

  10. Python 爬虫入门(二)——爬取妹子图

    Python 爬虫入门 听说你写代码没动力?本文就给你动力,爬取妹子图.如果这也没动力那就没救了. GitHub 地址: https://github.com/injetlee/Python/blob ...

随机推荐

  1. Vulnhub DC3

    靶机简介 C-3是另一个专门建造的易受攻击的实验室,目的是获得渗透测试领域的经验.与以前的DC版本一样,这个版本是为初学者设计的,尽管这次只有一个标志,一个入口点,根本没有线索.Linux技能和熟悉L ...

  2. NB-IoT的eDRX模式主要目的是什么

    传统的2.56秒寻呼间隔对UE的电量消耗较大,NB-IoT的eDRX模式主要目的就是支能够持更长周期的寻呼监听,从而达到省电的目的.而在下行数据发送频率小时,通过核心网和用户终端的协商配合,用户终端调 ...

  3. Apache Kylin远程代码执行漏洞复现(CVE-2020-1956)

    Apache Kylin远程代码执行(CVE-2020-1956) 简介 Apache Kylin 是美国 Apache 软件基金会的一款开源的分布式分析型数据仓库.该产品主要提供 Hadoop/Sp ...

  4. 8、Python语法之流程控制

    一 引子 流程控制即控制流程,具体指控制程序的执行流程,而程序的执行流程分为三种结构:顺序结构(之前我们写的代码都是顺序结构).分支结构(用到if判断).循环结构(用到while与for) 二 分支结 ...

  5. 微信小程序开发实战(云开发)--资产管理工具

    添加首页 menu页面 截图展示 menu.js源码 // pages/menu/menu.js Page({ /** * 页面的初始数据 */ data: { }, /** * 生命周期函数--监听 ...

  6. JavaSE基础语法学习-方法&数组

    方法 Java方法是语句的集合,它们在一起执行一个功能. 方法是解决一类问题的步骤的有序组合 方法包含于类或对象中 方法在程序中被创建,在其他地方被引用 设计方法的原则:方法的本意是功能块,就是实现某 ...

  7. 4G模块与WIFI模块的工作及应用区别

    在物联网行业中,4G模块和wifi模块经经常会被使用,但是由于网络不同,二者的工作原理和场景还是有很大的不同,本篇主要讲讲4G模块和WIFI模块的功能和应用场景 什么是4G模块? 4G模块是基于4G网 ...

  8. .NET 5.0正式发布,功能特性介绍(翻译)

    本文由葡萄城技术团队翻译并首发 转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具.解决方案和服务,赋能开发者. 我们很高兴今天.NET5.0正式发布.这是一个重要的版本-其中也包括了C# ...

  9. startup乱码解决方法

    1.用记事本方式打开:‪apache-tomcat-8.5.59\conf\logging.properties 2.使用快捷键(Ctrl+H)把UTF-8全部替换为:GBK,进行保存(Ctrl+s) ...

  10. http代理阅读2

    向上游服务器发送请求处理 static void ngx_http_upstream_send_request(ngx_http_request_t *r, ngx_http_upstream_t * ...