小白学 Python 爬虫(1):开篇
人生苦短,我用 Python
引言
各位同学大家好,好久不见(可能只有一两天没见:囧)~~~
先讲一件事情,昨天为啥没更新。
emmmmmmmmm,当然是因为加班啦,快到年底了,公司项目比较忙,最近的更新频率会有下降,请各位海涵。
废话不多说,开始今天的正题,从题目大家应该已经猜到了,小编要开始更新一个新的系列《小白学 Python 爬虫》,介于大家水平参差不齐,建议没有 Python 基础第一次接触的同学先看下小编之前更新的《小白学 Python 系列》,大致了解下 Python 的语法规则以及一些基础用法。
先自己吹一波水,这个系列小编计划做成长期更新系列,目前 Python 爬虫涉及到的第三方的类库有些多,还会有很多有关 web 编程方面的基础知识,因面向的群体主要是小白,这些内容都需要一一介绍,这会是一个大的系列。额,远超之前的 Python 基础。
额,忘了件事儿,再加一句题外话,最近公众号后台留言有点略多,很多同学的问题来不及回复就被留言冲的看不到了,这里请大家有问题可以添加小编的个人微信:allen_6174(放心加,这个是小编的个人生活微信号,和工作号是分开的)。
算了,顺便再打个广告吧:本爬虫系列文章后续将于公众号首发,个人博客站次日同步,第三方博客平台不定期同步,泥萌要不要关注我一下呢?
什么是爬虫?
不管是作为程序员还是小白,对爬虫这个词应该都不陌生,毕竟最近也发生了很多事情,很多人因为某些事情都进去了,具体情况我就不提了,容易被和谐。有想知道的同学可以翻一翻我之前公众号转的一篇文章《只因写了一段爬虫,公司200多人被抓!》。最近的网络报道此类的新闻还有很多。
在正式内容开始之前,提醒各位读者敬畏法律,热爱生活。
老规矩,先百度一波看看百度释义:
网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
讲点接地气的就是我们把平时使用的网络看成是一张大蜘蛛网,每个站点看做是这张网上面的一个一个的节点,爬虫好比是一只蜘蛛,在这张网上面按照一定的或者已经设计好的路线,找到目标节点获取所需资源。
为什么使用爬虫
平时我们在上网的时候,看到一些感兴趣的网络资源,可以使用复制黏贴的方式将这些资源下载回来,比如看知乎的时候,一些回答很精彩的高赞回答,数据量小的时候,我们动动鼠标右键也就搞定了,但是如果这种数据量非常大,有时候可以大到超出你的想像,再用鼠标右键复制黏贴就有些捉襟见肘了。
上图是博主在用的鼠标,非广告,型号我就不贴了。
这时,我们就需要勤劳的爬虫出马了,爬虫这种“生物”,可以全天候24小时候不间断工作,只需提供必要的网络和电力,就可以一直勤劳的工作下去,让你解放双手,再也无需人工使用 CV 大法了。
可以看出,爬虫非常适合帮我们做两类事情:
- 大量数据的提取,在一定规则条件下。
- 完全自动化,无需人工过多干预。
想像一下,当老板让你搜索某类信息时,写一只勤劳的小爬虫,自己在旁边泡上一杯清茶,拿起手机开始愉快的玩耍,时不时的看这只爬虫有没有完成工作,这场景一下让我想起了万恶的资本家压榨劳动力。
小结
本篇文章为各位同学介绍了爬虫的基本概念,让大家对爬虫有一个大致的了解,以便后续章节的学习。开胃菜吃完了,下一节我们就要开始吃大餐了哟,你准备好了吗?
小白学 Python 爬虫(1):开篇的更多相关文章
- 小白学 Python 爬虫(2):前置准备(一)基本类库的安装
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 本篇内容较长,各位同学可以先收藏后再看~~ 在开始讲爬虫之前,还是先把环境搞搞好,工欲善其事必先利其器嘛~~~ 本篇 ...
- 小白学 Python 爬虫(3):前置准备(二)Linux基础入门
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 Linux 基础 CentOS 官网: https: ...
- 小白学 Python 爬虫(4):前置准备(三)Docker基础入门
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Li ...
- 小白学 Python 爬虫(5):前置准备(四)数据库基础
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Li ...
- 小白学 Python 爬虫(6):前置准备(五)爬虫框架的安装
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Li ...
- 小白学 Python 爬虫(7):HTTP 基础
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Li ...
- 小白学 Python 爬虫(8):网页基础
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Li ...
- 小白学 Python 爬虫(9):爬虫基础
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Li ...
- 小白学 Python 爬虫(10):Session 和 Cookies
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Li ...
随机推荐
- CSS中重要的BFC
CSS中有个重要的概念BFC,搞懂BFC可以让我们理解CSS中某些原本看似诡异的地方. 简介 在解释BFC之前,先说一下文档流.我们常说的文档流其实分为定位流.浮动流.普通流三种.而普通流其实就是指B ...
- 一文读懂Spring MVC执行流程
说到Spring MVC执行流程,网上有很多这方面的文章介绍,但是都不太详细,作为一个初学者去读会有许多不理解的地方,今天这篇文章记录一下我学习Spring MVC的心得体会 话不多说,先上图: ...
- [JZOJ5459]【NOIP2017提高A组冲刺11.7】密室
Description 小X 正困在一个密室里,他希望尽快逃出密室.密室中有N 个房间,初始时,小X 在1 号房间,而出口在N 号房间.密室的每一个房间中可能有着一些钥匙和一些传送门,一个传送门会单向 ...
- Centos 7 集成安装Apache+PHP+Kerberos+LDAP+phpLDAPadmin
一.安装Apache 1.1.安装Apache Apache程序是目前拥有很高市场占有率的Web服务程序之一,其跨平台和安全性广泛被认可且拥有快速.可靠.简单的API扩展. 它的名字取自美国印第安人土 ...
- php在哪里写代码?
php在哪里写代码? php可以在PhpStorm中写代码. PhpStorm 是 JetBrains 公司开发的一款商业的 PHP 集成开发工具,旨在提高用户效率,可深刻理解用户的编码,提供智能代码 ...
- css定位 双飞翼
<!doctype html><html><head><meta charset="utf-8"><title>双飞翼& ...
- 史上最骚最全最详细的IO流教程,没有之一!
目录 1.告白IO流的四点明确 2.File类 1.1 File概述 1.2 构造方法 1.3 常用方法 1.3.1 获取功能的方法 1.3.2 绝对路径和相对路径 1.3.3判断功能的方法 1.3. ...
- JVM概述和类加载器
JVM概述 1.Java虚拟机所管理的内存包括以下几个运行时数据区域: ①.程序计数器 程序计数器是一块较小的内存空间,可以看做是当前线程所执行的字节码的行号指示器,字节码解释器工作时就是 ...
- 数据结构(四十)平衡二叉树(AVL树)
一.平衡二叉树的定义 平衡二叉树(Self-Balancing Binary Search Tree或Height-Balanced Binary Search Tree),是一种二叉排序树,其中每一 ...
- django-模板之模板变量(二)
将views中的变量传递给html界面 book/views.py from django.views import View from django.shortcuts import render ...