端午节假期过了,之前一直在做出行准备,后面旅游完又休息了一下,最近才恢复状态。

端午假期最后一天收到一个快递,回去打开,发现是微信抽奖中的一本书,黄永祥的《实战Python网络爬虫》。

去各大网站搜了一下这个人,没有名气,去网购平台看了他别的书的书评,整体来说,书都是拼凑的。。。

但是既然书到手了,不妨翻开看看,刚好最近没有什么头绪,又偏头痛。花了几个半天整体翻了一下这本书,感觉是有点浅显的。

我之前用java写过爬虫,感觉比较难的还是反爬虫这块。这本书,我先看了第一个实战项目,51job的,运行了代码之后发现,哦,好吧,这个网站,貌似没有反爬虫机制?

其实具体的爬取内容的方法各个网站也是差不多的。主要还是反爬虫这块。但是书上内容不多,只有一个章节。

个人觉得,对于爬虫新手,看一看每章的小结,还是很能增长一些见识的。更深入的技术,大概这本书是不能提供的。

后续有时间,我大概会摘录一些小结放到这里来吧~虽然没什么人看这里。

网络爬虫

定义:自动抓取网络信息

分类

  • 通用网络爬虫/全网爬虫:主要为门户站点搜索引擎大型网站服务采集数据
  • 聚焦网络爬虫/主题网络爬虫:选择性地爬取主题相关的页面
  • 增量式网络爬虫:对已下载网页采取增量式更新/只爬取新产生或已经发生变化的网页
  • 深层网络爬虫:内容不能通过静态URL获取/隐藏在搜索表单后/只有用户提交一些关键词才能获得的页面

网站分析

  1. 找出数据来源:Doc、XHR、JS
  2. 找出数据所在请求,分析请求链接、请求方式、请求参数
  3. 确定参数来源:固定可选值、通过别的请求生成、经过JS处理、特殊值

抓包工具:Fiddler

爬虫库:

  • urllib
  • requests:语法简单,兼容python2和3
  • requests_html:提供了数据清洗、ajax数据动态渲染

爬虫缓存:requests_cache

requests_cache.install_cache(backend='memory')

存储机制

  • memory:每次程序运行都会将缓存以字典形式保存在内存中
  • sqlite:默认存储机制
  • redis:通过redis模块实现数据库的读写
  • mongo:通过pymongo模块实现数据库的读写

网页操控与数据爬取Selenium

手机App数据爬取Appium

验证码识别

  • 人工识别
  • ocr
  • 调用第三方平台API:在线人员、人工智能

数据清洗

  1. 字符串操作:截取、替换、查找、分割
  2. 正则表达式
  3. 第三方模块/库BeautifulSoup

分布式爬虫

并发库concurrent.futures:ThreadPoolExecutor和ProcessPoolExecutor

反爬虫技术

  1. 基于用户请求的Headers→固定属性+可变属性
  2. 基于用户操作网站的行为→代理IP
  3. 基于网站目录数据加载→模拟ajax请求
  4. 基于数据加密
  5. 基于验证码识别
  6. 基于请求参数
  7. 基于cookies→构建cookies池、代理IP、动态构建cookies、利用浏览器获取cookies

《实战Python网络爬虫》- 感想的更多相关文章

  1. 关于Python网络爬虫实战笔记③

    Python网络爬虫实战笔记③如何下载韩寒博客文章 Python网络爬虫实战笔记③如何下载韩寒博客文章 target:下载全部的文章 1. 博客列表页面规则 也就是, http://blog.sina ...

  2. 关于Python网络爬虫实战笔记①

    python网络爬虫项目实战笔记①如何下载韩寒的博客文章 python网络爬虫项目实战笔记①如何下载韩寒的博客文章 1. 打开韩寒博客列表页面 http://blog.sina.com.cn/s/ar ...

  3. 学习推荐《精通Python网络爬虫:核心技术、框架与项目实战》中文PDF+源代码

    随着大数据时代的到来,我们经常需要在海量数据的互联网环境中搜集一些特定的数据并对其进行分析,我们可以使用网络爬虫对这些特定的数据进行爬取,并对一些无关的数据进行过滤,将目标数据筛选出来.对特定的数据进 ...

  4. Python网络爬虫实战(一)快速入门

    本系列从零开始阐述如何编写Python网络爬虫,以及网络爬虫中容易遇到的问题,比如具有反爬,加密的网站,还有爬虫拿不到数据,以及登录验证等问题,会伴随大量网站的爬虫实战来进行. 我们编写网络爬虫最主要 ...

  5. python网络爬虫实战之快速入门

    本系列从零开始阐述如何编写Python网络爬虫,以及网络爬虫中容易遇到的问题,比如具有反爬,加密的网站,还有爬虫拿不到数据,以及登录验证等问题,会伴随大量网站的爬虫实战来进行. 我们编写网络爬虫最主要 ...

  6. 《精通Python网络爬虫》|百度网盘免费下载|Python爬虫实战

    <精通Python网络爬虫>|百度网盘免费下载|Python爬虫实战 提取码:7wr5 内容简介 为什么写这本书 网络爬虫其实很早就出现了,最开始网络爬虫主要应用在各种搜索引擎中.在搜索引 ...

  7. python网络爬虫实战PDF高清完整版免费下载|百度云盘|Python基础教程免费电子书

    点击获取提取码:vg1y python网络爬虫实战帮助读者学习Python并开发出符合自己要求的网络爬虫.网络爬虫,又被称为网页蜘蛛,网络机器人,是一种按照一定的规则,自动地抓取互联网信息的程序或者脚 ...

  8. python 网络爬虫全流程教学,从入门到实战(requests+bs4+存储文件)

    python 网络爬虫全流程教学,从入门到实战(requests+bs4+存储文件) requests是一个Python第三方库,用于向URL地址发起请求 bs4 全名 BeautifulSoup4, ...

  9. 如何利用Python网络爬虫爬取微信朋友圈动态--附代码(下)

    前天给大家分享了如何利用Python网络爬虫爬取微信朋友圈数据的上篇(理论篇),今天给大家分享一下代码实现(实战篇),接着上篇往下继续深入. 一.代码实现 1.修改Scrapy项目中的items.py ...

随机推荐

  1. 浏览器版本低于IE10跳转到指定网页

    var userAgent = navigator.userAgent; var ie6 = (/msie\s*(\d+)\.\d+/g.exec(userAgent.toLowerCase()) | ...

  2. CentOS软件包管理

    rpm安装包管理 指令 说明 rpm -i XX.rpm 安装XX.rpm软件包 rpm -qa XX 查看XX软件包安装的所有文件 rpm -e XX 卸载XX软件包 yum管理软件 指令 说明 y ...

  3. IDEA如何找到接口的实现类

    如何找到接口的实现类 (IDEA))在ApplicationContext上右击 Diagrams ->show diagram 可以看到继承关系: 在ApplicationContext上右击 ...

  4. Scipy实现图片去噪

    先贴要处理的图片如下 由图片显示可知: # 图片中存在噪声点,白色的圆环# 圆环上的数据和圆环里面和外面不同,所以可以显示出肉眼可识别的图片# 波动# 存在噪声的地方,波动比较大 # 傅里叶变换可以将 ...

  5. HDU5381【莫队算法+区间GCD特性】

    前言: 主要最近在刷莫队的题,这题GCD的特性让我对莫队的使用也有了新的想法.给福利:神犇的一套莫队算法题 先撇开题目,光说裸的一个莫队算法,主要的复杂度就是n*sqrt(n)对吧,这里我忽略了一个左 ...

  6. Eureka 代码详解

    看过之前文章的朋友们,相信已经对Eureka的运行机制已经有了一定的了解.为了更深入的理解它的运作和配置,下面我们结合源码来分别看看服务端和客户端的通信行为是如何实现的.另外写这篇文章,还有一个目的, ...

  7. js原型和构造函数

    前言 从应用层面深入理解原型模式和js中的构造函数. 构造函数(constructor) js中的任何对象都有自己的构造函数.js中使用字面量声明的普通对象({})或数组([])等子对象本质上都是使用 ...

  8. SpringBoot(1)—启动原理之SpringApplication对象的创建

    创建SpringApplication对象 SpringBoot版本为 2.1.1.RELEASE @SpringBootApplication public class SpringbootDemo ...

  9. 洛谷P4822 冻结

    题目描述 "我要成为魔法少女!" "那么,以灵魂为代价,你希望得到什么?" "我要将有关魔法和奇迹的一切,封印于卡片之中„„" 在这个愿望被 ...

  10. WordCount by C# 结对编程

    合作者:201631062210,201631062110 Gitee项目地址:https://gitee.com/zhouyue98/learngit 本次作业的链接地址:https://edu.c ...