自己动手,丰衣足食!Python3网络爬虫实战案例
本教程是崔大大的爬虫实战教程的笔记:网易云课堂
Python3+Pip环境配置
Windows下安装Python: http://www.cnblogs.com/0bug/p/8228378.html
Linux以Ubuntu为例,一般是自带的,只需配置一下默认版本:http://www.cnblogs.com/0bug/p/8598273.html
virtualenv的安装:http://www.cnblogs.com/0bug/p/8598458.html
用到的IDE是PyCharm,Windows下到官网下载就行(Professional版本):http://www.jetbrains.com/pycharm/download/
Linux下以Ubuntu为例:http://www.cnblogs.com/0bug/p/8598673.html
Pycharm需要花钱,建议花钱买正版。
Mac我就不写了,因为我没有Mac
MongoDB环境配置
Windows下安装和配置:http://www.cnblogs.com/0bug/p/8290330.html
Linux以Ubuntu为例:sudo apt-get install mongodb
Redis环境配置
Windows&Ubuntu:http://www.cnblogs.com/0bug/p/8892711.html
MySQL环境配置
Windows&Ubuntu:http://www.cnblogs.com/0bug/p/8655363.html
爬虫的基本原理
什么是爬虫?
爬虫就是请求网站并提取数据的自动化程序
爬虫的基本流程
1.发起请求
2.解析请求
3.获取相应内容
4.保存数据
什么是Request和Response?
比如我们在浏览器中输入一个网址
浏览器就会发送消息给该网址所在的服务器,这个过程就叫做HTTP Request
服务器收到浏览器发送的消息后,能够根据浏览器发送消息的内容,做相应处理,然后把消息回传给浏览器。这个过程叫做HTTP Response
浏览器收到服务器的Response信息后,会对信息进行相应的处理,然后展示。
Request中包含什么?
1.请求方式:
主要有GET、POST两种类型,另外还有HEAD、PUT、DELETE、OPTIONS等。
HTTP协议中GET和POST方法的区别:http://www.cnblogs.com/0bug/p/8892959.html
2.请求URL
3.请求头如User-Agent、Host、Cookies等
HTTP协议中中常见请求头信息:http://www.cnblogs.com/0bug/p/8893038.html#_label1
4.请求体
Responst中包含什么?
1.响应状态
有多种响应状态如200代表成功,301代表跳转,404代表找不到页面,502代表服务器错误
2.响应头
如内容类型,内容长度,服务器消息,设置Cookie等等
3.响应体
主要的部分,包含了请求资源的内容,如网页HTML、图片二进制数据等。
能抓取怎样的数据?
1.网页文本:如HTML文档,Json格式文本等
2.图片:获取的是二进制文件,另存为图片格式
3.视频:同为二进制文件,保持为视频格式即可
4.其他:只有能请求,都能获取
解析方式
1.直接处理
2.Json解析
3.正则表达式
4.BeautifulSoup
5.PyQuery
6.Xpath
7.其他
怎样解决JavaScript渲染的问题
1.分析Ajax请求
2.Selenium/WebDriver
3.Splash
4.PyV8、Fhost.py
怎样保存数据
1.文本:纯文本、Json、Xml等
2.关系型数据库:如MySQL、Oracle、SQL Server等具有结构化表结构形式的存储
3.非关系型数据库:如MongoDB、Redis等Key-Value形式存储
4.二进制文件:如图片、视频、音频等等直接保存成特定格式即可
Urllib库基本使用
Ullib的基本使用:http://www.cnblogs.com/0bug/p/8893677.html
Requests库的基本使用
reuqests库的基本用法:http://www.cnblogs.com/0bug/p/8899841.html
正则表达式与re模块
正则表达式与re模块:http://www.cnblogs.com/0bug/p/8272233.html
BeautifulSoup库详解
Beautiful Soup库基础用法:http://www.cnblogs.com/0bug/p/8260834.html
PyQuery详解
PyQuery:http://www.cnblogs.com/0bug/p/8276717.html
Selenium详解
Selenium基础用法:http://www.cnblogs.com/0bug/p/8270552.html
Requests+正则表达式爬取猫眼电影
Requests+正则表达式爬取猫眼电影:http://www.cnblogs.com/0bug/p/8906490.html
自己动手,丰衣足食!Python3网络爬虫实战案例的更多相关文章
- Python3网络爬虫开发实战PDF高清完整版免费下载|百度云盘
百度云盘:Python3网络爬虫开发实战高清完整版免费下载 提取码:d03u 内容简介 本书介绍了如何利用Python 3开发网络爬虫,书中首先介绍了环境配置和基础知识,然后讨论了urllib.req ...
- 崔庆才Python3网络爬虫开发实战电子版书籍分享
资料下载地址: 链接:https://pan.baidu.com/s/1WV-_XHZvYIedsC1GJ1hOtw 提取码:4o94 <崔庆才Python3网络爬虫开发实战>高清中文版P ...
- 《Python3 网络爬虫开发实战》开发环境配置过程中踩过的坑
<Python3 网络爬虫开发实战>学习资料:https://www.cnblogs.com/waiwai14/p/11698175.html 如何从墙内下载Android Studio: ...
- 《Python3 网络爬虫开发实战》学习资料
<Python3 网络爬虫开发实战> 学习资料 百度网盘:https://pan.baidu.com/s/1PisddjC9e60TXlCFMgVjrQ
- 转:【Python3网络爬虫开发实战】 requests基本用法
1. 准备工作 在开始之前,请确保已经正确安装好了requests库.如果没有安装,可以参考1.2.1节安装. 2. 实例引入 urllib库中的urlopen()方法实际上是以GET方式请求网页,而 ...
- 关于Python网络爬虫实战笔记③
Python网络爬虫实战笔记③如何下载韩寒博客文章 Python网络爬虫实战笔记③如何下载韩寒博客文章 target:下载全部的文章 1. 博客列表页面规则 也就是, http://blog.sina ...
- Python3 网络爬虫(请求库的安装)
Python3 网络爬虫(请求库的安装) 爬虫可以简单分为几步:抓取页面,分析页面和存储数据 在页面爬取的过程中我们需要模拟浏览器向服务器发送请求,所以需要用到一些python库来实现HTTP的请求操 ...
- Python简单网络爬虫实战—下载论文名称,作者信息(下)
在Python简单网络爬虫实战—下载论文名称,作者信息(上)中,学会了get到网页内容以及在谷歌浏览器找到了需要提取的内容的数据结构,接下来记录我是如何找到所有author和title的 1.从sou ...
- python网络爬虫实战PDF高清完整版免费下载|百度云盘|Python基础教程免费电子书
点击获取提取码:vg1y python网络爬虫实战帮助读者学习Python并开发出符合自己要求的网络爬虫.网络爬虫,又被称为网页蜘蛛,网络机器人,是一种按照一定的规则,自动地抓取互联网信息的程序或者脚 ...
随机推荐
- stimulus(6300✨)
https://github.com/stimulusjs/stimulus 一个现代JS框架,不会完全占据你的前端,事实上它不涉及渲染HTML. 相反,它被设计用于增加你的HTML和刚刚够好的beh ...
- css设置点击态样式
.rightMenu:active { background-color: rgba(46, 103, 222, 0.13); }
- protobuf example make backup
# See README.txt. .PHONY: all cpp java python clean all: cpp #java python cpp: add_person_cpp list_p ...
- nltk中的三元词组,二元词组
在做英文文本处理时,常常会遇到这样的情况,需要我们提取出里面的词组进行主题抽取,尤其是具有行业特色的,比如金融年报等.其中主要进行的是进行双连词和三连词的抽取,那如何进行双连词和三连词的抽取呢?这是本 ...
- Python—迭代器与生成器
迭代器与生成器 生成器(generator) 先来了解一下列表生成器: list = [i*2 for i in range(10)] print(list)>>>>[0, 2 ...
- unity中将多个图片进行椭圆排序
//保存需要排序的精灵容器 public GameObject[] Sprites; public Transform centrePoint;//椭圆的中心点 ;//每个方块间的角度偏移 //保存位 ...
- Discuz!安装搭建
Discuz!介绍 Discuz!是一款由php语言开发的论坛源代码包,运行在lamp平之上或者lnmp之上,点击此处打开官方网站 环境介绍 本次安装采用最简配置,全部用yum安装,php采用模块方式 ...
- 一个神奇的???whatever~~
一个神奇的类,用来封装消息数据,统一数据传递接口,从unity引擎源码拷贝而来. #include <iostream> #include <assert.h> #includ ...
- 6.对图像进行ROI选取并操作
void Test_ROIWith2Image() { Mat g_srcImage=imread("D:\\OpenCV Projects\\OpenCV_Test_Image\\6.jp ...
- angular2在ts中使用transform转换时间格式
摘要:在angular1中我们可以在控制器中像下面那样使用filter: $filter('date')(myDate, 'yyyy-MM-dd'); 但是如何在angular2中在ts中使用自定义p ...