Python3 网络爬虫（请求库的安装）

Python3 网络爬虫（请求库的安装）

爬虫可以简单分为几步：抓取页面，分析页面和存储数据

在页面爬取的过程中我们需要模拟浏览器向服务器发送请求，所以需要用到一些python库来实现HTTP的请求操作，我们用到的第三方库有requests Selenium 和aiohttp

requests 的安装

相关链接：

• GitHub :https://github.com/requests/requests
• PypI:https://pypi.python.org/pypi/requests
• 官方文档：http://www.python-requests.org
• 中文文档：http://docs.python-request.org/zh_CN/latest

安装：

最好用的安装方式：pip 安装

pip3 install  requests

验证是否安装成功

打开控制台进入命令行模式，首先输入python3 然后输入import requests   如果什么报错或提示说明安装成功

#!/usr/bin/env python
# -*- coding:utf-8 -*-
#__author__=v_zhangjunjie02
import requests

Selenium 的安装

selenium是一种自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击，下拉等操作，对于一些JavaScript 渲染的页面来说，这种抓取方式非常有效，下面来看看selenium 的安装过程

相关链接

• 官方网站：http://www.seleniumhq.org
• GitHub :https://github.com/SeleniumHQ/selenium/tree/master/py
• PypI: https://pypi.python.org/pypi/selenium
• 官方文档：http://selenium-python.readthedocs.io
• 中文文档：http://selenium-python-zh.readthedocs.io

还是用pip 安装

pip3 install selenium

验证是否安装成功：

打开控制台进入命令行模式，首先输入python3 然后输入import selenium   如果什么报错或提示说明安装成功

ChromeDriver 的安装

前面我们已经安装好了Selenium库，但是它是一个自动的测试工具，需要浏览器来配合使用，下面我们是Chrome浏览器和ChromeDriver驱动的配置

首先下载chromedriver

随后安装chromedriver ,因为安装了Chromedriver 才能驱动Chrome完成相应的操作

Chromedriver 相关链接

• 官方网站：https：//sites.google.com/a/chromium.org/chromedriver
• 下载地址：https://chromedriver.storage.googleapis.com/index.html

安装的chromedriver  要和Chrome 的版本一致

环境变量的配置：

1.下载完成后 将ChromeDriver 的可执行文件配置到环境变量下

在Windows下建议直接将chromedriver.exe 文件拖拽到Python的Script 目录下，此外还可以单独配置其所在路径到环境变量

在Linux 和Mac 下需要将可执行文件配置到环境变量，或将文件移动到所属环境变量的文件里

例如，要移动文件到/user/bin 目录 ，首先需要在命令行模式下进入其文件的所在路径，然后将其移动到/user/bin:

sudo mv chromedriver /user/bin

另外如果你的系统是Mac OS X  EI Capitan 及更新版本的话，需要关闭Rootless 内核保护机制，具体参考http://www.pc6.com/edu/86809.html

当然，也可以将ChromeDriver 配置到$PATH :首先，可以将可执行文件放到某一目录，目录可以任意选择，例如将当前的可执行文件放到/user/local/chromedriver 目录下，接下来在Linux 下修改～/.profile 文件，在Mac 下可以修改～/.bash_profile文件添加如下内容

export PATH="$PATH:/usr/local/chromedriver"

保存后Linux下执行如下命令：

source ~/.profile

在mac 下执行：

source ~/.bash_profile

即可完成环境变量的添加

我们在程序中测试，执行如下代码：

from selenium import webdriver

browser=webdriver.Chrome()

运行之后，如果弹出一个空白的Chrome 浏览器，则证明所有的配置都没有问题，如果没有弹出，则需要检查之前的每一步配置

如果弹出后闪退，可能是Chrome 版本和chromedriver  版本不兼容导致的，更换对应的版本即可

GeckoDriver 的安装

GeckoDriver 是Firefox 浏览器的驱动

它的安装如下：

相关链接：

• GitHub：https://github.com/mozilla/geckodriver
• 下载地址：https://github.com/mozilla/geckodriver/releases

我们可以在github 上找到它的发行版本

环境变量配置同上

PhantomJS 的安装

phantomjs 是一个无界面，可脚本编程的WebKit浏览器引擎，它原生支持多种Web 标准：DOM操作，css 选择器，JSON ，Canvas 以及SVG

selenium支持phantomjs ,在运行的时候不会弹出一个浏览器，而且phantomjs 的运行效率也很高，还支持各种参数配置，使用非常方便：它的安装如下：

相关链接：

• 官方网站：http://phantomjs.org
• 官方文档：http://phantomjs.org/quick-start.html
• 下载地址：http://phantomjs.org/download.html
• API 接口说明：http://phantomjs.org/api/command-line.html

我们在官网上下载对应的安装包后，需要将可执行文件添加进环境变量（环境变量的添加方法，同上）

验证是否配置成功：在命令行输入phantomjs-v 如果输出对应的版本，说明配置成功

验证是否安装成功：

from selenium import webdriver

browser=webdriver.PhantomJS()

browser.get('https://www.baidu.com')

print(browser.current_url)

运行后不会有浏览器弹出，但是把url打印出来了，说明安装成功了

aiohttp 的安装

之前介绍的requests 库是一个阻塞式HTTP请求库，当我们发送一个请求后，程序会一直等待服务器响应，直到得到响应后程序才会做下一步处理，其实这个过程比较费时，如果程序可以在等待的过程中做一些其他的事情，如请求的调度，响应的处理等，那么爬取效率一定会大大提高

aiohttp 就是这样一个提供异步web服务的库，从python3.5 开始，Python加入了async/await 关键字，使的回调的方法更加直观和人性化，aiohttp 的异步操作借助于 async/await  关键字的写法变得更加简洁，架构更加清晰，使用异步请求库进行数据抓取时，会大大提高s效率（比如维护一个代理池，利用异步的方式检测大量代理的运行情况，会极大提升效率）

它的安装：

相关链接：

• 官方文档：http://aiohttp.readthedocs.io/en/stable
• GitHub:https://github.com/aio-libs/aiohttp
• PyPI:https://pypi.python.org/pypi/aiohttp

pip 安装

pip3 install aiohttp

另外，官方还推荐安装如下两个库：一个是字符编码检测库cchardet ,另一个是加速DNS的解析库aiodns 安装命令如下

pip3 install cchardet aiodns

测试安装：

在python命令下导入 import aiohttp  如果没有报错，说明安装成功

解析库的安装

抓取网页之后，下一步就是从网页中提取信息，提取信息的方式有多种多样，可以使用正则来提取，但是写起来相对比较繁琐，这里还有很多强大的解析库：如 lxml ,Beautiful Soup ,pyquery  等，此外还提供了大量的解析方法。如Xpath 解析和CSS 选择器解析等，利用它，们我们可以便捷高效的从网页中提取有用的信息

lxml 的安装

lxml 是python的一个解析库，支持HTML 和XML 的解析，支持Xpath 解析方式，而且解析效率非常高，它的安装如下：

相关链接：

官方网站：http://lxml.de

GitHub: https://github.com/lxml/lxml

PyPI: https://pypi.python.org/pypi/lxml

mac 下安装

使用pip 安装：pip3 install lxml

如果产生错误，可以执行如下命令将必要的类库安装

xcode-select --install

之后再重新尝试pip  安装就没有问题了

lxml  是一个非常重要的库，后面的Beautiful Soup Scrapy 都要用到此库，所以一定要安装成功

Beautiful Soup 的安装

Beautiful  soup 是python的一个HTML 或XML的解析库，我们可以用它来方便的从网页中提取数据，它拥有强大的API和多样的解析方式，它的安装如下：

相关链接：

官方文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc

中文文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh

PyPi:https://pypi.python.org/pypi/beautifulsoup4

准备工作：

Beautiful  soup 的HTML ，XML的解析库依赖于 lxml 库，所以安装之前确保已经安装成功了 lxml 库

pip 安装

pip3 install beautifulsoup4

验证安装：

from bs4 import BeautifulSoup

soup=BeautifulSoup('<p>Hello</p>','lxml')

print(soup.p.string)

运行结果如下：

Hello

如果一致，说明安装成功

⚠️注意，这里我们虽然安装的是beautifulsoft4 这个包，但是引入的时候却引入bs4, 这是因为这个包源代码本身的库文件夹的名称就是bs4

pyquery 的安装

pyquery 同样是一个强大的网页解析工具，它提供了类似 jQuery  类似的语法来解析HTML文档，支持css  选择器，使用非常方便，它的安装如下：

相关链接：

GitHub:https://github.com/gawel/pyquery

PyPI : https://pypi.python.org/pypi/pyquery

官方文档：http://pyquery.readthedocs.io

pip 安装

pip3 install pyquery

验证同上

tesserocr  的安装

在爬虫的过程中难免会遇到各种各样的验证码，大多数验证码都是图形验证码，这时候我们可以直接用ocr  来识别

tesserocr是python的一个OCR库，但其实是对tesseract 做的一层Python API 的封装，所以它的核心是tesseract ,因此在安装tesserocr 之前，我们需要安装tesseract

相关链接

• tesserocr GitHub :https://github.com/sirfz/tesserocr
• tesserocr PyPI : https://pypi.python.org/pypi/tesserocr
• tesseract 下载地址：http://digi.bib.uni-mannheim.de/tesseract
• tesseract GitHub :https://github.com/tesseract-ocr/tesseract
• tesseract 语言包：https://github.com/tesseract-ocr/tessdata
• tesseract 文档：https://github.com/tesseract-ocr/tesseract/wiki/Documentation

Mac 下安装

brew 的安装参考：https://brew.sh/

或在终端执行/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

首先使用Homebrew 安装ImageMagick 和tesseract

brew install imagemagick

brew install tesseract --all-languages

接下来我们再安装tesserocr

pip3 install tesserocr pillow

这样我们便完成了tessercor 的安装

数据库的安装

MySql的安装

MySql 是一个轻量级的关系型数据库，

相关链接

• 官方网站：http://www.mysql.com/cn
• 下载地址：https://www.mysql.com/cn/downloads
• 中文教程：http://www.runoob.com/mysql/mysql-tutorial.html

mac 下安装

brew instal mysql

启动，停止和重启MySQl服务的命令

sudo mysql.server start

sudo mysql.server stop

sudo mysql.server restart

MongoDB 的安装

mongoDB  是由c++ 语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似json 对象，他的字段值可以包含其他文档，数组及文档数组，非常灵活

mangoDB 支持多种平台，包括windows,linux ,MAX OS  在其官方网站上（http://www.mangodb.com/download-center)均可找到对应的安装包

它的安装过程

• 官方网站：https://www.mongodb.com
• 官方文档：https://docs.mangodb.com
• GitHub:https://github.com/mongodb
• 中文教程：http://www.runoob.com/mongodb/mongodb-tutorial.html

Mac  下安装

brew install mongodb

然后新建一个文件夹/data/db   用于存放MongoDB 数据

这里启动MongoDB 服务的命令如下

brew services start mongodb

sudo mongod

停止和重启MongoDB 服务的命令分别是

brew services stop mongodb

brew services restart mongodb

可视化工具

这里推荐一个可视化工具 RoboMongo/Robo 3T  官方网站为：https://robomongo.org/下载链接：https://robomongo.org/download

Redis的安装

redis 是一个基于内存非常高效的非关系型数据库，它的安装如下

相关链接

• 官方网站：https://redis.io
• 官方文档：https://redis.io/documentation
• 中文文档：http://www.redis.cn
• GItHub: https://github.com/antirez/redis
• 中文教程：http://www.runoob.com/redis/redis-tutorial.html
• Redis Desktop Manager:https://redisdesktop.com
• Redis Desktop Manager GitHub : https://github.com/uglide/RedisDesktopManager

mac 下安装

brew install redis

启动Redis 服务的命令如下

brew services start redis

redis-server /use/local/etc/redis.conf

在mac 下Redis 的配置文件路径是/user/local/etc/redis.conf  可以通过修改它来配置访问密码

修改配置文件后，需要重启Redis 服务，停止和重启Redis 服务的命令分别如下

brew services stop redis

brew services restart redis

另外，在mac  下可以安装Redis Desktop Manager 可视化管理工具来管理Redis

存储库的安装

PyMySql的安装

相关链接

• GitHub :https://github.com/PyMySQL/PyMySQL
• 官方文档：http://pymysql.readthedocs.io/
• PyPI:  https://pypi.python.org/pypi/PyMySQL

pip安装

pip3 install pymysql

PyMongo 的安装

pip3 install pymongo

redis-py的安装

pip3 install redis

RedisDump 的安装

它是一个用于将redis 数据导入导出的工具，基于Ruby实现，要想安装它先的安装Ruby、

1.相关链接：

GitHub :https://github.com/delano/redis-dump

官方文档：http://delanotes.com/redis-dump

2.安装Ruby

参考：http://www.ruby-lang.org/zh_cn/documentation

3.gem 安装

gem install redis-dump

4.验证安装

redis-dump

redis-load

如果这两条命令可以成功调用，说明安装成功

web库的安装

flask 的安装

相关链接

Github:https://github.com/pallets/flask

官方文档：http://flask.pocoo.org

中文文档：http://docs.jinkan.org/docs/flask

PyPi: https://pypi.python.org/pypi/Flask

安装

pip3 install flask

tornado的安装

tornado是一个支持异步的web框架，通过使用非阻塞I/O 流，它可以支持成千上万的开放链接，效率非常高

1.相关链接

GitHub : https://github.com/tornadoweb/tornado

PyPI : https://pypi.python.org/pypi/tornado

官方文档： http://www.tornadoweb.org

安装

pip install tornado

mitmproxy  的安装

mitmproxy 是一个支持http和https 的抓包程序，类似于fiddler 和charles  只不过，它是通过控制台的形式去操作

此外mitproxy 还有两个相关组件，mitmdump ,它是mitmproxy 的命令行接口，利用它可以对接python脚本，实现监听后的处理；一个是mitmweb 它是一个web程序，通过它可以清楚的观察到mitmproxy 捕获的请求

它们的安装如下：

• GitHub :https://github.com/mitmproxy/mitmproxy
• 官方网站：https://mitmproxy.org
• PyPI:https://pypi.python.org/pypi/mitmproxy
• 官方文档：http://docs.mitmproxy.org
• mitmdump 脚本： http://docs.mitmproxy.org/en/stable/scripting/overview.html
• 下载地址：https://github.com/mitmproxy/mitmproxy/releases
• DockerHub: https://hub.docker.com/r/mitmproxy/mitmproxy

安装方式一：mac 下安装

pip3 install mitmproxy

如果不行执行

brew  install mitmproxy

证书设置：

对于mitmproxy 来说，如果想捕获https 请求需要设置证书，mitmproxy 在安装后会提供一套CA证书，只要客户端信任了mitmproxy 提供的证书，就可以通过mitmproxy 捕获https请求

首先运行以下命令产生CA证书

mitmdump

接下来在用户目录下的.mitmproxy 目录里找到CA 证书，证书一共有5个

Appium 的安装

Appium是移动端的自动化测试工具，利用它可以驱动Android 和 IOS 等设备完成自动化的测试 其官方网站为：http://appium.io

1.相关链接：

GitHub : https://github.com/appium/appium

官方网站：http://appium.io

官方文档：http://appium.io/introduction.html

下载链接：https://github.com/appium/appium-desktop/release

Python Client :https://github.com/appium/python-clent

安装appium

appium 负责驱动移动端来完成一系列操作对于ios 来说，它使用苹果的UIAutonation 来实现驱动，对于Android  来说，它使用UIAutomator 和Selendroid  来实现驱动

同时Appiumd 相当于一个服务器，我们可以向它发送一些操作指令，他会根据不同的指令对移动端设备完成不同的操作

安装Appium 有两种方式，一种是直接下载Appium  Desktop  来安装，另一种是通过node.js 来安装

Appium Desktop

链接地址：https://github.com/appium/appium-desktop/releases

推荐使用node.js 安装

使用node.js 安装先要安装node.js  参考链接：http://www.runoob.com/nodejs/nodejs-install-setup.html

然后使用命令npm install -g appium 安装，这条命令执行完后就完成了appium 的安装

Android   开发环境的配置

Android  环境的配置

下载Android Studio (https://developer.android.com/studio/index.html?hl=zh-cn

安卓SDK的下载

下载完Android Studio后直接在Android  的设置页面勾选要安装的SDK 即可

另外需要配置下环境变量，参考地址：https://developer.android.com/studio/intro/index.html

爬虫框架的安装

pyspidei 的安装

• 官方文档：http://docs.pyspider.org/
• PyPi:https://pypi.python.org/pypi/pyspider
• GitHub:https://github.com/binux/pyspider
• 官方教程：http://docs.pyspider.org/en/latest/tutorial
• 在线实例：http://demo.pyspider.org

准备工作：pyspider 是支持javascript 渲染的，而且这个过程依赖于PhantomJS   所以需要先安装PhantomJS

使用pip 安装

pip3 install pyspider

验证安装：

命令行执行

pyspider all

在浏览器中输入http://localhost:5000/