[Python3网络爬虫开发实战] 1.1-Python3的安装
既然要用Python 3开发爬虫,那么第一步一定是安装Python 3。这里会介绍Windows、Linux和Mac三大平台下的安装过程。
1. 相关链接
- 官方网站:http://python.org
- 下载地址:https://www.python.org/downloads
- 第三方库:https://pypi.python.org/pypi
- 官方文档:https://docs.python.org/3
- 中文教程:http://www.runoob.com/python3/python3-tutorial.html
- Awesome Python:https://github.com/vinta/awesome-python
- Awesome Python中文版:https://github.com/jobbole/awesome-python-cn
2. Windows下的安装
在Windows下安装Python 3的方式有两种。
- 一种是通过Anaconda安装,它提供了Python的科学计算环境,里面自带了Python以及常用的库。如果选用了这种方式,后面的环境配置方式会更加简便。
- 另一种是直接下载安装包安装,即标准的安装方式。
下面我们依次介绍这两种安装方式,任选其一即可。
(1) Anaconda安装
Anaconda的官方下载链接为https://www.continuum.io/downloads,选择Python 3版本的安装包下载即可,如图1-1所示。
图1-1 Anaconda Windows下载页面
如果下载速度过慢,可以选择使用清华大学镜像,下载列表链接为https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/,使用说明链接为https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/。
下载完成之后,直接双击安装包安装即可。安装完成之后,Python 3的环境就配置好了。
(2) 安装包安装
我们推荐直接下载安装包来安装,此时可以直接到官方网站下载Python 3的安装包:https://www.python.org/downloads/。
写书时,Python的最新版本1是3.6.2,其下载链接为https://www.python.org/downloads/release/python-362/,下载页面如图1-2所示。需要说明的是,实际的Python最新版本以官网为准。
图1-2 Python下载页面
- 若无特别说明,书中的最新版本均为作者写书时的情况,后面不再一一说明。
64位系统可以下载Windows x86-64 executable installer,32位系统可以下载Windows x86 executable installer。
下载完成之后,直接双击Python安装包,然后通过图形界面安装,接着设置Python的安装路径,完成后将Python 3和Python 3的Scripts目录配置到环境变量即可。
关于环境变量的配置,此处以Windows 10系统为例进行演示。
假如安装后的Python 3路径为C:\Python36,从资源管理器中打开该路径,如图1-3所示。
图1-3 Python安装目录
将该路径复制下来。
随后,右击“计算机”,从中选择“属性”,此时将打开系统属性窗口,如图1-4所示。
图1-4 系统属性
点击左侧的“高级系统设置”,即可看到在弹出的对话框下方看到“环境变量”按钮,如图1-5所示。
图1-5 高级系统设置
点击“环境变量”按钮,找到系统变量下的Path变量,随后点击“编辑”按钮,如图1-6所示。
图1-6 环境变量
随后点击“新建”,新建一个条目,将刚才复制的C:\Python36复制进去。这里需要说明的是,此处的路径就是你的Python 3安装目录,请自行替换。然后,再把C:\Python36\Scripts路径复制进去,如图1-7所示。
图1-7 编辑环境变量
最后,点击“确定”按钮即可完成环境变量的配置。
配置好环境变量后,我们就可以在命令行中直接执行环境变量路径下的可执行文件了,如python
、pip
等命令。
(3) 添加别名
上面这两种安装方式任选其一即可完成安装,但如果之前安装过Python 2的话,可能会导致版本冲突问题,比如在命令行下输入python
就不知道是调用的Python 2还是Python 3了。为了解决这个问题,建议将安装目录中的python.exe复制一份,命名为python3.exe,这样便可以调用python3
命令了。实际上,它和python
命令是完全一致的,这样只是为了可以更好地区分Python版本。当然,如果没有安装过Python 2的话,也建议添加此别名,添加完毕之后的效果如图1-8所示。
图1-8 添加别名
对于pip来说,安装包中自带了pip3.exe可执行文件,我们也可以直接使用pip3
命令,无需额外配置。
(4) 测试验证
安装完成后,可以通过命令行测试一下安装是否成功。在“开始”菜单中搜索cmd
,找到命令提示符,此时就进入命令行模式了。输入python
,测试一下能否成功调用Python。如果添加了别名的话,可以输入python3
测试,这里输入的是python3
,测试结果如图1-9所示。
图1-9 测试验证页面
输出结果类似如下:
1
2
3
4
5
6
7
8
|
$ python3
Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 17:54:52) [MSC v.1900 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> print('Hello World')
Hello World
>>> exit()
$ pip3 -V
pip 9.0.1 from c:\python36\lib\site-packages (python 3.6)
|
如果出现了类似上面的提示,则证明Python 3和pip 3均安装成功;如果提示命令不存在,那么请检查下环境变量的配置情况。
3. Linux下的安装
Linux下的安装方式有多种:命令安装、源码安装和Anaconda安装。
使用源码安装需要自行编译,时间较长。推荐使用系统自带的命令或Anaconda安装,简单、高效。这里分别讲解这3种安装方式。
(1) 命令行安装
不同的Linux发行版本的安装方式又有不同,在此分别予以介绍。
CentOS、Red Hat
如果是CentOS或Red Hat版本,则使用yum
命令安装即可。
下面列出了Python 3.5和Python 3.4两个版本的安装方法,可以自行选择。
Python 3.5版本:
1
2
3
|
sudo yum install -y https://centos7.iuscommunity.org/ius-release.rpm
sudo yum update
sudo yum install -y python35u python35u-libs python35u-devel python35u-pip
|
执行完毕后,便可以成功安装Python 3.5及pip 3了。
Python 3.4版本:
1
2
3
4
5
|
sudo yum groupinstall -y development tools
sudo yum install -y epel-release python34-devel libxslt-devel libxml2-devel openssl-devel
sudo yum install -y python34
sudo yum install -y python34-setuptools
sudo easy_install-3.4 pip
|
执行完毕后,便可以成功安装Python 3.4及pip 3了。
Ubuntu、Debian和Deepin
首先安装Python 3,这里使用apt-get
安装即可。在安装前,还需安装一些基础库,相关命令如下:
1
2
|
sudo apt-get install -y python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev libcurl4-openssl-dev
sudo apt-get install -y python3
|
执行完上述命令后,就可以成功安装Python 3了。
然后还需要安装pip 3,这里仍然使用apt-get
安装即可,相关命令如下:
1
|
sudo apt-get install -y python3-pip
|
执行完毕后,便可以成功安装Python 3及pip 3了。
(2) 源码安装
如果命令行的安装方式有问题,还可以下载Python 3源码进行安装。
源码下载地址为https://www.python.org/ftp/python/,可以自行选用想要的版本进行安装。这里以Python 3.6.2为例进行说明,安装路径设置为/usr/local/python3。
首先,创建安装目录,相关命令如下:
1
|
sudo mkdir /usr/local/python3
|
随后下载安装包并解压进入,相关命令如下:
1
2
3
|
wget --no-check-certificate https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tgz
tar -xzvf Python-3.6.2.tgz
cd Python-3.6.2
|
接下来,编译安装。所需的时间可能较长,请耐心等待,命令如下:
1
2
3
|
sudo ./configure --prefix=/usr/local/python3
sudo make
sudo make install
|
安装完成之后,创建Python 3链接,相关命令如下:
1
|
sudo ln -s /usr/local/python3/bin/python3 /usr/bin/python3
|
随后下载pip安装包并安装,命令如下:
1
2
3
4
|
wget --no-check-certificate https://github.com/pypa/pip/archive/9.0.1.tar.gz
tar -xzvf 9.0.1.tar.gz
cd pip-9.0.1
python3 setup.py install
|
安装完成后再创建pip 3链接,相关命令如下:
1
|
sudo ln -s /usr/local/python3/bin/pip /usr/bin/pip3
|
这样就成功安装好了Python 3及pip 3。
(3) Anaconda安装
Anaconda同样支持Linux,其官方下载链接为https://www.continuum.io/downloads,选择Python 3版本的安装包下载即可,如图1-10所示。
图1-10 Anaconda Linux下载页面
如果下载速度过慢,同样可以使用清华镜像,具体可参考Windows部分的介绍,在此不再赘述。
(4) 测试验证
在命令行界面下测试Python 3和pip 3是否安装成功:
1
2
3
4
5
6
|
$ python3
Python 3.5.2 (default, Nov 17 2016, 17:05:23)
Type "help", "copyright", "credits" or "license" for more information.
>>> exit()
$ pip3 -V
pip 8.1.1 from /usr/lib/python3/dist-packages (python 3.5)
|
若出现类似上面的提示,则证明Python 3和pip 3安装成功。
4. Mac下的安装
在Mac下同样有多种安装方式,如Homebrew、安装包安装、Anaconda安装等,这里推荐使用Homebrew安装。
(1) Homebrew安装
Homebrew是Mac平台下强大的包管理工具,其官方网站是https://brew.sh/。
执行如下命令,即可安装Homebrew:
1
|
ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
|
安装完成后,便可以使用brew
命令安装Python 3和pip 3了:
1
|
brew install python3
|
命令执行完成后,我们发现Python 3和pip 3均已成功安装。
(2) 安装包安装
可以到官方网站下载Python 3安装包。链接为https://www.python.org/downloads/,页面如图1-2所示。
在Mac平台下,可以选择下载Mac OS X 64-bit/32-bit installer,下载完成后,打开安装包按照提示安装即可。
(3) Anaconda安装
Anaconda同样支持Mac,其官方下载链接为:https://www.continuum.io/downloads,选择Python 3版本的安装包下载即可,如图1-11所示。
图1-11 Anaconda Mac下载页面
如果下载速度过慢,同样可以使用清华镜像,具体可参考Windows部分的介绍,在此不再赘述。
(4) 测试验证
打开终端,在命令行界面中测试Python 3和pip 3是否成功安装,如图1-12所示。
图1-12 测试验证页面
若出现上面的提示,则证明Python 3和pip 3安装成功。
本节中,我们介绍了3大平台Windows、Linux和Mac下Python 3的安装方式。安装完成后,我们便可以开启Python爬虫的征程了。
[Python3网络爬虫开发实战] 1.1-Python3的安装的更多相关文章
- [Python3网络爬虫开发实战] 1.8.1-pyspider的安装
pyspider是国人binux编写的强大的网络爬虫框架,它带有强大的WebUI.脚本编辑器.任务监控器.项目管理器以及结果处理器,同时支持多种数据库后端.多种消息队列,另外还支持JavaScript ...
- [Python3网络爬虫开发实战] 1.8.2-Scrapy的安装
Scrapy是一个十分强大的爬虫框架,依赖的库比较多,至少需要依赖的库有Twisted 14.0.lxml 3.4和pyOpenSSL 0.14.在不同的平台环境下,它所依赖的库也各不相同,所以在安装 ...
- [Python3网络爬虫开发实战] 1.8.4-Scrapy-Redis的安装
Scrapy-Redis是Scrapy的分布式扩展模块,有了它,我们就可以方便地实现Scrapy分布式爬虫的搭建.本节中,我们将介绍Scrapy-Redis的安装方式. 相关链接 GitHub:htt ...
- [Python3网络爬虫开发实战] 1.9.6-Gerapy的安装
Gerapy是一个Scrapy分布式管理模块,本节就来介绍一下它的安装方式. 1. 相关链接 GitHub:https://github.com/Gerapy 2. pip安装 这里推荐使用pip安装 ...
- [Python3网络爬虫开发实战] 1.5.3-redis-py的安装
对于Redis来说,我们要使用redis-py库来与其交互,这里就来介绍一下它的安装方法. 1. 相关链接 GitHub:https://github.com/andymccurdy/redis-py ...
- [Python3网络爬虫开发实战] 1.5.2-PyMongo的安装
在Python中,如果想要和MongoDB进行交互,就需要借助于PyMongo库,这里就来了解一下它的安装方法. 1. 相关链接 GitHub:https://github.com/mongodb/m ...
- [Python3网络爬虫开发实战] 1.5.1-PyMySQL的安装
在Python 3中,如果想要将数据存储到MySQL中,就需要借助PyMySQL来操作,本节中我们介绍一下它的安装方式. 1. 相关链接 GitHub:https://github.com/PyMyS ...
- [Python3网络爬虫开发实战] 1.3.4-tesserocr的安装
在爬虫过程中,难免会遇到各种各样的验证码,而大多数验证码还是图形验证码,这时候我们可以直接用OCR来识别. 1. OCR OCR,即Optical Character Recognition,光学字符 ...
- [Python3网络爬虫开发实战] 1.3.3-pyquery的安装
pyquery同样是一个强大的网页解析工具,它提供了和jQuery类似的语法来解析HTML文档,支持CSS选择器,使用非常方便.本节中,我们就来了解一下它的安装方式. 1. 相关链接 GitHub:h ...
- [Python3网络爬虫开发实战] 1.2.6-aiohttp的安装
之前介绍的Requests库是一个阻塞式HTTP请求库,当我们发出一个请求后,程序会一直等待服务器响应,直到得到响应后,程序才会进行下一步处理.其实,这个过程比较耗费资源.如果程序可以在这个等待过程中 ...
随机推荐
- 龙尚3G、4G模块嵌入式Linux系统使用说明【转】
本文转载自;http://blog.csdn.net/zqixiao_09/article/details/52506812 驱动部分: 1.kernle/drivers/usb/serial/opt ...
- ODB——基于c++的ORM映射框架尝试(使用)
摘要: 2.使用 首先,需要定义一个对象,用来和数据库字段对应: [cce lang=”cpp”] #ifndef VOLUME_H #define VOLUME_H #include #includ ...
- [转] 本地项目上传github (新项目 / 旧项目)
前置:安装Git Bash,在github上新建仓库repository 1.右键点击项目所在文件夹,运行: git bash here.在git bash窗口运行命令 git init 把这个目录变 ...
- http-2.2
HTTP-2.2 httpd 配置文件的组成: grep "Section" /etc/httpd/conf/httpd.conf ### Section 1: Global En ...
- source命令用法(转载)
转自:http://zhidao.baidu.com/link?url=mNfsPHSjTEm7llgyMYx0UVNwkJmD_cxLeHtZnHcM6Ms8LDXofVHka_EzHi6GltbR ...
- bzoj 4756: [Usaco2017 Jan]Promotion Counting【dfs+树状数组】
思路还是挺好玩的 首先简单粗暴的想法是dfs然后用离散化权值树状数组维护,但是这样有个问题就是这个全局的权值树状数组里并不一定都是当前点子树里的 第一反应是改树状数组,但是显然不太现实,但是可以这样想 ...
- boxworld开发日记2019-6-8
打算做一个类似RimWorld的游戏,这里记录一下历程.首先,简单回顾一下. 2018年12月23日 场景管理,打算使用四叉树,后来发现四叉树在空间组织和内存占用方面并不占优势,之后计划使用地图分块 ...
- 【洛谷3239_BZOJ4008】[HNOI2015] 亚瑟王(期望 DP)
题目: 洛谷 3239 分析: 卡牌造成的伤害是互相独立的,所以 \(ans=\sum f_i\cdot d_i\) ,其中 \(f_i\) 表示第 \(i\) 张牌 在整局游戏中 发动技能的概率.那 ...
- ACM_N皇后问题
N皇后问题 Time Limit: 2000/1000ms (Java/Others) Problem Description: 在N*N的方格棋盘放置了N个皇后,使得它们不相互攻击(即任意2个皇后不 ...
- NodeJs学习记录(二)win7下 配置node连接oracle的环境
2017/01/23 星期一 前言:还没看几眼教程,就开始分配任务,涉及到连oracle数据库,所以顺便把整个环境的配置放上来 安装文件清单(1).node-v6.9.1-x64.msi(2).pyt ...