Python爬虫入门教程 1-100 CentOS环境安装
简介
你好,当你打开这个文档的时候,我知道,你想要的是什么! Python爬虫,如何快速的学会Python爬虫,是你最期待的事情,可是这个事情应该没有想象中的那么容易,况且你的编程底子还不一定好,这套课程,没有你想要的Python基础,没有变量,循环,数组等基础知识,因为我不想在那些你可以直接快速学会的地方,去浪费你的时间。
好了,这套课程是基于Python3.0 以上写的,操作系统我使用的是CentOS7+ 所以里面的好多内容可能和你的不一样,当然也会导致许多问题的解决和你的不同,所以有的问题,需要你自己百度或者翻墙解决啦,祝你碰到N多的BUG。O(∩_∩)O
接下来的第一步是什么?
安装一个虚拟机,因为你的电脑99%是windows的,所以你需要一个软件叫做 VMware 然后,下载地址 在2018年5月10日这一天,我百度到的是
http://www.wuleba.com/309.html 在这个网址里面有这款软件的下载和你懂的。
然后,我接着百度到了一个CentOS7的操作系统
软件下载之后的名字
准备工作做好了,接下来就是需要你需要完成的操作了
首先,安装VM这款软件,并且把它"pojie"掉.(当有一天,你赚到了钱,记得在去买一下这款软件,支持一下)
安装软件,全部使用默认选项即可,这个地方因为简单到不需要我写了,有问题大家可以自行解决。
安装完毕之前的最后一步
CentOS 7 安装
接下来就进入CentOS的安装了
安装过程中几个关键点位,要确定好
选择中文,下一步
红框的几个地方请注意
修改成下图的样子
OK,我们已经做好配置了,接下来点击下一步,在下一步,你只需要配置一个root账户的密码就可以了
接下来就是几分钟的等待了,跟你电脑配置有关系,时间不等。
安装之后,打开CentOS操作系统,会出现一个嘿嘿的DOS命令窗口,输入账户root和你刚刚设置的密码,进入没有问题,完美~代表你的操作系统已经安装好了
接下来,为了方便我们后面的操作,我们要给我们的虚拟机安装一个GUI交互界面(也就是像windows一样的视窗操作软件)
安装的教程,我建议你观看 https://www.cnblogs.com/c-xiaohai/p/6509641.html 这个博主的,简单,清楚,一次成功。
如果失败了,怎么办,百度“如何安装gnome图形界面程序” 想办法啃下来。
当出现这样子的一些图标的时候,你成功了
可能碰到的问题
好了,接下来说一下,你可能碰到的问题
你点击应用程序,里面找到一个叫做火狐浏览器的软件,然后打开,发现竟然无法上网?!
你发现竟然无法使用中文输入法?!nice 这个问题,自行解决,随便找找一堆解决方案。
好了,上面问题2解决了,那么解决一下问题1吧,这个问题首先确认一下你在一开始安装的时候,下面这个图配置的是否正确。
需要显示已连接
如果上图没有问题,那么99%的童鞋是可以上网的,那么还是有无法上网的,这时候,打开一个叫做终端
的软件
输入代码
ping www.baidu.com
网络通畅
如果联网失败,敲入下图中的命令,如果联网成功,那么下面的内容,你直接跳过,去查看安装Python部分吧。
网络连接失败,修改方案
使用命令 ,注意,你的文件不一定叫ifcfg-ens33,可能叫 ifcgf-xxx 操作都一样
vi ifcfg-ens33
进入编辑页面 vi 的简单的操作
进入编辑状态请按键盘上的 i
退出编辑状态,请按键盘上的 ESC
然后输入 :wq 保存,退出,其他的命令用到在说吧。
图中有几个重点的地方,已经标注
首先看到你的文件中是否有 HWADDR=mac地址 【MAC地址获取见下图】
如果没有,自己手动加上,这里使用的DHCP连接网络的方式,所以,你需要把BOOTPROTO="dhcp" 如果需要修改成 "static" 也可以,不过需要配置一些其他的内容
保存文件退出
获取MAC地址,注意图片中的标注
接下来 使用下面的命令重启网络服务
service network restart
在这里,你可能就重启成功了
如果失败,那么这个地方可能是一个非常大的坑了,网上的教程五花八门,但是大多数都是Copy一样的。
这里你可以按照各种教程去试一下,下面给大家几种常见的解决办法。
- 你自己电脑上面的两个服务没有开启
- CentOS操作系统中 NetworkManager 服务有冲突
这个需要在终端中解决
打开一个终端,输入如下命令
service NetworkManager stop 【回车】
chkconfig NetworkManager off 【回车】
上面的命令是停止Network然后禁止开机启动,这样子在执行 service network restart 去尝试一下
安装Python
接下来就是我们的开发工具了,Python的安装
默认我们的CentOS已经给我们带了一个Python2
你可以直接使用
我们重新安装一下最新的Python3.0以上的版本,这里先安装一些基本的内容,CentOS使用 yum 安装程序
yum -y install zlib zlib-devel
yum -y install bzip2 bzip2-devel
yum -y install ncurses ncurses-devel
yum -y install readline readline-devel
yum -y install openssl openssl-devel
yum -y install openssl-static
yum -y install xz lzma xz-devel
yum -y install sqlite sqlite-devel
yum -y install gdbm gdbm-devel
yum -y install tk tk-devel
里面的 -y 是代表所有需要用户确认的地方选择yes不需要用户输入了
为了方便后面我们的Python3编译,还需要安装一个gcc编译器
yum -y install gcc
之后到python官网下载 https://www.python.org
终端运行以下命令
下载安装包
wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz
解压下载好的Python-3.x.x.tgz包
tar -zxvf Python-3.6.5.tgz
进入解压后的目录,编译安装。
cd Python-3.6.5/
./configure --prefix=/usr/local/python3
make
make
make install
make install
建立python3的软链
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
OK到现在为止,你已经创建好了python3的环境了,在终端中尝试一下吧
接下来,你可能面临的一个问题就是安装setuptools和pip3的问题了,这个就留给大家自己解决去了。
最后输入一个 hello world 结束我们的1/100
print("hello,world")
Python爬虫入门教程 1-100 CentOS环境安装的更多相关文章
- Python爬虫入门教程 48-100 使用mitmdump抓取手机惠农APP-手机APP爬虫部分
1. 爬取前的分析 mitmdump是mitmproxy的命令行接口,比Fiddler.Charles等工具方便的地方是它可以对接Python脚本. 有了它我们可以不用手动截获和分析HTTP请求和响应 ...
- Python爬虫入门教程 43-100 百思不得姐APP数据-手机APP爬虫部分
1. Python爬虫入门教程 爬取背景 2019年1月10日深夜,打开了百思不得姐APP,想了一下是否可以爬呢?不自觉的安装到了夜神模拟器里面.这个APP还是比较有名和有意思的. 下面是百思不得姐的 ...
- Python爬虫入门教程 37-100 云沃客项目外包网数据爬虫 scrapy
爬前叨叨 2019年开始了,今年计划写一整年的博客呢~,第一篇博客写一下 一个外包网站的爬虫,万一你从这个外包网站弄点外快呢,呵呵哒 数据分析 官方网址为 https://www.clouderwor ...
- Python爬虫入门教程 36-100 酷安网全站应用爬虫 scrapy
爬前叨叨 2018年就要结束了,还有4天,就要开始写2019年的教程了,没啥感动的,一年就这么过去了,今天要爬取一个网站叫做酷安,是一个应用商店,大家可以尝试从手机APP爬取,不过爬取APP的博客,我 ...
- Python爬虫入门教程 2-100 妹子图网站爬取
妹子图网站爬取---前言 从今天开始就要撸起袖子,直接写Python爬虫了,学习语言最好的办法就是有目的的进行,所以,接下来我将用10+篇的博客,写爬图片这一件事情.希望可以做好. 为了写好爬虫,我们 ...
- Python爬虫入门教程 20-100 慕课网免费课程抓取
写在前面 美好的一天又开始了,今天咱继续爬取IT在线教育类网站,慕课网,这个平台的数据量并不是很多,所以爬取起来还是比较简单的 准备爬取 打开我们要爬取的页面,寻找分页点和查看是否是异步加载的数据. ...
- Python爬虫入门教程 5-100 27270图片爬取
27270图片----获取待爬取页面 今天继续爬取一个网站,http://www.27270.com/ent/meinvtupian/ 这个网站具备反爬,so我们下载的代码有些地方处理的也不是很到位, ...
- Python爬虫入门教程 60-100 python识别验证码,阿里、腾讯、百度、聚合数据等大公司都这么干
常见验证码 之前的博客中已经解决了一些常见验证码的问题,但是验证码是层出不穷的,目前解决验证码除了通过常规手段解决以外,还可以通过人工智能领域的深度学习去解决 深度学习?! 无疑对爬虫coder提高了 ...
- Python爬虫入门教程 50-100 Python3爬虫爬取VIP视频-Python爬虫6操作
爬虫背景 原计划继续写一下关于手机APP的爬虫,结果发现夜神模拟器总是卡死,比较懒,不想找原因了,哈哈,所以接着写后面的博客了,从50篇开始要写几篇python爬虫的骚操作,也就是用Python3通过 ...
随机推荐
- Go语言初篇
Go语言初篇 目录 Go-开发环境 Go-语言基础 Go-标准库 Go-面向对象 Go-并发 Go-数据库 Go-web框架 Go语言开发文档:https://studygolang.com/pkgd ...
- 四、OpenStack—glance组件介绍与安装
一.glance介绍 Glance是Openstack项目中负责镜像管理的模块,其功能包括虚拟机镜像的查找.注册和检索等. Glance提供Restful API可以查询虚拟机镜像的metadata及 ...
- C#代码总结04---通过创建临时表DataTable进行临时编辑删除
<script type="text/javascript"> //删除 function Delete(hdGuid) { $("#hdGuid" ...
- 8080端口被System占用
System是Windows页面内存管理进程,拥有0级优先权,没有它系统无法启动 就是说,System进程是无法关闭的,所以不要尝试去强行关闭,可能引起电脑异常查看是否是IIS占用的, 进入电脑控制面 ...
- HTML 5将给开发者带来什么?
在新的时代里,相信网页技术会伴随HTML 5的来临进入大洗牌的局面,HTML 5旨在解决Web中的交互,媒体,本地操作等问题,一些浏览器已经尝试支持HTML 5的一些功能,而开发者们有望最终从那些We ...
- NOIP2006普及组 Jam的计数法
普及组重要的模拟题.附上题目链接 https://www.luogu.org/problem/show?pid=1061 (写水题题解算是巩固提醒自己细心吧qwq) 样例输入: bdfij 样例输出: ...
- USACO 邮票 Stamps
f[x]表示组成 x 最少需要的邮票数量 一一举例 最多贴5张邮票,有三种邮票可用,分别是1分,3分,8分 组成0分需要0张邮票 ——f[0]=0 组成1分需要在0分的基础上加上一张1分邮票 ——f[ ...
- 关于css盒子模型和BFC的理解
CSS盒子模型 包含元素内容(content).内边距(padding).边框(border).外边距(margin) 一般元素总宽度 = element的width+padding的左右边距+mar ...
- S7 Connection 通讯
参考两个链接: http://www.ad.siemens.com.cn/service/answer/solution.aspx?Q_ID=74626&cid=1029 https://su ...
- [Educational Round 17][Codeforces 762F. Tree nesting]
题目连接:678F - Lena and Queries 题目大意:给出两个树\(S,T\),问\(S\)中有多少连通子图与\(T\)同构.\(|S|\leq 1000,|T|\leq 12\) 题解 ...