Python、pip和scrapy的安装——Python爬虫学习笔记1
Python作为爬虫语言非常受欢迎,近期项目需要,很是学习了一番Python,在此记录学习过程:
首先因为是初学,而且当时要求很快速的出demo,所以首先想到的是框架,一番查找选用了Python界大名鼎鼎的Scrapy框架,这个框架历史悠久,直接pip安装,安装使用非常方便。
先介绍Python的安装
windows去链接https://www.python.org/downloads/windows/下载Python的安装包,选择对应的版本,选择对应系统安装包
再次说明,本文安装的是Python2.7,因为Python3暂时很多框架不支持,所以本文安装的是Python2.7
下载后,双击打开,一点一点下一步就可以了
主要是windows需要设置环境变量,才能在CMD中使用命令行
环境变量设置:
右击“我的电脑”->点击属性->点击高级属性设置->选择环境变量中的Path,双击,在Paht行添加刚才选择的Python安装路径,路径需要使用分好;隔开(英文字符),最后设置成功后,在CMD中输入python会有先关状态提示
pip安装
安装好Python后,查看是否安装pip,pip 是 Python 包管理工具,该工具提供了对Python 包的查找、下载、安装、卸载的功能。
目前如果你在 python.org 下载最新版本的安装包,则是已经自带了该工具。
Python 2.7.9 + 或 Python 3.4+ 以上版本都自带 pip 工具。
如果不确定,windows在开始菜单->运行->cmd->输入
- pip --version
如果显示了版本号则是已经安装过,如果没有那就需要去https://pypi.org/project/pip/#files 里面下载Source压缩文件回来,手动安装
解压刚下载的文件,使用CMD进入到解压后的pip文件夹,输入命令行安装pip
- python setup.py install
执行完毕后,继续输入
- pip list
可能会发现还是提示错误,无法识别命令行,这时候可能是没有加入环境变量的原因
按照之前介绍的添加Python环境变量的方法,添加pip的环境变量(加入我的Python安装在D:/Python)为:D:\Python\Scripts\;
然后再用CMD命令行输入pip list 就发现有介绍了
Scrapy框架的安装
在pip已经安装好的情况下,直接使用命令行安装Scrapy,CDM输入
- pip install scrapy
安装完之后命令行输入scrapy查看介绍,scrapy是不用手动加入环境变量的,安装的时候自动加入过了
安装之前请记住一点,scrapy框架是必须要C++9.0支持的,如果安装有报错,请自行百度安装C++ 9.0的办法
费了九牛二虎之力,总算是把python给装好了,下节就可以愉快的写代码啦
Python、pip和scrapy的安装——Python爬虫学习笔记1的更多相关文章
- 使用pip install 或者easy_install安装Python的各种包出现cc failed with exit status 1
*:first-child { margin-top: 0 !important; } body > *:last-child { margin-bottom: 0 !important; } ...
- python pip使用国内镜像安装第三方库:命令行或PyCharm
python pip使用国内镜像安装第三方库:命令行或PyCharm 转载: https://blog.csdn.net/lly1122334/article/details/80646996
- python网络爬虫学习笔记
python网络爬虫学习笔记 By 钟桓 9月 4 2014 更新日期:9月 4 2014 文章文件夹 1. 介绍: 2. 从简单语句中開始: 3. 传送数据给server 4. HTTP头-描写叙述 ...
- 《python基础教程(第二版)》学习笔记 文件和素材(第11章)
<python基础教程(第二版)>学习笔记 文件和素材(第11章) 打开文件:open(filename[,mode[,buffering]]) mode是读写文件的模式f=open(r' ...
- 《python基础教程(第二版)》学习笔记 类和对象(第7章)
<python基础教程(第二版)>学习笔记 类和对象(第7章) 定义类class Person: def setName(self,name): self.name=n ...
- 《python基础教程(第二版)》学习笔记 函数(第6章)
<python基础教程(第二版)>学习笔记 函数(第6章) 创建函数:def function_name(params): block return values 记录函数:def f ...
- 《python基础教程(第二版)》学习笔记 语句/循环/条件(第5章)
<python基础教程(第二版)>学习笔记 语句/循环/条件(第5章) print 'AB', 123 ==> AB 123 # 插入了一个空格print 'AB', 'CD' == ...
- 《python基础教程(第二版)》学习笔记 字典(第4章)
<python基础教程(第二版)>学习笔记 字典(第4章)创建字典:d={'key1':'value1','key2':'value2'}lst=[('key1','value1'),(' ...
- 《python基础教程(第二版)》学习笔记 字符串(第3章)
<python基础教程(第二版)>学习笔记 字符串(第3章)所有的基本的序列操作(索引,分片,乘法,判断成员资格,求长度,求最大最小值)对字符串也适用.字符串是不可以改变的:格式化输出字符 ...
随机推荐
- css属性position: static|relative|absolute|fixed|sticky简单解析
目录 static 静态定位(默认) relative 相对定位 正常文档流 加了relative之后的布局 加上margin/padding/border之后的布局 absolute 绝对定位 正常 ...
- Selenium自动化测试之元素定位
步骤: 1.通过前端工具,查看元素的属性 2.通过属性定位 iddriver.findElement(By.id("kw")) namedriver.findElement(By. ...
- UML绘图工具——PlantUML
1 简介 PlantUML是一个开源项目,支持通过简单直观的语言来定义以下UML图. 时序图 用例图 类图 活动图 组件图 状态图 对象图 部署图 定时图 支持生成图片格式有: PNG SVG LaT ...
- 2018-2019 20165239 Exip MSF基础应用
实践内容(3.5分) 本实践目标是掌握metasploit的基本应用方式,重点常用的三种攻击方式的思路.具体需要完成: 1.1一个主动攻击实践,如ms08_067; (1分) 1.2 一个针对浏览器的 ...
- 怎么给easyui中的datagrid加水平滚动条
注意如下几个点就行: 1.数据网格(DataGrid)所在的table属性上级div无需设置width: 2..datagrid属性:fitColumns为false 或者不填 3.在style中给. ...
- 2018-2019-1 20189201 《LInux内核原理与分析》第九周作业
那一天我二十一岁,在我一生的黄金时代.我有好多奢望.我想爱,想吃,还想在一瞬间变成天上半明半暗的云.那一年我二十一岁,在我一生的黄金时代.我有好多想法.我思索,想象,我不知该如何行动,我想知道一个城市 ...
- iOS开发只简单动画实现
1.动画旋转: [UIViewbeginAnimations:@"View Flip"context:nil]; //声明,@"XX"为标题, [UIViews ...
- less是什么?直接用css好还是less好
问:Less是一个动态CSS语言框架,Less扩展了CSS的动态特性 [1]:从实现角度来说,直接用css看起来能方便一些,而less还要编译? [2]:技术上好像灵活,但是从使用者的角度来说,css ...
- TCP 三次握手、四次挥手
三次握手:(主要是server.client相互同步系列号) SYN:同步序列号 ACK:确认序列号 第一次握手:client 向server 发送SYN,seq=x,申请同步client端序列号,c ...
- patch 请求时,关于id的报错问题
在更新操作时,先显示要更新的数据内容,再修改 在发送patch请求时出现 After applying the update to the document {_id: ObjectId('55be3 ...