scrapy(1)win安装
scrapy是爬虫的一个框架,目前支持python2,python3暂不支持
首先win安装环境:
1.如果你比较幸运,直接pip install scrapy就能成功
2.如果你像我一样,安装过程中报错,就只能手动一步一步安装所需的软件了
3.以下安装步骤网上找的,亲测可以成功,打开python文件,import scrapy看是无报错
4.然后我执行无报错以后,开始建立scrapy startproject 项目依旧报错,报错原因是
pyasn1-0.1.7-py2.7.egg版本太低,
解决方法,网上下载一个版本,easy_install 路径\\pyasn1-0.2.3-py2.7.egg(写好文件路径)不能直接pip intstall安装。 因为直接pip匹配的版本还是之前的低版本
“”“”
系统是 Win7,Python2.7.5版本。
1.安装Python 2.7.5:双击安装即可,在Windows命令行中输入 python提示版本号2.7.5,并进入Python 命令行,表明安装成功。注意,安装时选择pip工具安装,在Windows命令行输入pip --version,提示版本号,则安装成功。
2.安装pywin32:,必须是32位版本的,下载对应版本的pywin32(py2.7),直接双击安装即可,安装完毕之后验证:在python命令行下输入import win32com,没有提示错误,则证明安装成功。
3.安装pyOPENSSL:在https://sourceforge.net/projects/pyopenssl/下载,必须是32位版本的,下载对应版本的pyOpenSSL(py2.7),直接双击安装即可,安装完毕之后验证:在python命令行下输入import OpenSSL,没有提示错误,则证明安装成功。
4.安装 lxml:在Windows命令行中进入C:\Python27\Scripts,输入pip install lxml安装,安装完毕之后验证:在python命令行下输入import lxml,没有提示错误,则证明安装成功。
5.安装Twisted:Twisted is an event-driven networking engine written in Python and licensed under the open source。
1) 安装setuptools:
下载地址:http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe
安装完毕之后验证:在python命令行下输入import setuptools,没有提示错误,则证明安装成功。
2) 安装Zope.Interface:
下载地址:http://pypi.python.org/packages/2.7/z/zope.interface/zope.interface-4.0.1-py2.7-win32.egg
安装过程:Windows命令行输入D:\>cd C:\Python27\Scripts C:\Python27\Scripts>easy_install.exe zope.interface-4.0.1-py2.7-win32.egg
验证安装:在python命令行下输入import zope.interface,没有提示错误,则证明安装成功。
3) 安装Twisted:
下载地址:http://pypi.python.org/packages/2.7/T/Twisted/Twisted-12.1.0.win32-py2.7.msi
直接安装。
6.安装Scrapy:在Windows命令行中进入C:\Python27\Scripts,输入pip install Scrapy安装。输入scrapy显示版本号,安装成功。
所以安装的包都在C:\Python27\Lib\site-packages文件夹中可以找到。
“”“”
ps:贴一下我的包版本和安装成功的scrapy版本


scrapy(1)win安装的更多相关文章
- Scrapy框架的安装
Win+R 输入cmd打开命令行 我们先把pip升级到最新版,输入代码如下: pip install --upgrade pip 不过一般这种更新方式会经常性出错,安装文件在下载到一半时就会超时报错 ...
- Python之Scrapy爬虫框架安装及简单使用
题记:早已听闻python爬虫框架的大名.近些天学习了下其中的Scrapy爬虫框架,将自己理解的跟大家分享.有表述不当之处,望大神们斧正. 一.初窥Scrapy Scrapy是一个为了爬取网站数据,提 ...
- scrapy之环境安装
scrapy之环境安装 在之前我安装了scrapy,但是在pycharm中却无法使用. 具体情况是: 我的电脑上存在多个python,有python2,python3,anaconda,其中anaco ...
- Python3.5在Windows7环境下Scrapy库的安装
Python3.5在Windows7环境下Scrapy库的安装 忙活了一下午,总算是把Scrapy库给装完了,记下来给需要帮助的人 首先安装的环境:Windows7 64位 Python的版本是:3. ...
- scrapy初体验 - 安装遇到的坑及第一个范例
scrapy,python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.scrapy用途广泛,可以用于数据挖掘.监测和自动化测试.scrapy的安装稍 ...
- Python 环境搭建(Win 安装以及Mac OS 安装)
千里之行始于足下,今天我们先来学习 Python 环境搭建. 注意:本系列教程基于 Python 3.X Python 环境搭建 Win 安装 打开 Python 官网 https://www.pyt ...
- win安装python模块出现依赖问题的解决方法 & No module named 'MySqldb'
前言 一年多了,还在写这种问题,羞愧. 新公司不让用自己的电脑,配的winPC,项目启不起来,之前也出现过这个问题,是py3缺少某个模块,但是自己没记,这次记一下好了. No module named ...
- Scrapy简单上手 —— 安装与流程
一.安装scrapy 由于scrapy依赖较多,建议使用虚拟环境 windows下pip安装(不推荐) 1.安装virtualenv pip install virtualenv 2.在你开始项目的文 ...
- scrapy 和 scrapy_redis 安装
安装sqlslte,scrapy需要这个模块 yum install sqlite-devel python3.5 下载包自己编译安装 ./configure make make install 自带 ...
随机推荐
- 非法关闭idea后报错,插件无法正常加载解决方法
Problems found loading plugins: Plugin "GlassFish Integration" was not loaded: required pl ...
- 项目中遇到的问题——jsp:include
昨晚记错了,项目中用的是这个<jsp:attribute>,不过没关系,都差不多!原理是传参数 具体用法: 假设有两个tag文件 aaa 和 bbb aaa有两个属性:name age ...
- spring与dwr整合实现js直接使用java代码
此文章是基于 搭建Jquery+SpringMVC+Spring+Hibernate+MySQL平台 一. jar包介绍 1. dwr-3.0.1.jar,支持 spring 4.3.4 的最低版本 ...
- 使用admin lte 碰到访问Google字体的问题
下载了admin lte 的模板,运行的时候,发现很慢,看了一下console,发现adminlte.css里有import google的字体文件,众所周知的原因,无法访问,所以网页很慢,没办法,只 ...
- 简单工厂模式使用ResourceBundle读取.properties配置文件
在做项目时,遇到需要创建DAO.Service等类的实例的时候,想到用工厂方法来运作,而简单工厂方法又有明显的缺点: ①由于工厂类集中了所有实例的创建逻辑,违反了高内聚责任分配原则,将全部创建逻辑集中 ...
- Java NIO文章列表(强烈推荐 转)
IO流学习总结 一 Java IO,硬骨头也能变软 二 java IO体系的学习总结 三 Java IO面试题 NIO与AIO学习总结 一 Java NIO 概览 二 Java NIO 之 Buffe ...
- Ubuntu16.04 安装redis
1. 保证网络畅通,选定好下载工作路径,执行以下命令下载redis-3.2.6: sudo wget http://download.redis.io/releases/redis-3.2.6.tar ...
- svg动画之日出
效果分析 一个太阳,从底部升起来,天空由黑变蓝.那么要画的东西确定为三个:1.太阳(圆形)2.太阳光芒 3.天空 代码如下 <!--画太阳--> <svg width="6 ...
- drupal7 jquery脚本忽然不运行
jquery脚本经过调试,确认没有错误,但是最最近一次,调整了引入的次序,目的是方便我识别哪些js是我自己写的,哪些是前端给的,便于后期维护时,迅速找到自己写的部分. 调整引入次序前: 调整后(调整后 ...
- h5 简单拖放
最新的HTML5标准为所有的html元素规定了一个draggable属性,它表明了元素是否可以拖动,默认情况下,图像,链接,选中的文字是可以拖动的,因为他们的draggable属性被自动设置为true ...