如果想要学习爬虫，肯定会了解Scrapy，但安装Scrapy的方法相对于安装其他第三方库麻烦一点。

下面总结一下在我的电脑上安装Scrapy的方法，我的电脑是Windows10，32位操作系统。有如下几个步骤：

1. 安装 Microsoft Visual C++ Build Tools，可以从https://visualstudio.microsoft.com/downloads/获取，得到这样一个exe文件，双击即可下载文件进行安装。记得勾选Visual C++生成工具选项。

如果不安装，后续安装twisted会报以下错误：

2. 安装pywin32，这个库必须使用.exe安装包来进行安装，利用pip容易出现安装出错。从http://sourceforge.net/projects/pywin32/下载跟操作系统匹配的安装包。

3. 利用pip安装twisted。Twisted是Python中一个非常重要的基于事件驱动的异步输入/输出引擎，它的安装依赖于pywin32和Visual C++ Build Tools。

pip install twisted

4. 利用pip安装Scrapy

pip install Scrapy

在上面过程中，通过exe安装pywin32是没办法指定安装位置的，所以pywin32只能安装到系统的python环境中。由于twisted和scrapy的安装，会附带安装大量的依赖库，这些依赖库仅在使用Scrapy时

才用到，因此，在第3步之前利用如下命令用virtualenv创建一个Python虚拟环境，将twisted和scrapy安装到虚拟环境中：

virtualenv --always-copy --system-site-packages spider

　　关于Scrapy安装和使用更详细的介绍参考：https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html

Python Scrapy在windows上的安装方法的更多相关文章

  1. 关于Python在Linux、Mac和Windows上的安装方法总结

    一.Linux下安装python   1.python源码安装包下载地址:   https://www.python.org/downloads/source/   2.下载完tar.xz压缩包以后, ...

  2. （转）windows上virtualenv 安装及使用

    [注意]要在某个含有空格的目录下面创建virtualenv环境,就要安装 win32api . 原文地址:http://blog.csdn.net/liuchunming033/article/det ...

  3. windows上pip安装及使用详解

    windows上pip安装及使用详解 2018-11-21 19:49:58 十二笔 阅读数 8229更多 分类专栏: Python学习   版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA ...

  4. Windows上PostgreSQL安装配置教程

    Windows上PostgreSQL安装配置教程 这篇文章主要为大家详细介绍了Windows上PostgreSQL安装配置教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下 PostgreSQL的 ...

  5. jinkins在windows上的安装 配置C#编译

    首先jinkins在windows上的安装就不说,安装只需要下载相应安装包就可以了,后有些时候经常需要修改端口号.修改如下: 然后重启jenkins服务 首次运行界面 个人建议插件按需安装. 建立一个 ...

  6. windows 域的安装方法

    前面的博客中我们知道了 Windows AD域的升级,下面我谈谈Windows域的安装和卸载. 卸载AD域 配置备份AD域 安装子域 删除子域(必须在根域管理员模式下删除,否则无法删除) 删除命令 导 ...

  7. git在windows上的安装和简单使用

    git在windows上的安装和简单使用. 参考: https://git-scm.com/book/zh/v1/Git-%E5%9F%BA%E7%A1%80-%E8%BF%9C%E7%A8%8B%E ...

  8. Windows上Tomcat安装以及解决乱码问题

    Windows上Tomcat安装以及解决乱码问题 下载tomcat8 1.进入tomcat官网 官方网站 2.选择windows的版本 解压 确定自己配置好了jdk jdk的相关配置 配置好tomca ...

  9. Jenkins在windows上的安装配置

     今天是2月14号,所谓西方情人节,下班回来发现,2月14过的比七夕还火热.于是上网百度百科查询了"情人节". 毕竟是中国的百度啊.是这么解释的.我感到很欣慰.过得每一个节日都应该 ...

随机推荐

  1. nginx location 配置详解

    指令作用 匹配指定的请求uri(请求uri不包含查询字符串,如http://localhost:8080/test?id=10,请求uri是/test) 语法形式 location [ = | ~ | ...

  2. Docker 类面试题（常见问题）

    Docker 常见问题汇总   镜像相关 1.如何批量清理临时镜像文件? 可以使用sudo docker rmi $(sudo docker images -q -f danging=true)命令 ...

  3. xposed 原理分析

    1.添加hook方法 首先是init进程打开 app_process,然后进入XposedInit.java main() - > initForZygote() 加入对ActivityThre ...

  4. layer之关闭弹窗

    一. layer关闭弹出层方法1-1) 先获取某个弹出层的 index var index = layer.open();   var index = layer.alert(); var index ...

  5. postgres 计算时差

    计算时间差秒数 select extract(epoch FROM (now() - (now()-interval '1 day') ));

  6. .NET CORE下最快比较两个文件内容是否相同的方法

    本文因为未考虑磁盘缓存, 结果不是很准确, 更严谨的结果请参看本博文的续集 最近项目有个需求,需要比较两个任意大小文件的内容是否相同,要求如下: 项目是.NET CORE,所以使用C#进行编写比较方法 ...

  7. 网络流 之 dinic 算法

    网络流指的是:网络流(network-flows)是一种类比水流的解决问题方法.(类似于水管群,有一个源点(水无限多),和一个汇点,最大流就代表这个点水管群(边集)每秒最大能送道汇点的水量) 这个怎么 ...

  8. 【django json.dumps 报错】 datetime.datetime is not JSON serializable

    django 中,json.dumps 无法直接转译 datetime 类型的值. 找了无数方法,找到一个最优.最简洁的解决办法: json.dumps(results, indent=4, sort ...

  9. python接口自动化4-常用取token值方法

    前言 在接口测试中我们经常是需要一个登陆token,或者获取其他用到的参数来关联下一个接口用到的参数.这里介绍一些本人常用的方法. 一.简介 不过在哪里我们也是能实现自动化api测试的,我们都知道to ...

  10. HTML+css基础 css的几种形式

    1.行间样式:将style写在标签内的充当标签标签属性 2.行内样式