Python Scrapy安装杂症记录
昨天安装了scrapy一切正常,调试了bbsSpider案例(详见上文),今日开机因为冰封还原,提示找不到python27.dll,重新安装了python2.7,
使用easy-install scrapy 提示错误:pkg_resources.DistributionNotFound: pyasn1
百度后,说是需要重新安装distribut包,安装步骤如下:
- 下载 distribution : https://pypi.python.org/pypi/distribute
- cd distribution-0.7.3/
- sudo python setup.py install
这样我们运行easy_install 就可以正确下载所有安装的python组件了。
重新运行easy-install scrapy,提示错误:error: Setup script exited with error: Microsoft Visual C++ 9.0 is required (Una
从微软下载C++ compiler for Python支持库 http://www.microsoft.com/en-us/download/confirmation.aspx?id=44266
安装后,重新运行easy-install scrapy,又报错:fatal error C1083: Cannot open include file: 'openssl/aes.h' : No such file or directory
可能是openssl没装.
网上有个帖子python安装第三方组件出现错误一般是由于:
这么多安装错误,一是没有按guide的要求,检查并补上pre-requisite,二是使用easy_install和source的setup.py,都遇到了c编译不兼容的问题,而pip可以顺利进行安装,以后就用pip了,也不用花时间到处找资源,
使用python2.7的pip再次安装scripy,报错;
把python2.7的安装文件夹删除,重新安装python2.7.9,报错;
选择修复,恢复的文件夹中没有script目录;
remove报错;
下载官方pytho2.7.10,升级安装,成功。
运行pip install scrapy,报错。
要崩溃了,还能不能愉快的玩耍了;也是手欠,搞什么冰封系统。
卸掉2.7.10,重新安装,运行pip2.7.exe install scrapy,终于成功了,上面可能是下载的时候超时了;
再次运行 scrapy crawl bbsSpider,报错:
exceptions.ImportError: No module named win32api
使用easy_install pywin32,报错:
忍了,我下载exe安装包装还不行?
安装pywin32-214.win32-py2.7.exe;
再次运行scrapy drawl bbsSpider,成了;
胜利来之不易啊。
以上备查,希望能看到这篇博文的小伙伴也能少走弯路。
Python Scrapy安装杂症记录的更多相关文章
- python Scrapy安装和介绍
python Scrapy安装和介绍 Windows7下安装1.执行easy_install Scrapy Centos6.5下安装 1.库文件安装yum install libxslt-devel ...
- step1: python & scrapy安装
#首先安装python,这里安装python所需依赖包yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-dev ...
- python scrapy简单爬虫记录(实现简单爬取知乎)
之前写了个scrapy的学习记录,只是简单的介绍了下scrapy的一些内容,并没有实际的例子,现在开始记录例子 使用的环境是python2.7, scrapy1.2.0 首先创建项目 在要建立项目的目 ...
- Python Scrapy安装
直接安装scrapy 各种报错,后来各种百度终于解决了,如下是亲身的经历. pip install scrapy 这样直接会报错. 第一步: 先安装wheel pip install wheel 第二 ...
- scrapy安装问题记录
ubuntu小白一枚,由于对于ubuntu的不了解所以导致有的问题解决不了只能白痴的重装一遍. 总结一下问题: 1.pip安装自带scrapy版本过低官方不提供维护,卸载不完全导致重装最新版不成功 # ...
- Python - scrapy安装中libxml2问题
先到 http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 下载下面三个库的 whl,然后用pip install 来安装即可 pycurl,lxml,lib ...
- 【转载】Scrapy安装及demo测试笔记
Scrapy安装及demo测试笔记 原创 2016年09月01日 16:34:00 标签: scrapy / python Scrapy安装及demo测试笔记 一.环境搭建 1. 安装scrapy ...
- python 3 安装 scrapy 并运行成功
今天,python 3 安装 scrapy, 并运行成功.特此纪念! 我的环境:windows 10(64位) + python 3.5.2(64位) 其中几个要点说明一下: 1.有几个依赖库需要事先 ...
- python爬虫的scrapy安装+pymongo的安装
我的:python2.7版本 32位 注意scrapy只支持2.7及以上的版本. 1.安装python 2.安装pip 安装pip就不赘述了,网上很多教学 pip安装时要注意更新,如果pip版本 ...
随机推荐
- css流式和弹性布局(未完)
(子容器%父容器)*100 png透明ie6中filter:progid:DXImageTransfornm.Microsoft.AlphaImageLoader( src='路径',sizingMe ...
- 移动端页面V2.0项目改版总结
移动端页面已经进行的第三次改版,这个版本遇到的最大难题就是页面跳转的问题. 项目需求: 页面上有分别有优惠估价.我要估价.历史竞拍这三个Tab选项卡,当用户点击估价,选择品牌以后,前端需要去请求品牌接 ...
- Java随机数生产算法
java提供了Math.random()函数,返回一个double类型的随机数,也有util包里的Random类,可以生成double,int,float,long,bytes等随机数. 但有些业务需 ...
- 手游架构-REST架构
REST架构风格是全新的针对Web应用的开发风格,是当今世界最成功的互联网超媒体分布式系统架构,它使得人们真正理解了Http协议本来面貌.随着 REST架构成为主流技术,一种全新的互联网网络应用开发的 ...
- Nicholas C. Zakas(JS圣经:JavaScript高级程序设计作者)如何面试前端工程师
Original Post:Interviewing the front-end engineerNicholas C. Zakas,2010年1月5日翻译完成:2010年1月7日,最后更新:2010 ...
- hdu4893Wow! Such Sequence! (线段树)
Problem Description Recently, Doge got a funny birthday present from his new friend, Protein Tiger f ...
- 常用元素的属性/方法 attr / val / html /text
常用元素的属性/方法 得到一个元素的高度, $("#myid").height() 得到一个元素的位置, $("#myid").offset() 返回的是一个o ...
- Handler Looper 原理 详解
演示代码 public class MainActivity extends ListActivity { private TextView tv_info; private CalT ...
- django: db howto - 2
继 django: db howto - 1 : 一 操作数据库的三种方式: [root@bogon csvt03]# python2.7 manage.py shell Python 2.7.5 ( ...
- 在div+css中用到的js代码注意return
今天做了一个项目,美工做好后放在了form中(没有加runat=server),由于用到了服务器控件,所以这里要加,否则报错,关键一段div代码是: <form id="form_re ...