在Linux下安装Scrapy很容易,基本不会出现问题 pip install Scrapy 但是在Windows下经常会出现问题,首先还是尝试一下使用pip命令: pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple 推荐使用国内的源,下载速度会更快,这里使用豆瓣源 一番操作,出现问题了,忘记截图了,一般都是在安装Twisted包的时候出现问题了,这个时候需要我们手动安装twisted包, 首先去https://www.l…

http://www.cnblogs.com/txw1958/archive/2012/07/12/scrapy_installation_introduce.html 第0步:当然是安装python和pip设置他们各自的环境变量,安装pyOpenSSL pyOpenSSL-0.13.1.win-amd64-py2.7.exe 安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里(get-pip.py) 安装pyOpenSSL   imp…

首先升级pip 虽然提示说已经升级,但是查看版本还是发现不对,随即进入C:\Python34\Lib\site-packages 查看已经存在9.0.1的版本,怎么办?将其移除,重新升级 安装lxml lxml是解析网页用的,scrapy依赖于它,它是一个第三方的库,这里推荐一个Python第三方库的网站http://www.lfd.uci.edu/~gohlke/pythonlibs/,里边都是编译好的,windows下python使用者的福利.下载对应版本的lxml. 到下载目录安装  安装…

安装scrapy框架报错是常见问题 还好,本人只碰到其中一个bug,以下是此次安装经验 环境 py3.4 windows7 64位 安装有VS2010 pip包管理(pycharm) 报错信息 安装lxml过程中报错:error: command 'D:\\Program Files (x86)\\Microsoft Visual Studio 10.0\\VC\\BIN\\cl.exe' failed with exit status 2 原因:安装过程中调用VS2010的编译.连接相关功能报…

首先:set STATICBUILD=true && pip install lxml 安装环境: windows7操作系统,已经正确安装python,pip. 使用pip功能安装Scrapy模块,当输入命令后出现: ERROR: command "python setup.py egg_info" failed with error code 1 in ... 但是测试了pip安装其他模块是正常的. 按照:http://scrapy-chs.readthedocs.i…

还好,本人只碰到其中一个bug,以下是此次安装经验 环境 py3.4 windows7 64位 安装有VS2010 pip包管理(pycharm) 报错信息 安装lxml过程中报错:error: command 'D:\\Program Files (x86)\\Microsoft Visual Studio 10.0\\VC\\BIN\\cl.exe' failed with exit status 2 原因:安装过程中调用VS2010的编译.连接相关功能报错,lxml包无法正常编译 解决方案…

按照 http://www.1207.me/archives/209.html 的教程安装Scrapy出现了上述错误,但是本身机器已经有了gcc,所以应该是安装包的问题 百度又看到了同博客里的解决方案,http://www.1207.me/archives/205.html 博文里的解决方法: yum groupinstall -y developmentyum install -y zlib-dev openssl-devel sqlite-devel bzip2-devel libxslt-…

Mac安装Scrapy Mac版本 10.11 El Captain. 前一段想在Mac上用Scrapy,各种问题.有一个不错的工具:Anaconda. 安装Anaconda 下载地址 我还是下python2_7版本的,Scrapy在这个版本是最稳定的. bash Anaconda2-4.1.1-MacOSX-x86_64.sh 换更新源 默认的源在国外,国内使用的时候速度不是很快,可以换成清华TUNA的源: conda config --add channels 'https://mirror…

一.pip安装Scrapy 运行命令 sudo pip install Scrapy(不带sudo 可能会出现 Permission denied) 然后 pip freeze 查看已经有 scrapy: 二.安装创建 scrapy 工程 scrapy startproject tutorial 会出错: ImportError: canoot import name xmlrpc_client 解决方法: 卸载six 然后通过easy_install 安装 pip uninstall six;…

Ubuntu14.04在virtualenv下安装scrapy报错,Failed building wheel for cffi,lxml,cryptography 等. error: command 'x86_64-linux-gnu-gcc' failed with exit status 1 sudo apt-get build-dep python-lxml sudo pip install lxml --upgrade sudo apt-get install build-essent…