安装scrapy 爬虫框架

安装scrapy 爬虫框架

个人根据学习需要，在Windows搭建scrapy爬虫框架，搭建过程种遇到个别问题，共享出来作为记录。

1.安装python 2.7

1.1下载

下载地址

1.2配置环境变量

以下内容添加到PATH中

C:\Python27\;C:\Python27\Scripts\;

打开CMD运行如下内容：

c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py

1.3检验是否成功

python --version

2.检查pip

python安装过程中，会把pip安装好

查看方法CMD输入

pip --version

若未安装，请参考如下连接

参考连接

安装pywin32

3.安装pywin32

pip install pywin32

4.安装Scrapy

4.1安装命令

pip install Scrapy

4.2验证安装是否成功

python

>>>import scrapy

不报错，则表示安装成功。

4.3创建项目

CMD切换要安装的目录下

scrapy startproject tutorial

运行成功后，该目录下生成如下文档结构

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

Scrapy爬虫框架搭建完成。

5.常见问题

5.1.缺少C++组件

下载地址

安装完成后，无需重启电脑。

5.2.pip版本低

执行如下命令进行升级

python -m pip install  --upgrade pip

参考：

https://scrapy-chs.readthedocs.io