笔记-爬虫部署及运行工具-scrapydweb

笔记-爬虫部署及运行工具-scrapydweb

1.      简介

scrapyd是爬虫部署工具，但它的ui比较简单，使用不是很方便。

scrapydweb以scrapyd为基础，增加了ui界面和监控，使用非常方便。

2.      部署-scrapyd

使用scrapyd部署。

注意：在windows下无法部署，因为不能执行scrapyd-deploy命令。

2.1.    部署

第一步：修改scrapy.cfg为下列样式：

# Automatically created by: scrapy startproject

#

# For more information about the [deploy] section see:

# https://scrapyd.readthedocs.io/en/latest/deploy.html

[settings]

default = sctest.settings

[deploy:sctestd]

url = http://ip:6800/

project = sctestp

第二步：进入目录，进行部署

注意一定要进入scrapy.cfg所在的目录

scrapyd-deploy sctestd -p sctestp

[root@soft sctest]# scrapyd-deploy sctestd -p sctestp

Packing version 1560213774

Deploying to project "sctestp" in http://ip:6800/addversion.json

Server response (200):

{"node_name": "soft", "status": "ok", "project": "sctestp", "version": "1560213774", "spiders": 1}

部署完成

这时在scrapyd的页面中可以看到project

http://ip:6800/listprojects.json

第三步：执行

curl http://ip:6800/schedule.json -d project=sctestp -d spider=scspider

3.      scrapydweb

3.1.    安装

git clone https://github.com/my8100/scrapydweb.git

cd scrapydweb

python setup.py install

因为没有setuptools 40.6.3，安装失败。

pip install –upgrade setuptools

重新安装成功

3.2.    配置及运行

1、请先确保所有主机都已经安装和启动 Scrapyd，如果需要远程访问 Scrapyd，则需将 Scrapyd 配置文件中的 bind_address 修改为 bind_address = 0.0.0.0，然后重启 Scrapyd。

2、开发主机或任一台主机安装 ScrapydWeb： pip install scrapydweb

3、运行命令 scrapydweb -h，将在当前工作目录生成配置文件 scrapydweb_settings.py，可用于下文的自定义配置。

4、启用 HTTP 基本认证，用于scrapydweb登录：

ENABLE_AUTH = True

USERNAME = 'user_root'

PASSWORD = 'password'

5、声明scrapyd_server，支持多种格式，详见文档。

SCRAPYD_SERVERS = [

'ip:6800',

# 'username:password@localhost:6801#group',

('username', 'password', 'localhost', '6801', 'group'),

]

3.3.    运行

scrapydweb

3.4.    问题

如果scrapyd server是本机，则scrapydweb默认会直接读取scrapyd日志而不是发起请求，需要设置日志路径。