scrapdy部署爬虫项目
原文:https://blog.csdn.net/JLaiRen/article/details/82902321
scrapyd安装
打开命令行工具输入
命令:pip install scrapyd
##启动scrapyd服务
在浏览器中输入127.0.0.1:6800
如图启动成功
(4).找到你的爬虫项目进入到拥有scrapy.cfg文件的目录下
如图:
进入命令行输入命令:pip install scrapyd-client
如图就成功了:
(9).到这里就已经成功了可以去127.0.0.1:6800 查看运行状态
部署
- 通过
scrapyd
来部署 - 部署,切换到你的scrapy项目根目录,
python c:\Python27\Scripts\scrapyd-deploy localhost -p projectname
- 调度,
curl http://localhost:6800/schedule.json -d project=projectname -d spider=spidername
- scrapyd执行频率
- 开机启动
- 访问安全
(10).常规操作:
停止爬虫
curl http://localhost:6800/cancel.json -d project=scrapy项目名称 -d job=运行ID
删除scrapy项目
注意:一般删除scrapy项目,需要先执行命令停止项目下在远行的爬虫
curl http://localhost:6800/delproject.json -d project=scrapy项目名称
查看有多少个scrapy项目在api中
curl http://localhost:6800/listprojects.json
查看指定的scrapy项目中有多少个爬虫
curl http://localhost:6800/listspiders.json?project=scrapy项目名称
总结几个请求url
1、获取状态
http://127.0.0.1:6800/daemonstatus.json
2、获取项目列表
http://127.0.0.1:6800/listprojects.json
3、获取项目下已发布的爬虫列表
http://127.0.0.1:6800/listspiders.json?project=myproject
4、获取项目下已发布的爬虫版本列表
http://127.0.0.1:6800/listversions.json?project=myproject
5、获取爬虫运行状态
http://127.0.0.1:6800/listjobs.json?project=myproject
6、启动服务器上某一爬虫(必须是已发布到服务器的爬虫)
http://127.0.0.1:6800/schedule.json (post方式,data={“project”:myproject,“spider”:myspider})
7、删除某一版本爬虫
http://127.0.0.1:6800/delversion.json
(post方式,data={“project”:myproject,“version”:myversion})
8、删除某一工程,包括该工程下的各版本爬虫
http://127.0.0.1:6800/delproject.json(post方式,data={“project”:myproject})
部署参考文章:
原文:https://www.kancloud.cn/lorne/standard/738625?sss
目录
Scrapy
重新安装了一下python,pip就已经包含在内了
遇到的问题
pip install Scrpay
报一堆错误,实质原因是Twisted
安装失败了,找到一篇文章解决了,先下载文件,然后本地直接安装。- 运行爬虫时
Twisted
在python3.7下有bug,卸载了python3.7,安装了一个低版本的3.6.6,再安装Twisted
一帆风顺。 No module named 'win32api'
,安装pip install pypiwin32
- 最终结果出来:
scrapy crawl itcast -o teachers.json -s FEED_EXPORT_ENCODING=utf-8
- 成果--取cnblogs近期用户,https://gist.github.com/lonlie/547870d1c09946dada53e771131b583e
Python相关
cmd
中如需换行在行尾加\
部署
- 通过
scrapyd
来部署 - 部署,切换到你的scrapy项目根目录,
python c:\Python27\Scripts\scrapyd-deploy localhost -p projectname
- 调度,
curl http://localhost:6800/schedule.json -d project=projectname -d spider=spidername
- scrapyd执行频率
- 开机启动
- 访问安全
参考资料
- Scrapy 框架入门简介,https://segmentfault.com/a/1190000013178839
- Scrapy文档,https://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html
- Python3.7下安装scrapy框架,https://blog.csdn.net/dvivily/article/details/81325337
- Scrapy爬虫——xpath与css选择器详解,https://www.jianshu.com/p/489c5d21cdc7
- Python爬虫防封杀方法集合,https://www.jianshu.com/p/73697828b8f8
- scrapyd部署scrapy项目(windows),https://www.jianshu.com/p/799a5c3195e4
- scrapyd windows环境下安装和使用,https://blog.csdn.net/JLaiRen/article/details/82902321
scrapdy部署爬虫项目的更多相关文章
- 第三百七十二节,Python分布式爬虫打造搜索引擎Scrapy精讲—scrapyd部署scrapy项目
第三百七十二节,Python分布式爬虫打造搜索引擎Scrapy精讲—scrapyd部署scrapy项目 scrapyd模块是专门用于部署scrapy项目的,可以部署和管理scrapy项目 下载地址:h ...
- 五十一 Python分布式爬虫打造搜索引擎Scrapy精讲—scrapyd部署scrapy项目
scrapyd模块是专门用于部署scrapy项目的,可以部署和管理scrapy项目 下载地址:https://github.com/scrapy/scrapyd 建议安装 pip3 install s ...
- 基于webmagic的爬虫项目经验小结
大概在1个月前,利用webmagic做了一个爬虫项目,下面是该项目的一些个人心得,贴在这里备份: 一.为什么选择webmagic? 说实话,开源的爬虫框架已经很多了,有各种语言(比如:python.j ...
- Python即时网络爬虫项目启动说明
作为酷爱编程的老程序员,实在按耐不下这个冲动,Python真的是太火了,不断撩拨我的心. 我是对Python存有戒备之心的,想当年我基于Drupal做的系统,使用php语言,当语言升级了,推翻了老版本 ...
- Scrapyd部署爬虫
Scrapyd部署爬虫 准备工作 安装scrapyd: pip install scrapyd 安装scrapyd-client : pip install scrapyd-client 安装curl ...
- 爬虫部署 --- scrapyd部署爬虫 + Gerapy 管理界面 scrapyd+gerapy部署流程
---------scrapyd部署爬虫---------------1.编写爬虫2.部署环境pip install scrapyd pip install scrapyd-client 启动scra ...
- GitHub 上有哪些优秀的 Python 爬虫项目?
目录 GitHub 上有哪些优秀的 Python 爬虫项目? 大型爬虫项目: 实用型爬虫项目: 其它有趣的Python爬虫小项目: GitHub 上有哪些优秀的 Python 爬虫项目? 大型爬虫项目 ...
- MyEclipse部署web项目到Tomcat出现An internal error occurred during: "Launching on Tomcat 7.x"的问题
如果出现了上述的错误按照如下的3个步骤解决:1.首先关闭MyEclipse工作空间.2.然后删除工作空间下的文件."MyEclipse10\workspace.metadata.plugin ...
- Tomcat部署web项目,如何直接通过域名访问,不加项目名称
问题:下面的问题是互联网上问得比较多的,但是显然都是同一个问题. JavaWeb项目部署到tomcat服务之后设置不需要输入项目名称即可访问? Tomcat部署web项目,如何直接通过域名访问,不加项 ...
随机推荐
- oracle 写存储过程有返回值时 注意在loop循环处添加返回值:=
例子: create or replace procedure p_xl is v_count NUMBER(10); begin for rs in(select yhbh from dbyh) l ...
- python 基本数据结构 ndarray
- Leetcode696.Count Binary Substrings计算二进制字串
给定一个字符串 s,计算具有相同数量0和1的非空(连续)子字符串的数量,并且这些子字符串中的所有0和所有1都是组合在一起的. 重复出现的子串要计算它们出现的次数. 示例 1 : 输入: "0 ...
- Apache Camel继承Spring Boot 实现文件远程复制和转移
pom.xml <dependency> <groupId>org.apache.camel</groupId> <artifactId>camel-f ...
- BigDecimal创建初始化值类型对比
当初始化String类型和double类型,入参值相同,对比输出值 BigDecimal bigDecimalStr = new BigDecimal("0.1"); BigDec ...
- Directx11教程36 纹理映射(6)
原文:Directx11教程36 纹理映射(6) 本章主要是整理代码,做以下两件事情: 1.把世界坐标矩阵的计算,放在GraphicsClass的渲染函数中,之前放在D3DClass中,而且只是 ...
- Leetcode724.Find Pivot Index寻找数组的中心索引
给定一个整数类型的数组 nums,请编写一个能够返回数组"中心索引"的方法. 我们是这样定义数组中心索引的:数组中心索引的左侧所有元素相加的和等于右侧所有元素相加的和. 如果数组不 ...
- PHPCMS快速建站系列之在线留言
有两种方法 第一种方法: 利用留言板插件,在后台模板中,安装留言板插件使用,这里先不展开. 第二种方法: 表单向导的适用场合: 如果一个前台页面只是为了提交表单数据,那么就非常适合适用表单向导的功能, ...
- Timer和DispatcherTimer简单使用
1. 设定计时器相关属性,使用委托方法处理事件触发 DispatcherTimer dispatcherTimer= new DispatcherTimer(); dispatcherTimer.Ti ...
- JAVA中this的三种用法的详解
this关键字必须放在非静态方法里面 this关键字代表自身,在程序中主要的使用用途有以下几个方面: ? 使用this关键字引用成员变量 ? 使用this关键字在自身构造方法内部引用其它构造方法 ? ...