爬虫:Scrapy14 - Telnet 终端(Telnet Console)
Scrapy 提供了内置的 Telnet 终端,以供检查,控制 Scrapy 运行的进程。Telnet 仅仅是一个运行在 Scrapy 进程中的普通 Python 终端。因此你可以在其中做任何是。
Telnet 终端是一个自带的 Scrapy 扩展。该扩展默认为启用,不过你也可以关闭。
如何访问
Telnet 终端监听设置中定义的 TELNETCONSOLE_PORT,默认为 6023,访问 telnet 请输入:
telnet localhost 6023
>>>
Windows 及大多数 Linux 发行版都自带了所需的 telnet 程序。
telnet 终端中可用的变量
telnet 仅仅是一个运行在 Scrapy 进程中的普通 Python 终端。因此你可以做任何事情,甚至是导入新终端。
telnet 为了方便提供了一些默认定义的变量:
快捷名称 | 描述 |
crawler |
Scrapy Crawler (scrapy.crawler.Crawler 对象) |
engine |
Crawler.engine属性 |
spider |
当前激活的爬虫(spider) |
slot |
the engine slot |
extensions |
扩展管理器(manager) (Crawler.extensions属性) |
stats |
状态收集器 (Crawler.stats属性) |
settings |
Scrapy设置(setting)对象 (Crawler.settings属性) |
est |
打印引擎状态的报告 |
prefs |
针对内存调试 (参考调试内存溢出) |
p |
pprint.pprint 函数的简写 |
hpy |
针对内存调试 (参考 调试内存溢出) |
Telnet console usage examples
查看引擎状态
在终端中你可以使用 Scrapy 引擎的 est() 方法来快速查看状态:
telnet localhost 6023
>>> est()
Execution engine status time()-engine.start_time : 8.62972998619
engine.has_capacity() : False
len(engine.downloader.active) : 16
engine.scraper.is_idle() : False
engine.spider.name : followall
engine.spider_is_idle(engine.spider) : False
engine.slot.closing : False
len(engine.slot.inprogress) : 16
len(engine.slot.scheduler.dqs or []) : 0
len(engine.slot.scheduler.mqs) : 92
len(engine.scraper.slot.queue) : 0
len(engine.scraper.slot.active) : 0
engine.scraper.slot.active_size : 0
engine.scraper.slot.itemproc_size : 0
engine.scraper.slot.needs_backout() : False
暂停,恢复和停止 Scrapy 引擎
#暂停: telnet localhost 6023
>>> engine.pause()
>>> #恢复: telnet localhost 6023
>>> engine.unpause()
>>> #停止: telnet localhost 6023
>>> engine.stop()
Connection closed by foreign host.
Telnet 终端信号
scrapy.telnet.update_telnet_vars(telnet_vars)
在 telnet 终端开启前发送该信号。您可以挂载(hook up)该信号来添加,移除或更新 telnet 本地命名空间可用的变量。您可以通过在您的处理函数(handler)中更新 telnet_vars 字典来实现该修改。
参数: telnet_vars (dict) – telnet 变量的字典
Telnet 设定
以下是终端的一些设定:
TELNETCONSOLE_PORT
Default:[6023, 6073]
telnet 终端使用的端口范围。如果设为 None
或 0
, 则动态分配端口。
TELNETCONSOLE_HOST
默认: '127.0.0.1'
telnet 终端监听的接口(interface)。
爬虫:Scrapy14 - Telnet 终端(Telnet Console)的更多相关文章
- centos单用户 救援 运行级别 yum,单用户模式,救援模式,inittab :启动级别 e2fsck wetty mingetty 物理终端 /dev/console 虚拟终端 /dev/tty(0,6) 模拟终端 /dev/pts/# grub-md5-crypt 给grub加密码 initrd 第二节课
centos单用户 救援 运行级别 yum,单用户模式,救援模式,inittab :启动级别 e2fsck wetty mingetty 物理终端 /dev/console 虚拟终端 /d ...
- TELNET终端类型选项
转:http://www.cnpaf.net/Class/Telnet/200408/5.html 1. 命令名称及编号TERMINAL-TYPE242.命令含义IACWILLTERMINAL-TYP ...
- [skill][telnet] 用telnet获取一个网页
一直也搞不懂, telnet到底是干嘛用的. 然而, 它可以得到一个网页. /home/tong/Data/performance_test [tong@T7] [:] > telnet nyu ...
- scrapy 6023 telnet查看爬虫引擎相关状态
Telnet终端(Telnet Console) Scrapy提供了内置的telnet终端,以供检查,控制Scrapy运行的进程. telnet仅仅是一个运行在Scrapy进程中的普通python终端 ...
- scrapy反反爬虫
反反爬虫相关机制 Some websites implement certain measures to prevent bots from crawling them, with varying d ...
- scrapy反反爬虫策略和settings配置解析
反反爬虫相关机制 Some websites implement certain measures to prevent bots from crawling them, with varying d ...
- linux终端-console
echo $TERM 在ssh上是xterm 在console上是linux setterm -foreground black -background white -store http://blo ...
- 【转】linux下tty,控制台,虚拟终端,串口,console(控制台终端)详解----不错
原文网址:http://blog.csdn.net/liaoxinmeng/article/details/5004743 首先: 1.终端和控制台都不是个人电脑的概念,而是多人共用的小型中型大型计算 ...
- telnet 命令使用方法详解,telnet命令怎么用
telnet 命令使用方法详解,telnet命令怎么用? 文章类型:电脑教程 原创:天诺时空 什么是Telnet? 对于Telnet的认识,不同的人持有不同的观点,可以把Telnet当成一种通信协 ...
随机推荐
- 2017.9.25 JSP内置对象的概述
1.JSP的定义: 在JSP中是为了便于数据信息的存储.传递.获取,专门设置了九个内置对象, jsp内置对象是指他们是预先设定的,不需创建,每个对象都有自己的属性和方法. 2.JSP内置对象 对象名称 ...
- jquery控制display属性为none或block
代码如下: //隐藏 $("#id").css('display','none'); //显示 $("#id").css('display','block'); ...
- matlab中padarray函数在numpy、python中的实现
a = np.arange(6) a = a.reshape((2, 3)) print np.lib.pad(a, 1, 'symmetric') 运行结果: [[ ] [ ] [ ] [ ]]
- apache以天为单位生成日志
编辑/etc/httpd/conf.d/vhost.conf,修改ErrorLog和CustomLog: ErrorLog "|rotatelogs /var/log/httpd/phpdd ...
- git移除某文件夹的版本控制
thinkphp框架,Apps/Runtime下目录移出版本控制. git rm -r -n --cached */Runtime/\* //-n:加上这个参数,执行命令时,是不会删除任何 ...
- 第25章 串行FLASH文件系统FatFs—零死角玩转STM32-F429系列
第25章 串行FLASH文件系统FatFs 全套200集视频教程和1000页PDF教程请到秉火论坛下载:www.firebbs.cn 野火视频教程优酷观看网址:http://i.youku.c ...
- Javascript与C#中使用正则表达式
JavaScript RegExp 对象 新建一个RegExp对象 new RegExp(pattern,[attributes]) 注: \d需要使用[0-9]来代替 参数 参数 ...
- 深入理解HashMap底层实现原理
一.HashMap (JDK8)put(K key, V value)底层实现 1. 首先判断这个hashmap是否为空,为空就初始化一个hashmap 2. 根据key 计算hashcode()值, ...
- Kettle报表自动化
来自我们牛逼哄哄的东哥的笔记 1. 2. 3. 选择数据库链接 贴报表SQL 4. 文件名:选择路径,excel文件由kettle自动创建,自己只需输入创建文件的名称. 拓展名:后缀写上 5. 此 ...
- js | javascript中获取dom元素的高度和宽度
javascript中获取dom元素高度和宽度的方法如下: 网页可见区域宽: document.body.clientWidth网页可见区域高: document.body.clientHeight网 ...