Scrapy系列教程(1)------命令行工具
默认的Scrapy项目结构
在開始对命令行工具以及子命令的探索前,让我们首先了解一下Scrapy的项目的文件夹结构。
尽管能够被改动,但全部的Scrapy项目默认有类似于下边的文件结构:
scrapy.cfg
myproject/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
spider1.py
spider2.py
...
scrapy.cfg 存放的文件夹被觉得是 项目的根文件夹 。该文件里包括python模块名的字段定义了项目的设置。
比如:
[settings]
default = myproject.settings
使用 scrapy 工具
您能够以无參数的方式启动Scrapy工具。
该命令将会给出一些使用帮助以及可用的命令:
Scrapy X.Y - no active project Usage:
scrapy <command> [options] [args] Available commands:
crawl Run a spider
fetch Fetch a URL using the Scrapy downloader
[...]
假设您在Scrapy项目中执行,当前激活的项目将会显示在输出的第一行。上面的输出就是响应的样例。
假设您在一个项目中执行命令将会得到类似的输出:
Scrapy X.Y - project: myproject Usage:
scrapy <command> [options] [args] [...]
创建项目
一般来说。使用 scrapy 工具的第一件事就是创建您的Scrapy项目:
scrapy startproject myproject
该命令将会在 myproject 文件夹中创建一个Scrapy项目。
接下来,进入到项目文件夹中:
cd myproject
这时候您就能够使用 scrapy 命令来管理和控制您的项目了。
控制项目
您能够在您的项目中使用 scrapy 工具来对其进行控制和管理。
比方。创建一个新的spider:
scrapy genspider mydomain mydomain.com
有些Scrapy命令(比方 crawl)要求必须在Scrapy项目中执行。
您能够通过下边的 commands reference来了解哪些命令须要在项目中执行,哪些不用。
另外要注意。有些命令在项目里执行时的效果有些许差别。 以fetch命令为例,假设被爬取的url与某个特定spider相关联, 则该命令将会使用spider的动作(spider-overridden behaviours)。 (比方spider指定的 user_agent)。
该表现是有意而为之的。一般来说, fetch 命令就是用来測试检查spider是怎样下载页面。
可用的工具命令(tool commands)
该章节提供了可用的内置命令的列表。每一个命令都提供了描写叙述以及一些使用样例。
您总是能够通过执行命令来获取关于每一个命令的具体内容:
scrapy <command> -h
您也能够查看全部可用的命令:
scrapy -h
Scrapy提供了两种类型的命令。
一种必须在Scrapy项目中执行(针对项目(Project-specific)的命令),第二种则不须要(全局命令)。
全局命令在项目中执行时的表现可能会与在非项目中执行有些许区别(由于可能会使用项目的设定)。
全局命令:
- startproject
- settings
- runspider
- shell
- fetch
- view
- version
项目(Project-only)命令:
- crawl
- check
- list
- edit
- parse
- genspider
- deploy
- bench
startproject
- 语法: scrapy startproject <project_name>
- 是否须要项目: no
在 project_name 目录下创建一个名为 project_name 的Scrapy项目。
样例:
$ scrapy startproject myproject
genspider
- 语法: scrapy genspider [-t template] <name> <domain>
- 是否须要项目: yes
在当前项目中创建spider。
这不过创建spider的一种快捷方法。该方法能够使用预定义好的模板来生成spider。您也能够自己创建spider的源代码文件。
样例:
$ scrapy genspider -l
Available templates:
basic
crawl
csvfeed
xmlfeed $ scrapy genspider -d basic
import scrapy class $classname(scrapy.Spider):
name = "$name"
allowed_domains = ["$domain"]
start_urls = (
'http://www.$domain/',
) def parse(self, response):
pass $ scrapy genspider -t basic example example.com
Created spider 'example' using template 'basic' in module:
mybot.spiders.example
crawl
- 语法: scrapy crawl <spider>
- 是否须要项目: yes
使用spider进行爬取。
样例:
$ scrapy crawl myspider
[ ... myspider starts crawling ... ]
check
- 语法: scrapy check [-l] <spider>
- 是否须要项目: yes
执行contract检查。
样例:
$ scrapy check -l
first_spider
* parse
* parse_item
second_spider
* parse
* parse_item $ scrapy check
[FAILED] first_spider:parse_item
>>> 'RetailPricex' field is missing [FAILED] first_spider:parse
>>> Returned 92 requests, expected 0..4
list
- 语法: scrapy list
- 是否须要项目: yes
列出当前项目中全部可用的spider。
每行输出一个spider。
使用样例:
$ scrapy list
spider1
spider2
edit
- 语法: scrapy edit <spider>
- 是否须要项目: yes
使用 EDITOR 中设定的编辑器编辑给定的spider
该命令不过提供一个快捷方式。
开发人员能够自由选择其它工具或者IDE来编写调试spider。
样例:
$ scrapy edit spider1
fetch
- 语法: scrapy fetch <url>
- 是否须要项目: no
使用Scrapy下载器(downloader)下载给定的URL。并将获取到的内容送到标准输出。
该命令以spider下载页面的方式获取页面。比如。假设spider有 USER_AGENT 属性改动了
User Agent,该命令将会使用该属性。
因此,您能够使用该命令来查看spider怎样获取某个特定页面。
该命令假设非项目中执行则会使用默认Scrapy downloader设定。
样例:
$ scrapy fetch --nolog http://www.example.com/some/page.html
[ ... html content here ... ] $ scrapy fetch --nolog --headers http://www.example.com/
{'Accept-Ranges': ['bytes'],
'Age': ['1263 '],
'Connection': ['close '],
'Content-Length': ['596'],
'Content-Type': ['text/html; charset=UTF-8'],
'Date': ['Wed, 18 Aug 2010 23:59:46 GMT'],
'Etag': ['"573c1-254-48c9c87349680"'],
'Last-Modified': ['Fri, 30 Jul 2010 15:30:18 GMT'],
'Server': ['Apache/2.2.3 (CentOS)']}
view
- 语法: scrapy view <url>
- 是否须要项目: no
在浏览器中打开给定的URL,并以Scrapy spider获取到的形式展现。 有些时候spider获取到的页面和普通用户看到的并不同样。
因此该命令能够用来检查spider所获取到的页面。并确认这是您所期望的。
样例:
$ scrapy view http://www.example.com/some/page.html
[ ... browser starts ... ]
shell
- 语法: scrapy shell [url]
- 是否须要项目: no
以给定的URL(假设给出)或者空(没有给出URL)启动Scrapy shell。 查看 Scrapy终端(Scrapy
shell) 获取很多其它信息。
样例:
$ scrapy shell http://www.example.com/some/page.html
[ ... scrapy shell starts ... ]
parse
- 语法: scrapy parse <url> [options]
- 是否须要项目: yes
获取给定的URL并使用对应的spider分析处理。
假设您提供 --callback 选项,则使用spider的该方法处理,否则使用 parse 。
支持的选项:
- --spider=SPIDER:
跳过自己主动检測spider并强制使用特定的spider - --a NAME=VALUE:
设置spider的參数(可能被反复) - --callback or -c:
spider中用于解析返回(response)的回调函数 - --pipelines:
在pipeline中处理item - --rules or -r:
使用 CrawlSpider 规则来发现用来解析返回(response)的回调函数 - --noitems:
不显示爬取到的item - --nolinks:
不显示提取到的链接 - --nocolour:
避免使用pygments对输出着色 - --depth or -d:
指定跟进链接请求的层次数(默认: 1) - --verbose or -v:
显示每一个请求的具体信息
样例:
$ scrapy parse http://www.example.com/ -c parse_item
[ ... scrapy log lines crawling example.com spider ... ] >>> STATUS DEPTH LEVEL 1 <<<
# Scraped Items ------------------------------------------------------------
[{'name': u'Example item',
'category': u'Furniture',
'length': u'12 cm'}] # Requests -----------------------------------------------------------------
[]
settings
- 语法: scrapy settings [options]
- 是否须要项目: no
获取Scrapy的设定
在项目中执行时,该命令将会输出项目的设定值,否则输出Scrapy默认设定。
样例:
$ scrapy settings --get BOT_NAME
scrapybot
$ scrapy settings --get DOWNLOAD_DELAY
0
runspider
- 语法: scrapy runspider <spider_file.py>
- 是否须要项目: no
在未创建项目的情况下,执行一个编写在Python文件里的spider。
样例:
$ scrapy runspider myspider.py
[ ... spider starts crawling ... ]
version
- 语法: scrapy version [-v]
- 是否须要项目: no
输出Scrapy版本号。配合 -v 执行时,该命令同一时候输出Python,
Twisted以及平台的信息。方便bug提交。
deploy
0.11 新版功能.
- 语法: scrapy deploy [ <target:project> | -l <target> | -L ]
- 是否须要项目: yes
将项目部署到Scrapyd服务。
查看 部署您的项目 。
自己定义项目命令
您也能够通过 COMMANDS_MODULE 来加入您自己的项目命令。您能够以 scrapy/commands 中Scrapy
commands为例来了解怎样实现您的命令。
COMMANDS_MODULE
Default: '' (empty
string)
用于查找加入自己定义Scrapy命令的模块。
样例:
COMMANDS_MODULE = 'mybot.commands'
Scrapy系列教程(1)------命令行工具的更多相关文章
- 探索Windows命令行系列(2):命令行工具入门
1.理论基础 1.1.命令行的前世今生 1.2.命令执行规则 1.3.使用命令历史 2.使用入门 2.1.启动和关闭命令行 2.2.执行简单的命令 2.3.命令行执行程序使用技巧 3.总结 1.理论基 ...
- GitBook是一个命令行工具(Node.js库),我们可以借用该工具使用Github/Git和Markdown来制作精美的图书,但它并不是一本关于Git的教程哟。
GitBook是一个命令行工具(Node.js库),我们可以借用该工具使用Github/Git和Markdown来制作精美的图书,但它并不是一本关于Git的教程哟. 支持输出多种格式 GitBook支 ...
- Scrapy 1.4 文档 05 命令行工具
在系统命令行中,使用 scrapy 命令可以创建工程或启动爬虫,它控制着 Scrapy 的行为,我们称之为 Scrapy 命令行工具(command-line tool)或 Scrapy 工具(Scr ...
- Scrapy学习篇(二)之常用命令行工具
简介 Scrapy是通过Scrapy命令行工具进行控制的,包括创建新的项目,爬虫的启动,相关的设置,Scrapy提供了两种内置的命令,分别是全局命令和项目命令,顾名思义,全局命令就是在任意位置都可以执 ...
- Python -- Scrapy 命令行工具(command line tools)
结合scrapy 官方文档,进行学习,并整理了部分自己学习实践的内容 Scrapy是通过 scrapy 命令行工具进行控制的. 这里我们称之为 “Scrapy tool” 以用来和子命令进行区分. 对 ...
- Scrapy命令行工具简介
Windows 10家庭中文版,Python 3.6.4,virtualenv 16.0.0,Scrapy 1.5.0, 在最初使用Scrapy时,使用编辑器或IDE手动编写模块来创建爬虫(Spide ...
- 使用Scrapy命令行工具【导出JSON文件】时编码设置
Windows 10家庭中文版,Python 3.6.4,virtualenv 16.0.0,Scrapy 1.5.0, 使用scrapy命令行工具建立了爬虫项目(startproject),并使用s ...
- 二、Scrapy命令行工具
本文转载自以下链接:https://scrapy-chs.readthedocs.io/zh_CN/latest/topics/commands.html Scrapy是通过 scrapy 命令行工具 ...
- JDK的命令行工具系列 (三) jhat、jstack
jhat: heapdump文件分析工具 在前两篇系列文章JDK的命令行工具系列 (一) jps.jstat.JDK的命令行工具系列 (二) javap.jinfo.jmap中, 我们已经介绍过了jp ...
随机推荐
- 洛谷 P1571 眼红的Medusa
P1571 眼红的Medusa 题目描述 虽然Miss Medusa到了北京,领了科技创新奖,但是他还是觉得不满意.原因是,他发现很多人都和他一样获了科技创新奖,特别是其中的某些人,还获得了另一个奖项 ...
- ED/EP系列1《简单介绍》
电子存折(ED:ElectronicDeposit)一种为持卡人进行消费.取现等交易而设计的支持个人识别码(PIN)保护的金融IC卡应用. 它支持圈存.圈提.消费和取现等交易. 电子钱包(EP:Ele ...
- percona-toolkit的安装及简单介绍
MySQL数据库是轻量级.开源数据库的佼佼者.其功能和管理,健壮性与Oracle相比还是有相当的差距.因此有非常多功能强大第三方的衍生产品,如percona-toolkit,XtraBackup等等. ...
- 【Educational Codeforces Round 33 B】Beautiful Divisors
[链接] 我是链接,点我呀:) [题意] 在这里输入题意 [题解] 把所有的那些数字打表出来. 逆序枚举就好 [代码] /* 1.Shoud it use long long ? 2.Have you ...
- js中#代表什么
js中#代表什么 一.总结 1.#号:代表id选择器 2. $('#div1'). : 常用用法,前面也有$符号 二."#"在js中代表什么 js里我不曾看到用到‘#’的代码端, ...
- (转)看懂类图——UML类图基础
类图 要学懂设计模式,就需要先看得懂类图,类与类之间的关系是学习设计模式的基础,而在软件工程中,类与类之间的关系是通过UML中的类图来体现. 这篇笔记包含的不会是类图的所有东西,包含的只是各个类之间的 ...
- Codeforces Round #100 E. New Year Garland (第二类斯特林数+dp)
题目链接: http://codeforces.com/problemset/problem/140/E 题意: 圣诞树上挂彩球,要求从上到下挂\(n\)层彩球.已知有\(m\)种颜色的球,球的数量不 ...
- django-rest-framework框架 第一篇
本课件是为了教学任务自己写的学习django-rest-framework框架. 方便自己授课,也成为学生的复习教程. 本课程学习后:具有REST编程思维:并可以通过django及专业的django- ...
- python3 用递归方法列出所有目录与文件
python3 用递归方法列出所有目录与文件 # !/usr/bin/env python # -*- coding:utf-8 -*- # Author:Hiuhung Wan import os ...
- 【例题 4-1 UVA - 1339】 Ancient Cipher
[链接] 我是链接,点我呀:) [题意] 在这里输入题意 [题解] 位置其实都没关系了. 只要每个字母都有对应的字母,它们的数量相同就可以了. 求出每种字母的数量. 排序之后. 肯定是要一一对应的. ...