1、在任意系统下,可以使用 pip 安装 Scrapy

pip install scrapy/
确认安装成功
>>> import scrapy
>>> scrapy.version_info
(, , ) 可以看到 scrapy 的一些命令
$ scrapy

E:\data\job\job>scrapy
Scrapy 1.6.0 - project: job

Usage:
scrapy <command> [options] [args]

Available commands:
bench Run quick benchmark test
check Check spider contracts
crawl Run a spider
edit Edit spider
fetch Fetch a URL using the Scrapy downloader
genspider Generate new spider using pre-defined templates
list List available spiders
parse Parse URL (using its spider) and print the results
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy

Use "scrapy <command> -h" to see more info about a command

通过上面的两项检测,说明 Scrapy 安装成功了

2、创建一个 Scrapy 项目

  在shell中使用 scrapy startproject命令:

scrapy startproject job

  创建好的爬虫的项目目录文件如下所示

  (通常我们不需要手工创建 Spider 文件以及 Spider 类,可以使用 scrapy genspider <SPIDER_NAME> <DOMAIN>命令生成(根锯模板)它们,该命令的两个参数分别是 Spider 的名字和多要爬取的预(网站))

$ cd job
$ scrapy genspider books books.toscrape.com

运行后,scrapy genspider 命令创建了文件 job/spider/books.py,并在其中创建了一个BooksSpider 类,代码如下:

# -*-coding: utf- -*-
import scrapy cclass BooksSpider(scrapy.Spider): name = 'books'
allowed_domains = ['books.toscrape.com']
start_urls = ['http://books.toscrapy.com/'] def parse(self, response):
pass

1、分析页面

  (1)数据信息

  (2)链接信息

2、实现Spider

  实现爬虫的 Python 文件应位于 job/spiders 目录下,在该目录下新建文件 51job.py

  (1)提取数据

  (2)提取链接

3、对 Spider 的实现做简单的说明

  (1) name 属性

    一个 Scrapy 醒目中可能有多个爬虫,每个爬虫的 name 属性是其自身的唯一标示,在一个项目中不能有同名的爬虫,例如 取名为 “books”

  (2)start_url 属性

    一个爬虫总要从某个(或某些)页面开始爬取,我们成这样的页面为其实爬取点,start_url 属性用来设置一个爬虫的其实爬取点。比如:“http://books.toscraper.com”.

  (3)parse 方法

    当一个页面下载完毕之后,Scrapy 引擎会回调一个我们指定的页面解析函数(默认为 parse 方法)解析页面,一个页面解析韩式同常需要完成以下两个任务:
    <1> 提取页面中的数据 (使用 XPath 或者 CSS 选择器)

    <2> 提取页面中的链接,并产生对链接页面的下载请求。

  页面解析函数通常被实现为一个生成器函数,每一项从页面中提取的数据以及每一个链接页面的下载请求都由 yield 语句提交给 Scraoy 引擎

运行爬虫

在 shell 中执行 scrapy crawl <Spider_Name> 命令运行爬虫'books',并将爬取的数据存储到 csv 文件中:

scrapy crawl books -o books.csv

在进行页面分析时,除了之前使用过的 Chrome 开发者工具之外,另一种常用的工具是

scrapy shell <URL>

他使用户可以再交互式命令下操作一个 Scrapy 爬虫,通常我们使用该工具进行前期爬取实验,从而提高开发效率

Scrapy 常用的shell执行命令的更多相关文章

  1. expect 交互 之shell执行命令操作

    shell 执行命令操作 /usr/bin/expect -c " proc jiaohu {} { send_user expect_start expect { password { s ...

  2. 使用PsExec获取shell执行命令

    PsExec PsExec是pstools工具组套件的一部分,确成为了渗透利器,下载地址:点击这里下载 连接shell 我的Windows Server 2012默认打开域网络防火墙的时候,是不能连接 ...

  3. linux shell 执行命令顺序

    1.shell命令搜索顺序 在linux shell 中输入一个命令,如果有多个同名指令,shell需要按照一定规则去取优先级高的一个执行,shell命令的搜索顺序为: 1.别名,使用alias创建的 ...

  4. Bash shell执行命令的优先级

    1.别名2.关键字:if.function.while .until等3.函数4.内置命令5.可执行程序或脚本 别关函内可 =-=-=-=-=Powered by Blogilo

  5. 在shell下执行命令的方法

    在shell下执行命令的方法 1. #!/bin/sh 语法:在shell.sh的开头写入 #!/bin/sh 一般的shell脚本就是这种用法.这种方法调用脚本开头的shell执行命令,子shell ...

  6. Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误

    1:Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误,是因为jar包冲突了,所以对于和hadoop的jar包冲 ...

  7. UNIX环境编程学习笔记(22)——进程管理之system 函数执行命令行字符串

    lienhua342014-10-15 ISO C 定义了 system 函数,用于在程序中执行一个命令字符串.其声明如下, #include <stdlib.h> int system( ...

  8. 常用的shell命令整理

    工作快一年了,shell命令也玩了一年了.还是有点积累的,下面是本人常用的. 1.pwd | xargs -i basename {}   获取当前所在目录的名称 2.ps -ef|grep -w   ...

  9. 工作中常用的 Shell 命令及技巧

    调试 bash 脚本的技巧 加 -x 参数运行 bash 脚本时,会显示执行的语句 # 也可以在 demo.sh 中加上 set -x bash -x demo.sh 设置环境变量,然后通过如上方式运 ...

随机推荐

  1. 消息队列(五)--- RocketMQ-消息存储4

    问题 index 文件有什么作用,结构又是如何 概述 index 文件主要是为了 message key 服务的,rocketmq 发送消息的时候可以带上 key , messge key 是为了标识 ...

  2. linux contab

    定义格式: * * * * * commandm(0-59), h(0-23) d(1-31) M(1-12) W(0-7)周W用1-6表示分别对应:每周一….五,六,周日在国外老外周日相当于第一个工 ...

  3. CSS-自适应网页使用@media和rem

    @media 查询 @media 媒体查询选择性加载css,意思是自动探测屏幕宽度,然后加载相应的CSS文件.可以针对不同的屏幕尺寸设置不同的样式,特别是需要设置设计响应式的页面,@media 是个不 ...

  4. Java 多线程学习笔记(一)

    一.进程和线程 (1)进程概念的引入 为了能使程序并发执行,并且可以对并发执行的程序加以描述和控制,人们引入了“进程”的概念.---摘之计算机操作系统(第四版)汤小丹编著 (2)进程概念 进程(Pro ...

  5. C - Water The Garden

    It is winter now, and Max decided it's about time he watered the garden. The garden can be represent ...

  6. 思科Catalyst 9K

    思科的新一代产品Catalyst9K,里面涉及了Catalyst9200.Catalyst9300.Catalyst9400.Catalyst9500.Catalyst9600和Catalyst980 ...

  7. lc 0223

    目录 ✅ 669. 修剪二叉搜索树 描述 解答 java py ✅ 883. 三维形体投影面积 描述 解答 my understanding c py py map ?? python zip(*gr ...

  8. 【PAT甲级】1049 Counting Ones (30 分)(类似数位DP思想的模拟)

    题意: 输入一个正整数N(N<=2^30),输出从1到N共有多少个数字包括1. AAAAAccepted code: #define HAVE_STRUCT_TIMESPEC #include& ...

  9. 修复GRUB引导故障!

    故障原因:MBR中的GRUB引导程序遭到破坏,grub.conf文件丢失,引导配置有误 故障现象:系统引导停滞,显示“grub>”提示符 解决思路:若无MBR备份,进入急救模式,重新安装grub ...

  10. 自定义Redis作为Session存储服务提供

    之前看网上介绍可使用Redis自定义Session托管,使用第三方的Harbour.RedisSessionStateStore GitHub:https://github.com/TheCloudl ...