重难点:使用scrapy获取的数值是unicode类型,保存到json文件时需要特别注意处理一下,具体请参考链接:https://www.cnblogs.com/sanduzxcvbnm/p/10309401.html

稍加改造也能保存到csv文件中

网址:https://sobooks.net/

1.网站分析

该图书网站的网址或者是https://sobooks.net/,或者是https://sobooks.cc/,本文以前者为例

首先看到的截止到当前时间(2019-01-23)共有172页,点击第二页,会发现网址变成:https://sobooks.net/page/2,点击第三页网址变成https://sobooks.net/page/3,不难想象,若是网址是https://sobooks.net/page/1,出现的页面是否跟https://sobooks.net/一样呢,结果是一样的,然后访问手动输入地址https://sobooks.net/page/172访问,会发现直接到最后一页了,顺便统计一下,最后一页有6本图书,前171页每页有24本图书,合计图书有171*24+6=4110本

这样一来就可以使用循环的方式来遍历每页的图书了

2.进入到图书详情页面,比如:https://sobooks.net/books/11582.html,会发现页面提供的有百度云网盘和城通网盘的下载地址,不过有些图书页面只提供百度云网盘的地址,所以本文只获取百度云网盘的地址。

页面上提供的是一个跳转链接地址,经过分析发现百度云网盘在=号后面,可以先提取出href的值然后使用split('=')切割获取后者即可得到百度云网盘地址

另外还需要在当前页面输入验证码提交后才能获取到百度云网盘的提取码。通过查看源码可知:

采用post的方式将验证码(2018919)提交到当前页面进而获得百度云提取码

一般的做法是进入到图书详情页面后再使用post方式提交验证码到当前页面获取提取码,不过这两步可以合成一步操作,就是采用post提交数据的方式进入到图书详情页面,这样一来,既进入了图书详情页面,同时页面上直接显示的就有提取码。不过scrapy默认使用的get方式,所以需要修改scrapy的中的相关方法;

3.进入到图书详情页面后接下来就按照正常流程输出需要的字段信息,全部采用css的方式(浏览器调试工具:css选择器),同时辅助使用表达式。

4.最后把图书信息保存到json文件中

5.源码文件

settings.py

增加如下内容,其余保持不变

ITEM_PIPELINES = {
'sobooks.pipelines.JsonWithEncodingPipeline': 200,
}

items.py

import scrapy

class SobooksItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field() url = scrapy.Field() title = scrapy.Field()
classification = scrapy.Field()
author = scrapy.Field()
down_bd_url = scrapy.Field()
down_bd_code = scrapy.Field()
down_ct_url = scrapy.Field()

pipelines.py

import codecs
import json class JsonWithEncodingPipeline(object):
"""
命令行里输出的是unicode,但是保存到json文件中是中文
""" def __init__(self):
self.file = codecs.open('items.json', 'w', encoding='utf-8') def process_item(self, item, spider):
line = json.dumps(dict(item), ensure_ascii=False) + "\n"
# print('图书%s保存成功' % (item['title'].encode('utf-8')))
self.file.write(line)
return item def close_spider(self, spider):
self.file.close()

sobook.py

# -*- coding: utf-8 -*-

import re
import scrapy
from sobooks.items import SobooksItem class SobookSpider(scrapy.Spider):
"""
爬虫思路梳理
开始时的想法是使用get方式进入到书籍详情页面,然后再使用post方式给本页发送验证码获得百度云网盘提取密码,这样操作步骤较为繁琐
倒不如直接使用post方式给本页发送验证码,从而将上面的两步合成一步
""" name = 'sobook'
allowed_domains = ['sobooks.net']
base_url = 'https://sobooks.net/page/' pages = list(range(1, 173)) def start_requests(self):
# 遍历循环图书索引页
for page in self.pages:
url = self.base_url + str(page)
# print('请求第%s页' % (page))
yield scrapy.Request(url=url, callback=self.parse) def parse(self, response):
# 使用css选择器
res = response.css('#cardslist div.card').extract()
for card in res:
# 获取图书详情页链接
pattern = re.compile('<h3>.*?<a href="(.*?)".*?>.*?</a>.*?</h3>', re.S)
url = re.findall(pattern, card) # print('Get Book URI %s' % (url[0]))
# 使用post方式提交验证码进入图书详情页面
yield scrapy.FormRequest(url=url[0], formdata={'e_secret_key': ''},
callback=self.detail_parse) def detail_parse(self, response): title = response.css('.article-title > a:nth-child(1)::text').extract_first()
classification = response.css('#mute-category > a:nth-child(2)::text').extract_first()
author = response.css('span.muted:nth-child(2) > a:nth-child(2)::text').extract_first()
# 若是需要城通网盘地址,参考百度云网盘地址写法(CSS选择器)
down_bd_url = response.css(
'.dltable > tbody:nth-child(1) > tr:nth-child(3) > td:nth-child(1) > a:nth-child(2)::attr(href)').extract_first().split(
'=')[1]
down_bd_code = response.css('.e-secret > strong:nth-child(1)::text').extract_first() item = SobooksItem()
item['title'] = title
item['classification'] = classification
item['author'] = author
item['down_bd_url'] = down_bd_url
item['down_bd_code'] = down_bd_code yield item

6.效果:

通过查看json文件,发现有4098本图书数据,跟之前计算的4110本差2本,这2本具体是啥懒得找了,就先这样吧

通过分析json文件中的地址,应该取的是百度云网盘的地址,但是部分地址是城通网盘的,通过搜索图书查看发现该图书并未提供百度云网盘地址,只提供城通网盘地址

源码下载地址:https://files.cnblogs.com/files/sanduzxcvbnm/sobooks.7z

使用Scrapy爬取图书网站信息的更多相关文章

  1. 爬虫系列2:Requests+Xpath 爬取租房网站信息

    Requests+Xpath 爬取租房网站信息 [抓取]:参考前文 爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]:参考前文 ...

  2. python之简单爬取一个网站信息

    requests库是一个简介且简单的处理HTTP请求的第三方库 get()是获取网页最常用的方式,其基本使用方式如下 使用requests库获取HTML页面并将其转换成字符串后,需要进一步解析HTML ...

  3. 爬虫框架之Scrapy——爬取某招聘信息网站

    案例1:爬取内容存储为一个文件 1.建立项目 C:\pythonStudy\ScrapyProject>scrapy startproject tenCent New Scrapy projec ...

  4. scrapy爬取某网站,模拟登陆过程中遇到的那些坑

    本节内容 在访问网站的时候,我们经常遇到有些页面必须用户登录才能访问.这个时候我们之前写的傻傻的爬虫就被ban在门外了.所以本节,我们给爬虫配置cookie,使得爬虫能保持用户已登录的状态,达到获得那 ...

  5. 爬虫系列3:Requests+Xpath 爬取租房网站信息并保存本地

    数据保存本地 [抓取]:参考前文 爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html [分页]:参考前文 爬虫系列2:https://www ...

  6. scrapy 爬取天猫商品信息

    spider # -*- coding: utf-8 -*- from urllib.parse import urlencode import requests import scrapy impo ...

  7. python之scrapy爬取jingdong招聘信息到mysql数据库

    1.创建工程 scrapy startproject jd 2.创建项目 scrapy genspider jingdong 3.安装pymysql pip install pymysql 4.set ...

  8. scrapy爬取豆瓣电影信息

    最近在学python,对python爬虫框架十分着迷,因此在网上看了许多大佬们的代码,经过反复测试修改,终于大功告成! 原文地址是:https://blog.csdn.net/ljm_9615/art ...

  9. Python爬虫学习之使用beautifulsoup爬取招聘网站信息

    菜鸟一只,也是在尝试并学习和摸索爬虫相关知识. 1.首先分析要爬取页面结构.可以看到一列搜索的结果,现在需要得到每一个链接,然后才能爬取对应页面. 关键代码思路如下: html = getHtml(& ...

随机推荐

  1. 《Head First 设计模式》学习笔记——代理模式

    设计模式 代理模式:为还有一个对象提供一个替身或占位符以控制对这个对象的訪问. 使用代理模式创建代表对象,让代表对象控制某对象的訪问,被代理的对象能够使远程的对象(远程代理).创建开销大的对象(虚拟代 ...

  2. mysql安装后改动port号password默认字符编码

    1.改动password grant all privileges on *.* to 'root'@'localhost' identified by 'new password'; 2.改动por ...

  3. Linux下的IPC-UNIX Domain Socket【转】

    本文转载自:http://blog.csdn.net/guxch/article/details/7041052 一. 概述 UNIX Domain Socket是在socket架构上发展起来的用于同 ...

  4. 51nod 1353 树

    树背包 设f[i][j]表示第i个点,和子节点组成的联通块大小为j,其他都可行的方案 j=0表示可行的总方案 #include<cstdio> #include<iostream&g ...

  5. 全面解析布局(Grid & Canvas &StackPanel &Wrappanel) 转

    写这篇文章前,特意在百度搜索了一下,发现目前网上介绍布局的文章不多,质量也不是很高.拿grid和canvas来讲,这两个布局容器还是有许多小细节值得讲的,如果你不了解的话,开发中经常会遇到一些让人匪夷 ...

  6. [SCOI 2010] 连续攻击游戏

    [题目链接] https://www.luogu.org/problemnew/show/P1640 [算法] 二分图匹配 实现时需要常数优化和特判 [代码] //code by byf and lm ...

  7. 【高德地图API】Pivot控件中加载地图并禁止Pivot手势

    如题,解决方案,参考[Windows phone应用开发[20]-禁止Pivot手势]http://www.cnblogs.com/chenkai/p/3408658.html. xaml代码清单   ...

  8. SQL使用IN参量不能超过1000的表现形式以及解决办法

    如果出现这个错误说明你传的参量是超过了一千个值:列如,你拼接了1001个id: 如何解决那,我这里提供两种方法: 1.每1000条加一个or in 列: 原:select p.* from t_pre ...

  9. nodejs在windows下的安装

    Windowv 上安装Node.js Windows 安装包(.msi) : 32 位安装包下载地址 : http://nodejs.org/dist/v0.10.26/node-v0.10.26-x ...

  10. Java8080端口被占用解决办法

    netstat -ano | findstr 8080 taskkill -pid 3196-f