相对于知乎而言,简书的用户信息并没有那么详细,知乎提供了包括学习,工作等在内的一系列用户信息接口,但是简书就没有那么慷慨了.但是即便如此,我们也试图抓取一些基本信息,进行简单地细分析,至少可以看一下,哪些人哪一类文章最受用户欢迎,也可以给其他人一些参考不是. 我们整体的思路是这样的: 从某一个大V开始,抓取它的相关信息,并且提取出它的全部的关注者url,对于每一个url进行请求,提取关注者的个人信息和他的关注者url,再次请求,如此进行下去,无穷无尽. 在网页分析的时候,发现关注者的信息是Aja…

1. scrapy.CrawlSpider scrapy框架提供了多种类型的spider,大致分为两类,一类为基本spider(scrapy.Spider),另一类为通用spider(scrapy.spiders.CrawlSpider.scrapy.spiders.XMLFeedSpider.scrapy.spiders.CSVFeedSpider.scrapy.spiders.SitemapSpider),并且值得注意的是,通用spider类型,均继承scrapy.Spider,那么我们在使…

git常用操作 配置用户信息.拉取项目.提交代码.分支操作.版本回退... /********git 配置用户信息************/ git config --global user.name "qing_321" git config --global user.email "qing_321@163.com" /**************拉取项目*******************/ git clone https://gitee.com/qing_…

本节我们以网址https://daxue.eol.cn/mingdan.shtml为初始链接,爬取教育部公布的正规高校名单. 思路: 1.首先以上面的地址开始链接,抓取到下面省份对应的链接. 2.在解析具体的省份源代码,获取数据.虽然山东和河南的网页结构和其他不同,我们也不做特殊处理,直接不做抓取即可:将抓取到的数据存储到mongodb数据库 3.对高校数据做数据分析及数据可视化. 抓取数据 1.定义数据结构 class daxueItem(scrapy.Item): # define the…

本篇我们以scrapy+selelum的方式来爬取爱基金网站(http://fund.10jqka.com.cn/datacenter/jz/)的基金业绩数据. 思路:我们以http://fund.10jqka.com.cn/datacenter/jz/网站作为起始,首先抓取页面中基金的详细页面地址,类似于http://fund.10jqka.com.cn/004551/的链接,在组装成http://fund.10jqka.com.cn/004551/historynet.html#histor…

本篇文章我们以360图片为例,介绍scrapy框架的使用以及图片数据的下载. 目标网站:http://images.so.com/z?ch=photography 思路:分析目标网站为ajax加载方式,通过构造目标url从而请求数据,将图片数据存储在本地,将图片的属性存储在mongodb中. 1.首先定义我们需要抓取的字段 class ImageItem(scrapy.Item): # define the fields for your item here like: # name = scr…

本篇文章我们以抓取历史天气数据为例,简单说明数据抓取的两种方式: 1.一般简单或者较小量的数据需求,我们以requests(selenum)+beautiful的方式抓取数据 2.当我们需要的数据量较多时,建议采用scrapy框架进行数据采集,scrapy框架采用异步方式发起请求,数据抓取效率极高. 下面我们以http://www.tianqihoubao.com/lishi/网站数据抓取为例进行进行两种数据抓取得介绍: 1.以request+bs的方式采集天气数据,并以mysql存储数据 思路…

在上一小节中,我们已经提取到了房源的具体信息,这一节中,我们主要是对提取到的数据进行后续的处理,以及进行相关的设置. 数据处理 我们这里以把数据存储到mongo数据库为例.编写pipelines.py文件 import pymongo class MongoPipeline(object): collection = 'lianjia_house' #数据库collection名称 def __init__(self, mongo_uri, mongo_db): self.mongo_uri =…

今天的主要内容是爬取豆瓣电影短评,看一下网友是怎么评价最近的电影的,方便我们以后的分析,以以下三部电影:二十二,战狼,三生三世十里桃花为例. 由于豆瓣短评网页比较简单,且不存在动态加载的内容,我们下面就直接上代码.有一点需要注意的是,豆瓣短评的前几页不需要登录就可以看,但是后面的内容是是需要我们登录才能查看的,因此我们需要添加自己的cookie. 我们新创建一个项目,就叫comment吧. 项目代码 items.py import scrapy class CommentItem(scrapy.…

从小到大,一直很喜欢听周杰伦唱的歌,可是相信很多人和我一样,并不能完全听明白歌词究竟是什么,今天我们就来研究一下周董最喜欢在歌词中用的词,这一小节的构思是这样的,我们爬取周杰伦的歌词信息,并且将其进行分词,来看一下什么样的词出现的频率最高,我们将这一整个过程分为两部分,前一部分是抓取,后一部分是分析,分析部分将在数据可视化里面进行处理. 分析 既然是抓取歌词信息,那么最好的地方就是那些音乐平台了,由于平时使用网易云音乐比较多一些,就打算从网页版的云音乐入手,可是对网页进行分析以后发现,云音乐使用…