1.深度指定 DEPTH_LIMIT=1 2.常用命令 scrapy startproject name scrapy genspider name name.com scrapy crawl name 3.结构 4.目录 5.多pipeline情况 权重高的必须在process_item()里 return item才能使下一个pipeline生效 如果不想交给下一个,可以 from scrapy.exceptions import DropItem def process_item(self…

这算是我第一次使用框架吧,说来羞愧. 此前用Request带上cookie实现.(略微)完好了QQ空间的爬虫(传送门),接下来想实现分布式去爬. 事实上仅仅要能实现待爬QQ队列的共享,分布式的主要问题也就攻克了.可是认为这样实现的爬虫项目有点"不正规",所以想用Scrapy框架和Redis数据库来整顿现有爬虫. 无奈公司里也没什么人指点.全凭一人摸爬滚打,过程有点痛苦.但自信仅仅要敢啃.还是能够拿下的.不成问题. 然后就动手了. (忽略安装过程,预计是曾经用其它模块的时候已经吐血吐够了…

Scrapy教程 原文地址https://doc.scrapy.org/en/latest/intro/tutorial.html 此教程我们假设你已经装好了Scrapy,如果没有请查看安装指南.. 我们将要抓取 quotes.toscrape.com网站,这个网站展示了很多名人名言. 此教程指导你完成一下任务: 新建一个Scrapy工程 编写一个spider爬网站提取数据 用命令行导出爬取的数据 改变spider递归爬去链接 使用spider参数 Scrapy是python编写.如果你是pyt…

今天想要用scrapy爬取数据,想到原来刷过机没有这个库了就重新安装了一遍 安装scrapy 需要的东西   https://pan.baidu.com/s/1kuLvGQBG8tMTCY3WDLuUJw 提取码:dfm1 直接pip install scrapy 如图报错,说他需要很多依赖的包 首先安装wheel 然后在安装twisted的时候依旧报错 在twisted的目录下安装,我的在c盘目录下 再安装scrapy 最后还需要安装pywin32 ok!!…

一.rpm  (是Redheat Package Manager的简称) 如果光驱中还有系统安装盘的话, 1.先挂载光驱, mount /dev/cdrom /mnt/ 2.cd /mnt/ 3.cd Packages/,然后我们所需的包都在里面 -i  install,如:  rpm -ivh /mnt/Packages/libjpeg-turbo-devel-1.2.1-1.el6.i686.rpm -h  显示安装进度 -v  可视化 -q  query查询一个包是否安装 -a  all…

PS:最近一直忙于学习任务,一直没有时间去写博客.今天周六,终于有时间了. 学习任务: 1.打造一个自己的ViewPagerIndicator   最近被安排了一大堆的学习任务,感觉老板还是很好的,让我们在业余时间多提升自己的个人能力,就拿这个ViewPagerIndicator来说吧,当初自己没有什么好的实现方案,现在也就学了一发,看了一下Google上的实现方案,针对的情况比较的多,我这里就针对一种情况来说.大家想更深入的研究可以去Github上搜索一下Google工程师的实现方式,效果都很…

装了java之后非常纠结的就是无法卸载,总不能因为卸载一个jdk去重装系统,但是看着它残存在那又非常不爽, 因为卸载会牵扯注册表等琐碎的东西,,,后来在官网发现神器一枚,此神器就是java卸载工具. 自己下载下来卸载吧 链接:http://pan.baidu.com/s/1i51Bz9b 密码:0bcg…

正则表达式易于使用而又让人费解,乍一看上去,就像是一行行的乱码,但是它的功能确实又不容小觑.今天整理正则时,纠正了自己的一个误解. 先缕一缕: 正则表达式的两种声明方式: 字面量.构造器 (RegExp构造器适用于必须在运行时动态生成正则表达式的情形,并且还涉及到双重转义的问题,因此优先选择字面量方法声明.) RegExp实例的两个方法: exec()://返回一个数组(一个个的捕获组) test()://返回一个布尔值 exec()涉及到了正则表达式的分组,他有四种分组:捕获型.非捕获型.向前…

Shell是一种编程语言, 它像其它编程语言如: C, Java, Python等一样也有变量/函数/运算符/if语句/循环控制/… 但在开始之前, 我想先理清Shell语言与Shell之间的关系. Shell与Shell语言 上面说了Shell是一种编程语言但你可能也听说过: sh/bash/csh/zsh/…它们也叫Shell, 实际上这里所说的Shell是一种应用程序, 它负责解释执行你编写的Shell脚本, Mac默认就自带了sh/bash/csh/zsh/tcsh/ksh, 你可以这样…

最近一直在搞前台琐碎的东西,也学习了一下linux,没有时间对新的东西进行深入的研究和学习,没有写博客,不过归咎其原因还是在于自己的惰怠. 废话不多说,今天想将一个前台页面设计的一个小东西分享一下,那就是平时我们设计表格的时候,通常都想将表格的头部进行固定,而表格的body部分能够进行滚动的效果,其实这个实现起来很简单的,但是对于初学div+css布局的同学来说,还是有些帮助的. 先体验一下操作感受: 序号 内容 1 我只是用来测试的 2 我只是用来测试的 3 我只是用来测试的 4 我只是用来测…