整体架构 引擎(Scrapy Engine),用来处理整个系统的数据流处理,触发事务. 调度器(Scheduler),用来接受引擎发过来的请求,压入队列中,并在引擎再次请求的时候返回. 下载器(Downloader),用于下载网页内容,并将网页内容返回给蜘蛛. 蜘蛛(Spiders),蜘蛛是主要干活的,用它来制订特定域名或网页的解析规则.编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类. 每个spider负责处理一个特定(或一些)网站. 项目管道(Item…

文章中引用的代码均来自https://github.com/vczh/tinymoe.   看了前面的三篇文章,大家应该基本对Tinymoe的代码有一个初步的感觉了.在正确分析"print sum from 1 to 100"之前,我们首先得分析"phrase sum from (lower bound) to (upper bound)"这样的声明.Tinymoe的函数声明又很多关于block和sentence的配置,不过这里并不打算将所有细节,我会将重点放在如何…

自从<序>胡扯了快一个月之后,终于迎来了正片.之所以系列文章叫<看实例学编译原理>,是因为整个系列会通过带大家一步一步实现Tinymoe的过程,来介绍编译原理的一些知识点. 但是第一个系列还没到开始处理Tinymoe源代码的时候,首先的跟大家讲一讲我设计Tinymoe的故事.为什么这种东西要等到现在才讲呢,因为之前没有文档,将了也是白讲啊.Tinymoe在github的wiki分为两部分,一部分是介绍语法的,另一部分是介绍一个最小的标准库是如何实现出来的,地址在 https://g…

在<如何设计一门语言>里面,我讲了一些语言方面的东西,还有痛快的喷了一些XX粉什么的.不过单纯讲这个也是很无聊的,所以我开了这个<跟vczh看实例学编译原理>系列,意在科普一些编译原理的知识,尽量让大家可以在创造语言之后,自己写一个原型.在这里我拿我创造的一门很有趣的语言 https://github.com/vczh/tinymoe/ 作为实例. 商业编译器对功能和质量的要求都是很高的,里面大量的东西其实都跟编译原理没关系.一个典型的编译原理的原型有什么特征呢? 性能低 错误信息…

首先,必须说明我已经不是小白啦~现在的我在国内某独角兽担任运维工程师,带着一个四人小团队,在运维方面也算是有些心得,勉强过来回答一下这个问题,就算抛砖引玉了. 所有人都是从小白阶段过来的,我=也经历过第一次看到Linux教程连名词都看不懂的时候,好在现在总算是从那种状态走了出来,今天也算是分享一下那段经历吧~哈哈 说到Linux入门,现在是市面上有各种各样的书.资料甚至培训班,不可否认,其中有一部分精华,但更多的还是糟粕.而且由于这种杂质过多,真正的经典反而不好筛选了. 所以今天我就不去给你分析…

Typora+图床详解(小白都能学得会) 1 了解工作 博客中用的笔记软件--Typora(Markdown语法) 博客中用的图床--阿里云对象存储(Object Storage Service,简称OSS) 图床平台介绍 七牛云 七牛云, 很多大佬也是推荐,注册认证后有10G永久免费空间,每月10G国内和10G国外流量,速度相当快,插件支持比较多,有免费ssl证书,但https流量收费. 注意:七牛云30天后会回收测试域名,因此你必须要绑定自己的已经备案的域名. 网易云 网易云 NOS 对象存…

文章中引用的代码均来自https://github.com/vczh/tinymoe.   实现Tinymoe的第一步自然是一个词法分析器.词法分析其所作的事情很简单,就是把一份代码分割成若干个token,记录下他们所在文件的位置,以及丢掉不必要的信息.但是Tinymoe是一个按行分割的语言,自然token列表也就是二维的,第一维是行,第二维是每一行的token.在继续讲词法分析器之前,先看看Tinymoe包含多少token: 符号:(.).,.:.&.+.-.*./.\.%.<.>.…

1.如何解决主从复制延迟的问题? (1)主从复制原理 http://www.cnblogs.com/jenvid/p/8410922.html 1.salve执行slave start,salve服务IO线程会通过授权的用户连接上master,并请求master从指定的文件和位置之后发送bin-log日志内容 2.master服务器接收到来自slave服务器的IO线程请求后,master服务器上的IO线程根据slave服务器发送的指定bin-log日志之后的内容,然后返回给slave的IO线程,…

ConcurrentHshMap的数据结构是由一个Segment数组和多个HashEntry数组组成,在Segement数组中包含了HashEntry数组.数据结构如下图所示: Segement数组的意义就是将一个大的table分割成多个小的table来加锁,而每一个Segment元素存储的是HashEntry数组+链表,这个和HashMap的数据存储结构一样. Put操作 当执行put操作的时候,会进行第一次key的hash来定位Segement的位置,如该Segement还没有进行初始化,即…

初识MySQL1. 了解主流的数据库和数据库分类1.1 数据库概念数据库:按照数据结构来组织.存储和管理数据的一种建立在计算机存储设备上的仓库. 数据库的优势: 1. 可以持久化存储大量的数据.方便我们进行检索2. 可以保证数据的安全和数据的一致性(事务...)3. 可以很轻松的通过数据库来提取出新的有效信息(计算平均分.统计人数)1231.2 数据库的分类RDB(Relational DataBase)关系型数据库 ​ 例如:在关系型数据库中 有一张存储了学生数据的表格 还有一张存储了学生年级…