上月底开始学习Scrapy爬虫框架,看了一些中文文档,讲应用.讲基础的,对其有一些了解了.终于在28日打开Scrapy的官网,并制作了其文档的思维导图,进而开启了其文档的阅读之旅. 本文展示了从6月28日到7月3日每天阅读过的Scrapy文档,记录其整个过程和读后感. 不过,这是第一次做这样的记录,目的是想完整地学习Scrapy,要是可行.高效,后续可以应用到其它方面. 阅读过程 颜色变化表示当天阅读. -6月28日 -6月29日 -6月30日 -7月1日 -7月2日 -7月3日 6天,可以说大…

Windows 10家庭中文版本,Python 3.6.4,Scrapy 1.5.0, Scrapy已经安装很久了,前面也看了不少Scrapy的资料,自己尝试使其抓取微博的数据时,居然连登录页面(首页)都进不去,后又在前几日补充学习了re.requests.urllib3.bs4.BeautifulSoup的一些知识后,今天正式开始学习Scrapy爬虫框架.希望通过学习和实践,可以开发出分布式爬虫程序,可以抓取各种网站的数据,包括微博的,包括不熟悉的暗网的. 本文介绍了运行Scrapy官网的示例…

文章目录 Java中的数据校验 Bean Validation(JSR 380) 使用示例 Spring对Bean Validation的支持 Spring中的Validator 接口定义 UML类图 SmartValidator SpringValidatorAdapter ValidatorAdapter CustomValidatorBean LocalValidatorFactoryBean OptionalValidatorFactoryBean 使用示例 @Validated跟@Va…

Linux 源码阅读 进程管理 版本:2.6.24 1.准备知识 1.1 Linux系统中,进程是最小的调度单位: 1.2 PCB数据结构:task_struct (Location:linux-2.6.24\include\linux\sched.h)(任务可以和进程混用) task_struct结构体 2.设计思路图 3.数据结构 4.主要函数 4.1创建进程 long do_fork(unsigned long clone_flags, unsigned long stack_start,…

接近用了4个多月的时间,完成了整个<Spring官网阅读>系列的文章,本文主要对本系列所有的文章做一个总结,同时也将所有的目录汇总成一篇文章方便各位读者来阅读. 下面这张图是我整个的写作大纲 对应的文章目录汇总如下: Spring官网阅读(一)容器及实例化 本文主要涉及到官网中的1.2,1.3节.主要介绍了什么是容器,容器如何工作. Spring官网阅读(二)(依赖注入及方法注入) 本文主要涉及到官网中的1.4小节,主要涉及到Spring的依赖注入 Spring官网阅读(三)自动注入 在对依赖…

文章目录 什么是AOP AOP中的核心概念 切面 连接点 通知 切点 引入 目标对象 代理对象 织入 Spring中如何使用AOP 1.开启AOP 2.申明切面 3.申明切点 切点表达式 excecution表达式 语法 示例 @annotation表达式 语法 示例 within表达式 语法 示例 @within表达式 语法 示例 arg表达式 语法 示例 @args表达式 语法 示例 this表达式 target表达式 定义切点 4.申明通知 通知的类型 Before AfterReturn…

文章目录 DataBinder UML类图 使用示例 源码分析 bind方法 doBind方法 applyPropertyValues方法 获取一个属性访问器 通过属性访问器直接set属性值 1.setPropertyValues 2.setPropertyValue(String,Object) 3.setPropertyValue(PropertyTokenHolder,PropertyValue) 4.processLocalProperty 5.setValue DataBinder的子…

上篇文章我们已经学习了1.4小结中关于依赖注入跟方法注入的内容.这篇文章我们继续学习这结中的其他内容,顺便解决下我们上篇文章留下来的一个问题-----注入模型. 文章目录 前言: 自动注入: 自动注入的优点: 注入模型: 自动注入的缺陷: 如何将Bean从自动注入中排除? 自动注入跟精确注入的比较总结: 补充(1.4小结的剩余部分) depends-on: lazy: 前言: 在看下面的内容之前,我们先要对自动注入及精确注入有一个大概的了解,所谓精确注入就是指,我们通过构造函数或者setter方…

android的多线程在开发中已经有使用过了,想再系统地学习一下,找到了android的官方文档,介绍进程与线程的介绍,试着翻译一下. 原文地址:http://developer.android.com/guide/components/processes-and-threads.html 首先翻译一下GOOGLE的官方文档, Processes and ThreadsWhen an application component starts and the application does no…

文章目录 ApplicationContext 1.ApplicationContext的继承关系 2.ApplicationContext的功能 Spring中的国际化(MessageSource) 国际化是什么? JAVA中的国际化 本地化对象(Locale) 格式化对象 资源文件的加载 Spring中的MessageSource 接口定义 UML类图 Spring中的简单使用 Spring中的环境(Environment)> 1.什么是环境(Environment)? 2.接口定义 3.P…

前面几篇文章已经学习了官网中的1.2,1.3,1.4三小结,主要是容器,Bean的实例化及Bean之间的依赖关系等.这篇文章,我们继续官网的学习,主要是BeanDefinition的相关知识,这是Spring中非常基础的一块内容,也是我们阅读源码的基石.本文主要涉及到官网中的1.3及1.5中的一些补充知识.同时为我们1.7小节中BeanDefinition的合并做一些铺垫 文章目录 BeanDefinition是什么? BeanDefinition的方法分析 BeanDefinition的继承关…

上篇文章已经对BeanDefinition做了一系列的介绍,这篇文章我们开始学习BeanDefinition合并的一些知识,完善我们整个BeanDefinition的体系,Spring在创建一个bean时多次进行了BeanDefinition的合并,对这方面有所了解也是为以后阅读源码做准备.本文主要对应官网中的1.7小节 文章目录 什么是合并? 合并的总结: 关于合并需要注意的点: Spring在哪些阶段做了合并? 1.扫描并获取到`bd`: 2.实例化 为什么需要合并? 合并的代码分析: 总结…

Exercise1 源代码阅读 1.基本头文件:types.h param.h memlayout.h defs.h x86.h asm.h mmu.h elf.h types.h:仅仅是定义uint, ushort, uchar pde_t别名: typedef unsigned int uint; typedef unsigned short ushort; typedef unsigned char uchar; typedef uint pde_t; parame.h 利用宏定义了进程最…

文章目录 生命周期回调 1.Bean初始化回调 2.Bean销毁回调 3.配置默认的初始化及销毁方法 4.执行顺序 5.容器启动或停止回调 Lifecycle 接口 LifecycleProcessor SmartLifecycle 源码分析 启动阶段 停止阶段 Aware接口 初始化过程源码分析 第一步:执行部分aware接口中的方法 第二步:完成Aware接口方法的执行,以及@PostConstructor,@PreDestroy注解的处理 第三步:完成初始化方法执行 第四步:完成AOP代理…

之前的文章我们已经学习完了BeanDefinition的基本概念跟合并,其中多次提到了容器的扩展点,这篇文章我们就开始学习这方面的知识.这部分内容主要涉及官网中的1.8小结.按照官网介绍来说,容器的扩展点可以分类三类,BeanPostProcessor,BeanFactoryPostProcessor以及FactoryBean.本文我们主要学习BeanFactoryPostProcessor,对应官网中内容为1.8.2小节 文章目录 总览: 例子: BeanDefinitionRegistryP…

从今天开始,我们一起过一遍Spring的官网,一边读,一边结合在路神课堂上学习的知识,讲一讲自己的理解.不管是之前关于动态代理的文章,还是读Spring的官网,都是为了之后对Spring的源码做更全面细致的学习,所以在这个过程中,不会涉及过多底层的代码,更多是通过例子证明我们在官网得出的结论,希望自己可以坚持下来,给自己加个油!!! 本文主要涉及到官网中的1.2,1.3节. 文章目录 Spring容器 容器是什么? 容器如何工作? Spring Bean 如何实例化一个Bean? 实例化总结:…

在前面两篇关于容器扩展点的文章中,我们已经完成了对BeanFactoryPostProcessor很FactoryBean的学习,对于BeanFactoryPostProcessor而言,它能让我们对容器中的扫描出来的BeanDefinition做出修改以达到扩展的目的,而对于FactoryBean而言,它提供了一种特殊的创建Bean的手段,能让我们将一个对象直接放入到容器中,成为Spring所管理的一个Bean.而我们今天将要学习的BeanPostProcessor不同于上面两个接口,它主要干…

在上篇文章中我们已经对容器的第一个扩展点(BeanFactoryPostProcessor)做了一系列的介绍.其中主要介绍了Spring容器中BeanFactoryPostProcessor的执行流程.已经Spring自身利用了BeanFactoryPostProcessor完成了什么功能,对于一些细节问题可能说的不够仔细,但是在当前阶段我想要做的主要是为我们以后学习源码打下基础.所以对于这些问题我们暂且不去过多纠结,待到源码学习阶段我们会进行更加细致的分析. 在本篇文章中,我们将要学习的是容器…

上一篇总结了chromium进程的启动,接下来就看线程的消息处理,这里的线程包含进程的主进程. 消息处理是由base::MessageLoop中实现,消息中的任务和定时器都是异步事件的. 主要如下几点: 1.消息的类型分类 2.延时处理的消息是如何实现 一.消息分类 chromium主要将消息类型如下定义:(chromium//src/base/message_loop/message_loop.h  112行) enum Type { TYPE_DEFAULT, TYPE_UI, TYPE_C…

Spark SQL是Spark中用于结构化数据处理的组件. Spark SQL可以从Hive中读取数据. 执行结果是Dataset/DataFrame. DataFrame是一个分布式数据容器.然而DataFrame更像传统数据库的二维表格,除了数据以外,还掌握数据的结构信息,即schema.同时,与Hive类似,DataFrame也支持嵌套数据类型(struct.array和map).从API易用性的角度上 看,DataFrame API提供的是一套高层的关系操作,比函数式的RDD API要更…

Apache HBase Performance Tuning RAM, RAM, RAM. 不要让HBase饿死. 请使用64位的平台 必须将swapping设定为0 使用本地硬件来完成hdfs的checksumming计算,见:https://blogs.apache.org/hbase/entry/saving_cpu_using_native_hadoop 老年代使用CMS垃圾算法,设置-XX:CMSInitiatingOccupancyFraction为60或者70(越小代表发生越多G…

文章目录 Formatter 接口定义 继承树 注解驱动的格式化 AnnotationFormatterFactory FormatterRegistry 接口定义 UML类图 FormattingConversionService DefaultFormattingConversionService FormatterRegistrar 配置SpringMVC中的格式化器 配置实现的原理 总结 在上篇文章中,我们已经学习过了Spring中的类型转换机制.现在我们考虑这样一个需求:在我们web应…

文章目录 接口定义 继承关系 接口功能 1.PropertyEditorRegistry(属性编辑器注册器) 接口定义 PropertyEditor 概念 Spring中对PropertyEditor使用的实例 Spring内置的PropertyEditor 2.PropertyAccessor(属性访问器) 接口定义 3.TypeConverter(类型转换器) 接口定义 4.ConfigurablePropertyAccessor 唯一子类(BeanWrapperImpl) 继承关系 Jav…

文章目录 BeanFactory 接口定义 继承关系 接口功能 1.HierarchicalBeanFactory 2.ListableBeanFactory 3.AutowireCapableBeanFactory 4.ConfigurableBeanFactory 5.ConfigurableListableBeanFactory 6.AbstractBeanFactory 7.AbstractAutowireCapableBeanFactory 8.DefaultListableBeanF…

文章目录 1.Spring的资源(Resource) 接口简介 UML类图 抽象基类AbstractResource FileSystemResource AbstractFileResolvingResource ByteArrayResource BeanDefinitionResource InputStreamResource UrlResource ClassPathResource ServletContextResource ResourceLoader 接口简介 UML类图 资源…

文章目录 生命周期概念补充 实例化 createBean流程分析 doCreateBean流程分析 第一步:factoryBeanInstanceCache什么时候不为空? 第二步:创建对象(createBeanInstance) 第三步:applyMergedBeanDefinitionPostProcessors 第四步:getEarlyBeanReference 属性注入 第五步:属性注入(populateBean) 总结 在上篇文章中,我们已经对Bean的生命周期做了简单的介绍,主要介绍…

上篇文章我们学习了官网中的1.2,1.3两小节,主要是涉及了容器,以及Spring实例化对象的一些知识.这篇文章我们继续学习Spring官网,主要是针对1.4小节,主要涉及到Spring的依赖注入.虽然只有一节,但是涉及的东西确不少.话不多说,开始正文. 文章目录 依赖注入: 测试setter方法注入 测试构造函数注入 疑问: 区别: 方法注入: 为什么需要方法注入: 通过注入上下文(applicationContext对象) 通过@LookUp的方式(也分为注解跟XML两种方式,这里只演示注解…

官网Functions and Operators部分 版本:0.266 目录 官网Functions and Operators部分 1 Comparison Functions and Operators is distinct from greatest/least any/all/some like 2 Conditional Expressions if nullif try 3 Lambda Expressions 4 Conversion Functions cast/try_ca…

看nutch的源码仿佛就是一场谍战片,而构成这精彩绝伦的谍战剧情的就是nutch的每一个从inject->generate->fetch->parse->update的环节,首先我党下派任务给优秀的地下工作者(inject),地下工作者经过一系列处理工作(告诉自己媳妇孩子要出差什么的……)以及加入自己的主观能动性(generate),随后深入敌方进行fetch侦查工作,这其中会获得敌方的大量信息,不是一般农民工能看懂的,需要工作者凭借自己渊博的知识储备和经验进行parse,去伪存真…

前面依次看了nutch的准备工作inject和generate部分,抓取的fetch部分的代码,趁热打铁,我们下面来一睹parse即页面解析部分的代码,这块代码主要是集中在ParseSegment类里面,Let‘s go~~~   上期回顾:上回主要讲的是nutch的fetch部分的功能代码实现,主要是先将segments目录下的指定文件夹作为输入,读取里面将要爬取的url信息存入爬取队列,再根据用户输入的爬取的线程个数thread决定消费者的个数,线程安全地取出爬取队列里的url,然后在执行爬…