MapReduce之提交job源码分析 FileInputFormat源码解析

MapReduce之提交job源码分析 job 提交流程源码详解 //runner 类中提交job waitForCompletion() submit(); // 1 建立连接 connect(); // 1)创建提交 job 的代理 new Cluster(getConfiguration()); // (1)判断是本地 yarn 还是远程 initialize(jobTrackAddr, conf); // 2 提交 job submitter.submitJobInternal(Job.…

[源码分析] 从源码入手看 Flink Watermark 之传播过程

[源码分析] 从源码入手看 Flink Watermark 之传播过程 0x00 摘要本文将通过源码分析,带领大家熟悉Flink Watermark 之传播过程,顺便也可以对Flink整体逻辑有一个大致把握. 0x01 总述从静态角度讲,watermarks是实现流式计算的核心概念:从动态角度说,watermarks贯穿整个流处理程序.所以为了讲解watermarks的传播,需要对flink的很多模块/概念进行了解,涉及几乎各个阶段.我首先会讲解相关概念,然后会根据一个实例代码从以下几部分来…

springMVC源码分析--HandlerMethodReturnValueHandlerComposite返回值解析器集合（二）

在上一篇博客springMVC源码分析--HandlerMethodReturnValueHandler返回值解析器(一)我们介绍了返回值解析器HandlerMethodReturnValueHandler,接触到了HandlerMethodReturnValueHandlerComposite,简单来说HandlerMethodReturnValueHandlerComposite其实就是springMVC提供的所有的HandlerMethodReturnValueHandler集合,它定义了…

JVM源码分析-JVM源码编译与调试

要分析JVM的源码,结合资料直接阅读是一种方式,但是遇到一些想不通的场景,必须要结合调试,查看执行路径以及参数具体的值,才能搞得明白.所以我们先来把JVM的源码进行编译,并能够使用GDB进行调试. 编译环境本文使用的JDK版本:OpenJDK7,分支b147 下载页面:https://download.java.net/openjdk/jdk7 下载地址:http://download.java.net/openjdk/jdk7/promoted/b147/openjdk-7-fcs-src-…

Spring源码分析之AOP从解析到调用

正文: 在上一篇,我们对IOC核心部分流程已经分析完毕,相信小伙伴们有所收获,从这一篇开始,我们将会踏上新的旅程,即Spring的另一核心:AOP! 首先,为了让大家能更有效的理解AOP,先带大家过一下AOP中的术语: 切面(Aspect):指关注点模块化,这个关注点可能会横切多个对象.事务管理是企业级Java应用中有关横切关注点的例子.在Spring AOP中,切面可以使用在普通类中以@Aspect注解来实现. 连接点(Join point):在Spring AOP中,一个连接点总是代表一个方…

k8s client-go源码分析 informer源码分析(2)-初始化与启动分析

k8s client-go源码分析 informer源码分析(2)-初始化与启动分析前面一篇文章对k8s informer做了概要分析,本篇文章将对informer的初始化与启动进行分析. informer架构先来回忆一下informer的架构. k8s client-go informer主要包括以下部件: (1)Reflector:Reflector从kube-apiserver中list&watch资源对象,然后调用DeltaFIFO的Add/Update/Delete/Replace…

k8s client-go源码分析 informer源码分析(3)-Reflector源码分析

k8s client-go源码分析 informer源码分析(3)-Reflector源码分析 1.Reflector概述 Reflector从kube-apiserver中list&watch资源对象,然后将对象的变化包装成Delta并将其丢到DeltaFIFO中.简单点来说,就是将Etcd 的对象及其变化反射到DeltaFIFO中. Reflector首先通过List操作获取全量的资源对象数据,调用DeltaFIFO的Replace方法全量插入DeltaFIFO,然后后续通过Watch操作根…

Spark Job的提交与task本地化分析（源码阅读八）

我们又都知道,Spark中任务的处理也要考虑数据的本地性(locality),Spark目前支持PROCESS_LOCAL(本地进程).NODE_LOCAL(本地节点).NODE_PREF.RACK_LOCAL(本地机架).ANY(任何)几种.其他都很好理解,NODE_LOCAL会在spark日志中执行拉取数据所执行的task时,打印出来,因为Spark是移动计算,而不是移动数据的嘛. 那么什么是NODE_PREF? 当Driver应用程序刚刚启动,Driver分配获得的Executor很可能还…

CBV源码分析+APIVIew源码分析

{drf,resful,apiview,序列化组件,视图组件,认证组件,权限组件,频率组件,解析器,分页器,响应器,URL控制器,版本控制} 一.CBV源码分析准备工作: 新建一个Django项目写一个基于类的视图继承,写get,post方法 from django.shortcuts import render, HttpResponse from django.views import View from django.http import JsonResponse # Create…

精尽MyBatis源码分析 - MyBatis-Spring 源码分析

该系列文档是本人在学习 Mybatis 的源码过程中总结下来的,可能对读者不太友好,请结合我的源码注释(Mybatis源码分析 GitHub 地址.Mybatis-Spring 源码分析 GitHub 地址.Spring-Boot-Starter 源码分析 GitHub 地址)进行阅读 MyBatis 版本:3.5.2 MyBatis-Spring 版本:2.0.3 MyBatis-Spring-Boot-Starter 版本:2.1.4 在前面的一系列文档中对整个 MyBatis 框架进行了分…

JAVA源码分析-HashMap源码分析(二）

本文继续分析HashMap的源码.本文的重点是resize()方法和HashMap中其他的一些方法,希望各位提出宝贵的意见. 话不多说,咱们上源码. final Node<K,V>[] resize() { Node<K,V>[] oldTab = table; //如果老的数组为空,老的数组容量设为0 int oldCap = (oldTab == null) ? 0 : oldTab.length; int oldThr = threshold; int newCap, new…

Android源码分析--CircleImageView 源码详解

源码地址为 https://github.com/hdodenhof/CircleImageView 实际上就是一个圆形的imageview 的自定义控件.代码写的很优雅,实现效果也很好, 特此分析.源码其实不难主要就是一个类,可以把我的这个加了注释的源码放到你自己的工程里直接替换然后run,这样效果更佳. package de.hdodenhof.circleimageview; import android.content.Context; import android.content.…

《k8s-1.13版本源码分析》-源码调试

源码分析系列文章已经开源到github,地址如下: github:https://github.com/farmer-hutao/k8s-source-code-analysis gitbook:https://farmer-hutao.github.io/k8s-source-code-analysis 源码调试概述 k8s环境配置goland 写在后面 1. 概述本节内容并不是在准备好k8s环境后就写的,大家也不需要在开始看源码前研究怎么调试代码.今天之前我已经发了<调度器优选过程>…

k8s源码分析准备工作 - 源码准备

本文原始地址:https://farmer-hutao.github.io/k8s-source-code-analysis/ 项目github地址:https://github.com/farmer-hutao/k8s-source-code-analysis 源码准备环境准备源码下载源码编译 IDE 1. 环境准备操作系统:我们使用Linux作为k8s源码分析和调试环境,fedora.centos.ubuntu都行,我这里使用fedora: golang相关: GOROOT=/usr…

Spring源码分析（九）解析默认标签中的自定义标签元素

摘要:本文结合<Spring源码深度解析>来分析Spring 5.0.6版本的源代码.若有描述错误之处,欢迎指正. 到这里我们已经完成了分析默认标签的解析与提取过程,或许涉及的内容太多,我们已经忘了是从哪个函数开始了,我们再次回顾下默认标签解析函数的起始函数: /** * Process the given bean element, parsing the bean definition * and registering it with the registry. */ protected…

spring源码分析系列 (15) 设计模式解析

spring是目前使用最为广泛的Java框架之一.虽然spring最为核心是IOC和AOP,其中代码实现中很多设计模式得以应用,代码看起来简洁流畅,在日常的软件设计中很值得借鉴.以下是对一些设计模式的理解以及源码解析,希望能给大家对设计模式的理解有所帮助. 观察者模式:发布/订阅更多设计模式更新中..... (基于spring-4.3.23.RELEASE分析) 1.观察者模式: 发布/订阅如对观察者模式还不是很有概念,可以点击这里.spring中ApplicationEvent事件通知就是…

精尽MyBatis源码分析 - Spring-Boot-Starter 源码分析

k8s client-go源码分析 informer源码分析(1)-概要分析

k8s informer概述我们都知道可以使用k8s的Clientset来获取所有的原生资源对象,那么怎么能持续的获取集群的所有资源对象,或监听集群的资源对象数据的变化呢?这里不需要轮询去不断执行List操作,而是调用Watch接口,即可监听资源对象的变化,当资源对象发生变化,客户端即可通过Watch接口收到资源对象的变化. Watch接口虽然可以直接使用,但一般情况下很少直接使用,因为往往由于集群中的资源较多,我们需要自己在客户端去维护一套缓存,而这个维护成本比较大. 也是因为如此,clie…

k8s client-go源码分析 informer源码分析(4)-DeltaFIFO源码分析

client-go之DeltaFIFO源码分析 1.DeltaFIFO概述先从名字上来看,DeltaFIFO,首先它是一个FIFO,也就是一个先进先出的队列,而Delta代表变化的资源对象,其包含资源对象数据本身及其变化类型. Delta的组成: type Delta struct { Type DeltaType Object interface{} } DeltaFIFO的组成: type DeltaFIFO struct { ... items map[string]Deltas que…

k8s client-go源码分析 informer源码分析(5)-Controller&Processor源码分析

client-go之Controller&Processor源码分析 1.controller与Processor概述 Controller Controller从DeltaFIFO中pop Deltas出来处理,根据对象的变化更新Indexer本地缓存,并通知Processor相关对象有变化事件发生. Processor Processor根据Controller的通知,即根据对象的变化事件类型,调用相应的ResourceEventHandler来处理对象的变化. 先通过一张informer概…

k8s client-go源码分析 informer源码分析(6)-Indexer源码分析

client-go之Indexer源码分析 1.Indexer概述 Indexer中有informer维护的指定资源对象的相对于etcd数据的一份本地内存缓存,可通过该缓存获取资源对象,以减少对apiserver.对etcd的请求压力. // staging/src/k8s.io/client-go/tools/cache/thread_safe_store.go type threadSafeMap struct { items map[string]interface{} indexers…

Spark Job的提交与task本地化分析（源码阅读）

Spark中任务的处理也要考虑数据的本地性(locality),Spark目前支持PROCESS_LOCAL(本地进程).NODE_LOCAL(本地节点).NODE_PREF.RACK_LOCAL(本地机架).ANY(任何)几种.其他都很好理解,NODE_LOCAL会在spark日志中执行拉取数据所执行的task时,打印出来,因为Spark是移动计算,而不是移动数据的嘛. 那么什么是NODE_PREF? 当Driver应用程序刚刚启动,Driver分配获得的Executor很可能还没有初始化,所…

JAVA源码分析-HashMap源码分析(一)

一直以来,HashMap就是Java面试过程中的常客,不管是刚毕业的,还是工作了好多年的同学,在Java面试过程中,经常会被问到HashMap相关的一些问题,而且每次面试都被问到一些自己平时没有注意的问题.因为HashMap不管对于毕业生,还是对于老司机来说,都非常熟悉,熟悉到你经常忽略它. 本着知其然,更要知其所以然的精神,本人对JDK 1.8版本的HashMap源码进行了仔细的学习.大家知道,JDK 1.8中HashMap的实现有了一些改进,特别是数据存储结构引进了红黑树,使得查询更加的快捷…

jQuery 2.0.3 源码分析Sizzle引擎 - 词法解析

声明:本文为原创文章,如需转载,请注明来源并保留原文链接Aaron,谢谢! 浏览器从下载文档到显示页面的过程是个复杂的过程,这里包含了重绘和重排.各家浏览器引擎的工作原理略有差别,但也有一定规则. 简单讲,通常在文档初次加载时,浏览器引擎会解析HTML文档来构建DOM树,之后根据DOM元素的几何属性构建一棵用于渲染的树.渲染树的每个节点都有大小和边距等属性,类似于盒子模型(由于隐藏元素不需要显示,渲染树中并不包含DOM树中隐藏的元素). 当渲染树构建完成后,浏览器就可以将元素放置到正确的位置了,…

OpenStack源码分析 Neutron源码分析（一）-----------Restful API篇

原文:https://blog.csdn.net/happyanger6/article/details/54586463 首先,先分析WSGI应用的实现. 由前面的文章http://blog.csdn.net/happyanger6/article/details/54518491可知,WSGI应用的构建过程主要就是通过paste库的loadapp加载,因此核心就是分析这个过程.我们从neutron-server的起始代码开始逐步分析. neutron-server的入口是: neutron/…