版权声明:本文为原创文章,未经允许不得转载. 继续前一篇的内容.前一篇内容为: SparkContex源码解读(一)http://www.cnblogs.com/yourarebest/p/5326678.html 5.SparkContext如何在三种部署模式Standalone.YARN.Mesos下实现任务的调度 SparkContext中有一句关键性的代码: //根据master(masterURL)及SparkContext对象创建TaskScheduler,返回SchedulerBa…

一.参数标记 /* * once: 确保回调列表仅只fire一次 * unique: 在执行add操作中,确保回调列表中不存在重复的回调 * stopOnFalse: 当执行回调返回值为false,则终止回调队列的执行 * momery: 记录上一次fire时的参数,并在add中传递给fire和执行fire,执行时firingIndex为上一次fire时的firingLength */ 二.源码解读分析 var optionsCache = {}, // Used for splitting o…

转自:http://www.baiyuxiong.com/?p=886 ----------------------------------------------------------------------- 上一篇go语言nsq源码解读-基本介绍  介绍了最基本的nsq环境搭建及使用.在最后使用时,我们用到了几个命令:nsqlookupd.nsqd.nsqadmin.curl及 nsq_to_file,并看到用curl命令写入的几个”hello world”被nsq_to_file命令保…

Configuration 对象保存了所有mybatis的配置信息,主要包括: ①. mybatis-configuration.xml 基础配置文件 ②. mapper.xml 映射器配置文件 1.读取配置文件 前面例子有这么一段代码: private static SqlSessionFactory sqlSessionFactory; static{ InputStream inputStream = MybatisTest.class.getClassLoader().getResour…

接下来就讲解put里面的三个方法,分别是 1.数组初始化方法initTable() 2.线程协助扩容方法helpTransfer() 3.计数方法addCount() 首先是数组初始化,再将源码之前,先得搞懂里面的一个重要参数,那就是sizeCtl. sizeCtl默认为0,代表数组未初始化. sizeCtl为正数,如果数组未初始化,那么其记录的是数组的初始容量,如果数组已经初始化,那么其记录的是数组的扩容阈值. sizeCtl为-1,表示数组正在进行初始化. sizeCtl小于0,并且不是-1…

nsqlookupd: 官方文档解释见:http://bitly.github.io/nsq/components/nsqlookupd.html 用官方话来讲是:nsqlookupd管理拓扑信息,客户端根据特定的topic查询nsqlookupd来发现nsqd生产者及nsqd广播topic和channel信息.比较难懂,所以接下来,用通俗的话来解释. 首先讲点别的东西,用过linux的同学可能会发现,linux下很多应用,比如apache.mysql.ftp等它们的服务名称都是在d结尾的.如:…

小伞最近比较忙,阅读源码的速度越来越慢了 最近和朋友交流的时候,发现他们对于源码的目录结构都不是很清楚 红色圈子内是我们需要关心的地方 compiler  模板编译部分 core 核心实现部分 entries 编译入口部分 platforms/web   web渲染部分 server  服务器渲染 shared/utils  基础工具…

博客转载自:https://blog.csdn.net/xmy306538517/article/details/79032324 ROS中,机器人全局路径规划默认使用的是navfn包 ,move_base的默认参数中可以找到 base_global_planner (`string`, default: "navfn/NavfnROS") navigation的源代码中还有一个global_planner的包里面已经有了A*,Dijkstra等算法的实现,但是navfn的源程序中也有…

关于我 一个有思想的程序猿,终身学习实践者,目前在一个创业团队任team lead,技术栈涉及Android.Python.Java和Go,这个也是我们团队的主要技术栈. Github:https://github.com/hylinux1024 微信公众号:终身开发者(angrycode) 接上一篇的话题,继续阅读Flask的源码,来看一下这个框架路由原理. 0x00 路由原理 首先看下Flask的简易用法 from flask import Flask app = Flask(__name_…

版权声明:本文为原创文章,未经允许不得转载. SparkContext(简称sc)是Spark程序的主入口,代表一个连接到Spark集群(Standalone.YARN.Mesos三种集群部署模式)的连接,能被用来在集群上创建RDDs.计数器(accumulators)和广播(broadcast)变量等.一旦和集群连接,sc首先得到集群中节点的executor信息,然后把app代码(jar形式或python文件)发送给executors,最后把job细分后的tasks派发给具体的executor…