Storm入门教程

1. Storm基础

Storm

Storm主要特点

Storm基本概念

Storm调度器

Storm配置

Guaranteeing Message Processing（消息处理保障机制）

Daemon Fault Tolerance（守护线程容错机制）

当worker死掉时会发生什么？

当node死掉时会发生什么？

当Nimbus或者Supervisor daemons死掉时会发生什么？

Nimbus是否会出现单独失败的状况？

Storm怎样保证数据处理？

理解Storm拓扑的并行

Tutorial

Local模式

在生产环境中运行Topologies

Daemon Fault Tolerance（守护线程容错机制）

Storm有不同的守护进程。Nimbus负责调度wokers，supervisors负责创建和销毁workers。这些信息可以在日志中或Storm UI中看到。

当worker死掉时会发生什么？

当worker死掉时，supervisor将重启它。如果worker启动总是失败且不能正常发送心跳消息给Nimbus，那Nimbus就会重新调度worker。

当node死掉时会发生什么？

如果节点发生故障，导致分配到某个节点的所有tasks执行都会超时，那Nimbus会将这些tasks重新分配到另外的节点上。

当Nimbus或者Supervisor daemons死掉时会发生什么？

Nimbus和Supervisor daemons都是设计为快速失败的（任何意外状况发生时都可能导致进程自身崩溃）以及无状态的（所有的状态都是保存在Zookeeper或者Disk上）。就像Storm集群的配置描述的一样， Nimbus和Supervisor daemons必须运行在监控之下，这个监控是使用诸如daemontools或者monit等工具实现的。因此，如果Nimbus或者Supervisor死掉的话，它们会像什么都没发生一样再次重启。

最需要指出的是， 没有worker进程会受到Nimbus或者Supervisors死掉的影响。而相比之下，对Hadoop来说， 如果JobTracker死掉的话， 所有运行的jobs信息都会丢失。

Nimbus是否会出现单独失败的状况？

如果Nimbus 节点死掉的话， worker依然会运行下去。另外， supervisors在它们死掉时依然会重启。尽管如此，没有Nimbus，worker 在需要时（比如worker所在机器宕机时）不会重新分配到其他机器上。

Storm的Nimbus从1.0.0开始已实现HA机制。详情看Nimbus HA Design。

Storm怎样保证数据处理？

Storm提供保证数据处理的机制，即使节点死掉或者丢失消息时也可以保证。更多细节可以查看保证消息处理机制 。

【原】Storm 守护线程容错机制的更多相关文章

  1. 【Storm篇】--Storm 容错机制

    一.前述 Storm容错机制相比其他的大数据组件做的非常不错. 二.具体原因 结合Storm集群架构图: 我们的程序提交流程如下:   其中各个组件的作用如下: Nimbus资源调度任务分配接收jar ...

  2. Storm学习笔记 - 消息容错机制

    Storm学习笔记 - 消息容错机制 文章来自「随笔」 http://jsynk.cn/blog/articles/153.html 1. Storm消息容错机制概念 一个提供了可靠的处理机制的spo ...

  3. Storm消息容错机制（ack-fail机制）

    storm消息容错机制(ack-fail) 1.介绍 在storm中,可靠的信息处理机制是从spout开始的. 一个提供了可靠的处理机制的spout需要记录他发射出去的tuple,当下游bolt处理t ...

  4. 子进程回收资源两种方式,僵尸进程与孤儿进程,守护进程,进程间数据隔离,进程互斥锁,队列,IPC机制,线程,守护线程,线程池,回调函数add_done_callback,TCP服务端实现并发

    子进程回收资源两种方式 - 1) join让主进程等待子进程结束,并回收子进程资源,主进程再结束并回收资源. - 2) 主进程 “正常结束” ,子进程与主进程一并被回收资源. from multipr ...

  5. 从头认识java-18.2 主要的线程机制（5）-守护线程与非守护线程

    这一章节我们来讨论一下守护线程与非守护线程. 1.什么是守护线程?什么是非守护线程? 非守护线程:Java虚拟机在它全部非守护线程已经离开后自己主动离开. 守护线程:守护线程则是用来服务用户线程的,假 ...

  6. java线程 - 多线程 - 守护线程

    1.多线程执行者/处理类 都是Runnable的实现类(如自定义类实现Runnable 或 java原生的Thread.FutureTask),但最后都必须封装成Thread线程类由Thread.st ...

  7. java的守护线程与非守护线程

    最近重新研究Java基础知识,发现以前太多知识知识略略带过了,比较说Java的线程机制,在Java中有两类线程:User Thread(用户线程).Daemon Thread(守护线程) ,(PS:以 ...

  8. Java中的守护线程和非守护线程（转载）

    <什么是守护线程,什么是非守护线程> Java有两种Thread:"守护线程Daemon"(守护线程)与"用户线程User"(非守护线程). 用户线 ...

  9. java------守护线程与非守护线程

    最近重新研究Java基础知识,发现以前太多知识知识略略带过了,比较说Java的线程机制,在Java中有两类线程:User Thread(用户线程).Daemon Thread(守护线程) ,(PS:以 ...

随机推荐

  1. C#跳出循环的几种方法的区别

    break是循环结束执行,执行循环体后面的代码. continue是跳过本次循环未执行的代码,继续执行下一次循环. goto是跳到指定的指令去,你指哪,他跳到哪. return是函数返回,如果循环在M ...

  2. select框的text与value值的获取(实用版)

    function def(){    var key = document.getElementById ('selectarea'); //select list var value = docum ...

  3. Unity3D开发（一）：NGUI之UIRoot屏幕分辨率自适应

    原地址:http://blog.csdn.net/onerain88/article/details/11713299 NGUI在Unity3D游戏开发中非常常用,而NGUI对于每一个UI场景,都是以 ...

  4. C++11新特性：Lambda函数（匿名函数）

    声明:本文参考了Alex Allain的文章http://www.cprogramming.com/c++11/c++11-lambda-closures.html 加入了自己的理解,不是简单的翻译 ...

  5. BZOJ 3925 ZJOI2015 地震后的幻想乡

    假设我们用了边权前i小的边使得图连通,那么对答案的贡献为i/m+1 又因为期望的线性性质,我们只需要求用了i条边就可以了 不妨设g(S)(i)表示用了i条边使得点集S连通的概率 设f(S)(i)表示用 ...

  6. codeforces #309 div1 C

    首先我们会发现所有的人构成了一个图 定义相爱为 在一个集合里 定义相恨为 不在一个集合里 很容易发现满足条件的图一定是一个二分图 那么分类讨论如下: 1.如果出现不合法 答案为0 2.如果不是一个二分 ...

  7. log4cxx在linux下的编译和使用

    [下载] [编译动态库] [使用动态库]

  8. 封装SqlHelper

    using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.C ...

  9. php简单文件上传类

    <?php header("Content-Type:text/html; charset=utf-8"); if($_POST['submit']){ $upfiles = ...

  10. Web开发的绝美网站

    http://paranimage.com/ http://sixrevisions.com/graphics-design/