Storm 集群类似于一个 Hadoop 集群。然而你在 Hadoop 的执行“MapReduce job”,

在storm 上你执行 “topologies (不好翻译)”。“job”和“topologies ”本身有非常

大的不同,一个关键的差别是,MapReduce 的工作终于完毕,而 topologies 处理消息

永远保持(或直到你杀了它) 。

Strom 集群有主要有两类节点:主节点和工作节点。

主节点上执行一个叫做“Nimbus ”的守护进程。也就是类似 Hadoop 的“JobTracker”。

Nimbus 负责在集群分发的代码,将任务分配给其它机器。和故障监測。

Storm 安装部署

2.1 搭建 Storm  集群的主要步骤

1. 搭建一个 Zookeeper 集群

2. 在 Nimbus 和全部工作机器(Supervisor)上安装例如以下软件

    Python-2.6.6

    JAVA 7

    ZeroMQ -2.1.7

    JZMQ

1. 配置 storm.yaml

2. 使用 Storm 脚本启动 Nimbus,Supervisor 及 UI

2.2  布置 ZK  集群

安装 ZK :

http://labs.mop.com/apache-mirror/zookeeper/zookeeper-3.3.5/zookeeper-3.3.5.tar.gz

tar -zxvf zookeeper-3.3.5.tar.gz

cp -R zookeeper-3.3.5 /usr/local/

ln -s /usr/local/zookeeper-3.3.5/ /usr/local/zookeeper

vim /etc/profile (设置 ZOOKEEPER_HOME 和 ZOOKEEPER_HOME/bin)

export ZOOKEEPER_HOME="/usr/local/zookeeper"

export PATH=$PATH:$ZOOKEEPER_HOME/bin

cp /usr/local/zookeeper/conf/zoo_sample.cfg  /usr/local/zookeeper/conf/zoo.cfg

( 用zoo_sample.cfg 制作$ZOOKEEPER_HOME/conf/zoo.cfg)

mkdir /tmp/zookeeper

mkdir /var/log/zookeeper

zookeeper 的单机安装已经完毕了。

配置 ZK  集群:

(1)配置 Zookeeper 路径下的 conf/zoo.cfg

dataDir=/tmp/zookeeper

#即之前创建的目录,能够自定

clientPort=2181

server.1=XXX.XXX.XXX.XXX:3887:4887

server.2=XXX.XXX.XXX.XXX:3887:4887

server.3=XXX.XXX.XXX.XXX:3887:4887

(2)在相应 IP 的节点上的/tmp/zookeeper 文件夹中。创建 myid 文件。该文件里仅仅包涵一个

数字 。

(3)进入 Zookeeper 的安装文件夹的 bin/文件夹,使用命令 zkServer.sh start 将 zookeeper

守护进程启动。

2.3  安装相关软件

2.3.1  安装 Python-2.6.6  或以上版本号

wget http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tgz

tar zxvf Python-2.6.6.tgz.

cd Python-2.6.6 ./configure

make

make install

vi /etc/ld.so.conf

追加/usr/local/lib/

sudo ldconfig

2.3.2  安装 zeromq

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz

tar zxf zeromq-2.1.7.tar.gz

cd zeromq-2.1.7

./configure

make

make install

sudo ldconfig

2.3.3  安装 jzmq

git clone git://github.com/nathanmarz/jzmq.git

cd jzmq

./autogen.sh

黄崇远文档整理系列

11

./configure

make

make install

2.3.4  安装 storm

wget http://cloud.github.com/downloads/nathanmarz/storm/storm-0.8.1.zip

unzip storm-0.8.1.zip

mv storm-0.8.1 /usr/local/

vim ~/.bashrc #配置环境变量

export STORM_HOME=/usr/local/storm-0.8.1

export PATH=$PATH:$STORM_HOME/bin

mkdir /tmp/storm #自己定义文件夹。配置文件里须要指明

2.4  配置 Storm.yaml

#配置 storm 集群使用的 zookeeper 集群的地址

storm.zookeeper.server:

-  “XXX.XXX.XXX.XXX”

-  “XXX.XXX.XXX.XXX”

-  “XXX.XXX.XXX.XXX”

#配置 storm 信息存储文件夹

Storm.local.dir: “/tmp/storm”

#配置 java.library.path 这是 storm 所依赖的本地依赖(ZeroMQ 和 JZMQ)的载入地址,

默认的是:/usr/local/lib:/opt/local/lib:/usr/lib, 大多情况下是对的,所以你应该

不用更改这个配置,除非你系统的库路径给默认配置不一样。

#配置工作机器的工作端口。 supervisor.slots.ports 对于每一台工作机器,这个配置

指定在这台工作机器上执行多少工作进程, 每一个进程使用一个独立port来接收消息,这

个配置同一时候也指定使用哪些port。假设你在这里定义 5 个port,storm 会在这个机器上

最多分配 5 个工作进程。

假设分配 3 个port。那么最多分配 3 个进程。设置配置 4 个

worker 执行在port

6700。 6701, 6702, 和 6703。比如:supervisor.slots.ports :

-  6700

-  6701

-  6702

-  6703

2.5  启动 Storm  集群

(1)监控 Nimbus 在 Nimbus 机器上执行 bin/storm nimbus

(2)Supervisor 在每台工作机器上执行 bin/storm supervisor, supervisor 负责

启动和终止工作机器上的工作进程

(3)UI storm UI 是一个能够查看 storm 执行状态的的一个站点,通过 bin/storm ui

执行。訪问地址:http://{nimbus.host}:8080/

Storm简述及集群安装的更多相关文章

  1. Storm集群安装详解

    storm有两种操作模式: 本地模式和远程模式. 本地模式:你可以在你的本地机器上开发测试你的topology, 一切都在你的本地机器上模拟出来; 远端模式:你提交的topology会在一个集群的机器 ...

  2. 大数据入门第十七天——storm上游数据源 之kafka详解(一)入门与集群安装

    一.概述 1.kafka是什么 根据标题可以有个概念:kafka是storm的上游数据源之一,也是一对经典的组合,就像郭德纲和于谦 根据官网:http://kafka.apache.org/intro ...

  3. CentOS下Storm 1.0.0集群安装具体解释

    本文环境例如以下: 操作系统:CentOS 6 32位 ZooKeeper版本号:3.4.8 Storm版本号:1.0.0 JDK版本号:1.8.0_77 32位 python版本号:2.6.6 集群 ...

  4. storm的集群安装与配置

    storm集群安装 机器:(storm及zookeeper都是这3台机器) 192.168.80.20 192.168.80.21 192.168.80.22 须要准备的软件有: zookeeper( ...

  5. Storm集群安装Version1.0.1开启Kerberos

    Storm集群安装,基于版本1.0.1, 同时开启Kerberos安全认证, 使用apache-storm-1.0.1.tar.gz安装包. 1.安装规划 角色规划 IP/机器名 安装软件 运行进程 ...

  6. Storm集群安装Version1.0.1

    Storm集群安装,基于版本1.0.1, 使用apache-storm-1.0.1.tar.gz安装包. 1.安装规划 角色规划 IP/机器名 安装软件 运行进程 nimbus zdh-237 sto ...

  7. kafka2.9.2的伪分布式集群安装和demo(java api)测试

    目录: 一.什么是kafka? 二.kafka的官方网站在哪里? 三.在哪里下载?需要哪些组件的支持? 四.如何安装? 五.FAQ 六.扩展阅读   一.什么是kafka? kafka是LinkedI ...

  8. ubuntu12.04+kafka2.9.2+zookeeper3.4.5的伪分布式集群安装和demo(java api)测试

    博文作者:迦壹 博客地址:http://idoall.org/home.php?mod=space&uid=1&do=blog&id=547 转载声明:可以转载, 但必须以超链 ...

  9. Storm-1.0.1+ZooKeeper-3.4.8+Netty-4.1.3 HA集群安装

    Storm-1.0.1+ZooKeeper-3.4.8+Netty-4.1.3 HA集群安装 下载Storm-1.0.1 http://mirrors.tuna.tsinghua.edu.cn/apa ...

随机推荐

  1. Namespace declaration statement has to be the very first statement in the script

    php 中 Namespace declaration statement has to be the very first statement in the script 错误解决方法: 在PHP文 ...

  2. How to Find Processlist Thread id in gdb !!!!!GDB 使用

    https://mysqlentomologist.blogspot.jp/2017/07/           Saturday, July 29, 2017 How to Find Process ...

  3. 在EntityFramework6中管理DbContext的正确方式——1考虑的关键点(外文翻译)

    (译者注:使用EF开发应用程序的一个难点就在于对其DbContext的生命周期管理,你的管理策略是否能很好的支持上层服务 使用独立事务,使用嵌套事务,并行执行,异步执行等需求? Mehdi El Gu ...

  4. java内存溢出示例(堆溢出、栈溢出)

    堆溢出: /** * @author LXA * 堆溢出 */ public class Heap { public static void main(String[] args) { ArrayLi ...

  5. C#中的集合(HashTable与Array类)

    一.Array类 1.Array类的属性 序号 属性 & 描述 1 IsFixedSize 获取一个值,该值指示数组是否带有固定大小. 2 IsReadOnly 获取一个值,该值指示数组是否只 ...

  6. ADB用法

    作为android开发人员,adb是常用的工具之一.具体怎么使用了. 1. 安装完ADB后(ADB的安装请参考<Android开发平台搭建及配置.doc>),用电脑USB连接机器,然后使用 ...

  7. [转载]Elasticsearch索引重建(Rebuild)

    From:http://blog.csdn.net/changong28/article/details/38491185 索引重建(Rebuild) 索引创建后,你可以在索引当中添加新的类型,在类型 ...

  8. myeclipse创建maven android项目

    一.搭建环境 1.安装android maven插件,我在网上找了半天.没有找到这个插件,于是选择了在线安装.选择myeclipse 的 [help]->[install form catalo ...

  9. 如何将xml转为python中的字典

    如何将xml转为python中的字典 import cElementTree as ElementTree class XmlListConfig(list): def __init__(self, ...

  10. idea启动崩溃问题

    idea启动崩溃问题 内存已经给到1024m了: 注意到项目比较大,有个参数ReservedCodeCasheSize,把这个修改为1024m, 学习了:https://www.cnblogs.com ...