Storm简述及集群安装
Storm 集群类似于一个 Hadoop 集群。然而你在 Hadoop 的执行“MapReduce job”,
在storm 上你执行 “topologies (不好翻译)”。“job”和“topologies ”本身有非常
大的不同,一个关键的差别是,MapReduce 的工作终于完毕,而 topologies 处理消息
永远保持(或直到你杀了它) 。
Strom 集群有主要有两类节点:主节点和工作节点。
主节点上执行一个叫做“Nimbus ”的守护进程。也就是类似 Hadoop 的“JobTracker”。
Nimbus 负责在集群分发的代码,将任务分配给其它机器。和故障监測。
Storm 安装部署
2.1 搭建 Storm 集群的主要步骤
1. 搭建一个 Zookeeper 集群
2. 在 Nimbus 和全部工作机器(Supervisor)上安装例如以下软件
Python-2.6.6
JAVA 7
ZeroMQ -2.1.7
JZMQ
1. 配置 storm.yaml
2. 使用 Storm 脚本启动 Nimbus,Supervisor 及 UI
2.2 布置 ZK 集群
安装 ZK :
http://labs.mop.com/apache-mirror/zookeeper/zookeeper-3.3.5/zookeeper-3.3.5.tar.gz
tar -zxvf zookeeper-3.3.5.tar.gz
cp -R zookeeper-3.3.5 /usr/local/
ln -s /usr/local/zookeeper-3.3.5/ /usr/local/zookeeper
vim /etc/profile (设置 ZOOKEEPER_HOME 和 ZOOKEEPER_HOME/bin)
export ZOOKEEPER_HOME="/usr/local/zookeeper"
export PATH=$PATH:$ZOOKEEPER_HOME/bin
cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg
( 用zoo_sample.cfg 制作$ZOOKEEPER_HOME/conf/zoo.cfg)
mkdir /tmp/zookeeper
mkdir /var/log/zookeeper
zookeeper 的单机安装已经完毕了。
配置 ZK 集群:
(1)配置 Zookeeper 路径下的 conf/zoo.cfg
dataDir=/tmp/zookeeper
#即之前创建的目录,能够自定
clientPort=2181
server.1=XXX.XXX.XXX.XXX:3887:4887
server.2=XXX.XXX.XXX.XXX:3887:4887
server.3=XXX.XXX.XXX.XXX:3887:4887
(2)在相应 IP 的节点上的/tmp/zookeeper 文件夹中。创建 myid 文件。该文件里仅仅包涵一个
数字 。
(3)进入 Zookeeper 的安装文件夹的 bin/文件夹,使用命令 zkServer.sh start 将 zookeeper
守护进程启动。
2.3 安装相关软件
2.3.1 安装 Python-2.6.6 或以上版本号
wget http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tgz
tar zxvf Python-2.6.6.tgz.
cd Python-2.6.6 ./configure
make
make install
vi /etc/ld.so.conf
追加/usr/local/lib/
sudo ldconfig
2.3.2 安装 zeromq
wget http://download.zeromq.org/zeromq-2.1.7.tar.gz
tar zxf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure
make
make install
sudo ldconfig
2.3.3 安装 jzmq
git clone git://github.com/nathanmarz/jzmq.git
cd jzmq
./autogen.sh
黄崇远文档整理系列
11
./configure
make
make install
2.3.4 安装 storm
wget http://cloud.github.com/downloads/nathanmarz/storm/storm-0.8.1.zip
unzip storm-0.8.1.zip
mv storm-0.8.1 /usr/local/
vim ~/.bashrc #配置环境变量
export STORM_HOME=/usr/local/storm-0.8.1
export PATH=$PATH:$STORM_HOME/bin
mkdir /tmp/storm #自己定义文件夹。配置文件里须要指明
2.4 配置 Storm.yaml
#配置 storm 集群使用的 zookeeper 集群的地址
storm.zookeeper.server:
- “XXX.XXX.XXX.XXX”
- “XXX.XXX.XXX.XXX”
- “XXX.XXX.XXX.XXX”
#配置 storm 信息存储文件夹
Storm.local.dir: “/tmp/storm”
#配置 java.library.path 这是 storm 所依赖的本地依赖(ZeroMQ 和 JZMQ)的载入地址,
默认的是:/usr/local/lib:/opt/local/lib:/usr/lib, 大多情况下是对的,所以你应该
不用更改这个配置,除非你系统的库路径给默认配置不一样。
#配置工作机器的工作端口。 supervisor.slots.ports 对于每一台工作机器,这个配置
指定在这台工作机器上执行多少工作进程, 每一个进程使用一个独立port来接收消息,这
个配置同一时候也指定使用哪些port。假设你在这里定义 5 个port,storm 会在这个机器上
最多分配 5 个工作进程。
假设分配 3 个port。那么最多分配 3 个进程。设置配置 4 个
worker 执行在port
6700。 6701, 6702, 和 6703。比如:supervisor.slots.ports :
- 6700
- 6701
- 6702
- 6703
2.5 启动 Storm 集群
(1)监控 Nimbus 在 Nimbus 机器上执行 bin/storm nimbus
(2)Supervisor 在每台工作机器上执行 bin/storm supervisor, supervisor 负责
启动和终止工作机器上的工作进程
(3)UI storm UI 是一个能够查看 storm 执行状态的的一个站点,通过 bin/storm ui
执行。訪问地址:http://{nimbus.host}:8080/
Storm简述及集群安装的更多相关文章
- Storm集群安装详解
storm有两种操作模式: 本地模式和远程模式. 本地模式:你可以在你的本地机器上开发测试你的topology, 一切都在你的本地机器上模拟出来; 远端模式:你提交的topology会在一个集群的机器 ...
- 大数据入门第十七天——storm上游数据源 之kafka详解(一)入门与集群安装
一.概述 1.kafka是什么 根据标题可以有个概念:kafka是storm的上游数据源之一,也是一对经典的组合,就像郭德纲和于谦 根据官网:http://kafka.apache.org/intro ...
- CentOS下Storm 1.0.0集群安装具体解释
本文环境例如以下: 操作系统:CentOS 6 32位 ZooKeeper版本号:3.4.8 Storm版本号:1.0.0 JDK版本号:1.8.0_77 32位 python版本号:2.6.6 集群 ...
- storm的集群安装与配置
storm集群安装 机器:(storm及zookeeper都是这3台机器) 192.168.80.20 192.168.80.21 192.168.80.22 须要准备的软件有: zookeeper( ...
- Storm集群安装Version1.0.1开启Kerberos
Storm集群安装,基于版本1.0.1, 同时开启Kerberos安全认证, 使用apache-storm-1.0.1.tar.gz安装包. 1.安装规划 角色规划 IP/机器名 安装软件 运行进程 ...
- Storm集群安装Version1.0.1
Storm集群安装,基于版本1.0.1, 使用apache-storm-1.0.1.tar.gz安装包. 1.安装规划 角色规划 IP/机器名 安装软件 运行进程 nimbus zdh-237 sto ...
- kafka2.9.2的伪分布式集群安装和demo(java api)测试
目录: 一.什么是kafka? 二.kafka的官方网站在哪里? 三.在哪里下载?需要哪些组件的支持? 四.如何安装? 五.FAQ 六.扩展阅读 一.什么是kafka? kafka是LinkedI ...
- ubuntu12.04+kafka2.9.2+zookeeper3.4.5的伪分布式集群安装和demo(java api)测试
博文作者:迦壹 博客地址:http://idoall.org/home.php?mod=space&uid=1&do=blog&id=547 转载声明:可以转载, 但必须以超链 ...
- Storm-1.0.1+ZooKeeper-3.4.8+Netty-4.1.3 HA集群安装
Storm-1.0.1+ZooKeeper-3.4.8+Netty-4.1.3 HA集群安装 下载Storm-1.0.1 http://mirrors.tuna.tsinghua.edu.cn/apa ...
随机推荐
- [Node.js]Express web框架
摘要 Express是一个简洁灵活的node.js web应用框架,提供了一系列强大特性帮助你创建各种web应用和丰富的http工具.使用express可以快速创建一个完整功能的网站. Express ...
- CentOS6.5和RedHat6.5下以rpm方式安装mysql-5.6.20
转帖;http://blog.csdn.net/mw08091020/article/details/39234207 a.检查下linux是不是已经安装了mysql rpm -qa | grep - ...
- DB2与Sybase/Oracle/Informix的比较
DB2是IBM的数据库产品,近年来Oracle.Sybase等数据库的大力发展曾使很多人认为DB2将逐步退出数据库市场,但几年过去了,DB2不但没有退出的迹象,反而一步步发展壮大,逐步夺回失去的市场. ...
- 第一章 关于html适应手机屏幕的写法
在网页的中增加以上这句话,可以让网页的宽度自动适应手机屏幕的宽度: <meta name="viewport" content="width=device-widt ...
- Windows Server 2003 下实现网络负载均衡(2) (转)
四.测试 在第一台机器上,关闭网络负载平衡管理器后,用鼠标右键单击“网络负载平衡群集”,从出现的菜单中选择“连接到现存的”,将会弹出“连接”界面.输入第一台计算机的名称或IP地址,点击“连接”按钮,在 ...
- strncpy实现
#include<stdio.h> char *my_strncpy(char *dest,char *src,int n) { int i; ;i<n && src ...
- WhyGL:一套学习OpenGL的框架,及翻写Nehe的OpenGL教程
最近在重学OpenGL,之所以说重学是因为上次接触OpenGL还是在学校里,工作之后就一直在搞D3D,一转眼已经毕业6年了.OpenGL这门手艺早就完全荒废了,现在只能是重学.学习程序最有效的办法是动 ...
- go语言基础之append扩容特点
1.append扩容特点 示例: package main //必须有个main包 import "fmt" func main() { //如果超过原来的容量,通常以2倍容量扩容 ...
- mysql必知必会(三、使用mysql)
一.连接mysql数据库 mysql -u 用户名 -p回车输入密码 二.显示所有的数据库 show databases; 三.使用数据库 use 数据库名; 四.显示所有的表 show tables ...
- Retrofit 简介 wiki 文档
简介 Type-safe HTTP client for Android and Java by Square, Inc. GitHub主页:https://github.com/square/ret ...