storm的安装配置
一、安装Zookeeper
1、设置.profile文件:
export ZOOKEEPER_HOME=/home/hadoop/streamdata/zookeeper-3.4.5-cdh4.5.0
export PATH=$PATH:$ZOOKEEPER_HOME/bin
2、设置zoo.cfg文件:
tickTime=2000
dataDir=/home/hadoop/streamdata/data/zookeeper/
clientPort=2181
initLimit=5
syncLimit=2
server.1=kit-bg1:2888:3888
server.2=kit-bg2:2888:3888
server.3=kit-bg3:2888:3888
3、设置myid文件。分别在各机器的dataDir指定的目录下,创建myid文件,kit-bg1上内容为"1",kit-bg2内容为"2",kit-bg3内容为"3"。
4、命令:
zkServer.sh start 需在各机分别执行
zkServer.sh status
zkServer.sh stop
zkCli.sh 客户端测试
二、安装zeromq-2.1.7
下载解压缩后,执行:
cd zeromq-2.1.7
./configure
make
su
make install
问题:
错误: configure: error: no acceptable C compiler found in $PATH
解决:yum -y install gcc
错误: configure: error: Unable to find a working C++ compiler
解决:yum -y install gcc-c++
错误:configure: error: cannot link with -luuid, install uuid-dev.
解决:yum -y install *uuid-devel*
三、安装jzmq
从https://github.com/nathanmarz/jzmq下载源码,执行:
cd jzmq
./autogen.sh
./configure
make
su
make install
问题:
错误:autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.
解决:yum -y install libtool
四、安装storm
设置.profile文件:
export STORM_HOME=/home/hadoop/streamdata/apache-storm-0.9.1-incubating
export PATH=$PATH:$STORM_HOME/bin
配置storm.yaml文件:
storm.zookeeper.servers:
- "kit-bg1"
- "kit-bg2"
- "kit-bg3"storm.local.dir: "/home/hadoop/streamdata/data/storm"
nimbus.host: "kit-bg1"
ui.port: 18080
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
启动服务:
storm nimbus&
storm supervisor&
storm ui&
storm nimbus&命令仅需master上执行。
storm的安装配置的更多相关文章
- ubuntu14.04LTS 下storm单机版安装配置
1.下载storm 的安装文件 http://www.apache.org/dyn/closer.cgi/incubator/storm/apache-storm-0.9.2-incubating/a ...
- storm单机版安装配置
1,install zeromq 期间可能出现:configure: error: cannot link with -luuid, install uuid-dev. 因此可以先安装 sudo ap ...
- Twitter Storm安装配置(Ubuntu系统)单机版
要使用storm首先要安装以下工具:JDK.Python.zookeeper.zeromq.jzmq.storm (注:各个模块都是独立的,如果安装失败或者卡顿可以单独百度某个模块的安装,都是可以的. ...
- Storm 集群安装配置
本文详细介绍了 Storm 集群的安装配置方法.如果需要在 AWS 上安装 Storm,你应该看一下 storm-deploy 项目.storm-deploy 可以自动完成 E2 上 Storm 集群 ...
- storm 安装配置
1.1.下载安装包 storm.apache.org 配置zookeeper:http://www.cnblogs.com/eggplantpro/p/7120893.html 1.2.解压安装包ta ...
- storm集群配置以及java编写拓扑例子
storm集群配置 安装 修改配置文件 使用java编写拓扑 storm集群配置 storm配置相当简单 安装 tar -zxvf apache-storm-1.2.2.tar.gz rm apach ...
- 大数据笔记(二十七)——Spark Core简介及安装配置
1.Spark Core: 类似MapReduce 核心:RDD 2.Spark SQL: 类似Hive,支持SQL 3.Spark Streaming:类似Storm =============== ...
- storm的安装
一. 安装storm要先本机搭建好zookeeper集群(手动目录安装或者CDH安装) 二. Java 6 Python 2.6.6 unzip(针对使用语言要安装好相应环境 比如java 要JDK和 ...
- (Linux环境Kafka集群安装配置及常用命令
Linux环境Kafka集群安装配置及常用命令 Kafka 消息队列内部实现原理 Kafka架构 一.下载Kafka安装包 二.Kafka安装包的解压 三.设置环境变量 四.配置kafka文件 4.1 ...
随机推荐
- IPC$命令详解
一 摘要二 什么是ipc$三 什么是空会话四 空会话可以做什么五 ipc$所使用的端口六 ipc管道在hack攻击中的意义七 ipc$连接失败的常见原因八 复制文件失败的原因九 关于at命令和xp对i ...
- 基于nginx的tomcat负载均衡和集群
要集群tomcat主要是解决SESSION共享的问题,因此我利用memcached来保存session,多台TOMCAT服务器即可共享SESSION了. 你可以自己写tomcat的扩展来保存SESSI ...
- 离线应用Application Cache详解
特点: 1.离线可访问 - 没有网络仍可访问整个应用 2.很小的服务器负载 - 缓存在本地,不需要到服务器请求 3.高速 ...
- YASKAWA电机控制(2)---调试
2015 5 23 基础调试—点动 上次接线由于没有接地,导致外壳带电,非常危险. 由于上次接线端子被弄坏,这次自己重做.由于没有压线钳,只用尖嘴钳把线压近端子,有可能会松动. 接线的时候Lc1.Lc ...
- Main()方法
C#是从方法Main()开始执行的.这个方法必须是类或结构的静态方法,并且其返回类型必须是int或void .虽然显式指定p山屺修饰符是很常见的,因为按照定义,必须在程序外部调用该方法,但我们给该入口 ...
- ios绘图时的坐标处理
在iOS中,进行绘图操作时,一般主要是在UIView:drawRect中调用 UIGraphicsBeginImageContextWithOptions等一系列函数,有时候直接画图就行,比如UIIm ...
- C# 常用控件及单击事件
1.窗体 1.常用属性 (1)Name属性:用来获取或设置窗体的名称,在应用程序中可通过Name属性来引用窗体. (2)WindowState属性: 用来获取或设置窗体的窗口状态. 取值有三种: No ...
- eclipse教程
http://www.eclipse.org/downloads/eclipse-packages/http://wiki.eclipse.org/Eclipse_Articles,_Tutorial ...
- UVa 10054 The Necklace【欧拉回路】
题意:给出n个珠子,珠子颜色分为两半,分别用1到50之间的数字表示, 现在给出n个珠子分别的颜色,问是否能够串成一个环.即为首尾相连,成为一个回路 判断是否构成一个环,即判断是否为欧拉回路,只需要判断 ...
- BZOJ1272: [BeiJingWc2008]Gate Of Babylon
题解: 多重集合的组合数?还是0-m?有些元素有个数限制? 多重集合的组合数可以插板法,0-m直接利用组合数的公式一遍求出来,个数限制注意到只有15个,那我们就暴力容斥了 AC了真舒畅.. 注意开lo ...