JStorm的搭建文档
1、下载jstorm的jar包
https://github.com/alibaba/jstorm/releases
2、解压jstorm的包
tar -xvf jstorm-2.4.0.tgz
mv jstorm-2.4.0 jstorm
修改环境变量:
vi /etc/profile
export JSTORM_HOME=/usr/local/jstorm
export PATH=$PATH:$JSTORM_HOME/bin
生效 source /etc/profile
2、上传并修改storm.yaml
mv storm.yaml storm.yaml.bak
vi storm.yaml
nimbus.host: 表示nimbus的地址, 填写ip
storm.zookeeper.servers:
- "zk-datanode-01"
- "zk-datanode-02"
- "zk-datanode-03"
nimbus.host: "192.168.46.160"
storm.zookeeper.root: "/jstorm"
storm.local.dir: "/usr/local/jstorm/data"
supervisor.slots.ports:
-
-
-
-
3、部署到其他节点
scp -r jstorm zk-datanode-02:/usr/local/
scp -r jstorm zk-datanode-03:/usr/local/
4、启动storm
在nimbus 节点上执行
nohup jstorm nimbus & 查看$JSTORM_HOME/logs/nimbus.log检查有无错误
在supervisor节点上执行
nohup jstorm supervisor & 查看$JSTORM_HOME/logs/supervisor.log检查有无错误
若没有配置环境变量
nohup bin/jstorm supervisor &
5、webUI的部署
必须使用tomcat 7.x版本, 注意不要忘记拷贝 ~/.jstorm/storm.yaml
Web UI 可以和Nimbus不在同一个节点
mkdir ~/.jstorm
cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm
cd /usr/local/tomcat
cd webapps
cp $JSTORM_HOME/jstorm-ui-2.4..war ./
mv ROOT ROOT.old
ln -s jstorm-ui-2.4. ROOT
cd ../bin
./startup.sh
访问http://192.168.46.160:8080/ 即可查看到jstorm的界面
6、WebUI 增加新集群
注意: web ui使用的版本必须和集群中JStorm最高的版本一致
在运行Web UI的机器上, 修改~/.jstorm/storm.yaml
把默认的ui.clusters注释给去掉, 补充
# UI MultiCluster
# Following is an example of multicluster UI configuration
ui.clusters:
- {
name: "jstorm.share",
zkRoot: "/jstorm",
zkServers:
[ "zk-datanode-01", "zk-datanode-02", "zk-datanode-03"],
zkPort: ,
}
- {
name: "jstorm.bu1",
zkRoot: "/jstorm.dw",
zkServers:
[ "10.125.100.101", "10.125.100.101", "10.125.100.101"],
zkPort: ,
}
解释一下 - {
name: "jstorm.bu1", --- 这个集群的名字, 每个集群的名字必须不一样
zkRoot: "/jstorm.dw", --- 这个集群 zk的根节点,可以参考$JSTORM_HOME/con/storm.yaml 中“storm.zookeeper.root” 字段
zkServers:
[ "10.125.100.101", "10.125.100.101", "10.125.100.101"], -- zk 机器列表
zkPort: , -- zk 的客户端端口
}
提交jstorm的任务
jstorm jar /usr/local/jstormpack/JstormTest-0.0.1-SNAPSHOT.jar com.dinpay.bdp.rcp.mywordcount.WordCountTopologMain WordCountTopolog
停止jstorm的任务
jstorm kill KTTAndNormalTopology
nimbus.childopts: "-Xms1g -Xmx1g -Xmn512m -XX:PermSize=256m -XX:SurvivorRatio=4 -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:CMSFullGCsBeforeCompaction=5 -XX:+HeapDumpOnOutOfMemoryError -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=100M -XX:+UseCMSCompactAtFullCollection -XX:CMSMaxAbortablePrecleanTime=5000" worker.childopts: "-Xms512m -Xmx512m -Xmn256m -XX:SurvivorRatio=2 -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=65" ui.childopts: "-Xms768m -Xmx768m -Xmn256m -XX:PermSize=96m -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:CMSFullGCsBeforeCompaction=5 -XX:+HeapDumpOnOutOfMemoryError -XX:+UseCMSCompactAtFullCollection -XX:CMSMaxAbortablePrecleanTime=5000" supervisor.childopts: "-Xms2g -Xmx2g -Xmn1g -XX:PermSize=256m -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:CMSFullGCsBeforeCompaction=5 -XX:+HeapDumpOnOutOfMemoryError -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=100M -XX:+UseCMSCompactAtFullCollection -XX:CMSMaxAbortablePrecleanTime=5000"
JStorm的搭建文档的更多相关文章
- 环境搭建文档——Windows下的Python3环境搭建
前言 背景介绍: 自己用Python开发了一些安卓性能自动化测试的脚本, 但是想要运行这些脚本的话, 本地需要Python的环境. 测试组的同事基本都没有安装Python环境, 于是乎, 我就想直接在 ...
- 生产环境轻量级dns服务器dnsmasq搭建文档
dnsmasq搭建文档 一.生产环境域名解析问题 之前生产环境设备较少,是通过维护master(192.168.1.1)设备的hosts文件实现的.每次新增设备后,需要在master的hosts文件中 ...
- kafka集群搭建文档
kafka集群搭建文档 一. 下载解压 从官网下载Kafka,下载地址http://kafka.apache.org/downloads.html 注意这里最好下载scala2.10版本的kafka, ...
- VUE CLI环境搭建文档
VUE CLI环境搭建文档 1.安装Node.js 下载地址 https://nodejs.org/zh-cn/download/ 2.全局安装VUE CLI win+R键打开运行cmd窗口输入一下代 ...
- OpenStack Pike超详细搭建文档 LinuxBridge版
前言 搭建前必须看我 本文档搭建的是分布式P版openstack(1 controller + N compute + 1 cinder)的文档. openstack版本为Pike. 搭建的时候,请严 ...
- OpenStack Ocata 超详细搭建文档
前言 搭建前必须看我本文档搭建的是分布式O版openstack(controller+ N compute + 1 cinder)的文档.openstack版本为Ocata.搭建的时候,请严格按照文档 ...
- 使用ghpage(github服务)搭建文档网站几种方式
可以通过github提供的ghpage服务来搭建网站,有以下三种方式来实现: 1.文档放在master分支,作为一个子目录. 仓库:https://github.com/Ourpalm/ILRunti ...
- Readthedocs+Github搭建文档
一.文档撰写前提 环境部署: > git clone https://github.com/toooney/demo-readthedocs.git > pip install sphin ...
- 推荐一个vuepress模板,一键快速搭建文档站
介绍 vuepress-template是一个简单的VuePress案例模板,目的是让用户可以直接clone这个仓库,作为初始化一个VuePress网站启动项目,然后在这个项目的基础上新增自定义配置和 ...
随机推荐
- 2-SAT学习整理
关于2-SAT 问题给出的证明和思路就不再赘述 核心是对于问题给出的条件建图,然后跑tarjan缩点 (在一个强联通分量里bool值是相同的) 看集合两个元素是否在一个强联通分量来判断是否合法 利用强 ...
- Linux系统—— core 文件
Linux core 文件介绍 1. core文件的简单介绍 在一个程序崩溃时,它一般会在指定目录下生成一个core文件.core文件仅仅是一个内存映象(同时加上调试信息),主要是用来调试的. 2. ...
- [转]busybox登陆后没要求输入密码的解决办法
转自:http://blog.chinaunix.net/uid-8058395-id-65785.html 1.制作好ramdisk之后 通过串口进入系统 却发现系统直接登录进去了 并没有要求用ro ...
- @Transactional(rollbackFor=Exception.class)的作用
在项目中,@Transactional(rollbackFor=Exception.class),如果类加了这个注解,那么这个类里面的方 法抛出异常,就会回滚,数据库里面的数据也会回滚. 这种设置是因 ...
- 怎么查看linux系统是32位还是64位
1.#uname -a如果有x86_64就是64位的,没有就是32位的 这是64位的 # uname -a Linux desktop 2.6.35-23-generic #20-Ubuntu SMP ...
- 从日升的mecha anime看mecha genre的衰退
注:矢立肇是日升企画部集体笔名,如勇者系列便是公司企画 这里列出一些我看过认为有意思的动画,大抵同系列的就合并了,除非后续作品(剧场版,OVA,etc)并非直接剧情承接且有趣 注意我对长篇TV动画评价 ...
- RabbitMQ Windows下安装问题解决
一.问题描述 安装后出现如下问题描述 C:\Program Files\RabbitMQ Server\rabbitmq_server-3.4.3\sbin>rabbitmqctl status ...
- bzoj 1314: River过河 树套树+单调队列
Description ZY带N个小Kid过河,小KID分成两种:高一年级,高二年级,由于存在代沟问题,如果同一条船上高一年级生和高二年级生数量之差超过K,就会发生不和谐的事件.当然如果一条船上全是同 ...
- 搜索水题四连发_C++
特别声明:以下题目有部分为原创题,涉及版权问题,不得转载,违者追究 法律责任! 话说这是一套神题,只有你想不到,没有你做不到 题目更正后比 Pascal 跑得还快哈~ 一道特别裸,但是特别坑的搜索题 ...
- lambda calculus
;;;lambda calculus ;;;booleanstrue = \x.\y.xfalse = \x.\y.yif = \v.\t.\f. v t f ;;;exif true M N = M ...