1、下载jstorm的jar包
  https://github.com/alibaba/jstorm/releases

2、解压jstorm的包
  tar -xvf jstorm-2.4.0.tgz
  mv jstorm-2.4.0 jstorm
修改环境变量:
  vi /etc/profile
    export JSTORM_HOME=/usr/local/jstorm
    export PATH=$PATH:$JSTORM_HOME/bin
  生效 source /etc/profile

2、上传并修改storm.yaml
  mv storm.yaml storm.yaml.bak

  vi storm.yaml
  nimbus.host: 表示nimbus的地址, 填写ip

storm.zookeeper.servers:
- "zk-datanode-01"
- "zk-datanode-02"
- "zk-datanode-03"
nimbus.host: "192.168.46.160"
storm.zookeeper.root: "/jstorm"
storm.local.dir: "/usr/local/jstorm/data"
supervisor.slots.ports:
-
-
-
-

3、部署到其他节点
  scp -r jstorm zk-datanode-02:/usr/local/
  scp -r jstorm zk-datanode-03:/usr/local/

4、启动storm
  在nimbus 节点上执行
  nohup jstorm nimbus & 查看$JSTORM_HOME/logs/nimbus.log检查有无错误

  在supervisor节点上执行
  nohup jstorm supervisor & 查看$JSTORM_HOME/logs/supervisor.log检查有无错误
  若没有配置环境变量
  nohup bin/jstorm supervisor &

5、webUI的部署
  必须使用tomcat 7.x版本, 注意不要忘记拷贝 ~/.jstorm/storm.yaml
  Web UI 可以和Nimbus不在同一个节点

  

        mkdir ~/.jstorm
cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm
cd /usr/local/tomcat
cd webapps
cp $JSTORM_HOME/jstorm-ui-2.4..war ./
mv ROOT ROOT.old
ln -s jstorm-ui-2.4. ROOT
cd ../bin
./startup.sh

访问http://192.168.46.160:8080/ 即可查看到jstorm的界面

6、WebUI 增加新集群
  注意: web ui使用的版本必须和集群中JStorm最高的版本一致

  在运行Web UI的机器上, 修改~/.jstorm/storm.yaml
  把默认的ui.clusters注释给去掉, 补充

# UI MultiCluster
# Following is an example of multicluster UI configuration
ui.clusters:
- {
name: "jstorm.share",
zkRoot: "/jstorm",
zkServers:
[ "zk-datanode-01", "zk-datanode-02", "zk-datanode-03"],
zkPort: ,
}
- {
name: "jstorm.bu1",
zkRoot: "/jstorm.dw",
zkServers:
[ "10.125.100.101", "10.125.100.101", "10.125.100.101"],
zkPort: ,
}
解释一下 - {
name: "jstorm.bu1", --- 这个集群的名字, 每个集群的名字必须不一样
zkRoot: "/jstorm.dw", --- 这个集群 zk的根节点,可以参考$JSTORM_HOME/con/storm.yaml 中“storm.zookeeper.root” 字段
zkServers:
[ "10.125.100.101", "10.125.100.101", "10.125.100.101"], -- zk 机器列表
zkPort: , -- zk 的客户端端口
}

提交jstorm的任务
  jstorm jar /usr/local/jstormpack/JstormTest-0.0.1-SNAPSHOT.jar com.dinpay.bdp.rcp.mywordcount.WordCountTopologMain WordCountTopolog

停止jstorm的任务
  jstorm kill KTTAndNormalTopology

nimbus.childopts: "-Xms1g -Xmx1g -Xmn512m -XX:PermSize=256m  -XX:SurvivorRatio=4 -XX:+UseConcMarkSweepGC  -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:CMSFullGCsBeforeCompaction=5 -XX:+HeapDumpOnOutOfMemoryError -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=100M -XX:+UseCMSCompactAtFullCollection -XX:CMSMaxAbortablePrecleanTime=5000"

worker.childopts: "-Xms512m -Xmx512m -Xmn256m -XX:SurvivorRatio=2 -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=65"

ui.childopts: "-Xms768m -Xmx768m -Xmn256m -XX:PermSize=96m -XX:+UseConcMarkSweepGC  -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:CMSFullGCsBeforeCompaction=5 -XX:+HeapDumpOnOutOfMemoryError  -XX:+UseCMSCompactAtFullCollection -XX:CMSMaxAbortablePrecleanTime=5000"

supervisor.childopts: "-Xms2g -Xmx2g -Xmn1g -XX:PermSize=256m -XX:+UseConcMarkSweepGC  -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:CMSFullGCsBeforeCompaction=5 -XX:+HeapDumpOnOutOfMemoryError -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=100M -XX:+UseCMSCompactAtFullCollection -XX:CMSMaxAbortablePrecleanTime=5000"

JStorm的搭建文档的更多相关文章

  1. 环境搭建文档——Windows下的Python3环境搭建

    前言 背景介绍: 自己用Python开发了一些安卓性能自动化测试的脚本, 但是想要运行这些脚本的话, 本地需要Python的环境. 测试组的同事基本都没有安装Python环境, 于是乎, 我就想直接在 ...

  2. 生产环境轻量级dns服务器dnsmasq搭建文档

    dnsmasq搭建文档 一.生产环境域名解析问题 之前生产环境设备较少,是通过维护master(192.168.1.1)设备的hosts文件实现的.每次新增设备后,需要在master的hosts文件中 ...

  3. kafka集群搭建文档

    kafka集群搭建文档 一. 下载解压 从官网下载Kafka,下载地址http://kafka.apache.org/downloads.html 注意这里最好下载scala2.10版本的kafka, ...

  4. VUE CLI环境搭建文档

    VUE CLI环境搭建文档 1.安装Node.js 下载地址 https://nodejs.org/zh-cn/download/ 2.全局安装VUE CLI win+R键打开运行cmd窗口输入一下代 ...

  5. OpenStack Pike超详细搭建文档 LinuxBridge版

    前言 搭建前必须看我 本文档搭建的是分布式P版openstack(1 controller + N compute + 1 cinder)的文档. openstack版本为Pike. 搭建的时候,请严 ...

  6. OpenStack Ocata 超详细搭建文档

    前言 搭建前必须看我本文档搭建的是分布式O版openstack(controller+ N compute + 1 cinder)的文档.openstack版本为Ocata.搭建的时候,请严格按照文档 ...

  7. 使用ghpage(github服务)搭建文档网站几种方式

    可以通过github提供的ghpage服务来搭建网站,有以下三种方式来实现: 1.文档放在master分支,作为一个子目录. 仓库:https://github.com/Ourpalm/ILRunti ...

  8. Readthedocs+Github搭建文档

    一.文档撰写前提 环境部署: > git clone https://github.com/toooney/demo-readthedocs.git > pip install sphin ...

  9. 推荐一个vuepress模板,一键快速搭建文档站

    介绍 vuepress-template是一个简单的VuePress案例模板,目的是让用户可以直接clone这个仓库,作为初始化一个VuePress网站启动项目,然后在这个项目的基础上新增自定义配置和 ...

随机推荐

  1. 进程管理利器Supervisor--入门简介

    目录 概述 Supervisor是什么 Supervisor意图 Supervisor特性 Supervisor组件 平台需求 概述 项目运行需要后台运行,一般都是使用 nohup,但是nohup不能 ...

  2. 洛谷 P1136 迎接仪式 解题报告

    P1136 迎接仪式 题目描述 LHX教主要来X市指导OI学习工作了.为了迎接教主,在一条道路旁,一群Orz教主er穿着文化衫站在道路两旁迎接教主,每件文化衫上都印着大字.一旁的Orzer依次摆出&q ...

  3. 忽略node_modules目录

    如上图所示添加node_modules目录到忽略文件列表里面,点击应用就可以了.

  4. 【Android开发日记】之入门篇(十)——Android应用配置文件解析

    在Android基于组件的应用设计架构中,配置文件是一个很重要的元素.它将应用所包含的组件.各组件的能力和配置以及应用环境介绍给Android框架层的各个服务,让Android知道如何去调度应用中的各 ...

  5. VLC for iOS 2.3.0

    http://www.cocoachina.com/bbs/read.php?tid=231898 VLC for iOS 2.3.0       本帖属于CocoaChina会员发表,转帖请写明来源 ...

  6. CentOS下SVN使用

    1. 介绍 这里想在CentOS上搭建的是基于http访问的SVN Server 2. 软件 安装相关软件 yum install httpd httpd-devel mod_dav_svn subv ...

  7. Linux内核实践之序列文件【转】

    转自:http://blog.csdn.net/bullbat/article/details/7407194 版权声明:本文为博主原创文章,未经博主允许不得转载. 作者:bullbat seq_fi ...

  8. 条件变量(Condition Variable)详解

    条件变量(Condtion Variable)是在多线程程序中用来实现“等待->唤醒”逻辑常用的方法.举个简单的例子,应用程序A中包含两个线程t1和t2.t1需要在bool变量test_cond ...

  9. 【linux高级程序设计】(第十五章)UDP网络编程应用 5

    域名与IP信息解析 /etc/hosts 文件中有部分IP地址与域名主机名的信息 /etc/resolv.conf 里面有DNS服务器的IP地址 struct hostent { char *h_na ...

  10. CentOS系统最小化安装没有wget解决方案

    -bash: wget: command not found的两种解决方法 今天给服务器安装新LNMP环境时,wget 时提示 -bash:wget command not found,很明显没有安装 ...