storm 0.9.x的好处是引入了netty进行网络传输(需要配置),不用再依赖zeromq和jzmq了


1.下载安装zookeeper

...

2.下载安装storm依赖库

JDK1.6及以上

...

python2.6.6及以上

...

3.下载storm

配置con/storm.yaml

storm.zookeeper.servers:
- "master"
- "slave1"
storm.zookeeper.port:
storm.local.dir: "/data/storm-0.9.0.1/data"
nimbus.host: "master"
ui.port:
supervisor.slots.ports:
-
-
-
- storm.messaging.transport: "backtype.storm.messaging.netty.Context"
storm.messaging.netty.server_worker_threads:
storm.messaging.netty.client_worker_threads:
storm.messaging.netty.buffer_size:
storm.messaging.netty.max_retries:
storm.messaging.netty.max_wait_ms:
storm.messaging.netty.min_wait_ms: supervisor.childopts: "-Xms1024m -Xmx1024m"
worker.childopts: "-Xms1024m -Xmx2048m"
nimbus.childopts: "-Xms1024m -Xmx1024m"

4,启动

bin/storm nimbus
bin/storm supervisor
bin/storm ui

5.测试


storm任务的启动

bin/storm jar xxx/xxxx.jar org.admln.xxx.xxxTopology nimbushost

最后一个参数是指定nimbus的主机地址,如果是本地测试运行,则不需要传
storm任务的销毁

执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间

bin/storm kill topology-name

拓扑的停止

storm deactivte topology-name

停止的拓扑的启动

storm activate topology-name

再平衡使你重分配集群任务。这是个很强大的命令。比如,你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑,然后在相应超时时间之后重分配工人,并重启拓扑。
再平衡拓扑:

storm rebalance topology-name

storm后台进程的停止

kill -9 xxx

-_-!


如果要更新一个任务的话现在唯一的办法就是先把它杀掉,然后重新添加改后的

未来storm打算使用storm swap命令来更新任务


任务的监控就是常见的UI和日志两方面了


storm的配置有系统配置和组件配置两个层面

1.系统配置就是conf/storm.yaml里面的配置

2.组件配置就是给特定的Topology特定的配置,只对此Topology有效

topology的特定配置可以通过

  1. "topology.debug"
  2. "topology.max.spout.pending"
  3. "topology.max.task.parallelism"

这样的行为指定,必须以topology开头

spout和bolt的内部配置可以通过重写getComponentConfiguration方法来指定或者在topologyBuilder的setSpout和setBolt方法的后面加上addConfiguration 或者 addConfigurations方法


storm0.9.0.1安装的更多相关文章

  1. Storm-0.9.0.1安装部署 指导

    可以带着下面问题来阅读本文章: 1.Storm只支持什么传输 2.通过什么配置,可以更改Zookeeper默认端口 3.Storm UI必须和Storm Nimbus部署在同一台机器上,UI无法正常工 ...

  2. CentOS 7.0编译安装Nginx1.6.0+MySQL5.6.19+PHP5.5.14

    准备篇: CentOS 7.0系统安装配置图解教程 http://www.osyunwei.com/archives/7829.html 一.配置防火墙,开启80端口.3306端口 CentOS 7. ...

  3. centos 7.0 编译安装php 7.0.3

    php下载页面 http://cn2.php.net/downloads.php 7.0.3多地区下载页面 http://cn2.php.net/get/php-7.0.3.tar.gz/from/a ...

  4. centos7.0 下安装jdk1.8

    centos7.0这里安装jdk1.8采用yum安装方式,非常简单. 1.查看yum库中jdk的版本 [root@localhost ~]# yum search java|grep jdk 2.选择 ...

  5. Ubuntu14.0下安装Zend Framework 2

    Ubuntu14.0下安装Zend Framework 2为了安装这个东西,忙活了快一天了,参考中文博客一直没有安装成功,有些博客的时间也是已经很早了,后来google看英文版的才安装成功,这里记录一 ...

  6. mysql 5.0.46安装配置

    http://os.chinaunix.net/a2008/0801/986/000000986346.shtml RPM包和源码包存放位置 /usr/local/src 源码包编译安装位置(pref ...

  7. Win7系统安装好Axure点击运行报.NET Framework4.0未安装的解决办法

      1:问题 由于工作需要,需要研究一下Axure原型设计软件的使用方式,在公司的电脑上成功安装了从同事那里拿来的Axure7.0软件,能够正确运行没有任何问题,在自己的电脑上安装的也非常顺利,不过运 ...

  8. Nginx1.9.0的安装

    下载文件 http://nginx.org/en/download.html 下载 nginx-1.9.3.tar.gz 安装Nginx 安装 一.安装nginx时必须先安装相应的编译工具 yum - ...

  9. zabbix 3.0快速安装简介(centos 7)

    zabbix快速安装 系统版本:centos 7 通过yum方法安装Zabbix3.0,安装源为阿里云 yum源配置 rpm -ivh http://mirrors.aliyun.com/zabbix ...

随机推荐

  1. 求n个数中的最大或最小k个数

    //求n个数中的最小k个数        public static void TestMin(int k, int n)        {            Random rd = new Ra ...

  2. ubuntu 安装ssh-server时出现错误:openssh-server: Depends: openssh-client (= 1:5.3p1-3ubuntu3) but 1:5.3p1-3ubuntu4 is to be installed

    错误如下: tiger@ubuntu:~/Desktop/work$ sudo apt-get install openssh-server [sudo] password for tiger: Re ...

  3. 常见mongo命令

    @(编程) 查询 db.getCollection('SalaryEntity').find({"Month" : "201601"}) db.getColle ...

  4. java getEnv不区分大小写 getProperty区分大小写

    System.out.println(System.getenv("JAVA_HOME")); System.out.println(System.getenv("Pat ...

  5. visualC/C++连接MySql数据库

    vs连接数据库其实就是将mysql数据库.h头文件接口.lib链接文件和dll执行文件加入到项目中.下面是配置如何加入. 转于http://www.cnblogs.com/justinzhang/ar ...

  6. HDU 5164Matching on Array(AC自动机)

    这是BC上的一道题,当时比赛没有做,回头看看题解,说是AC自动机,想着没有写过AC自动机,于是便试着抄抄白书的模板,硬是搞了我数个小时2000ms时限1800过了= = ! 这里就直接贴上BC的结题报 ...

  7. POJ 1852 Ants (等价思考)

    题意:在一根杆上有 n 只蚂蚁,速度为1,方向不定,如果相碰,则反向运动,问你最长的时间和最短时间,所有蚂蚁都掉下杆去. 析:换个方法想,如果两只蚂蚁相碰了,会有什么现象?其实就和没有碰撞是一样的,没 ...

  8. hdoj 5317 RGCDQ

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=5317 #include<stdio.h> ; int F[MAXN]; bool flag ...

  9. [翻译]比较ADO.NET中的不同数据访问技术(Performance Comparison:Data Access Techniques)

    Performance Comparison: Data Access Techniques Priya DhawanMicrosoft Developer Network January 2002 ...

  10. javascript自执行函数为什么要把windows作为参数传进去

    http://segmentfault.com/q/1010000000311686 (function (window, $, undefined) { play=function(){ $(&qu ...