storm有两种操作模式: 本地模式和远程模式。使用本地模式的时候,你能够在你的本地机器上开发測试你的topology, 一切都在你的本地机器上模拟出来; 用远端模式的时候你提交的topology会在一个集群的机器上运行。

本地机器和远端storm集群之间的关系:远端的storm集群是被一个称作Nimbus的控制节点所管理,你的机器与Nimbus通信以提交topology的代码,执行这个topology。而Nimbus会自己主动在集群内部分发你的topology代码,
分配任务给各个机器。你的机器使用一个称为storm的client去和Nimbus通信。storm仅仅有在远程模式的时候才实用; 对于用本地模式开发、測试topology来说是没什么用的。

1.
安装Storm依赖库

        须要在Nimbus和Supervisor机器上安装Storm的依赖库。详细例如以下:
        ZeroMQ  3.0.0
       JMQ 
       Python 2.6
       Java JDK 1.7.0

2.
安装Zookeeper


   3. 安装storm
       须要在Nimbus和Supervisor机器上安装Storm发行版本号
      自从Github不提供下载功能之后。Twitter
Storm
的release都被放到了Dropbox上面。因为大 家都知道的原因。不那啥一下你是訪问不到了。这里有一个下载镜像:
      假设你想从你的机器提交topology给远端的storm集群。 你应该在你的本地安装一个storm发行版。安装了storm发行版之后你会得到你和远端集群通信的工具: storm。为了在本地安装storm, 从上面的链接中下载代码。而且把它解压到你机器上的一个文件夹。然后把bin/文件夹加入到环境变量PATH里面去而且使bin/storm有可运行权限。
    unzip storm-0.8.2.zip  
    export STORM_HOME=/usr/local/storm-0.8.2
    export PATH=$STORM_HOME/bin:xxx:xxx:$PATH
   

改动#STROM_HOME/conf/storm.yaml文件(没有该文件的话创建)例如以下:

########### These MUST be filled in for a storm configuration

 storm.zookeeper.servers:

 - "127.0.0.1"

 # - "server2"
 #

 nimbus.host: "127.0.0.1"

 storm.local.dir: "/home/XXXX/storm/workdir"

 supervisor.slots.ports:

 - 6700

 - 6701

 - 6702

 - 6703

注:一定要注意上面的书写格式。注意空格
參数说明:
nimbus.host           Nimbus节点的主机名或IP地址
storm.local.dir        为存储相关信息比方jar,topology等的文件夹。
storm.zookeeper.servers    为zookeeper集群的主机名或IP地址。

storm.zookeeper.port        为Zookeeper服务的port号。要和Zookeeper服务的port号一致(2181是默认的)。

以上配置须要在每一个节点,包含Nimbus和Supervisor上配置。且前三项是必须的,第二项假设不设置会报Connection Refused错误。

   4.  启动Storm集群

在Nimbus节点上启动Nimbus服务:bin/storm nimbus &

加&是为了在后台执行。否则当前的终端就不能再输入命令了

在Nimbus节点上启动UI:  bin/storm ui &    这样就能够通过浏览器在http://nimbus-host:8080上观察整个Storm集群以及Topology的执行情况

在Supervisor节点上启动Supervisor:bin/storm supervisor &

这样整个Storm集群便启动了

5.
本地执行測试程序storm-starter

  

运行这个程序须要用lein,这里介绍的方法用eclipse取代lein的作用。

能够使用maven或lein来解决storm-starter的包依赖问题,可是因为GFW原因,可能有些依赖包无法获取。

故这里採用eclipse自导入包的方法来编译storm-starter

 
    1. 安装twitter4j
      # mkdir twitter4j  
      # cd twitter4j  
      # wget http://twitter4j.org/en/twitter4j-2.2.6.zip 
      # unzip twitter4j-2.2.6.zip  

     非常有可能下载不了,在网上搜一搜。

    2. 追加源文件storm-start/src/jvm/storm

       使用eclipse建立java project。追加twitter4j和storm的jar文件。

        File-> New -> Java Project ->随便取个名字-> Next -> Libraries -> add External JARs...-> 追加twitter4j和storm的jar文件(/path/to/twitter4j/lib/*.jar和/path/to/storm/lib/*.jar和/path/to/storm/storm-{version}.jar)->
Finsh

      导入storm-start

       File -> Import -> General -> File System -> Next -> Browse(From directory) -> /path/to/storm-start/src/jvm/storm -> Browse(Info floder)  -> xxx -> src -> OK -> “storm” 和 “Create top-level folder”前打勾 -> Finish

完毕之后如图:



    3. 追加源文件storm-start/multilang/resources(python 文件word count用)

    File -> Import -> General -> File System -> Next -> Browse(From directory) -> /path/to/storm-start/multilang/resources -> Browse(Info floder)  -> xxx -> OK -> check “resources” and “Create top-level folder” -> Finish

     2个源文件都追加好之后。eclipse左边显演示样例如以下图:

                                                                                             

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvemhhbmd6aGVianV0/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

假设使用的是storm-0.8.1,以下这行代码会报错。下载0.8.2版本号就可以解决

import backtype.storm.task.IMetricsContext

假设以下这行报错。说明没有commons-collections.jar包。下载地址:http://commons.apache.org/proper/commons-collections/download_collections.cgi

import org.apache.commons.collections.buffer.CircularFifoBuffer;  

   4. JAR export

        File -> Export -> JAR -> JAR file -> 取消 “.classpath” ,“.project” 和 “<.settings” ->的勾 browse -> path/to/export/name.jar -> Finish (忽视 warnings)

可能会报错说PrintSampleStream和TwitterSampleSpout这两个类找不到,将这两个类的凝视取消掉就可以。

                                                       

     5. 运行刚才编译的文件

     # storm jar StormStarter.jar storm.starter.ExclamationTopology  

假设出现类似以下的文字,说明执行成功!

...

     11367 [Thread-25] INFO  backtype.storm.daemon.task  - Emitting: class          storm.starter.ExclamationTopology$ExclamationBolt source: 2:3, stream:
1, id: {}, [golda!!!]

     ....

    
    除此之外,也能够下载我提供的一个WordCount測试程序:https://github.com/ZhangzheBJUT/hadoop/tree/master






參考:
storm下载


storm-安装的更多相关文章

  1. 【Storm一】Storm安装部署

    storm安装部署 解压storm安装包 $ tar -zxvf apache-storm-1.1.0.tar.gz -C /usr/local/src 修改解压后的apache-storm-1.1. ...

  2. Twitter Storm 安装实战

    实际上安装Twitter Storm是上周三的事情了,周三的时候安装了一个单机版的,用WordCount跑了一下,感觉还不错.周四试着在集群上安装,碰到了一些问题,一直折腾到周五,留了个尾巴(没有做测 ...

  3. Twitter Storm安装配置(Ubuntu系统)单机版

    要使用storm首先要安装以下工具:JDK.Python.zookeeper.zeromq.jzmq.storm (注:各个模块都是独立的,如果安装失败或者卡顿可以单独百度某个模块的安装,都是可以的. ...

  4. Hadoop之Storm安装

    nimbus:主节点,负责分发代码,分配任务(只能有一个)supervisor:从节点,负责执行任务(可以有多个) jdkzookeeper(192.168.1.170/171/172)建议在zook ...

  5. storm安装笔记以及提交拓扑任务

    Storm -- Distributed and fault-tolerant realtime computation 这是一个分布式的.容错的实时计算系统 把Storm依赖组件的版本贴出来供各位参 ...

  6. Redis安装,mongodb安装,hbase安装,cassandra安装,mysql安装,zookeeper安装,kafka安装,storm安装大数据软件安装部署百科全书

    伟大的程序员版权所有,转载请注明:http://www.lenggirl.com/bigdata/server-sofeware-install.html 一.安装mongodb 官网下载包mongo ...

  7. storm安装

    官方安装地址:http://storm.apache.org/releases/1.0.2/Setting-up-a-Storm-cluster.html storm集群的三个角色 Nimbus.Su ...

  8. Storm安装与实验

    接上一篇Kafka的安装与实验: http://www.cnblogs.com/charlesblc/p/6046023.html 还有再上一篇Flume的安装与实验: http://www.cnbl ...

  9. storm安装(3)storm本身的安装

    (6)下载storm包放入home文件夹中, 这里我用的版本是storm-0.8.2.zip 添加权限 chmod +x storm-0.8.2.zip 进行文件的解压 unzip storm-0.8 ...

  10. Storm安装部署

    1.从官网下载安装包,并通过Xftp5上传到机器集群上 下载apache-storm-1.2.1.tar.gz 版本,并通过Xftp5上传到hadoop机器集群的第一个节点node1上的/opt/up ...

随机推荐

  1. jQuery验证所有输入合法后才干提交

    大学三年里所有在专注后台编码.学会不知多少种,servlet.ssh,springMVC,web.py...... 最后每次碰到前端自己要写点东西就满目愁抑, 干脆自己好好理解一段前端代码, 特地拿出 ...

  2. php+mysql 最简单的留言板

    学完了记得动手操作. 測试地址(未过滤) <html> <body> <head><meta http-equiv="Content-Type&qu ...

  3. C/C++ 工具函数 —— 大端模式和小端模式的互换

    小端模式:小在小,大在大:大端模式:小在大,大在小: uint32_t swap_endian(uint32_t val) { val = ((val << 8) & 0xFF00 ...

  4. POJ 3185 DFS

    好像可以用高斯消元??? 但是用搜索写 这题就很水了... // by SiriusRen #include <bitset> #include <cstdio> using ...

  5. c# post方式请求java form表单api

    using System; using System.Collections.Generic; using System.Net.Http; namespace ConsoleApplication1 ...

  6. PHP配置优化:php-fpm配置解读

    PHP-FPM是一个PHP FastCGI管理器,php-fpm.conf配置文件用于控制PHP-FPM管理进程的相关参数,比如工作子进程的数量.运行权限.监听端口.慢请求等等. 我们在编译安装PHP ...

  7. Axure设计软件下载安装及注册

    如图:本地计算机安装了两个版本的Axure,但8版的有问题,点击保存软件就退出了:7版本要想使用的注册授权 https://blog.csdn.net/botree_chan/article/deta ...

  8. Broadcast Receiver广播接收器

    1.概述 广播接收器不仅能接受来自系统的内容,也可以接受来自其他app的内容.广播分为标准广播和有序广播. 2.标准广播 一种完全异步执行的广播,在广播发出之后几乎所有的广播接收器都在同一时刻接受到广 ...

  9. 【SQL优化】SQL优化工具

    SQLAdvisor 是由美团点评公司北京DBA团队开发维护的 SQL 优化工具:输入SQL,输出索引优化建议. 它基于 MySQL 原生词法解析,再结合 SQL 中的 where 条件以及字段选择度 ...

  10. HDU 2199 Can you solve this equation?【二分查找】

    解题思路:给出一个方程 8*x^4 + 7*x^3 + 2*x^2 + 3*x + 6 == Y,求方程的解. 首先判断方程是否有解,因为该函数在实数范围内是连续的,所以只需使y的值满足f(0)< ...