在使用storm之前,首先看zookeeper是否安装好

单机版

1.在node1上修改配置文件conf下的storm.yaml文件

2.检查Java和Python的版本是否符合要求,运行java -version和python -version

版本至少在Java 6+,Python 2.6.6+以上

3.部署zookeeper3.4.5+,ZK用3.4.5,因为它支持磁盘的快照和namenode的定期删除,避免磁盘被打满

4.新建logs文件:mkdir logs

4.执行以下命令:

./bin/storm dev-zookeeper >> ./logs/zk.out2>&1 &

./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &

./bin/storm ui >> ./logs/ui.out 2>&1 &

http://node1:8080(查看启动是否成功)
./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &

./bin/storm logviewer >> ./logs/logviewer.out 2>&1 &

./bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.5.jar storm.starter.WordCountTopology wordcount

接着访问http://node1:8080,运行wordcount example

单机版的步骤,storm自带了一个开发版的ZK,也不需要自己去部署,配置都不需要,极其简单
的,这也是Storm的一个好处,基本上是开箱即用的,单机环境虽然没有什么实际的价值,但是
在简单的测试上还是很有用的

分布式配置使用storm

1.进入storm目录后,先修改配置文件conf下的storm.yaml文件

修改zookeeper的主机名和主节点的名称(注意空格,三台都要修改此文件)

ZK所有的数据都写在dataDir下面,另外autopurge.purgeInterval=1就是每隔一小时,它来清理dataDir里面的数据,因为ZK会产生snapshot和binlog,产生的速度非常快用不了几天就会把磁盘给打满,我们一小时清理一次就可以有效的避免这个问题,清理的规则是清理的时候它会保留最新的3个文件,当然这个3也是可以配置的,第二个标红的就是我们ZK有3个机器的列表,其他就是一些默认的配置了,比如默认接收客户端的端口是2181

2.新建logs文件:mkdir logs(三台分别添加)

3.在node1里执行:

./bin/storm nimbus >> logs/nimbus.out 2>&1 &
./bin/storm ui >> logs/ui.out 2>&1 &

http://node1:8080

在node2、node3里执行:

./bin/storm supervisor >> logs/supervisor.out 2>&1 &

回到node1里:./bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.5.jar storm.starter.WordCountTopology wordcount(必须在主节点上运行)

http://node1:8080

Strom的安装及使用的更多相关文章

  1. strom的使用01

    1.strom的安装和测试 1.1 搭建zookeeper集群 参考hadoop2.0初识1.3中的1.4配置zookeeper集群和自动故障转移 1.2 安装storm依赖的软件 sudo yum ...

  2. Strom简介,以及安装,和官方案例测试

    一:简介 1.strom的两种形式 2.strom的特性 3.使用场景 4.集群架构 5.集群架构进程 6.组件 Nimbus 7.从节点Supervisor 8.组件worker 9.组件Execu ...

  3. Strom的配置安装

    1.准备环境 1.1配置列表 配置项 版本信息 OS Red Hat   Enterprise Linux Server release 5.5 (Tikanga) IP 192.168.1.191/ ...

  4. kafka和strom集群的环境安装

    前言 storm和kafka集群安装是没有必然联系的,我将这两个写在一起,是因为他们都是由zookeeper进行管理的,也都依赖于JDK的环境,为了不重复再写一遍配置,所以我将这两个写在一起.若只需一 ...

  5. Storm(1)-centos7下安装单机版Strom

    1.所需软件: jdk8.zookeeper.storm 2.安装zookeeper单机版 下载:http://zookeeper.apache.org/releases.html#download ...

  6. 安装storm的一些很乱的笔记

    下面是自己安装和测试storm的一些笔记,比较乱,后续有时间在整理一篇. storm jar all-my-code.jar com.storm.MyTopology arg1 arg2这个命令会运行 ...

  7. 不在折腾---storm-0.9.2-incubating分布式安装

    安装一个zookeeper集群 > 请参考:不在折腾----zookeeper-3.4.5 上传strom的安装包 解压 配置,conf/storm.yaml * 所使用的zookeeper集群 ...

  8. Flume+Kafka+Strom基于伪分布式环境的结合使用

    目录: 一.Flume.Kafka.Storm是什么,如何安装? 二.Flume.Kafka.Storm如何结合使用? 1) 原理是什么? 2) Flume和Kafka的整合  3) Kafka和St ...

  9. storm在windows系统下安装调试

    基础知识 Storm是一个分布式的,可靠的,容错的数据流处理系统.它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务.Storm集群的输入流由一个被称作spout的组件管理,spo ...

随机推荐

  1. Jquery Offset, Document, Window 都是什么

    From http://www.cnblogs.com/luhe/archive/2012/11/14/2769263.html   JQuery Offset实验与应用 我们有时候需要实现这样一种功 ...

  2. 【7】了解Bootstrap栅格系统基础案例(2)

    ps.这一次要说的是“Responsive column resets”,但是不知道为什么中文官网没有给出翻译,但是在看到案例的时候,感觉这就像一个bug,我自己姑且叫这个是一个高度bug吧,方便自己 ...

  3. 【prism】前期准备

    在网上下了prism框架源码,目前最新版本为4.1,其中包含的内容如下: 其中包含三类文件: 1.类似于Desktop only-Prism Library.bat的批处理文件,用来打开相应的Pris ...

  4. 2014年度辛星css教程夏季版第四节

    接下来的这一节我计划讲解的是超链接和列表的样式,然后我们做出一个导航栏出来,其实导航栏是非常常见的,但是我们这里做得这个有点并不那么完善,等我们学完了css之后再完善它. ************** ...

  5. RS232转RS485电路图分析

    在电子发烧友网站上,看到RS232转RS485的一个电路图,如下图所示.元件主要是HN232CP和MAX485CPA,也就是TTL转232电路和TTL转485电路的结合体.可是这个电路却不好分析,几经 ...

  6. windows下常用快捷键

    windows下常用快捷键: 显示桌面: win徽标+D 打开资源管理器: win徽标+E 打开任务管理器: Ctrl+Alt+delete 任务切换: Alt+Tab 应用程序中窗口之间的切换: C ...

  7. poj 2559 Largest Rectangle in a Histogram (单调栈)

    http://poj.org/problem?id=2559 Largest Rectangle in a Histogram Time Limit: 1000MS   Memory Limit: 6 ...

  8. 1003: [ZJOI2006]物流运输trans

    spfa+dp; 刚刚开始一直想不通怎么判断他是否换了道: 后来才知道,将那个时间段打包,找出这段时间内的最短路: 真是太奇妙了! #include<cstdio> #include< ...

  9. Firefly官方教程之DBentrust使用文档

    原地址: http://bbs.gameres.com/thread_224185.html 1.dbentrust说明该模块主要是对数据库与memcached存储的处理.里面封装了从memcache ...

  10. SQL按日期Datatime来比较大小

    数据库操作中,通常需要选择某日期以后的记录,比如选择10年1月到11年2月之间的记录,此时用SQL语句编写时,不能直接用">.<.="来选择,因为datetime型数据 ...