2.storm的安装

ubuntu14.04LTS 下storm单机版安装配置

1．下载storm 的安装文件 http://www.apache.org/dyn/closer.cgi/incubator/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz tar -zxvf apache-storm-0.9.2-incubating.tar.gz 2.修改Storm的配置文件 conf/storm.yaml storm.zookeeper.servers: - "localhos…

第1节 storm编程：4、storm环境安装以及storm编程模型介绍

dataSource:数据源,生产数据的东西 spout:接收数据源过来的数据,然后将数据往下游发送 bolt:数据的处理逻辑单元.可以有很多个,基本上每个bolt都处理一部分工作,然后将数据继续往下游的bolt发送 storm不会保存数据,也不会生产数据,只是一个数据的搬运工 tuple:元组的概念,可以理解为一个数组,或者一个集合,里面可以封装很多东西,数据从上游往下游发送,都是封装在tuple里面了 topology:spout与bolt组织到一起,形成一个topology 注意,配置文件…

storm的安装配置

一.安装Zookeeper 1.设置.profile文件: export ZOOKEEPER_HOME=/home/hadoop/streamdata/zookeeper-3.4.5-cdh4.5.0export PATH=$PATH:$ZOOKEEPER_HOME/bin 2.设置zoo.cfg文件: tickTime=2000 dataDir=/home/hadoop/streamdata/data/zookeeper/ clientPort=2181 initLimit=5 syncLim…

storm单机版安装配置

1,install zeromq 期间可能出现:configure: error: cannot link with -luuid, install uuid-dev. 因此可以先安装 sudo apt-get install uuid* sudo apt-get install libtool wget http://download.zeromq.org/zeromq-2.2.0.tar.gz tar zxf zeromq-2.2.0.tar.gz cd zeromq-2.2.0 ./con…

twitter storm学习 - 安装部署问题汇总

已经碰到的或者将来碰到的关于安装部署方面的问题以及解决方法,先挖个坑 1.提交的topology在admin界面上看emitted始终都是0,查看日志发现有如下错误: worker [ERROR] Error on initialization of server mk-workerorg.zeromq.ZMQException: 无效的参数(0x16) at org.zeromq.ZMQ$Socket.setLongSockopt(Native Method) at…

1.前提是linux系统已经安装了上一篇讲的Zookeeper和jdk[1.7及以上版本]还有python[centos已经自带,2.6及以上版本] 2.解压storm压缩包 sudo tar -zxvf apache-storm-1.0.3.tar.gz -C /opt/modules/ 3.配置storm.yaml文件配置zookeeper(建议配置偶数个,貌似配奇数个会报错) storm.zookeeper.servers: - "hadoop-senior01.kyhoon.…

mac上storm standalone安装

一.安装storm 下载storm http://storm.apache.org/downloads.html export STORM_HOME=/Users/huangjiahong/Documents/apache/apache-storm-0.10.0 二.安装zookeeper 下载zookeeper http://mirror.bit.edu.cn/apache/zookeeper/ 1.加入到系统环境变量中 export ZOOKEEPER_HOME=/Users/huangji…

storm的安装

一. 安装storm要先本机搭建好zookeeper集群(手动目录安装或者CDH安装) 二. Java 6 Python 2.6.6 unzip(针对使用语言要安装好相应环境比如java 要JDK和unzip) 三.安装两个strom依赖的消息队列包 ZeroMQ安装: wget http://download.zeromq.org/zeromq-2.1.7.tar.gz tar -xzvf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 ./configure mak…

apache storm 的安装

原文: http://storm.praveendeshmane.co.in/storm/storm-0-10-0-installation-on-ubuntu-14-04.jsp ------------------------------------------ Apache Storm is a distributed stream processing computation framework written predominantly in the Clojure programmi…

【Storm】安装教程

1.下载tar.gz包 2.上传解压,tar -zxvf 包 -C 路径 3.修改conf/storm.yaml storm.zookeeper.servers: - "bigboss1" - "bigboss2" - "bigboss3" # nimbus.seeds: ["bigboss1"] storm.local.dir: "/mnt/storm" supervisor.slots.ports: -…

Twitter Storm安装配置（Ubuntu系统）单机版

要使用storm首先要安装以下工具:JDK.Python.zookeeper.zeromq.jzmq.storm (注:各个模块都是独立的,如果安装失败或者卡顿可以单独百度某个模块的安装,都是可以的.) JDK1.7安装参见上篇<Ubuntu下安装配置JDK1.7>http://www.cnblogs.com/stone_w/p/4469548.html 第一步,安装Python2.7.2(ubuntu) wget http://www.python.org/ftp/python/2.7.2…

Storm集群的安装与测试

首先安装zookeeper集群,然后安装storm集群. 我使用的是centos 32bit的三台虚拟机. MachineName ip namenode 192.168.99.110 datanode01 192.168.99.111 datanode02 192.168.99.112 首先配置好ssh,可以无密码互访. 安装好jdk,我本机安装的是1.7. 安装好python.机器自带2.6.6. 安装zookeeper的时候,下载文件,解压,在 /etc/profile 中设置环境变量.…

Storm安装与实验

接上一篇Kafka的安装与实验: http://www.cnblogs.com/charlesblc/p/6046023.html 还有再上一篇Flume的安装与实验: http://www.cnblogs.com/charlesblc/p/6046023.html Storm的安装可以参考这篇: http://shiyanjun.cn/archives/934.html 有1.0后的版本,和0.x的版本,最后为了稳妥,还是下载了0.10的版本. http://apache.fayea.com/…

如何在Linux上安装Storm

Storm是开源的分布式实时计算系统,能够让数据流处理变得简单.可靠,也因此在大数据领域有广泛的实际应用.下面介绍一下如何在Linux系统上安装Storm.根据Storm官网介绍,安装Storm软件分五步: 安装Zookeeper. 安装Storm的依赖环境:Java和Python. 下载并解压Storm安装包. 修改必要的Storm配置文件. 启动Storm程序. 一.Storm作为分布式系统,它的运行需要借助Zookeeper来进行协同.因此安装Storm之前需要先安装 Zookeeper…

Storm 集群安装配置

本文详细介绍了 Storm 集群的安装配置方法.如果需要在 AWS 上安装 Storm,你应该看一下 storm-deploy 项目.storm-deploy 可以自动完成 E2 上 Storm 集群的准备.配置.安装的全部过程,同时还设置好了 Ganglia,方便监控 CPU.磁盘以及网络的使用信息. 如果你在使用 Storm 集群时遇到问题,请先查看“问题与解决”一文中是否已有相应的解决方案.如果检索不到有效的解决方法,请向社区的邮件列表发送关于问题的邮件. 以下是安装 Storm 的步骤:…

kafka和storm集群的环境安装

前言 storm和kafka集群安装是没有必然联系的,我将这两个写在一起,是因为他们都是由zookeeper进行管理的,也都依赖于JDK的环境,为了不重复再写一遍配置,所以我将这两个写在一起.若只需一个,只需挑选自己选择的阅读即可. 这两者的依赖如下: Storm集群:JDK1.8 , Zookeeper3.4,Storm1.1.1: Kafa集群 : JDK1.8 ,Zookeeper3.4 ,Kafka2.12: 说明: Storm1.0 和Kafka2.0对JDK要求是1.7以上,Zook…

storm安装以及简单操作

storm的安装比较简单,下面以storm的单节点为例说明storm的安装步骤. 1.storm的下载进入storm的官方网站http://storm.apache.org/,点击download按钮,进入下载页面. 选择并下载apache-storm-0.9.6.tar.gz 2.安装 1.解压安装文件到制定的目录,并把storm加入到环境变量 .tar.gz -C /opt/ cd /opt storm sudo vi /etc/profile export STORM_HOME=/opt…

Twitter Storm 安装实战

实际上安装Twitter Storm是上周三的事情了,周三的时候安装了一个单机版的,用WordCount跑了一下,感觉还不错.周四试着在集群上安装,碰到了一些问题,一直折腾到周五,留了个尾巴(没有做测试),这周一终于跑了WordCount,先开始出了一些问题,查了很多资料终于解决了. 一直想要把这个过程记录一下,一直都比较犯懒,今天因为也要写文档,但还没有什么特别好的思路,所以先把整个安装过程恢复一下,以免时间长了,就不记得了,呵呵~ 特别感谢安分守己的好公民@新浪博客见龙在天@网易博客 &…

Mac安装 Storm 小结

Strom 安装&部署本地执行:Storm Topology是可进行本地运行的, 必须在发布前进行本地测试, 以确保代码本身业务逻辑没有问题( Windows也可执行, 但是由于权限等原因, 执行时可能会报错, 但不影响执行结果). 本地集群执行: Storm的本地集群搭建只能在UNIX架构的系统上执行, 相对于本地测试来说, 本地集群测试可以暴露更多的问题(比如文件路径, 权限等), 像是真正的将Topology提交到生产集群一样. Storm 相关网站: 并发编程网-Storm, 官网St…

Storm集群安装Version1.0.1开启Kerberos

Storm集群安装,基于版本1.0.1, 同时开启Kerberos安全认证, 使用apache-storm-1.0.1.tar.gz安装包. 1.安装规划角色规划 IP/机器名安装软件运行进程 UI, nimbus zdh-237 storm core,nimbus supervisor zdh-238 storm supervisor,worker,LogWriter supervisor zdh-239 storm supervisor,worker,LogWriter Storm集群…

Storm集群安装Version1.0.1

Storm集群安装,基于版本1.0.1, 使用apache-storm-1.0.1.tar.gz安装包. 1.安装规划角色规划 IP/机器名安装软件运行进程 nimbus zdh-237 storm core,nimbus supervisor zdh-238 storm supervisor,worker,LogWriter supervisor zdh-239 storm supervisor,worker,LogWriter 2.安装用户 storm/zdh1234 useradd…

[Storm] No data flows into bolt

最近在HDP2.1的HBase环境中安装了一个Storm测试机器(单节点,JDK8),遇到了几个问题,记录下来. 尝试步骤 1. 使用和HBase一样HDP版本,直接安装Storm yum install storm 顺利安装完了.nimbus, supervisor and ui都能顺利起来.一个小插曲是,中途需要修改UI使用的端口,默认的8080被占用.所幸只需要添加配置 ui.port 就解决了. 然后提交topology后,怎么都跑不起来.查看version,蒙逼了,Storm的版本是0…

Storm 单机版环境搭建

1 需要安装的软件要使用storm首先要安装以下工具:python.zookeeper.zeromq.jzmq.storm 1.1 安装zeromq wget http://download.zeromq.org/zeromq-2.2.0.tar.gz ##http://zeromq.org tar zxf zeromq-.tar.gz cd zeromq- ./configure make make install 1.2 安装jzmq wget https://github.com/zer…

Storm集成Kafka应用的开发

我们知道storm的作用主要是进行流式计算,对于源源不断的均匀数据流流入处理是非常有效的,而现实生活中大部分场景并不是均匀的数据流,而是时而多时而少的数据流入,这种情况下显然用批量处理是不合适的,如果使用storm做实时计算的话可能因为数据拥堵而导致服务器挂掉,应对这种情况,使用kafka作为消息队列是非常合适的选择,kafka可以将不均匀的数据转换成均匀的消息流,从而和storm比较完善的结合,这样才可以实现稳定的流式计算,那么我们接下来开发一个简单的案例来实现storm和kafka的结合 s…

linux 下搭建 storm

搭建storm 需要搭建: 1.zookeeper 搭建 2.下载/安装 storm 的依赖包 zeromq, jzmq,python 2.storm 搭建一.Zookeeper 安装下载安装包,到桌面 soft/zookeeper 解压命令 tar –xzvf zookeeper-3.4.5.tar.gz 解压完成之后得到一个zookeeper-3.4.5 的文件夹一路 cd到conf目录 zookeeper/conf 4.用cp 命令拷贝一个zoo_samle.cfg 为zo…

Kafka+Storm+HDFS整合实践

在基于Hadoop平台的很多应用场景中,我们需要对数据进行离线和实时分析,离线分析可以很容易地借助于Hive来实现统计分析,但是对于实时的需求Hive就不合适了.实时应用场景可以使用Storm,它是一个实时处理系统,它为实时处理类应用提供了一个计算模型,可以很容易地进行编程处理.为了统一离线和实时计算,一般情况下,我们都希望将离线和实时计算的数据源的集合统一起来作为输入,然后将数据的流向分别经由实时系统和离线分析系统,分别进行分析处理,这时我们可以考虑将数据源(如使用Flume收集日志)直接连接…