STORM_0002_在做好的zookeeper集群上搭建storm的开发环境
参考文献
http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html
按照这个文献安装相应的支持软件
参考文献
http://blog.csdn.net/u011362822/article/details/42463695
提醒我一个关于zeromq的./configure时候的错误
参考文献
http://uohzoaix.github.io/studies/2014/04/15/stormCluster/
提醒我两个关于jzmq安装时候的错误处理
在~/.bashrc中配置
#storm
export STORM_HOME="/home/jason/StormProcessing/apache-storm-1.0.1"
export PATH=$STORM_HOME/bin:$PATH
在storm的配置文件中这样去配置
storm.zookeeper.servers:
- "192.168.60.129"
- "192.168.60.132"
- "192.168.60.133"
storm.local.dir: "/home/jason/StormProcessing/apache-storm-1.0.1/workdir" nimbus.host: "192.168.60.129" supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
这个配置文件的格式的要求比较严格要小心
在其中的一个节点运行下面的命令,让这个节点成为nimbus:
Nimbus: 在Storm主控节点上运行"bin/storm nimbus >/dev/null 2>&1 &"启动Nimbus后台程序,并放到后台执行;
在其他的节点运行下面的命令,成为supervisor:
Supervisor: 在Storm各个工作节点上运行"bin/storm supervisor >/dev/null 2>&1 &"启动Supervisor后台程序,并放到后台执行;
在nimbus运行下面的命令去看ui监控的情况:
UI: 在Storm主控节点上运行"bin/storm ui >/dev/null 2>&1 &"启动UI后台程序,并放到后台执行,启动后可以通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息。
[小总结]
bin/storm nimbus >/dev/null >& &
bin/storm ui >/dev/null >& &
bin/storm supervisor >/dev/null >& &
storm/bin/storm logviewer >/dev/null >& &
https://192.168.60.129:8080/
发现没什么东西
事实上我的后台程序,没运行就出错退出了。
为了看到出错的问题
我不再用后台运行了
jason@ubuntu:~/StormProcessing/apache-storm-1.0./bin$ storm nimbus
Traceback (most recent call last):
File "/home/jason/StormProcessing/apache-storm-1.0.1/bin/storm.py", line , in <module>
main()
File "/home/jason/StormProcessing/apache-storm-1.0.1/bin/storm.py", line , in main
(COMMANDS.get(COMMAND, unknown_command))(*ARGS)
File "/home/jason/StormProcessing/apache-storm-1.0.1/bin/storm.py", line , in nimbus
jvmopts = parse_args(confvalue("nimbus.childopts", cppaths)) + [
File "/home/jason/StormProcessing/apache-storm-1.0.1/bin/storm.py", line , in confvalue
p = sub.Popen(command, stdout=sub.PIPE)
File "/usr/lib/python2.7/subprocess.py", line , in __init__
errread, errwrite)
File "/usr/lib/python2.7/subprocess.py", line , in _execute_child
raise child_exception
OSError: [Errno ] Exec format error
File "/home/jason/StormProcessing/apache-storm-1.0.1/bin/storm.py", line , in <module>
main()
File "/home/jason/StormProcessing/apache-storm-1.0.1/bin/storm.py", line , in main
(COMMANDS.get(COMMAND, unknown_command))(*ARGS)
File "/home/jason/StormProcessing/apache-storm-1.0.1/bin/storm.py", line , in supervisor
jvmopts = parse_args(confvalue("supervisor.childopts", cppaths)) + [
File "/home/jason/StormProcessing/apache-storm-1.0.1/bin/storm.py", line , in confvalue
p = sub.Popen(command, stdout=sub.PIPE)
File "/usr/lib/python2.7/subprocess.py", line , in __init__
errread, errwrite)
File "/usr/lib/python2.7/subprocess.py", line , in _execute_child
raise child_exception
可以看到仿佛是权限或者是python的问题
那么关闭ubuntu的防火墙
ufw disable
ufw enable//重新开启防火墙
因为我没安装python本身自己带python
所以配置一下就行了
#python
export PYTHON_HOME="/usr/lib/python2.7"
export PATH=$PYTHON_HOME:$PATH
但是还是出现很多的错误根本运行不起来
而且发现虽然这些需要的脚本都在$PATH路径下
但是用sudo执行的时候还是找不到命令
有时候zookeeper根本启动不起来
所以每次运行比如
sudo ./zkServer.sh start
sudo ./zkServer.sh status
sudo ./storm nimbus
sudo ./storm supervisor
的时候都需要跑到相应的bin路径下才可以
无奈没法运行就全部重启,然后就可以看到亲爱的UI界面了
启动拓扑
storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3
allmycode.jar是包含Topology实现代码的jar包
org.me.MyTopology的main方法是Topology的入口
arg1、arg2和arg3为org.me.MyTopology执行时需要传入的参数
停止拓扑
storm kill {toponame}
其中,{toponame}为Topology提交到Storm集群时指定的Topology任务名称。
为了真实的看到效果
参考文献
http://blog.csdn.net/loloxiaoz3/article/details/19294289
按照上面的方法,下载一个例子程序
使用maven编译storm_starter源码
下载:git clone https://github.com/nathanmarz/storm-starter.git
编译:sudo mvn -f m2-pom.xml compile
打包:sudo mvn -f m2-pom.xml package
删除:sudo mvn -f m2-pom.xml clean
mvn -f 表示强制使用 m2-pom来编译
但是mvn下载的Jar包比较慢,到现在还没看到结束的迹象,估计今天看不到UI了。
向storm集群提交storm_starter中的example
提交topology:
sudo storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology WordCount
终止topology:
storm kill WordCount
STORM_0002_在做好的zookeeper集群上搭建storm的开发环境的更多相关文章
- zookeeper集群的搭建以及hadoop ha的相关配置
1.环境 centos7 hadoop2.6.5 zookeeper3.4.9 jdk1.8 master作为active主机,data1作为standby备用机,三台机器均作为数据节点,yarn资源 ...
- Solr集群的搭建以及使用(内涵zookeeper集群的搭建指南)
1 什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud.当一个系统的索引数据量少的时候 ...
- 大数据平台搭建-zookeeper集群的搭建
本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集 ...
- Docker 一步搞定 ZooKeeper 集群的搭建
Docker 一步搞定 ZooKeeper 集群的搭建 背景 原来学习 ZK 时, 我是在本地搭建的伪集群, 虽然说使用起来没有什么问题, 但是总感觉部署起来有点麻烦. 刚好我发现了 ZK 已经有了 ...
- centos7下安装zookeeper&zookeeper集群的搭建
一.centos7下安装zookeeper 1.zookeeper 下载地址 https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/ 2.安装步骤 ...
- Hadoop集群上搭建Ranger
There are two types of people in the world. I hate both of them. Hadoop集群上搭建Ranger 在搭建Ranger工程之前,需要完 ...
- centos7 zookeeper集群的搭建
说明:该集群的搭建是为了服务于solr集群,请参考我的关于solr集群搭建的博客. 1.创建solr-cloud目录 mkdir /usr/local/solr-cloud 2.将解压的apache- ...
- Zookeeper集群快速搭建
Zookeeper集群快速搭建 1.cd /usr/local/zookeeper/conf(如在192.168.212.101服务器) mv zoo_sample.cfg zoo.cfg 修改con ...
- 转-在Mac OS上搭建Python的开发环境
在Mac OS上搭建Python的开发环境 本文转载自:http://www.jb51.net/article/76931.htm 一. 安装python mac系统其实自带了一个python的执 ...
随机推荐
- IT职业选择与定位
(一) 位置有很多,最适合你的是哪个? 有的人在电子技术的层面工作,开发出性能强劲的芯片和硬件产品:有的人在别人开发的芯片和硬件上开发各种操作系统和驱动程序:有的人在各种操作系统或设备 ...
- linux驱动的入口函数module_init的加载和释放【转】
本文转载自:http://blog.csdn.net/zhandoushi1982/article/details/4927579 就像你写C程序需要包含C库的头文件那样,Linux内核编程也需要包含 ...
- stdout.read()与stdout.readlines()方法同时使用后果
stdout.read()与stdout.readlines()方法同时使用将无法导致最后使用的stdout.readlines()读取的内容为空,原因是首先调用的stdout.read()已将数据读 ...
- DateTimeUtil 工具类,android 和 java 通用
import java.sql.Date;import java.text.SimpleDateFormat; public class DateTimeUtil { public final cla ...
- grads 用arcgis分析站点的网格
第一步,用工具创建渔网(要素类) 第二步:将站点excel导入,生成点要素 站点excle,点击上面节点导出数据即可. 第三步,叠加在一起,找网格编号.
- 【PHP设计模式 11_QiaoJie.php】桥接模式(针对 二维模型)
<?php /** * [桥接模式(针对 二维模型)] * 对于多维度需要处理的事情,多耦合 * 第一维度,发送信息的类型:站内信.email.手机短信 * 第二维度,发送信息的紧急程度:普通. ...
- C/C++的一些备忘
今天使用source insight阅读videoserver源码,有一些符号ctrl+左键点击显示找不到,先是rebuild工程和同步,没有效果,然后Options->Preferences- ...
- python 拷贝文件夹下所有的文件到指定文件夹(不包括目录)
1.随便简单些写了一下.直接粘结代码,只是简单的实现一下,还很多需要完善和扩展的地方,比如忽略掉后缀文件,删除文件 如果排除的某些的话可以用: sourceF.find('.后缀')>0 2.注 ...
- EF 用CallContext上下文管理
public class ObjectContextFactory { private static CIK_NewsEntities context; public static DbContext ...
- c# Beginlnvoke 委托
using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; usin ...