一:Storm集群环境搭建
第一:storm集群环境准备及部署
【1】硬件环境准备
--->机器数量>=3
--->网卡>=1
--->内存:尽可能大
--->硬盘:无额外需求
【2】软件环境准备
--->CentOS-6.0-x86_64系统环境
--->三台地址
--->zookeeper和storm公用物理环境
第二:节点环境查看
第三:节点之间用ip-->别名绑定/etc/hosts,然后用ping 别名 进行测试
第四:zookeeper集群环境搭建
第五:Storm集群环境搭建
【1】storm集群搭建的基本流程
【2】storm常用配置的讲解
第六:Storm安装包下载
第七:安装Storm
【1】将压缩包解压,并移动到创建的storm目录下
【2】storm.yaml配置文件的配置(配置文件不要空行,前边不要加空格)
#storm节点和zooKeeper集群建立链接的配置(zookeeper的节点名字用的是其所在机器的hostname)
storm.zookeeper.servers:
- "sjm6-qatest10-30.75"
- "sjm6-qatest11-30.76"
- "sjm6-qatest12-30.77"
#storm集群中的nimbus节点的配置
nimbus.host: "sjm6-qatest10-30.75"
#storm记录临时状态的配置(:后加一个空格,会自动创建)
storm.local.dir: "/var/storm/status"
#storm工作节点的进程端口。每配置一个端口,则工作节点就可以多启动一个worker
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
【3】storm环境变量的配置
#jdk
export JAVA_HOME=/apps/jdk1.6.0_19
export JAVA_BIN=/apps/jdk1.6.0_19/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
#zookeeper
export ZOOKEEPER_HOME= /opt/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH
#storm
export STORM_HOME=/opt/storm/apache-storm-0.9.2-incubating
export PATH=$STORM_HOME/bin:$PATH
【4】storm的启动
#storm ui >/dev/null 2>&1 &
==>启动storm的ui,将输出指向/dev/null设备中
==>2>&1 错误指向正常输出
==>& 表示后台运行
# storm nimbus>/dev/null 2>&1 &
==>启动nimbus节点
# storm supervisor>/dev/null 2>&1 &
==>启动supervisor节点
【5】storm的ui界面
一:Storm集群环境搭建的更多相关文章
- Storm —— 集群环境搭建
一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...
- Storm 学习之路(四)—— Storm集群环境搭建
一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...
- Storm 系列(四)—— Storm 集群环境搭建
一.集群规划 这里搭建一个 3 节点的 Storm 集群:三台主机上均部署 Supervisor 和 LogViewer 服务.同时为了保证高可用,除了在 hadoop001 上部署主 Nimbus ...
- 大数据处理框架之Strom:Storm集群环境搭建
搭建环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) zookeeper-3.4.11 jdk1.7.0_80 Pyth ...
- storm集群环境搭建
1.环境 Java环境 卸载虚机环境中自带的openJdk,安装sun的jdk,配置环境变量 2.安装storm 下载storm安装包 解压到安装目录,配置环境变量 vi /etc/profile # ...
- centos7:storm集群环境搭建
1.安装storm 下载storm安装包 在线下载 wget http://apache.fayea.com/storm/apache-storm-1.1.1/apache-storm-1.1.1.t ...
- 大数据 -- Hadoop集群环境搭建
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...
- Hadoop+Spark:集群环境搭建
环境准备: 在虚拟机下,大家三台Linux ubuntu 14.04 server x64 系统(下载地址:http://releases.ubuntu.com/14.04.2/ubuntu-14.0 ...
- 项目进阶 之 集群环境搭建(三)多管理节点MySQL集群
上次的博文项目进阶 之 集群环境搭建(二)MySQL集群中,我们搭建了一个基础的MySQL集群,这篇博客咱们继续讲解MySQL集群的相关内容,同时针对上一篇遗留的问题提出一个解决方案. 1.单管理节点 ...
随机推荐
- UVA.1584 环状序列
UVA.1584 环状序列 点我看题面 题意分析 给出你一段换装DNA序列,然后让你输出这段环状序列的字典序最小的序列情况. 字典序字面意思上理解就是按照字典编排的序列,其实也可以理解为按照ASCII ...
- 多线程中Local Store Slot(本地存储槽)[转]
1. 使用ThreadStatic特性 ThreadStatic特性是最简单的TLS使用,且只支持静态字段,只需要在字段上标记这个特性就可以了: [ThreadStatic] static str ...
- 【算法】【网络流24题】巨坑待填(成功TJ,有时间再填)
------------------------------------------------------------------------------------ 17/24 --------- ...
- 使用 Intel HAXM 为eclipse安卓模拟器加速
一.下载haxm安装 https://software.intel.com/zh-cn/android/articles/intel-hardware-accelerated-execution-ma ...
- Linux环境下用Weblogic发布项目【二】 -- 配置Domain域
配置注意事项: 修改密码时密码长度最少8位:在"<下一步>"后面为空即表示敲回车: 具体配置步骤如下: [root@GPS-App ~]# [root@GPS-App ...
- mysql的select的五子句
转: http://www.cnblogs.com/billyu/p/5033167.html http://www.cnblogs.com/xiadong90-2015/p/4222965.html ...
- mysql的主从复制原理与实现
关于mysql的主从复制,之前一直在听说这个话题,一直没有实现,昨天学习了下,原来是这么回事: 既然是主从复制,那么肯定有主有从,也就说一个主数据库(一般为写库),一个从数据库(读库).主数据库更新了 ...
- getopt和getopt_long参数处理
1:getopt函数 getopt主要用于解析程序运行时所带的参数,原型如下: #include <unistd.h> int getopt(int argc, char * const ...
- Bigbluebutton服务执行过程及相关配置文件
BigBlueButton服务列表 BigBlueButton由许多开源的服务组成,看似很麻烦,实际上拆分开每一个服务就很简单了,组件化平台化.究竟BBB都用到了哪些开源服务?我们来列举一下,名称均带 ...
- linux下bash脚本语法
1.shell中的变量定义和引用(1)变量定义和初始化.shell是弱类型语言(语言中的变量如果有明确的类型则属于强类型语言:变量没有明确类型就是弱类型语言),和C语言不同.在shell编程中定义变量 ...