storm集群环境搭建
1.环境
Java环境
卸载虚机环境中自带的openJdk,安装sun的jdk,配置环境变量
2.安装storm
下载storm安装包
解压到安装目录,配置环境变量
vi /etc/profile
#storm环境变量
export STORM_HOME=/opt/deploy/storm/apache-storm-1.1.1
export PATH=$PATH:$STORM_HOME/bin
3.编写配置文件
storm.yaml文件
vi storm.yaml
#zookeeper集群虚机ip
storm.zookeeper.servers:
- "192.168.0.1"
- "192.168.0.2"
- "192.168.0.3"
#nimbus机器ip
nimbus.seeds: ["192.168.0.4"]
#zookeeper端口
storm.zookeeper.port: 2181
#storm少量数据存放地址
storm.local.dir: "/opt/deploy/storm/apache-storm-1.1.1/data"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
创建data文件夹 mkdir apache-storm-1.1.1/data
赋给文件夹读写的权限
sudo chmod -R 777 data
注释:
-R 是指级联应用到目录里的所有子目录和文件
777 是所有用户都拥有最高权限
配置完成后通过scp命令分发到storm集群的其他机器上,并修改相应的配置文件
4.启动,测试安装是否成功
4.1 master节点:Storm1
启动nimbus和ui服务。
nohup /opt/deploy/storm/apache-storm-1.1.1/bin/storm ui >/dev/null 2>&1 &
nohup /opt/deploy/storm/apache-storm-1.1.1/bin/storm nimbus >/dev/null 2>&1 &
4.2 slave节点:Storm2、Storm3
启动supervisor服务。
nohup /opt/deploy/storm/apache-storm-1.1.1/bin/storm supervisor >/dev/null 2>&1 &
4.3 jps查看进程
master节点
jps
出现以下显示
2947 QuorumPeerMain
3828 Jps
3485 nimbus
3437 core
slave节点
jps
出现以下显示
1896 Jps
1628 QuorumPeerMain
1726 supervisor
5、访问storm1:8888查看storm ui页面
192.168.0.121:8888
备注:
如果storm ui页面无法访问,检查一下服务器的防火墙是否没有关闭
CentOS 7.0默认使用的是firewall作为防火墙
查看防火墙状态
firewall-cmd --state
1
停止firewall
systemctl stop firewalld.service
1
禁止firewall开机启动
systemctl disable firewalld.service
storm集群环境搭建的更多相关文章
- 一:Storm集群环境搭建
第一:storm集群环境准备及部署[1]硬件环境准备--->机器数量>=3--->网卡>=1--->内存:尽可能大--->硬盘:无额外需求[2]软件环境准备---& ...
- Storm —— 集群环境搭建
一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...
- Storm 学习之路(四)—— Storm集群环境搭建
一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...
- Storm 系列(四)—— Storm 集群环境搭建
一.集群规划 这里搭建一个 3 节点的 Storm 集群:三台主机上均部署 Supervisor 和 LogViewer 服务.同时为了保证高可用,除了在 hadoop001 上部署主 Nimbus ...
- 大数据处理框架之Strom:Storm集群环境搭建
搭建环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) zookeeper-3.4.11 jdk1.7.0_80 Pyth ...
- centos7:storm集群环境搭建
1.安装storm 下载storm安装包 在线下载 wget http://apache.fayea.com/storm/apache-storm-1.1.1/apache-storm-1.1.1.t ...
- 大数据 -- Hadoop集群环境搭建
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...
- Hadoop+Spark:集群环境搭建
环境准备: 在虚拟机下,大家三台Linux ubuntu 14.04 server x64 系统(下载地址:http://releases.ubuntu.com/14.04.2/ubuntu-14.0 ...
- 项目进阶 之 集群环境搭建(三)多管理节点MySQL集群
上次的博文项目进阶 之 集群环境搭建(二)MySQL集群中,我们搭建了一个基础的MySQL集群,这篇博客咱们继续讲解MySQL集群的相关内容,同时针对上一篇遗留的问题提出一个解决方案. 1.单管理节点 ...
随机推荐
- super、this关键字
super调用(父类) 调用方法 语法: super.父类方法名(形参列表); 可以在子类方法和构造器中使用,调用父类被覆盖的方法. 实例变量 语法: super.父类实例变量名; ...
- 牛客练习赛47 A DongDong破密码 (异或性质,递推)
链接:https://ac.nowcoder.com/acm/contest/904/A 来源:牛客网 DongDong破密码 时间限制:C/C++ 1秒,其他语言2秒 空间限制:C/C++ 1310 ...
- poj1419 Graph Coloring 最大独立集(最大团)
最大独立集: 顶点集V中取 K个顶点,其两两间无连接. 最大团: 顶点集V中取 K个顶点,其两两间有边连接. 最大独立集=补图的最大团最大团=补图的最大独立集 #include<iostream ...
- 502 bad gateway nginx 的错误的解决方案
总结 一般是php问题居多,也需要调整相应的nginx参数,最后也可能是mysql假死 nginx问题 查看日志中的报错error.log一般设置路径/usr/local/nginx/logs/ngi ...
- 【HDU4034】Graph
题目大意:给定一个图的最短路,求原图中至少存在多少条边. 题解:利用 Floyd 的性质,枚举边 d[i][j],若存在一个不是两端点的点,使得 d[i][j]=d[i][k]+d[k][j] 成立, ...
- SpringMVC @PathVariable注解
下面用代码来演示@PathVariable传参方式 @RequestMapping("/user/{id}") public String test(@PathVariable(& ...
- MySQL数据表
创建数据表 CREATE TABLE IF NOT EXISTS ([列名column][类型type][约束可选]) 查看数据表结构 DESC <表名> 修改数据表结构 ALTER ...
- CMDB表结构设计
服务器 内存.cpu.disk.nic.raid.sn.model.os.status. disk_info = { } SERVER001 storage .... NET001 网络设备 eth ...
- NOIP提高组2016总结
前言 大翻车! 300--: day1 8:30~9:00, 照常看题,思考. 9:00~9:15, 搞定第一题,很水. 9:15~9:45, 思考第二题,我考虑用分深度来处理,想出个个玄学暴力,但刚 ...
- 实战build-react(三)
安装 redux-thunk yarn add redux-thunk 或 npm install redux-thunk --save https://github.com/zalmoxisus/r ...