storm集群环境搭建
1.环境
Java环境
卸载虚机环境中自带的openJdk,安装sun的jdk,配置环境变量
2.安装storm
下载storm安装包
解压到安装目录,配置环境变量
vi /etc/profile
#storm环境变量
export STORM_HOME=/opt/deploy/storm/apache-storm-1.1.1
export PATH=$PATH:$STORM_HOME/bin
3.编写配置文件
storm.yaml文件
vi storm.yaml
#zookeeper集群虚机ip
storm.zookeeper.servers:
- "192.168.0.1"
- "192.168.0.2"
- "192.168.0.3"
#nimbus机器ip
nimbus.seeds: ["192.168.0.4"]
#zookeeper端口
storm.zookeeper.port: 2181
#storm少量数据存放地址
storm.local.dir: "/opt/deploy/storm/apache-storm-1.1.1/data"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
创建data文件夹 mkdir apache-storm-1.1.1/data
赋给文件夹读写的权限
sudo chmod -R 777 data
注释:
-R 是指级联应用到目录里的所有子目录和文件
777 是所有用户都拥有最高权限
配置完成后通过scp命令分发到storm集群的其他机器上,并修改相应的配置文件
4.启动,测试安装是否成功
4.1 master节点:Storm1
启动nimbus和ui服务。
nohup /opt/deploy/storm/apache-storm-1.1.1/bin/storm ui >/dev/null 2>&1 &
nohup /opt/deploy/storm/apache-storm-1.1.1/bin/storm nimbus >/dev/null 2>&1 &
4.2 slave节点:Storm2、Storm3
启动supervisor服务。
nohup /opt/deploy/storm/apache-storm-1.1.1/bin/storm supervisor >/dev/null 2>&1 &
4.3 jps查看进程
master节点
jps
出现以下显示
2947 QuorumPeerMain
3828 Jps
3485 nimbus
3437 core
slave节点
jps
出现以下显示
1896 Jps
1628 QuorumPeerMain
1726 supervisor
5、访问storm1:8888查看storm ui页面
192.168.0.121:8888
备注:
如果storm ui页面无法访问,检查一下服务器的防火墙是否没有关闭
CentOS 7.0默认使用的是firewall作为防火墙
查看防火墙状态
firewall-cmd --state
1
停止firewall
systemctl stop firewalld.service
1
禁止firewall开机启动
systemctl disable firewalld.service
storm集群环境搭建的更多相关文章
- 一:Storm集群环境搭建
第一:storm集群环境准备及部署[1]硬件环境准备--->机器数量>=3--->网卡>=1--->内存:尽可能大--->硬盘:无额外需求[2]软件环境准备---& ...
- Storm —— 集群环境搭建
一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...
- Storm 学习之路(四)—— Storm集群环境搭建
一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...
- Storm 系列(四)—— Storm 集群环境搭建
一.集群规划 这里搭建一个 3 节点的 Storm 集群:三台主机上均部署 Supervisor 和 LogViewer 服务.同时为了保证高可用,除了在 hadoop001 上部署主 Nimbus ...
- 大数据处理框架之Strom:Storm集群环境搭建
搭建环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) zookeeper-3.4.11 jdk1.7.0_80 Pyth ...
- centos7:storm集群环境搭建
1.安装storm 下载storm安装包 在线下载 wget http://apache.fayea.com/storm/apache-storm-1.1.1/apache-storm-1.1.1.t ...
- 大数据 -- Hadoop集群环境搭建
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...
- Hadoop+Spark:集群环境搭建
环境准备: 在虚拟机下,大家三台Linux ubuntu 14.04 server x64 系统(下载地址:http://releases.ubuntu.com/14.04.2/ubuntu-14.0 ...
- 项目进阶 之 集群环境搭建(三)多管理节点MySQL集群
上次的博文项目进阶 之 集群环境搭建(二)MySQL集群中,我们搭建了一个基础的MySQL集群,这篇博客咱们继续讲解MySQL集群的相关内容,同时针对上一篇遗留的问题提出一个解决方案. 1.单管理节点 ...
随机推荐
- Ubuntu16.04下安装httpd+svn+viewVC
一.安装httpd 1.下载httpd 网址:http://httpd.apache.org/download.cgi#apache24 下载这一条---Source: httpd-2.4.39.ta ...
- 查个远程桌面是否开启 debug版360报毒 release 不报毒
360 真tm流氓一个
- [易学易懂系列|rustlang语言|零基础|快速入门|(8)|Operators操作符]
[易学易懂系列|rustlang语言|零基础|快速入门|(8)] 有意思的基础知识 Operators 我们今天再来看看操作符. 算术运算 操作符: + - * / % 代码如下 : let a = ...
- 移动web开发问题和经验总结
前言 这里大部分是自己遇到过的情况,还有一部分借鉴了同行的文章,如果大家有遇到其它坑,欢迎提出来一起研究. 知识要点 1. Meta标签 1.禁止用户缩放页面,页面强制让文档的宽度与设备的宽度保持1: ...
- ZROI 19.08.06模拟赛
传送门 写在前面:为了保护正睿题目版权,这里不放题面,只写题解. 今天正睿又倒闭了,从删库到跑路. 天祺鸽鸽txdy! A "不要像个小学生一样一分钟就上来问东西."--蔡老板 虽 ...
- 【leetcode】689. Maximum Sum of 3 Non-Overlapping Subarrays
题目如下: In a given array nums of positive integers, find three non-overlapping subarrays with maximum ...
- Devexpress 10
序言 Grid表格 资料 https://www.devexpresscn.com/
- CDOJ 1070 秋实大哥打游戏 带权并查集
链接 F - 秋实大哥打游戏 Time Limit:1000MS Memory Limit:65535KB 64bit IO Format:%lld & %llu Submit ...
- ELK结合logback
之前ELK的安装可以查看前面一篇博客 下面是我的logback的配置文件,通过logback的appender直接导入logstash <?xml version="1.0" ...
- 解决vuex保存的数据刷新页面时清空
参考文章: vuex中store保存的数据,刷新页面会清空 主要解决代码: 1.更改store文件下index文件state的定义 const store = new Vuex.Store({ sta ...