Hadoop之Storm安装
nimbus:主节点,负责分发代码,分配任务(只能有一个)
supervisor:从节点,负责执行任务(可以有多个)
jdk
zookeeper(192.168.1.170/171/172)
建议在zookeeper的节点上设置一个crontab定时任务,同步时间:* * * * * /usr/sbin/ntpdate time.nist.gov
主节点:192.168.1.170 nimbus
从节点:192.168.1.171,172 supervisor
storm版本是0.9.3
安装
1. 解压:tar –zxvf
2. conf/storm.yaml
编辑:
1.srorm.zookeeper.servers:
-“192.168.0.1” (注意,-前是空格,不能是制表符,tab。-后也有空格 适用于多个参数)
- “ 192.168.0.2”
2. nimbus.host:(空格)”192.168.0.3”主节点(注意格式,单个参数)
3. storm.local.dir:”/usr/local/storm/tmp”存储提交的源码 (注意文件路径是否存在,以及权限,否则导致启动后 一会就exit )
4. supervisor.slots.ports:(格式同上)
-6700
-6701
-6702
-6703
5. 主节点与从节点配置文件一样。 将上述配置好的storm 直接copy其他节点。
6.启动 +后台启动
nohup storm /bin/storm nimbus >/dev/null 2>&1 & 主节点
(如果没有nohup ,关掉窗口后进程也关闭) & 后台 (记得要复习shell)
jps 会看到 conf_value 进程
nohup storm /bin/storm supervisor >/dev/null 2>&1 & 所有从节点
7.启动web界面
nohup storm /bin/storm ui>/dev/null 2>&1 & 主节点
进程名称 core
访问 :192.168.0.3:8080
8.启动后台log
nohup storm logviewer >/dev/null 2>&1 & 所有从节点
9.提交代码
storm java path/*.jar xxxxMainclasee(全路径)
Hadoop之Storm安装的更多相关文章
- hadoop系列一:hadoop集群安装
转载请在页首明显处注明作者与出处 http://www.cnblogs.com/zhuxiaojie/p/6384393.html 一:说明 此为大数据系列的一些博文,有空的话会陆续更新,包含大数据 ...
- 分布式处理与大数据平台(RabbitMQ&Celery&Hadoop&Spark&Storm&Elasticsearch)
热门的消息队列中间件RabbitMQ,分布式任务处理平台Celery,大数据分布式处理的三大重量级武器:Hadoop.Spark.Storm,以及新一代的数据采集和分析引擎Elasticsearch. ...
- java大数据最全课程学习笔记(1)--Hadoop简介和安装及伪分布式
Hadoop简介和安装及伪分布式 大数据概念 大数据概论 大数据(Big Data): 指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新处理模式才能具有更强的决策力,洞察发 ...
- Hadoop之Storm命令
Hadoop之Storm命令 1.storm核心概念 stream--->一列火车 tuple--->一节车厢 数据--->乘客 spout--->始发站 bolt---> ...
- Hadoop三种安装模式:单机模式,伪分布式,真正分布式
Hadoop三种安装模式:单机模式,伪分布式,真正分布式 一 单机模式standalone单 机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守 ...
- Linux下Hadoop的简单安装
Hadoop 的安装极为简单,一共只有三步: 安装JDK 安装Hadoop 配置Hadoop 1,安装JDK 下载JDK,ftp传到linux或者linux中下载 切换 ...
- Hadoop单机模式安装
一.实验环境说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序: ...
- Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS
摘自:http://www.powerxing.com/install-hadoop-cluster/ 本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否 ...
- hadoop多机安装YARN
hadoop伪分布安装称为测试环境安装,多机分布称为生成环境安装.以下安装没有进行HA(热备)和Federation(联邦).除非是性能需要,否则没必要安装Federation,HA可以一试,涉及到Z ...
随机推荐
- windows下安装使用Composer记录
一直以来都是直接下载类库文件放到项目中使用 Composer是一个PHP依赖管理工具,有了它,就可以对依赖的包进行统一管理,而且在项目中可以实现自动加载 安装和使用composer 下载并且运行 Co ...
- 【Alpha】团队贡献分配计划
在仔细看过邹老师的博客和一些主流公司的绩效管理考核方面的内容后,本来我们小组在讨论后决定简化Google的OKR制度,加入一些自己的元素作为我们团队的主要贡献评定制度. OKR就是“目标和关键成果”( ...
- codevs 1001 舒适的路线(Kruskal)
传送门 Description Z小镇是一个景色宜人的地方,吸引来自各地的观光客来此旅游观光.Z小镇附近共有N(1<N≤500)个景点(编号为1,2,3,…,N),这些景点被M(0<M≤5 ...
- SublimeREPL快捷键设置
SublimeREPL 允许你在 Sublime Text 中运行各种语言(NodeJS , Python,Ruby, Scala 和 Haskell 等等).所以对于程序员来说,这是很重要的一个插件 ...
- DropZone
JavaScript 文件拖拽上传插件 dropzone.js 介绍 February 19, 2014 / 编程指南 dropzone.js 是一个开源的 JavaScript 库,提供 AJAX ...
- 正则表达式:Pattern类与Matcher类详解
一.捕获组的概念 捕获组可以通过从左到右计算其开括号来编号,编号是从1 开始的.例如,在表达式((A)(B(C)))中,存在四个这样的组: 1 ((A)(B(C))) 2 (A) 3 ...
- bookstrap必备的基础知识
- collectionView
// /* UICollectionView 类是iOS6 新引进的API,用于展示集合视图, 布局更加灵活,可实现多列布局,用法类似于UITableView类. - 更新视图: [collectio ...
- CookContainer 序列化保存
using System;using System.Collections;using System.Globalization;using System.IO;using System.Net;us ...
- sql编程小结
对照mysql5.1手册,对这几天学的sql编程进行小结,主要涉及触发器.存储过程.权限管理.主从分离等,权当抛砖引玉,高手请略过. 一.触发器 通俗的说就是在指定的数据表增删改的前或后触发执行特定的 ...