hadoop使用supervisord
#安装 wget https://pypi.python.org/packages/80/37/964c0d53cbd328796b1aeb7abea4c0f7b0e8c7197ea9b0b9967b7d004def/supervisor-3.3.1.tar.gz
tar zxf supervisor-3.3..tar.gz
cd supervisor-3.3.
python setup.py install
ln -s /usr/local/bin/supervisord /usr/bin/
ln -s /usr/local/bin/supervisorctl /usr/bin/
cd ..
#echo_supervisord_conf > /etc/supervisord.conf
#echo -e "[include]\nfiles = supervisord.d/*.ini" >> /etc/supervisord.conf
mkdir /etc/supervisord.d #配置文件
cat > /etc/supervisord.d/hadoop.ini << EOF
[program:hadoop]
user=user
#/data/user/hadoop-2.6./sbin/yarn-daemon.sh start resourcemanager启动后ps -ef | grep resourcemanager 出来的参数
command=/data/user/jdk1..0_71/bin/java -Dproc_resourcemanager -Xmx1000m -Dhadoop.log.dir=/data/user/hadoop-2.6./logs -Dyarn.log.dir=/data/user/hadoop-2.6./logs -Dhadoop.log.file=yarn-root-resourcemanag
er-hadoop-.log -Dyarn.log.file=yarn-root-resourcemanager-hadoop-.log -Dyarn.home.dir= -Dyarn.id.str=root -Dhadoop.root.logger=INFO,RFA -Dyarn.root.logger=INFO,RFA -Djava.library.path=/data/user/hadoop-
.6.0/lib/native -Dyarn.policy.file=hadoop-policy.xml -Dhadoop.log.dir=/data/user/hadoop-2.6./logs -Dyarn.log.dir=/data/user/hadoop-2.6./logs -Dhadoop.log.file=yarn-root-resourcemanager-hadoop-.log -Dya
rn.log.file=yarn-root-resourcemanager-hadoop-.log -Dyarn.home.dir=/data/user/hadoop-2.6. -Dhadoop.home.dir=/data/user/hadoop-2.6. -Dhadoop.root.logger=INFO,RFA -Dyarn.root.logger=INFO,RFA -Djava.librar
y.path=/data/user/hadoop-2.6./lib/native -classpath /data/user/hadoop-2.6./etc/hadoop:/data/user/hadoop-2.6./etc/hadoop:/data/user/hadoop-2.6./etc/hadoop:/data/user/hadoop-2.6./share/hadoop/commo
n/lib/*:/data/user/hadoop-2.6.0/share/hadoop/common/*:/data/user/hadoop-2.6.0/share/hadoop/hdfs:/data/user/hadoop-2.6.0/share/hadoop/hdfs/lib/*:/data/user/hadoop-2.6.0/share/hadoop/hdfs/*:/data/user/h
adoop-2.6.0/share/hadoop/yarn/lib/*:/data/user/hadoop-2.6.0/share/hadoop/yarn/*:/data/user/hadoop-2.6.0/share/hadoop/mapreduce/lib/*:/data/user/hadoop-2.6.0/share/hadoop/mapreduce/*:/data/user/hadoop-2.
6.0/share/hadoop/yarn/*:/data/user/hadoop-2.6.0/share/hadoop/yarn/lib/*:/data/user/hadoop-2.6.0/etc/hadoop/rm-config/log4j.properties org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
#进程停止的信号
stopsignal=QUIT
#启动supervisord的时候自动启动
autostart=true
autorestart = true
redirect_stderr=true
stdout_logfile=/data/user/hadoop-2.6.0/logs/supervisor.log
stderr_logfile=/data/user/hadoop-2.6.0/logs/supervisor_error.log
EOF #配置开机启动
cp supervisord /etc/init.d/
chmod +x /etc/init.d/supervisord
chkconfig --add supervisord
chkconfig supervisord on
chkconfig --list supervisord #使用方法
service supervisord start
service supervisord restart
supervisorctl restart hadoop
supervisorctl stop hadoop
supervisorctl start hadoop
supervisorctl status
hadoop使用supervisord的更多相关文章
- 【Hadoop】伪分布式环境搭建、验证
Hadoop伪分布式环境搭建: 自动部署脚本: #!/bin/bash set -eux export APP_PATH=/opt/applications export APP_NAME=Ares ...
- Supervisord进程管家
Supervisord进程管家 Supervisord是一个守护进程的工具,当进程意外终止或服务器掉电起来后,希望进程能够自动运行,supervisord可以很好的为我们做这件事情.同时supervi ...
- Hadoop 中利用 mapreduce 读写 mysql 数据
Hadoop 中利用 mapreduce 读写 mysql 数据 有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些 pv.uv 数据,然后为了实时查询的需求,或者一些 OLAP ...
- 初识Hadoop、Hive
2016.10.13 20:28 很久没有写随笔了,自打小宝出生后就没有写过新的文章.数次来到博客园,想开始新的学习历程,总是被各种琐事中断.一方面确实是最近的项目工作比较忙,各个集群频繁地上线加多版 ...
- hadoop 2.7.3本地环境运行官方wordcount-基于HDFS
接上篇<hadoop 2.7.3本地环境运行官方wordcount>.继续在本地模式下测试,本次使用hdfs. 2 本地模式使用fs计数wodcount 上面是直接使用的是linux的文件 ...
- hadoop 2.7.3本地环境运行官方wordcount
hadoop 2.7.3本地环境运行官方wordcount 基本环境: 系统:win7 虚机环境:virtualBox 虚机:centos 7 hadoop版本:2.7.3 本次先以独立模式(本地模式 ...
- 【Big Data】HADOOP集群的配置(一)
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
- Hadoop学习之旅二:HDFS
本文基于Hadoop1.X 概述 分布式文件系统主要用来解决如下几个问题: 读写大文件 加速运算 对于某些体积巨大的文件,比如其大小超过了计算机文件系统所能存放的最大限制或者是其大小甚至超过了计算机整 ...
- 程序员必须要知道的Hadoop的一些事实
程序员必须要知道的Hadoop的一些事实.现如今,Apache Hadoop已经无人不知无人不晓.当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软...... 1: ...
随机推荐
- ASP.NET 使用 MySQL
基本是通用的 C#与MySQL的交互, 先添加MySQL.Data.dll(位于MySQL安装目录下的Connector NET 8.0\Assemblies${version}目录下)引用, 之后代 ...
- layout焊盘过孔大小的设计标准
PCB设计前准备 1.准确无误的原理图.包括完整的原理图文件和网表,带有元件编码的正式的BOM.原理图中所有器件的PCB封装(对于封装库中没有的元件,硬件工程师应提供datasheet或者实物,并指定 ...
- Servlet过滤器---编码转换过滤器
该实例用于将请求与相应的编码设置为当前网站的默认编码 java类: import java.io.IOException; import javax.servlet.Filter; import ja ...
- Java-JNA使用心得2
自5月初第一次尝试使用Java封装调用C的dll之后,已经先后经历了3次小项目了. 上月末是最近的一次项目实际,任务来的急时间又少,还好在加班加点后还是完成了任务,并把第二次没有实现的功能给实现了(C ...
- Windows系统搭建Mysql Cluster集群
简单介绍一下MySQL集群涉及的三种节点: 管理节点(也可以称管理服务器)是整个集群环境的核心,类似于集群中起调度作用的枢纽,由它来负责管理其它节点(数据节点和SQL节点)的开启.关闭或重启某 ...
- centos使用--rpm和yum的关系以及基本用法
1 RPM包 RPM是RedHat Package Manager(RedHat软件包管理工具)类似Windows里面的"添加/删除程序" rpm 执行安装包 二进制包(Binar ...
- centos使用--vim配置和推荐插件使用
目录 1.vimrc的配置内容 2.Vundle使用 简介 安装vundle 配置vundle插件: 安装需要的插件 移除不需要的插件 其他常用命令 3 使用插件 3.1 NERDTree 3.2 e ...
- Java的接口和抽象类深入理解
对于面向对象编程来说,抽象是它的一大特征之一.在Java中,可以通过两种形式来体现OOP的抽象:接口和抽象类.这两者确实有很多相似的地方,看了一整天别人怎么说,大致总结如下: 一.抽象类 在了解抽象类 ...
- JavaSE总结--多线程
进程: 进程之间内存隔离,内存不共享. 线程: 可以共享内存. 每个线程都是一个栈. 多线程的好处: 1)防止程序阻塞. wait与notify的区别: 针对等待队列而言. wait:进入等待队列.必 ...
- 2016年后web开发趋势是什么?
2016 年后 Web开发趋势是什么 来源:yafeilee.me 发布时间:2016-05-06 阅读次数:1378 3 近二年的进展 前端发展日新月异, 甚至有一句戏言: "每六星期 ...