hadoop使用supervisord
#安装 wget https://pypi.python.org/packages/80/37/964c0d53cbd328796b1aeb7abea4c0f7b0e8c7197ea9b0b9967b7d004def/supervisor-3.3.1.tar.gz
tar zxf supervisor-3.3..tar.gz
cd supervisor-3.3.
python setup.py install
ln -s /usr/local/bin/supervisord /usr/bin/
ln -s /usr/local/bin/supervisorctl /usr/bin/
cd ..
#echo_supervisord_conf > /etc/supervisord.conf
#echo -e "[include]\nfiles = supervisord.d/*.ini" >> /etc/supervisord.conf
mkdir /etc/supervisord.d #配置文件
cat > /etc/supervisord.d/hadoop.ini << EOF
[program:hadoop]
user=user
#/data/user/hadoop-2.6./sbin/yarn-daemon.sh start resourcemanager启动后ps -ef | grep resourcemanager 出来的参数
command=/data/user/jdk1..0_71/bin/java -Dproc_resourcemanager -Xmx1000m -Dhadoop.log.dir=/data/user/hadoop-2.6./logs -Dyarn.log.dir=/data/user/hadoop-2.6./logs -Dhadoop.log.file=yarn-root-resourcemanag
er-hadoop-.log -Dyarn.log.file=yarn-root-resourcemanager-hadoop-.log -Dyarn.home.dir= -Dyarn.id.str=root -Dhadoop.root.logger=INFO,RFA -Dyarn.root.logger=INFO,RFA -Djava.library.path=/data/user/hadoop-
.6.0/lib/native -Dyarn.policy.file=hadoop-policy.xml -Dhadoop.log.dir=/data/user/hadoop-2.6./logs -Dyarn.log.dir=/data/user/hadoop-2.6./logs -Dhadoop.log.file=yarn-root-resourcemanager-hadoop-.log -Dya
rn.log.file=yarn-root-resourcemanager-hadoop-.log -Dyarn.home.dir=/data/user/hadoop-2.6. -Dhadoop.home.dir=/data/user/hadoop-2.6. -Dhadoop.root.logger=INFO,RFA -Dyarn.root.logger=INFO,RFA -Djava.librar
y.path=/data/user/hadoop-2.6./lib/native -classpath /data/user/hadoop-2.6./etc/hadoop:/data/user/hadoop-2.6./etc/hadoop:/data/user/hadoop-2.6./etc/hadoop:/data/user/hadoop-2.6./share/hadoop/commo
n/lib/*:/data/user/hadoop-2.6.0/share/hadoop/common/*:/data/user/hadoop-2.6.0/share/hadoop/hdfs:/data/user/hadoop-2.6.0/share/hadoop/hdfs/lib/*:/data/user/hadoop-2.6.0/share/hadoop/hdfs/*:/data/user/h
adoop-2.6.0/share/hadoop/yarn/lib/*:/data/user/hadoop-2.6.0/share/hadoop/yarn/*:/data/user/hadoop-2.6.0/share/hadoop/mapreduce/lib/*:/data/user/hadoop-2.6.0/share/hadoop/mapreduce/*:/data/user/hadoop-2.
6.0/share/hadoop/yarn/*:/data/user/hadoop-2.6.0/share/hadoop/yarn/lib/*:/data/user/hadoop-2.6.0/etc/hadoop/rm-config/log4j.properties org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
#进程停止的信号
stopsignal=QUIT
#启动supervisord的时候自动启动
autostart=true
autorestart = true
redirect_stderr=true
stdout_logfile=/data/user/hadoop-2.6.0/logs/supervisor.log
stderr_logfile=/data/user/hadoop-2.6.0/logs/supervisor_error.log
EOF #配置开机启动
cp supervisord /etc/init.d/
chmod +x /etc/init.d/supervisord
chkconfig --add supervisord
chkconfig supervisord on
chkconfig --list supervisord #使用方法
service supervisord start
service supervisord restart
supervisorctl restart hadoop
supervisorctl stop hadoop
supervisorctl start hadoop
supervisorctl status
hadoop使用supervisord的更多相关文章
- 【Hadoop】伪分布式环境搭建、验证
Hadoop伪分布式环境搭建: 自动部署脚本: #!/bin/bash set -eux export APP_PATH=/opt/applications export APP_NAME=Ares ...
- Supervisord进程管家
Supervisord进程管家 Supervisord是一个守护进程的工具,当进程意外终止或服务器掉电起来后,希望进程能够自动运行,supervisord可以很好的为我们做这件事情.同时supervi ...
- Hadoop 中利用 mapreduce 读写 mysql 数据
Hadoop 中利用 mapreduce 读写 mysql 数据 有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些 pv.uv 数据,然后为了实时查询的需求,或者一些 OLAP ...
- 初识Hadoop、Hive
2016.10.13 20:28 很久没有写随笔了,自打小宝出生后就没有写过新的文章.数次来到博客园,想开始新的学习历程,总是被各种琐事中断.一方面确实是最近的项目工作比较忙,各个集群频繁地上线加多版 ...
- hadoop 2.7.3本地环境运行官方wordcount-基于HDFS
接上篇<hadoop 2.7.3本地环境运行官方wordcount>.继续在本地模式下测试,本次使用hdfs. 2 本地模式使用fs计数wodcount 上面是直接使用的是linux的文件 ...
- hadoop 2.7.3本地环境运行官方wordcount
hadoop 2.7.3本地环境运行官方wordcount 基本环境: 系统:win7 虚机环境:virtualBox 虚机:centos 7 hadoop版本:2.7.3 本次先以独立模式(本地模式 ...
- 【Big Data】HADOOP集群的配置(一)
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
- Hadoop学习之旅二:HDFS
本文基于Hadoop1.X 概述 分布式文件系统主要用来解决如下几个问题: 读写大文件 加速运算 对于某些体积巨大的文件,比如其大小超过了计算机文件系统所能存放的最大限制或者是其大小甚至超过了计算机整 ...
- 程序员必须要知道的Hadoop的一些事实
程序员必须要知道的Hadoop的一些事实.现如今,Apache Hadoop已经无人不知无人不晓.当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软...... 1: ...
随机推荐
- 使用 Ajax
Ajax( Asynchronous JavaScript and XML) 在 Ajax 中 Asynchronous 是指异步, 代表 客户端(Client 通常是指浏览器) 可以向服务器(Ser ...
- 即将到来的5G,我们该做些什么准备?
本文来自网易云社区. 作者:任长存 5G和4G到底什么区别? 实际上5G只是4G通信技术上的演进,都是在 光速 = 波长*频率,这个数学公式上做文章,为什么这么讲? 首先大家都用过WIFI,WIFI的 ...
- VSX-3 VSCT文件
关于VSPackage中的VSCT,算是VSX开发中比较重要的一个成员. 我这里给出LearnVSXNow!系列文章关于VSCT的链接,除了#14有译文. #14 #18 #25 看完上面几篇文章,也 ...
- Start with PJSIP on windows
To overcome the project of HD video conferencing systerm,I should learn to use the PJSIP. I should m ...
- <<程序猿健康指南>> 笔记
序言: 长时间对着电脑工 作.一天下来基本不怎么走动的人,患高血压及 2 型糖尿病的风险远高于其他人群, 这两种疾病会对人体的健康产生长久的严重影响,还会增加心脏病及中风的几率. 前言: 阿米什人(A ...
- 《Cracking the Coding Interview》——第2章:链表——题目2
2014-03-18 02:24 题目:给定一个单链表,找出倒数第K个节点. 解法:让一个指针先走K步,然后俩指针一起走到尽头.当然也可以先走到尽头数出链表的长度,然后第二次少走K步.其实耗费的工夫是 ...
- python selenium 练习 自动获取豆瓣阅读当前特价书籍 chrome 元素定位 窗口切换 元素过期
豆瓣原创电子书每周推出数十本限时免费数目,一周免费期过后恢复原价.想着豆瓣原创书中有不少值得一看,便写了个脚本,免去一个个添加的烦恼. 使用了Windows下selenium+Python的组合,有较 ...
- sql 游标使用
declare @PASSDate datetime,@VLPN varchar(50),@VLPNColor varchar(10),@nambers int set @VLPN='';set @V ...
- initialization of 'zf' is skipped by 'case' label原因及解决方法
原因:switch 的 case 中不能定义变量,不然就会报错.可能是变量的初始化会因为有时候case条件不被执行而跳过. 解决方法: 1:在case中用{}将代码括起来,这样在{}中就能定义变量了; ...
- mysql中查询常用的关键字
最简单的查询: 1 select * from [where ] 1 select column1,column2....from [where] 这里需要注意的是where子句中条件过滤使用到的关键 ...