CM (Cloudera Manager) 的安装,便于CDH的离线部署
一、准备工作
主机个数:n台
操作系统:CentOS 6.5
安装所需软件包:
CM: cloudera-manager-el6-cm5.4.3_x86_64.tar.gz
CDH parcel: CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha #将下载的 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1重命名为CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha
manifest.json
JDK: jdk-7u67-linux-x64.rpm
MySql driver: mysql-connector-java-5.1.26-bin.jar
软件下载地址:
CDH下载地址: http://archive.cloudera.com/cdh5/
其中parcels地址:http://archive.cloudera.com/cdh5/parcels/5.4.0
CM下载地址:http://www.cloudera.com/downloads/manager/5-4-3.html
CM安装官方文档说明:
http://www.cloudera.com/documentation/enterprise/5-4-x/topics/installation_installation.html
二、系统环境配置
1、配置网络环境
- 将主机修改为静态IP
- 修改主机名及对应的IP
2、SHH设置免密码登录
ssh-keygen -t rsa #生成密钥文件
ssh-copy-id 主机名 #将生成的公钥文件copy到指定主机
3、关闭防火墙
service iptables stop #关闭防火墙
chkconfig iptables off #关闭开机启动
4、关闭SELinux
setenforce 0 #临时关闭
vi /etc/selinux/config 修改SELINUX=disabled #永久生效
5、配置时间同步
yun install ntp
chkconfig ntp on
ntpdate -u ntp.sjtu.edu.cn #如果此时间服务器无效,可网上找寻其他时间服务器
6、安装JDK
Jdk版本官网要求:1.7.0_67 1.7.0_75 1.8.0_60
安装准备好的rpm包:rpm –ivh jdk-7u67-linux-x64.rpm
配置环境变量
vi ~/.bash_profile
#JAVA export JAVA_HOME=/usr/java/jdk1..0_67 export PATH=$PATH:$JAVA_HOME/bin
source ~/.bash_profile
7、安装mysql
官网推荐 5.1、5.5、5.6版本
安装:yum install mysql-server
修改权限:
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
flush privileges;
8、下载第三方依赖包
yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb –y
三、安装CM
1、安装CM Agent和Server
在agent和server主机上创建目录
mkdir /opt/cloudera-manager
将安装包解压到指定目录
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
2、创建用户 cloudera-scm
在所有节点上执行
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
3、配置CM Agent
修改配置文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中的server_host和server_port。server_port默认为7182。
4、配置CM Server数据库
拷贝mysql驱动
cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar
执行mysql命令
grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
配置库
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
./scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp --scm-host node1 scm scm scm
其中node1为server主机名
5、创建parcel目录
Server节点
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent节点
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
6、上传CDH本地源
上传CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel
CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha
manifest.json
文件到/opt/cloudera/parcel-repo
7、启动CM Server和Agent
cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/
./cloudera-scm-server start
运行很慢,可通过log跟踪启动过程。
./cloudera-scm-agent start
在所有agent节点上,都要启动
8、访问CM
用户名、密码:admin
接下来就可以安装想要的CDH服务了。
CM安装服务的配置文件存放位置:
/etc/
CM安装服务的运行日志位置: /var/log/
CM安装服务的包文件存放位置: /opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/
CM (Cloudera Manager) 的安装,便于CDH的离线部署的更多相关文章
- CDH 2、Cloudera Manager的安装
1.Cloudera Manager • Cloudera Manager是一个管理CDH的端到端的应用. • 作用: – 管理 – 监控 – 诊断 – 集成 • 架构 • Server – 管理控制 ...
- Cloudera Manager(CentOS)安装介绍
相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识 目 录 1 准备工 作.................................... ...
- Cloudera Manager 5.9 和 CDH 5.9 离线安装指南及个人采坑填坑记
公司的CDH早就装好了,一直想自己装一个玩玩,最近组了台电脑,笔记本就淘汰下来了,加上之前的,一共3台,就在X宝上买了CPU和内存升级了下笔记本,就自己组了个集群. 话说,好想去捡垃圾,捡台8核16线 ...
- Cloudera Manager的安装
1. cloudera manager的概念 简单来说,Cloudera Manager是一个拥有集群自动化安装.中心化管理.集群监控.报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个 ...
- CDH简易离线部署文档
CDH 离线简易部署文档 文档说明 本文为开发部署文档,生产环境需做相应调整. 以下操作尽量在root用户下操作,避免权限问题. 目录 文档说明 2 文档修改历史记录 2 目录 3 ...
- 安装Cloudera Manager集群时首次运行命令部署客户端设置失败的解决办法(图文详解)
不多说,直接上干货! 问题详情 解决办法 (1) 时间同步检查下(尤其是这个) (2) 防火墙是否关闭 (3) cloudera-scm-server 和 cloudera-scm-agent 是否启 ...
- Cloudera Manager 5 和 CDH5 本地(离线)安装指南
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.0.0/RPMS/x86_64/ http://archive-primary.clouder ...
- Cloudera Manager、CDH零基础入门、线路指导 http://www.aboutyun.com/thread-9219-1-1.html (出处: about云开发)
Cloudera Manager.CDH零基础入门.线路指导http://www.aboutyun.com/thread-9219-1-1.html(出处: about云开发) 问题导读:1.什么是c ...
- 1.5.6、CDH 搭建Hadoop在安装之前(定制安装解决方案---使用Cloudera Manager模板创建CDH群集)
使用Cloudera Manager模板创建CDH群集 您可以通过从Cloudera Manager管理的现有CDH群集导出群集模板来创建新的CDH群集.然后,您可以修改模板并使用它在新的主机集上创建 ...
随机推荐
- 1-1 sacc(scss)入门
定义: CSS 预处理器定义了一种新的语言,其基本思想是,用一种专门的编程语言,为 CSS 增加了一些编程的特性,将 CSS 作为目标生成文件,然后开发者就只要使用这种语言进行编码工作. 通俗的说,“ ...
- vs中nuget命令的用法
一.安装 1.安装指定版本类库install-package <程序包名> -version <版本号> ( 注意:-version <版本号> 可以 ...
- Nginx的location剖析
1.location的作用: location指令的作用是根据用户的请求的URL来执行不同的应用 2.location的语法: location [ = | ~ | ~* | ^~ ] uri { . ...
- MediaPlayer音乐播放器、上一首、下一首、播放、停止、自动下一首、进度条
本文介绍MediaPlayer的使用.MediaPlayer可以播放音频和视频,另外也可以通过VideoView来播放视频,虽然VideoView比MediaPlayer简单易用,但定制性不如用Med ...
- git cherry-pick 用法
1.当合并代码冲突特别多的时候,有时候只想提交自己分支的代码.这个时候使用cherry-pick 可以实现 1)首先使用 git log --oneline -n 找到最近自己分支的提交记录,n表示提 ...
- Linux 同步时间 设置时区
简化版 同步时间 #直接用域名同步中国上海时间 ntpdate -u ntp.api.bz # hwclock --hctosys 或者 # clock --hctosys hc代表硬件时间,sys代 ...
- 【SPL标准库专题(10)】SPL Exceptions
嵌套异常 了解SPL异常之前,我们先了解一下嵌套异常.嵌套异常顾名思义就是异常里面再嵌套异常,一个异常抛出,在catch到以后再抛出异常,这时可以通过Exception基类的getPrevious方法 ...
- C#DateTime.ToString 格式化时间字符串和数值类型转换为字符串
我们经常会遇到对时间进行转换,达到不同的显示效果,默认格式为:2006-6-6 14:33:34,如果要换成200606,06-2006,2006-6-6或更多的格式该怎么办呢?这里将要用到:Date ...
- shell脚本常用技巧
shell脚本常用技巧 1.获取随机字符串或数字 ~]#echo $RANDOM | md5sum | cut -c 1-6 ~]#openssl rand -base64 4 | cut -c 1- ...
- [原创]使MySQL注释语句在后台能够输出的方法
开启general log或slow log的时候,前端发出的sql语句中的注释都别屏蔽掉了. 本意加注释我们想通过注释来快速知道sql是由哪个业务模块发出的.这点对dba和研发很有帮助. 一种变通的 ...