Cloudera Manager 和 CDH 4 终极安装
转载请注明出处:http://www.cnblogs.com/thinkCoding/p/3567408.html
系统环境
操作系统:CentOS 6.5
Cloudera Manager 版本:4.8.1
CDH版本:4.5.0
各机器准备工作:
yum -y groupinstall "Development tools" yum -y install wget
Cloudera-manager压缩包地址: http://archive.cloudera.com/cm4/cm/4/cloudera-manager-el6-cm4.8.1_x86_64.tar.gz
CDH 下载地址: http://archive.cloudera.com/cdh4/parcels/
IMPALA 下载地址: http://archive.cloudera.com/impala/parcels/
Cloudera Search(SOLR)下载地址: http://archive.cloudera.com/search/parcels/latest/
官方安装参考
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/latest/Cloudera-Manager-Installation-Guide/cmig_install_path_C.html
官网介绍的安装方式有三种:
我们选择了第三种方法。
理由是第一种方法必须要求所有机器都能连网,而且外国网站不太稳定。一旦失败,重装非常痛苦。
第二种方法还没仔细研究,看上去要下载很多包。
第三种方法对系统侵入性最小,最大优点可实现全离线安装,而且重装什么的都非常方便。后期的集群统一包升级也非常好。
准备工作
以下所有操作都以root进行。
0 修改主机名
修改/etc/sysconfig/network文件
NETWORKING=yes HOSTNAME=yc01
重启后生效:service network restart
修改/etc/hosts文件,类似
192.168.1.191 yc01
192.168.1.192 yc02
192.168.1.193 yc03
192.168.1.194 yc04
192.168.1.195 yc05
1 安装 salt (可忽略)
略。
2 打通 ssh
所有机器,使用 ssh-keygen -t rsa 一路按回车就行了。
刚才都作甚了呢?主要是生成ssh的密钥和密钥的存放路径。 在 ~/.ssh下。
打开~/.ssh 下面至少有两个文件
id_rsa,私钥
id_rsa.pub,公钥
在主结点上:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
scp文件到其他机器:
scp ~/.ssh/authorized_keys root@yc02:~/.ssh/
现在登陆到其他机器就不用密码了。
3 安装 java
由于 CDH4 支持 JAVA7 ,考虑到 CDH5 只支持 JAVA7,果断上。(后面的Mysql也用了最新的5.6.16,后来发现悲剧了,不知道是哪个原因,于是JDK又改成了官方推荐版,还是不行,又把Mysql回退到5.1.X版本,最终可以了。个人猜测JDK还是可以用7的,Mysql只能用5.5,再往上就不行了。参考 http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Requirements-and-Supported-Versions/cdhrsv_topic_2.html)
从Oracle官网下载解压JDK 。 tar zxvf jdk-7u51-linux-x64.gz 放到 /opt/java 下。
以前好像在哪看到过说,CDH 需要一个 /usr/java/default 的软链,才会识别。以防万一,建了一个,至少这样也更容易管理:
mkdir -p /usr/java ; cd /usr/java ;
ln -s /opt/java/jdk1..0_51 latest ; ln -s latest default
最后JAVA添加环境变量
export JAVA_HOME=/usr/java/default
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
使配置生效
source /etc/profile
4 安装Mysql数据库(安装过程后来直接跳过了,直接 yum -y install mysql-server 再建需要的数据库)
Cloudera Manager 自身的需要数据库,它现在支持 Mysql 、PostgreSQL 和 Oracle ,本人没用过PostgreSQL ,Oracle 兴师动众,果断上 Mysql 。
Installing and Configuring a MySQL Database
官网上说了很多,总结起来三句话:
1) 安装一个 Mysql
下载地址 http://dev.mysql.com/downloads/mysql/
下载了客户端和服务端
rpm -ivh MySQL-server-5.6.16-1.el6.x86_64.rpm
rpm -ivh MySQL-client-5.6.16-1.el6.x86_64.rpm
安装server是会提示 生成 root 的随机码。
SET PASSWORD = PASSWORD('ycmedia_2014');
默认mysql不会生成 /etc/my.cnf 文件,cp /usr/my.cnf /etc/my.cnf
2) 配置MySql 自身的一些参数,和 CDH 没任何关系。只着重强调了一下 max_connections 的值。建议是 数据库数*100+50。大集群(50台以上)建议必须分开放。
过程: vi /etc/my.cnf ,修改哪些参数,参考上面那个链接。只为一般性目的的可直接跳过此步骤。
3) 建数据库,授权。需要哪些库呢,免费版:amon、hmon、hive、smon、scm(Cloudera Manager 自身,我自己命名的)
这些库的名字其实是可以自定义的。其它都是官网示例的名字,就这样吧。保持一致。只有最后一个库是我自己命名的。
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database smon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hmon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
给用户授权,类似如下:
grant all on *.* to root@"%" Identified by "123456";
5 关闭防火墙 和 SELinux
关闭防火墙:
service iptables stop (临时关闭)
chkconfig iptables off (重启后生效)
关闭SELINUX:
setenforce 0 (临时生效)
修改 /etc/selinux/config 下的 SELINUX=disabled (重启后永久生效)
正式开工
1 安装 Cloudera Manager Server 和 Agents
解压压缩包:
tar xzf /opt/package/cloudera-manager*.tar.gz -C /opt/; mv /opt/cm-4.8.1 /opt/cloudera-manager-4.8.1
添加 cloudera-scm 用户
useradd --system --home=/opt/cloudera-manager-4.8.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
为了方便,下面称 /opt/cloudera-manager-4.8.1 为 <tarball root>
修改<tarball root>/etc/cloudera-scm-agent/config.ini 下面的 server_port 和 server_host ,把server_port 改成ClouderaManager运行的主机名或ip, 默认server_port 端口是 7182
Cloudera Manager 会在下面目录保存一些玩意。
2 为Cloudera Manager 建立数据库
建立数据库前要下载 jdbc驱动,放到 <tarball root>/share/cmf/lib/ 下。
生成数据库
<tarball root>/share/cmf/schema/scm_prepare_database.sh mysql scm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm
格式是: scm_prepare_database.sh 数据库类型 数据库 服务器 用户名 密码 --scm-host Cloudera_Manager_Server所在的机器 .......
后面那三个不知道代表什么,直接照抄官网的了。详细说明:
3 开启Cloudera Manager Server 端
在你上面安装的那台机器上开启Server端:
<tarball root>/etc/init.d/cloudera-scm-server start
设置成开机启动:
cp <tarball root>/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server
chkconfig cloudera-scm-server on
4 开启Cloudera Manager Agents 端
先SCP <tarball root> 到所有机器上 ,然后在每台机器上开启Agents端:
sudo <tarball root>/etc/init.d/cloudera-scm-agent start
设置开机启动:
cp <tarball root>/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
chkconfig cloudera-scm-agent on
5 启动 Cloudera Manager 管理控制台
地址类似 http://example.com:7180/ ,默认端口是 7180,如果上面没改的话。
用户名密码都是 admin
至此:Cloudera Manager 安装完毕。
------------------------------------------------------------------------------------分割线不够华丽----------------------------------------------------------------------------------
----------------------------------------------------------------------------------此处需要华丽分割线--------------------------------------------------------------------------------
6 准备Parcels,用以安装 CDH
将前面下载的CDH 和 IMPALA 放到 /opt/cloudera/parcel-repo 下,再生成 sha 文件,
sha文件参照 http://archive.cloudera.com/cdh4/parcels/latest/manifest.json 里面,和每个文件是对应的。把 hash 值拿出来即可,最简单当然是直接计算一下就ok了。
获取更多信息参阅: Using Parcels
7 开始从界面安装 CDH4
从界面登陆后,选择版本
可以注意到,CDH以前的版本是有最大50个节点限制的,现在没有限制了。继续。
继续。
此处需要特别关注,我们明明有N台服务器的,现在只有一台,why ? 是因为我一开始在启动Cloudera Manager Agents 时没有修改 server_host=localhost ,
vi ./etc/cloudera-scm-agent/config.ini 改成Cloudera Manager server所在机器名。再重新启动agent( 在 <tarball root> 下 ./etc/init.d/cloudera-scm-agent restart)
现在所有机器都有了。点击继续。
我们选择Parcels 方式,继续。会安装cdh impala solr . 几分钟内应该就完成了。取决于你内网传输速度。
继续。
选择要安装的服务,特别注意,红框处【检查角色分配】,太不起眼啦!!! 曾经没注意,有点郁闷。点击分配角色。分配好后,继续,当然后期还是可以改的。。
测试连接的时候必须成功才能继续,这个地方,有可能会出现,在本地 root + 密码 是可以登陆上 mysql 的,这里测试时却会失败。主要还是因为对于root 的用户比较复杂。
因为你的root 帐户本质上可能是下图这样的,这个地方我对mysql理解的也不深,大意应该就是本地用的虽然也是root ,那是实质上并非同一个用户。
不管三七二十一,统统授权了。
grant all on *.* to root@"yc01" Identified by "123456" ;
grant all on *.* to root@"localhost" Identified by "123456" ;
grant all on *.* to root@"127.0.0.1" Identified by "123456" ;
另外此处有个备注,可观注下。比如说对于某个monitor,在前面我们分配角色时,分到了某一台机器,那么数据库最好也是在同一台机器。
点击继续。
修改成合适自己的配置。继续之前做下面两个操作。因为下一步HIVE的安装会失败,要提前把 jdbc包放到hive的各lib目录下。如
scp mysql-connector-java-5.1.28.jar root@yc02:/opt/cloudera/parcels/CDH-4.5.0-1.cdh4.5.0.p0.30/lib/hive/lib/
HUE也可能失败,报错如下:
不知道是什么包,所以一开始直接这么搞了:
yum -y install libxslt* libxml2
耐心等待所有启动成功。
恭喜您,安装成功,下一步开始你的Hadoop之旅!
转载请注明出处:http://www.cnblogs.com/thinkCoding/p/3567408.html
Cloudera Manager 和 CDH 4 终极安装的更多相关文章
- Cloudera Manager及CDH最新版本安装全程记录
大家都知道,Apache Hadoop的配置很繁琐,而且很零散,为此Cloudera公司提供了Clouder Manager工具,而且还封装了Apache Hadoop,flume,spark,hiv ...
- Cloudera Manager、CDH零基础入门、线路指导 http://www.aboutyun.com/thread-9219-1-1.html (出处: about云开发)
Cloudera Manager.CDH零基础入门.线路指导http://www.aboutyun.com/thread-9219-1-1.html(出处: about云开发) 问题导读:1.什么是c ...
- 2、CDH 搭建Hadoop在安装(安装Cloudera Manager,CDH和托管服务)
安装Cloudera Manager,CDH和托管服务 建议使用此过程为生产环境安装Cloudera Manager和CDH.对于非生产“易于安装”,请参阅安装概念证明群集. 在开始安装之前,请确保已 ...
- CentOS 7下Cloudera Manager及CDH 6.0.1安装过程详解
目录 一.概念介绍 1.CDH 概览 2.Cloudera Manager 概览 二.环境准备 1.软件版本选择 2.节点准备(四个节点) 3.配置主机名和hosts解析(所有节点) 4.关闭防火墙 ...
- Cloudera Manager Server CDH 5.15部署
安装前准备 主机和系统 Host OS Memory IP bigdata001-dev Cent OS 7.4 x64 32G 192.168.1.1 bigdata002-dev Cent OS ...
- (转)Installing Cloudera Manager and CDH
转:https://blog.csdn.net/qq_26222859/article/details/79976506 译自官网: Installing Cloudera Manager and C ...
- Cloudera Manager和CDH安装部署
本次安装采用离线安装的方式,需要提前下载好需要的包. 1. 准备工作 1.1 环境说明 操作系统:RedHat企业级Linux6.5 64-bit Cloudera Manager:5.8.4 CDH ...
- Cloudera Manager 5和CDH5离线安装
CDH (Cloudera’s Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Had ...
- cloudera manager 及CDH卸载
记录用户数据路径 删除用户数据 中列出的用户数据路径 /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/l ...
随机推荐
- 人类基因(human)
题目描述 上了大学之后,小W和小Z一起报了一门三宝课,在实践课上遇到了一些问题. 一条染色体上有nn对基因,每种基因都可以用一个数ai来表示,作为标号. 现在,在其中一条染色单体上某基因发生了突变. ...
- [暑假集训--数论]poj2142 The Balance
Ms. Iyo Kiffa-Australis has a balance and only two kinds of weights to measure a dose of medicine. F ...
- LESS CSS使用方法 , CSS也能跟JS一样玩
本文转自 http://blog.csdn.net/xuyonghong1122/article/details/51986472 在使用CSS的时候,总会有这个想法 这个属性值老是重复写好烦 这个 ...
- git refs 详解
https://blog.csdn.net/taiyangdao/article/details/52766424 http://www.chenchunyong.com/2017/01/06/git ...
- javaScript 笔记(6) --- jQuery(下)
目录 --- jQuery HTML --- jQuery 遍历 --- jQuery Ajax jQuery HTML: jQuery 捕获:三个简单实用的用于 DOM 操作的 jQuery 方法: ...
- 神奇的矩阵(bzoj 2396)
Description 给出三个行数和列数均为N的矩阵A.B.C,判断A*B=C是否成立. Input 题目可能包含若干组数据. 对于每组数据,第一行一个数N,接下来给出三个N*N的矩阵,依次为 ...
- CODEVS【1380】没有上司的舞会
题目描述 Description Ural大学有N个职员,编号为1~N.他们有从属关系,也就是说他们的关系就像一棵以校长为根的树,父结点就是子结点的直接上司.每个职员有一个快乐指数.现在有个周年庆宴会 ...
- 只能运行一个程序,禁止运行多个相同的程序 C#
原文发布时间为:2009-04-06 -- 来源于本人的百度文章 [由搬家工具导入] Program.cs 里面改成如下: static void Main() { ...
- css3动画、边框、投影知识
<!doctype html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
- 【电脑使用经验】怎么查看无线网络中电脑的IP地址?
1. 2. 3. 4. 5.