CDH 2、Cloudera Manager的安装
1、Cloudera Manager
• Cloudera Manager是一个管理CDH的端到端的应用。
• 作用:
– 管理
– 监控
– 诊断
– 集成
• 架构
• Server
– 管理控制台服务器和应用程序逻辑
– 负责软件安装、配置,启动和停止服务
– 管理服务运行的群集
• Agent
– 安装在每台主机上
– 负责启动和停止进程,配置,监控主机
• Management Service
– 由一组角色组成的服务,执行各种监视、报警和报告功能
• Database
• Cloudera Repository
• Clients
• Admin Console
• API
2、安装前环境搭建
1 .网络配置( 所有节点)
vi /etc/sysconfig/network 修改 hostname:
通过 service network restart 重启网络服务生效
vi /etc/hosts ,修改 ip 与主机名的对应关系
2 .SSH 免密码登录
主节点执行:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
生成无密码密钥对
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
然后将公钥添加到其他节点的authorized_keys上:
$ scp ~/.ssh/id_dsa.pub root@node6:/opt
$ scp ~/.ssh/id_dsa.pub root@node7:/opt
$ scp ~/.ssh/id_dsa.pub root@node8:/opt
#然后分别登录这三台虚拟机,将公钥覆盖到公钥中
$ cat /opt/id_dsa.pub >> ~/.ssh/authorized_keys
测试:主节点 ssh 其他节点 ……; 如果不能成功的话,则先在其他节点让做其他节点自己的免密码登录即:分别在节点上使用命令 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
然后再重复上面操作
3. 关闭 防火墙
临时关闭:
service iptables stop
永久关闭(重启后生效):
chkconfig iptables off
4.关闭 SELINUX
临时关闭:
setenforce 0
修改配置文件/etc/selinux/config(重启生效) :
将 SELINUX=enforcing 改为 SELINUX=disabled
查看 SELINUX 状态:
1) /usr/sbin/sestatus –v
SELinux status: enabled(enabled:开启;disabled:关闭)
2) 使用命令:getenforce
5.安装 JDK
本文采用 RPM 包安装…….执行:
rpm -ivh jdk-7u80-linux-x64.rpm
配置环境变量,修改/root/.bash_profile:
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOMdE/lib/dt.jar:$JAVA_HOME/lib/tools.jar
生效:
source /etc/profile
查看版本:
[root@slave6 cdh]# java -version
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)
6. 设置 NTP
所有节点安装 NTP:
yum install ntp
配置开机启动:
chkconfig ntpd on
检查是否设置成功:
chkconfig --list ntpd (2-5 为 on 状态则成功)
设置同步:
ntpdate -u ntp.sjtu.edu.cn(时钟服务器根据实际环境设置、本文采用 210.72.145.44-国家授时中心服务器 IP 地址)
7.安装 配置 MySql
可使用Yum自带的Mysql 使用命令 yum install mysql-server
8.下载依赖包
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
3、CM安装
1 . 安装 Cloudera Manager Server&Agent
拷贝 cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 到所有 Server、Agent 节点
创建 cm 目录:
mkdir /opt/cloudera-manager
解压 cm 压缩包:
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
2 . 创建用户 cloudera-scm ( 所有 节点)
执行:
useradd --system --home=/opt/cloudera-manager/cm-5.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
3 . 配置 CM Agent
修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini 中server_host 以及 server_port(默认7180 不变即可)
4 . 配置 CM Server 的 数据库
将驱动包拷贝到目录下( 注意拷贝过去的驱动包名字一定要和下边的一样,否则会报错 ) :
cp mysql-connector-java-5.1.31/mysql-connector-java-5.1.31-bin.jar /usr/share/java/mysql-connector-java.jar
登录MySql : $ mysql -p mysql -uroot (首次登录不需要密码)
执行:
mysql> use mysql;
mysql> delete from user where user='';
mysql> update user set password=PASSWORD('123456') where user='root'; #为mysql的Root用户更改密码
--为其他客户端开启连接权限 如果是hive和mysql在同一台服务器上则不需要授权 可以把 %改成IP,则授权固定IP
mysql>grant all privileges on *.* to 'root'@'%' identified by '123456';
mysql> grant all on *.* to 'temp'@'%' identified by 'temp' with grant option; #如果temp数据库存在,则先删除执行这句
mysql>flush privileges; 刷新权限
退出MySql 然后执行下面的命令
cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema
./scm_prepare_database.sh mysql -h myhost1.sf.cloudera.com -utemp -ptemp --scm-host myhost2.sf.cloudera.com scm scm scm
例如:
./scm_prepare_database.sh mysql -h node1 -utemp -ptemp --scm-host node1 scm scm scm
(对应于:数据库类型、数据库服务器、用户名、密码、CMServer 所在节点…….)
mysql> drop user 'temp'@'%';
若上步失败或过程中操作中断,删除所有库、重头来过 /( ㄒ o ㄒ )/~~
若安装 Oozie 等组件可能需要手动创建对应组件所需的数据库,例如:
create database ooziecm DEFAULT CHARACTER SET utf8;
grant all on ooziecm.* TO 'ooziecm'@'%' IDENTIFIED BY 'ooziecm';
5 . 创建 Parcel 目录
Manager 节点创建目录/opt/cloudera/parcel-repo,执行:
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
将下载好的文件(CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel、CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha、manifest.json)拷贝到该目录下。
Agent 节点创建目录/opt/cloudera/parcels,执行:
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
6 . 启动 CM Manager&Agent 服务
执行:
Manager:/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-server start
Agents:/opt/cloudera-manager/cm-5.4.3/etc/init.d/cloudera-scm-agent start
访问:http://ManagerHost:7180,若可以访问(用户名、密码:admin) ,则安装成功。
Manager 启动成功需要等待一段时间,过程中会在数据库中创建对应的表需要耗费一些时间。
4、CDH5 5 安装
CM Manager && Agent 成功启动后,登录前端页面进行 CDH 安装配置。免费版本的 CM5 已经去除 50 个节点数量的限制。
在这里指出了不同的版本之间功能上的不同
选择当前要安装CDH的主机
选择安装CDH的版本,在这里我们要选择我们下载并且上传到Linux下的那个版本
下载安装配置的阶段会比较慢,需要耐心等待
检查正确性,在这里会有一个警告:xxx 最好是把警告解决了,然后再次重启然后访问7180进行安装
在这里选择要安装哪些服务,建议都不选择,到安装成功以后再安装这些服务。
配置数据库的链接,如果是按上面的一路走下来的话,那么数据库名、用户名、密码都是 temp 即: temp temp temp
这个是各种服务的目录,最好记录下来,以方便后面使用
然后就是各种安装啦,安装在功以后会显示下面的界面
在左侧的位置会显示一些安装以后的一些警告信息和错误信息,如果是真正企业环境的话,建议把这些警告全部解决掉。
CDH 2、Cloudera Manager的安装的更多相关文章
- 大数据自学1-CentOS 下安装CDH及Cloudera Manager
前面花了一段时间将Ubuntu,Hadoop装完,装到Hbase时,发现Hbase 与Hadoop是有兼容性问题的,Hbase 2.1版是不支持Hadoop 3.11版的,怪不得装起来那么多问题了. ...
- CM (Cloudera Manager) 的安装,便于CDH的离线部署
一.准备工作 主机个数:n台 操作系统:CentOS 6.5 安装所需软件包: CM: cloudera-manager-el6-cm5.4.3_x86_64.tar.gz CDH parcel: C ...
- CDH 的Cloudera Manager免费与收费版的对比表
CDH 特性 免费版 付费版 Deployment, Configuration & Management 系统管理 Automated Deployment & Hadoop Rea ...
- Cloudera Manager(CentOS)安装介绍
相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识 目 录 1 准备工 作.................................... ...
- Cloudera Manager的安装
1. cloudera manager的概念 简单来说,Cloudera Manager是一个拥有集群自动化安装.中心化管理.集群监控.报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个 ...
- [How to]Cloudera manager 离线安装手册
2016-01-1910:54:05 增加kafka 1.简介 本文介绍在离线环境下安装Cloudera manager和简单使用方法 2.环境 OS:CentOS 6.7 Cloudera man ...
- 2.5、CDH 搭建Hadoop在安装(设置Cloudera Manager数据库)
步骤5:设置Cloudera Manager数据库 Cloudera Manager Server包含一个可以为自己创建和配置数据库的脚本.该脚本可以: 创建Cloudera Manager Serv ...
- 2.1、CDH 搭建Hadoop在安装(为Cloudera Manager配置存储库)
步骤1:为Cloudera Manager配置存储库 使用包管理工具安装Cloudera Manager yum 对于RHEL兼容系统, zypper对于SLES,和 apt-get对于Ubuntu. ...
- Cloudera Manager 4.6 安装部署hadoop CDH集群
Cloudera Manager 4.6 安装详解 1. Cloudera Manager介绍 1.1. 功能介绍 Cloudera Manager是一个针对hadoop集群的管理工具,功能包括:cd ...
随机推荐
- hdu 5611 Baby Ming and phone number(模拟)
Problem Description Baby Ming collected lots of cell phone numbers, and he wants to sell them for mo ...
- iOS-网络编程(一)HTTP协议
一. 网络编程基础 在移动互联网时代,几乎所有应用都需要用到网络,只有通过网络跟外界进行数据交互.数据更新,应用才能保持新鲜.活力.一个好的移动网络应用不仅要有良好的UI和良好的用户体验也要具备实时更 ...
- Pure Css 菜单的使用
本人新手,之前偶尔接触Bootstrap,也做过一些响应式开发,但是都是略显皮毛,公司的业务需求也限制了深入学习. 现着手Pure Css学习,尝试了简单的左边菜单自动隐藏的demo.闲话少说,代码贴 ...
- Atitit.软件guibuttonand面板---os区-----linux windows搜索文件 目录
Atitit.软件guibuttonand面板---os区-----搜索文件 1. Find 1 2. 寻找文件夹 1 3. 2. Locate// everything 1 4. 3. Wherei ...
- Udacity调试课笔记之断言异常
Udacity调试课笔记之断言异常 这一单元的内容不是很多,如Zeller教授所说,就是如何写.检查断言,并如何使用工具实现自动推导出断言的条件. 现在,多数的编程语言,尤其是高级编程语言都会有内置的 ...
- nopCommerce架构分析系列(二)数据Cache
原文(http://www.cnblogs.com/gusixing/archive/2012/04/12/2443799.html)非常感谢作者顾思行的分享! 序言 在很多访问量较大的系统中,尤其在 ...
- 关于scrollTop
如下图
- linux字体安装
Google查了一下,果然Windows下的ttf字体与GNOME是兼容的!我立即确定了我的方案——使用Windows下的“微软雅黑”体作为桌面和应用程序的默认字体! 1. 首先获得一套“微软雅黑”字 ...
- Ubuntu系统下搭建Python开发环境
之前演示了在Windows中安装Pycharm,很简单.下面介绍一下如何在Ubuntu中安装Pycharm 1.更新Python至3.5.1,执行以下命令: sudo add-apt-reposito ...
- (原)ubuntu14及ubuntu16中安装docker
转载请注明出处: http://www.cnblogs.com/darkknightzh/p/5653739.html 参考网址: http://blog.csdn.net/yangzhenping/ ...