1、CDH集群搭建
一、准备工作
1、系统环境
系统centos6.5
节点三台：
192.168.1.130
192.168.1.131
192.168.1.132 1、所有节点关闭防火墙
service iptables stop
chkconfig iptables off 2、所有节点关闭selinux 3、主机名和hosts文件
127.0.0.1 localhost.localdomain localhost
192.168.1.130 bigdata-cdh01.ibeifeng.com bigdata-cdh01
192.168.1.131 bigdata-cdh02.ibeifeng.com bigdata-cdh02
192.168.1.132 bigdata-cdh03.ibeifeng.com bigdata-cdh03 4、创建一个普通用户，所有节点
username：beifeng passwd：beifeng [root@bigdata-cdh01 ~]# useradd beifeng
[root@bigdata-cdh01 ~]# passwd beifeng [root@bigdata-cdh02 ~]# useradd beifeng
[root@bigdata-cdh02 ~]# passwd beifeng [root@bigdata-cdh03 ~]# useradd beifeng
[root@bigdata-cdh03 ~]# passwd beifeng 5、配置beifneg用户的sudo权限
vim /etc/sudoers #所有节点执行
beifeng ALL=(root)NOPASSWD:ALL #写入此行
:wq! #保存退出 6、切换到beifeng用户
su - beifeng 7、禁用ipv6
sudo vim /etc/modprobe.d/dist.conf #写入一下两行，所有节点
alias net-pf-10 off
alias ipv6 off 8、所有及节点安装jdk
sudo rpm -qa |grep java #先查看系统是否自带jdk，如果有就卸载
然后安装jdk，比较简单； 9、设置文件描述符
vim /etc/security/limits.conf #写入以下4行
* hard nofile 65535
* soft nofile 65535
* hard nproc 65535
* soft nproc 65535
2、系统环境2
1、时间同步
在内网找一台作为时间服务器，所有的机器与这台机器时间进行定时的同步，比如每十分钟同步一次时间；
这里用CDH1做时间服务器； ##检查是否安装
[root@bigdata-cdh01 ~]# rpm -qa |grep ntp
ntp-4.2.6p5-15.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-15.el6.centos.x86_64 ##配置：
vim /etc/ntp.conf
#第一处
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap #去掉此行的注释，并改为集群网段 #第二处，注释掉下面几行
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst #第三处，添加下面两行
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10 ##设置同步更新本地hwclock
[root@master hadoop-2.5.0]# vim /etc/sysconfig/ntpd
# Drop root to id 'ntp:ntp' by default.
SYNC_HWCLOCK=yes #添加此行
OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -g" ##启动ntpd
[root@master hadoop-2.5.0]# service ntpd status
[root@master hadoop-2.5.0]# service ntpd start
[root@master hadoop-2.5.0]#chkconfig ntpd on 在CDH2、CDH3上设置同步时间脚本：
#CDH2
[root@slave1 hadoop-2.5.0]# crontab -l
#去master同步时间，10分钟1次
0-59/10 * * * * /usr/sbin/ntpdate bigdata-cdh01.ibeifeng.com #CDH3
[root@slave2 hadoop-2.5.0]# crontab -l
#去master同步时间，10分钟1次
0-59/10 * * * * /usr/sbin/ntpdate bigdata-cdh01.ibeifeng.com 2、配置ssh互信 3、重启所有节点
二、安装CDH
离线rpm安装，CDH5.3.6版本；
1、安装CM的准备
网站：
http://archive.cloudera.com/cm5/ cm-5.3.6bin文件：
http://archive.cloudera.com/cm5/installer/5.3.6/ cm-5.3.6依赖rpm包：
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.3.6/RPMS/x86_64/ 1、上传安装包
[beifeng@bigdata-cdh01 softwares]$ ls
cdh-5.3.6 cm-5.3.6 postgresq-libs repo-libs [beifeng@bigdata-cdh01 softwares]$ tree ./
./
├── cdh-5.3.6
│ ├── CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.parcel
│ └── CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1
├── cm-5.3.6
│ ├── cloudera-manager-agent-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
│ ├── cloudera-manager-daemons-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
│ ├── cloudera-manager-installer.bin
│ ├── cloudera-manager-server-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
│ ├── cloudera-manager-server-db-2-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
│ ├── enterprise-debuginfo-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
│ ├── jdk-6u31-linux-amd64.rpm
│ └── oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
├── postgresq-libs
│ ├── postgresql-8.4.18-1.el6_4.x86_64.rpm
│ ├── postgresql-libs-8.4.18-1.el6_4.x86_64.rpm
│ └── postgresql-server-8.4.18-1.el6_4.x86_64.rpm
└── repo-libs
├── createrepo-0.9.9-18.el6.noarch.rpm
├── deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm
└── python-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm 2、搭建yum本地源服务器
说明：本地安装一个http服务器，将软件放进网站目录下去，安装的时候通过URL寻找；
安装http：
[beifeng@bigdata-cdh01 ~]$ sudo rpm -qa |grep http
httpd-tools-2.2.15-29.el6.centos.x86_64
httpd-2.2.15-29.el6.centos.x86_64 [beifeng@bigdata-cdh01 ~]$ sudo service httpd start
正在启动 httpd： [确定] [beifeng@bigdata-cdh01 ~]$ sudo service httpd status
httpd (pid 2634) 正在运行... [beifeng@bigdata-cdh01 ~]$ sudo chkconfig httpd on 创建软件存放目录：
[beifeng@bigdata-cdh01 ~]$ cd /var/www/html/ [beifeng@bigdata-cdh01 html]$ sudo mkdir -p cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/ [beifeng@bigdata-cdh01 html]$ ls
cm5 [beifeng@bigdata-cdh01 html]$ tree
.
└── cm5
└── redhat
└── 6
└── x86_64
└── cm
└── 5
└── RPMS
└── x86_64 将cm软件包放进网站目录：
##
[beifeng@bigdata-cdh01 cm-5.3.6]$ pwd
/opt/softwares/cm-5.3.6 [beifeng@bigdata-cdh01 cm-5.3.6]$ sudo mv ./cloudera-manager-installer.bin ../ #先把cm目录中的bin文件移出去 ##
[beifeng@bigdata-cdh01 x86_64]$ pwd
/var/www/html/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64 [beifeng@bigdata-cdh01 x86_64]$ sudo mv /opt/softwares/cm-5.3.6/* ./ 3、修改hosts文件
[beifeng@bigdata-cdh01 cm-5.3.6]$ sudo vim /etc/hosts
192.168.1.130 archive.cloudera.com #cdh1添加此行，我这里为了测试，本地hosts也添加了此行 4、准备repo文件
[beifeng@bigdata-cdh01 yum.repos.d]$ pwd
/etc/yum.repos.d [beifeng@bigdata-cdh01 yum.repos.d]$ sudo rm -rf ./* [beifeng@bigdata-cdh01 yum.repos.d]$ sudo touch cloudera-manager.repo [beifeng@bigdata-cdh01 yum.repos.d]$ cat cloudera-manager.repo
[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/
gpgkey=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1
RPM-GPG-KEY-cloudera #这个文件手动生成一下
https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera #在网上下载此文件，放到/var/www/html/cm5/redhat/6/x86_64/cm/下面
2、安装CM
###
[beifeng@bigdata-cdh01 postgresq-libs]$ pwd
/opt/softwares/postgresq-libs [beifeng@bigdata-cdh01 postgresq-libs]$ sudo chmod u+x ./* [beifeng@bigdata-cdh01 postgresq-libs]$ sudo rpm -ivh *.rpm
Preparing... ########################################### [100%]
1:postgresql-libs ########################################### [ 33%]
2:postgresql ########################################### [ 67%]
3:postgresql-server ########################################### [100%] ###
安装CM：
[beifeng@bigdata-cdh01 repo-libs]$ pwd
/opt/softwares/repo-libs
[beifeng@bigdata-cdh01 repo-libs]$ ls
createrepo-0.9.9-18.el6.noarch.rpm deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm python-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm [beifeng@bigdata-cdh01 repo-libs]$ sudo rpm -ivh ./*.rpm
Preparing... ########################################### [100%]
1:deltarpm ########################################### [ 33%]
2:python-deltarpm ########################################### [ 67%]
3:createrepo ########################################### [100%] [beifeng@bigdata-cdh01 5]$ pwd
/var/www/html/cm5/redhat/6/x86_64/cm/5 [beifeng@bigdata-cdh01 5]$ sudo createrepo . #当前目录下会生成一个文件夹：repodata [beifeng@bigdata-cdh01 postgresq-libs]$ cd /opt/softwares/
[beifeng@bigdata-cdh01 softwares]$ sudo chmod +x cloudera-manager-installer.bin
[beifeng@bigdata-cdh01 softwares]$ sudo ./cloudera-manager-installer.bin #接着会出现一个界面
Next-->Next-->Yes-->Next-->Yes ... 如果报错了，日至都在/var/log/cloudera-manager-installer
###
等待安装完成后：
[beifeng@bigdata-cdh01 ~]$ netstat -ntlp |grep 7180
(No info could be read for "-p": geteuid()=501 but you should be root.)
tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN -
浏览器打开：hostname(ip)+port
账号/密码：admin
3、安装CDH
此时要准备CDH的包
网站：http://archive.cloudera.com/cdh5/parcels/5.3.6/ 下载以下两个包：
CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel
CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 创建/opt/cloudera/parcel-repo 可能CM安装时已经自动创建过了； 将上面两个包mv进/opt/cloudera/parcel-repo：
[beifeng@bigdata-cdh01 parcel-repo]$ ls
CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 [beifeng@bigdata-cdh01 parcel-repo]$ sudo mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 ./CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha #去掉末尾的1 ##
查看cm的状态，
[beifeng@bigdata-cdh01 ~]$ sudo service cloudera-scm-server status
cloudera-scm-server (pid 3151) 正在运行... ##
修改CDH01 yum文件，并分发：
[beifeng@bigdata-cdh01 ~]$ sudo cat /etc/yum.repos.d/cloudera-manager.repo #内容改为如下
[cloudera-manager]
name=Cloudera Manager
baseurl=http://bigdata-cdh01.ibeifeng.com/cm5/redhat/6/x86_64/cm/5/
gpgkey=http://bigdata-cdh01.ibeifeng.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck=1 CDH02： sudo rm -rf /etc/yum.repos.d/*
CDH03： sudo rm -rf /etc/yum.repos.d/*
[beifeng@bigdata-cdh01 ~]$ sudo scp -r /etc/yum.repos.d/cloudera-manager.repo root@bigdata-cdh02:/etc/yum.repos.d/
[beifeng@bigdata-cdh01 ~]$ sudo scp -r /etc/yum.repos.d/cloudera-manager.repo root@bigdata-cdh03:/etc/yum.repos.d/
输入主机名，搜索主机：
然后，等待安装完成；
等待分配：
###
CDH01 的hosts文件中，注释掉下面一行：
192.168.1.130 archive.cloudera.com ###
所有节点关闭swap(可以切换到root执行)：
echo 0 > /proc/sys/vm/swappiness
sysctl vm/swappiness
echo 'vm.swappiness = 0' >> /etc/sysctl.conf
sysctl -p ###
所有节点执行：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
继续：
点击左上角Logo先离开；
4、安装CMS监控服务
CDH2、CDH3节点：
sudo crontab -e
0-59/10 * * * * sh /home/crontab/ntp.sh ##/home/crontab/ntp.sh
#!/bin/bash
#
/sbin/service ntpd stop
/usr/sbin/ntpdate bigdata-cdh01.ibeifeng.com
/sbin/service ntpd start
1、CDH集群搭建的更多相关文章
- CDH集群搭建视频教程 百度云网盘下载
CDH集群搭建视频教程 百度云网盘下载 链接: http://pan.baidu.com/s/1i5DVBlb 密码:2mny
- CDH集群搭建部署
1. 硬件准备 使用了五台机器,其中两台8c16g,三台4c8g.一台4c8g用于搭建cmServer和NFS服务端,另外4台作为cloudera-manager agent部署CDH集群. ...
- 朝花夕拾之--大数据平台CDH集群离线搭建
body { border: 1px solid #ddd; outline: 1300px solid #fff; margin: 16px auto; } body .markdown-body ...
- Cloudera Manager安装_搭建CDH集群
2017年2月22日, 星期三 Cloudera Manager安装_搭建CDH集群 cpu 内存16G 内存12G 内存8G 默认单核单线 CDH1_node9 Server || Agent ...
- CDH 6.0.1 集群搭建 「After install」
集群搭建完成之后其实还有很多配置工作要做,这里我列举一些我去做的一些. 首先是去把 zk 的角色重新分配一下,不知道是不是我在配置的时候遗漏了什么在启动之后就有报警说目前只能检查到一个节点.去将 zk ...
- CDH 6.0.1 集群搭建 「Before install」
从这一篇文章开始会有三篇文章依次介绍集群搭建 「Before install」 「Process」 「After install」 继上一篇使用 docker 部署单机 CDH 的文章,当我们使用 d ...
- 3.环境搭建-Hadoop（CDH）集群搭建
目录 目录 实验环境 安装 Hadoop 配置文件 在另外两台虚拟机上搭建hadoop 启动hdfs集群 启动yarn集群 本文主要是在上节CentOS集群基础上搭建Hadoop集群. 实验环境 Ha ...
- CDH集群主节点宕机恢复
1 情况概述 公司的开发集群在周末莫名其妙的主节点Hadoop-1的启动固态盘挂了,由于CM.HDFS的NameNode.HBase的Master都安装在Hadoop-1,导致了整个集群都 ...
- Hadoop集群搭建
配置IP,修改主机名,关闭防火墙,配置SSH免密码登录
随机推荐
- 九度OJ 1053：互换最大最小数 （基础题）
时间限制:1 秒 内存限制:32 兆 特殊判题:否 提交:6613 解决:2676 题目描述: 输入一个数n,然后输入n个数值各不相同,调换数组中最大和最小的两个数,然后输出. 输入: 测试数据有多组 ...
- substr扩展版：支持中文字符串截取
function d_substr($str, $start=0, $length, $charset="utf-8", $suffix=true) { if(function_e ...
- css多余字符显示省略号
width:300px; white-space:nowrap; overflow:hidden; text-overflow:ellipsis; ;
- python 函数中的递归、lambda 、map reduce 等详解
举例说明 #例1: ###递归函数求和 from traitlets.traitlets import Instance def mysum(L): print(L) if not L: return ...
- .net 调用SAP RFC的几种方法
转自:http://www.cherpservice.com/pub/newsdetail.asp?Newsid=3613 第一种方式采用SAP.net Connector: 最新版本是3.,不开源, ...
- 05-树8 File Transfer（25 point(s)） 【并查集】
05-树8 File Transfer(25 point(s)) We have a network of computers and a list of bi-directional connect ...
- 网页布局的应用（float或absolute）
一个浮动(左浮动或右浮动) 垂直环绕布局(float.clear) 左右两列布局(float.absolute) 三栏网页宽度自适应布局(float.absolute) 注意:网页设计中应该尽量避免使 ...
- NodeJs如何全局统一处理异常，实现RestFull风格
当在controller中处理客户端发来的数据时,我们会去校验数据,当数据错误时,我们会给客户端返回一个信息,如: export function add (req, res, next) { con ...
- 2048plus,可以直接分享到微信的2048
点击图片下载apk包!!
- GPIO设备虚拟文件结点的创建【转】
本文转载自:http://blog.csdn.net/dwyane_zhang/article/details/6742066 所谓GPIO设备虚拟文件结点,就是方便用户在应用程序直接操纵GPIO的值 ...