原帖地址:http://blog.csdn.net/nsrainbow/article/details/36629339

我们这个教程是在 centos  上安装cdh的教程,并且使用的是yum方式。不建议使用界面化方式。由于用过linux的都知道,命令行出错更少。事实上更轻松更靠谱。

安装之前

1. 安装jdk

cdh5 相应的jdk 是 oracle-jdk 1.7.0_25 ,注意是 oracle-jdk ,千万别 yum install jdk 就完事了。由于那样装的是 openjdk

到这边 http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html#jdk-7u25-oth-JPR 搞个jdk

没用户的自己注冊一个

下来之后名字是一堆乱码。自己用mv改个名字

$ sudo su -
$ mv jdk-7u25-linux-x64.rpm\?AuthParam\=1404198323_f70f74ddcd70928c1bea4ac29f5c4e42 jdk.rpm
$ rpm -ivh jdk.rpm
$ vim /etc/profile

在最后加上

export JAVA_HOME=/usr/java/jdk1.7.0_25
export PATH=$JAVA_HOME/bin:$PATH

保存后执行

$ source /etc/profile
$ echo $JAVA_HOME
/usr/java/jdk1.7.0_25

2. 配置yum源(不建议)

该种方式配置最快。可是对于长期要使用或者学习hadoop的人来说不建议採用这样的方式。详情见下一种方式
$ vim /etc/yum.repos.d/cloudera-cdh5.repo

把以下这段粘贴进去

[cloudera-cdh5]
# Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera's Distribution for Hadoop, Version 5
baseurl=http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/
gpgkey = http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
enabled=1
gpgcheck = 1

然后保存

3. 构建自己的yum源(强烈建议)

强烈建议採用这样的方式,由于你学习和使用hadoop的过程是漫长的,在这个过程中cloudera的包有可能有升级了几个版本号,那么你早先时候装的组件跟你后来想装的组件之间的版本号有可能不一样,有些组件会检查CDH版本号的统一性的,假设不通过就装不上了。或者执行起来有问题。

所以为了保证整个cdh内部组件的版本号一致性,最好使用这样的方式安装

3.1 下载rpm文件

安装rpm文件
yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm -y 

3.2 安装apache

安装的过程我就不说了。这样的教程网上一堆

3.3 安装yum-utils

yum install yum-utils createrepo -y

3.4 用yum-utils同步整个yum源

随便切换到一个文件夹,比方 home 文件夹把 可是确保你所在的文件夹有至少3G空间,然后运行

$ cd ~
$ reposync -r cloudera-cdh5

接下来可能是漫长的等待。取决于你的网络速度

这个命令运行完后会把整个cdh5的库(大概118个包)下载到这个文件夹下,大概2.3G

你会看到有一个叫 cloudera-cdh5 的目录生成,进入后有一个 RPMS 目录,里面有 noarch 和 x86_64 目录

[root@localhost ~]# cd cloudera-cdh5
[root@localhost cloudera-cdh5]# ll
total 4
drwxr-xr-x. 4 root root 4096 Dec 18 07:55 RPMS
[root@localhost cloudera-cdh5]# cd RPMS
[root@localhost RPMS]# ll
total 16
drwxr-xr-x. 2 root root 4096 Dec 18 16:07 noarch
drwxr-xr-x. 2 root root 12288 Dec 18 16:07 x86_64

高速下载诀窍:这边有一个诀窍。你開始运行 reposync 之后你会发如今运行这个命令的根文件夹会自己主动生成  cloudera-cdh5/noarch 文件夹,并開始下载包。

事实上我们能够直接用浏览器打开  http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/RPMS 你会看到有 noarch 和 x86_64 这两个文件夹,进入这两个文件夹。用迅雷把这些包所有下载下来,然后扔到centos的 cloudera-cdh5 文件夹下,再运行
 reposync 命令,然后这些包会被一一检查,并被觉得已经下载好了。并跳过。

我用的是火狐的Flashgot插件的 一键下载所有链接方式。

在 RPMS/x86_64 里面建一个目录 cdh  在这个目录里面建一个文本文件叫 RPM-GPG-KEY-cloudera
訪问 http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera  把内容拷贝进去

3.5 部署到apache

把这个cloudera-cdh5文件夹整个移到apache的web文件夹:/var/www/html 里面去,只是请先保证空间足够大,假设不够大。记得改动apache的web文件夹的位置,详细怎么改自己百度下

[root@localhost ~]# mv cloudera-cdh5 /var/www/html
[root@localhost ~]# cd /var/www/html
[root@localhost html]# ll
total 4
drwxr-xr-x. 3 root root 4096 Dec 18 07:49 cloudera-cdh5

用vim打开 /etc/httpd/conf/httpd.conf 查找到这句话

<Directory "/var/www/html">

这个节点里面的 Options 后面的文字改成 MultiViews

Options MultiViews

然后重新启动apache

service httpd restart

打开自己的浏览器试试看訪问这个地址

http://192.168.199.126/cloudera-cdh5/RPMS/noarch/whirr-0.9.0+cdh5.2.1+12-1.cdh5.2.1.p0.6.el6.noarch.rpm

ip改成你自己的机器的ip,假设浏览器自己主动開始下载这个文件的话。证明调通了


3.6 构建repo库

cd 到 /var/www/html/cloudera-cdh5 然后运行 createrepo . 进行构建

[root@localhost ~]# cd /var/www/html/cloudera-cdh5/
[root@localhost cloudera-cdh5]# createrepo .

3.7 改动yum源地址

分别把两台机器的/etc/yum.repos.d/cloudera-cdh5.repo 里面的 baseurl 改动为这台机器的地址。像我就改动成这样

[cloudera-cdh5]
# Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera's Distribution for Hadoop, Version 5
baseurl=http://192.168.199.126/cloudera-cdh5/
gpgkey = http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
enabled=1
gpgcheck = 1

注意:採用这样的方式后,安装hadoop都将很的快。可是假设有时候不能正常安装,那么你还是能够启用远程地址,建议把下面两句话用注解方式保存在这个文件中面,当你认为可能本地库有问题,想切换为远程库的时候能够方便的切换。这个文件就变成这样

[cloudera-cdh5]
# Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera's Distribution for Hadoop, Version 5
baseurl=http://192.168.199.126/cloudera-cdh5/
gpgkey = http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
#baseurl=http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/
#gpgkey = http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
enabled=1
gpgcheck = 1

当你要切换远程库的会后把上面两行 baseurl 和 gpgkey 凝视起来,以下的把凝视去掉,保存退出即可,yum会马上生效不须要做什么额外的操作。


注意:假设你之前用过远程源的模式安装过hadoop,那么切换成本地源之后要删除掉yum的缓存。否则会出现要安装的组件须要的版本比你本地的源还新,造成找不到安装文件的问题。清理方式是把 /var/cache/yum/x86_64/6/cloudera-cdh5 这个目录删了

0. 选择安装模式

有两种安装模式 HA 和 非HA

事实上MapReduce也有两种安装模式 1.0(MRv1) 和 2.0(YARN) 国外已经主要推广 2.0了。只是国内的非常多教程是依照1.0来写的,所以看教程的时候记得分辨一下看是否适合你。

只是我相信国内非常快也会跟上的。

我推荐使用2.0,我们的教程这边也使用2.0

hadoop有两种安装模式:非HA和HA模式,非ha仅仅是用来实验上手而已。真实环境用ha。可是ha环境配置比較复杂,easy被卡主,所以我们先用非HA模式上手一下,然后玩玩hdfs找找感觉,免得失去信心。然后再安装HA模式。所以我的教程会教你们装两次,第一次是非HA模式,第二次是HA模式,在安装HA模式之前最好换新的虚拟机,防止,之前的安装影响到新的安装

Alex 的 Hadoop 菜鸟教程: 第2课 hadoop 安装教程 (CentOS6 CDH分支 yum方式)的更多相关文章

  1. Alex 的 Hadoop 菜鸟教程: 第3课 Hadoop 安装教程 - 非HA方式 (一台server)

    原帖地址: http://blog.csdn.net/nsrainbow/article/details/36629741 接上一个教程:http://blog.csdn.net/nsrainbow/ ...

  2. Docker和Docker-compose安装教程以及docker-elk,docker-storm安装教程

    此安装教程仅供我自己安装配置时查看,其他的人不可以偷看!!! 安装Docker 1. Update package information, ensure that APT works with th ...

  3. MySQL官方教程及各平台的安装教程和配置详解入口

    官方文档入口: https://dev.mysql.com/doc/ 一般选择MySQL服务器版本入口: https://dev.mysql.com/doc/refman/en/ 在右侧有版本选择: ...

  4. 2018超详细sublime text3+python3.x安装配置教程(附常用插件安装教程)

    导读 本文是关于2018年7月最新版sublime text3+pythin3.x下载及安装配置教程,sublime text3版本为3176,python版本为3.7,安装环境是基于windows1 ...

  5. PL/SQL Developer安装教程以及汉化包安装教程

    一.安装PL/SQL 1.百度下载plsql破解版软件,官网只能使用30天 2.双击plsqldev906.exe进行安装,点击 iagree 3.默认是安装在c盘,可以根据自己需要更改安装目录 4. ...

  6. WordPaster.exe安装教程

      安装教程: Firefox控件安装教程 Chrome控件安装教程 Chrome 45+控件安装教程 相关问题: 提示Runtime Error错误 360拦截 Chrome启用npapi Fire ...

  7. Redis安装教程及可视化工具RedisDesktopManager下载安装

    Redis安装教程: 1. Windows下安装教程: 下载:https://github.com/MSOpenTech/redis/releases Redis 支持 32 位和 64 位.这个需要 ...

  8. OpenLTE安装教程

    安装需求: USB3 interface Modern multicore CPU (Intel Core i5, Core i7 or equivalent with SSE4.1 SSE4.2 a ...

  9. caffe2安装教程

    相比于网上的安装教程不如直接看官方安装教程:https://caffe2.ai/docs/getting-started.html?platform=windows&configuration ...

随机推荐

  1. AndroidStudio短信验证功能收不到验证码

    http://mob.com/第三方接口获取地址: 登陆过后点我的后台即可上传,管理应用.需注意的是,即使验证不通过,只要整合了短信验证的Jar包,每天都有20条免费验证短信.现在的mob.com只支 ...

  2. MPTCP 理解

    背景      随着技术的发展许多设备具有了多个网络接口,而TCP依然是一个单线路的协议,在TCP的通信过程中发端和收端都 不能随意变换地址.我们可以利用多个网络接口的这一特性来改善性能和有效冗余.例 ...

  3. OSQL.EXE 命令行下脱裤mssql

    cd C:\Program Files\Microsoft SQL Server\100\Tools\Binn\ OSQL.EXE -S "localhost" -U " ...

  4. selenium从入门到应用 - 6,EventFiringWebDriver和监听器

    本系列所有代码 https://github.com/zhangting85/simpleWebtest 本文将介绍一个Java+TestNG+Maven+Selenium的web自动化测试脚本环境下 ...

  5. 通过Cloudera Manager安装CDH 5.6

    CDH的简介 大家常常说CDH.其全称是:Cloudera's Distribution Including Apache Hadoop.简单的说是Cloudera公司的Hadoop平台,是在Apac ...

  6. 【NOI2015】【寿司晚宴】【状压DP】

    Description 为了庆祝 NOI 的成功开幕,主办方为大家准备了一场寿司晚宴. 小 G 和小 W 作为參加 NOI 的选手,也被邀请參加了寿司晚宴. 在晚宴上,主办方为大家提供了 n−1 种不 ...

  7. WPF的TextBox抛出InvalidOperationException异常:Cannot close undo unit because no opened unit exists.

    近期遇到一个问题.应用使用过程中突然崩溃,查看dump发现异常信息例如以下: UI dispatcher has encountered a problem: 无法关闭撤消单元.由于不存在已打开的单元 ...

  8. jeecms搜索结果排序-二次开发

    jeecms搜索用的是apache Lucene,要实现此功能得先去学习它. 直接上代码 package com.jeecms.cms.lucene; import java.io.IOExcepti ...

  9. rsync的介绍及参数详解,配置步骤,工作模式介绍

    rsync的介绍及参数详解,配置步骤,工作模式介绍 rsync是类unix系统下的数据镜像备份工具.它是快速增量备份.全量备份工具. Sync可以远程同步,支持本地复制,或者与其他SSH.rsync主 ...

  10. 二级导航内容均分--jquery

    这个是去年做过的一个项目中的算法,个人感觉还可以,所以拿出来分享下. 背景:头部导航二级导航有些内容太长,一列的话太过难看,就要分成两列,要做到按块尽量均分,排列顺序没有限制. 原理: 1.把各个二级 ...