Cloudera Manager Server和Agent所有后发先至。也能够进行CDH5的安装和配置。

然后,主节点可以通过浏览器访问7180port测试(因为CM Server需要花时间来启动,可能要等待一会才干訪问),默认的username和password均为admin。

制作本地源

先下载CDH到本地http://archive-primary.cloudera.com/cdh5/parcels/5.3.4/

这里须要下载三样东西。

首先是与自己系统版本号相相应的parcel包,然后是manifest.json文件。

CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel、
CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha1、
manifest.json

下载完毕后。将这两个文件放到master节点的/opt/cloudera/parcel-repo下(文件夹在安装Cloudera Manager 5时已经生成),注意文件夹一个字都不能错。

[root@hadoop1 parcel-repo]# pwd
/opt/cloudera/parcel-repo
[root@hadoop1 parcel-repo]# ll
总用量 1533188
-rw-r-----. 1 root root 1569930781 6月 27 11:49 CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel
-rw-r--r--. 1 root root 41 6月 27 11:49 CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel.sha
-rw-r--r--. 1 root root 42475 6月 27 10:18 manifest.json

接下来打开manifest.json文件。里面是json格式的配置。我们须要的就是与我们系统版本号相相应的hash码。因为我们用的是Centos6.5,所以找到例如以下位置:

在这个大括号的最下面找到“hash”所相应的值。

将“hash”的值复制下来,然后,将CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha1文件名称改为CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha。将复制下来的hash值替换掉文本中的hash值,按理说应该是一致的。保存好了,这样。我们的本地源制作完毕了。

然后的操作就是控制台依照步骤安装就可以。

安装CDH

打开http://hadoop1:7180。登陆控制台,默认账户和password都是admin,安装时选择免费版,之后因为cm5对中文的支持非常强大,依照提示安装就可以,假设系统配置有什么问题在安装过程中会有提示,依据提示给系统安装组件就能够了。

登录界面

选取安装版本号

指定安装主机

选取本地Parcel包

接下来,出现下面包名。说明本地Parcel包配置无误,直接点继续就能够了。

集群安装

检查主机正确性

接下来是server检查。可能会遇到下面问题:

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。
使用 sysctl 命令在执行时更改该设置并编辑 /etc/sysctl.conf 以在重新启动后保存该设置。
您能够继续进行安装,但可能会遇到问题。Cloudera Manager 报告您的主机因为交换执行状况不佳。 下面主机受到影响:
···

在会受到影响的主机上执行echo 0 > /proc/sys/vm/swappiness命令就可以解决。

选择安装服务

集群角色分配

普通情况下保持默认就能够了(Cloudera Manager会依据机器的配置自己主动进行配置,假设须要特殊调整,自行进行设置就能够了)。

集群数据库设置

集群审查更改

假设没有其它需求保持默认配置。

最终到安装各个服务的地方了。

注意,这里安装Hive的时候可能会报错,因为我们使用了MySql作为hive的元数据存储。hive默认没有带mysql的驱动。通过下面命令拷贝一个就可以了:

cp /opt/cm-5.3.4/share/cmf/lib/mysql-connector-java-5.1.25-bin.jar
/opt/cloudera/parcels/CDH-5.3.4-1.cdh5.3.4.p0.12/lib/hive/lib/

之后再继续安装就不会遇到问题了。

经过漫长的等待后,服务的安装完毕:

安装完毕后,就能够进入集群界面看一下集群的当前状况了。

測试

[root@hadoop1 /]# su hdfs
[hdfs@hadoop1 /]$ yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 100 1000
Number of Maps = 100
Samples per Map = 1000
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Wrote input for Map #10 ···· 15/06/27 22:45:55 INFO mapreduce.Job: map 100% reduce 0%
15/06/27 22:46:00 INFO mapreduce.Job: map 100% reduce 100%
15/06/27 22:46:01 INFO mapreduce.Job: Job job_1435378145639_0001 completed successfully
15/06/27 22:46:01 INFO mapreduce.Job: Counters: 49
Map-Reduce Framework
Map input records=100
Map output records=200
Map output bytes=1800
Map output materialized bytes=3400
Input split bytes=14490
Combine input records=0
Combine output records=0
Reduce input groups=2
Reduce shuffle bytes=3400
Reduce input records=200
Reduce output records=0
Spilled Records=400
Shuffled Maps =100
Failed Shuffles=0
Merged Map outputs=100
GC time elapsed (ms)=3791
CPU time spent (ms)=134370
Physical memory (bytes) snapshot=57824903168
Virtual memory (bytes) snapshot=160584515584
Total committed heap usage (bytes)=80012115968
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=11800
File Output Format Counters
Bytes Written=97
Job Finished in 50.543 seconds
Estimated value of Pi is 3.14120000000000000000

查看mapreduce作业

检查Hue

首次登陆Hue会让设置一个初试的username和password,设置好,登陆到后台。会做一次检查,一切正常后会提示。



到这里表明我们的集群能够使用了。

离线安装Cloudera Manager5.3.4与CDH5.3.4(二)的更多相关文章

  1. 离线安装Cloudera Manager5.3.4与CDH5.3.4

    文章转载:http://www.aboutyun.com/thread-14024-1-1.html 前期准备工作(系统环境搭建) 操作系统:CentOS 6.5 x64 CPU*2 64G 300G ...

  2. 离线安装Cloudera Manager5.2.0和CDH5 2.0

    第一次安装出现了各种问题,尤其是对于不是太熟悉linux系统的更是头疼不已呀!特此记录一下,希望能够让小伙伴们少走点弯路. 1.给机器添加路由 (根据自己的机器情况,可以忽略)   route add ...

  3. 离线安装Cloudera Manager5.3.4与CDH5.3.4(一)

    这几天一直在安装CDH,头都搞大了,安装第三次,最终成功了. 第一次问题非常多.后面卸载了.由于没有卸载干净导致第二次安装失败. 后来索性重装系统了.直接使用了纯净系统进行安装.一个人跑到学院机房去装 ...

  4. 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...

  5. 离线安装 Cloudera Manager 5 和 CDH5.10

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...

  6. 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(六)CM的安装

    一.角色分配 Cloudera Manager Agent:向server端报告当前机器服务状态. Cloudera Manager Server:接受agent角色报告服务状态,以视图界面展现,方便 ...

  7. 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(一)环境说明

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...

  8. 离线安装Cloudera Manager 5和CDH5

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Cloudera 完全开源的Hadoop  ...

  9. CentOS 6.4 离线安装 Cloudera 5.7.1 CDH 5.7.1

    因为项目开发需要要在本地组建一个Hadoop/Spark集群,除了Hadoop/Spark还要同时安装多个相关的组件,如果一个个组件安装配置,对于一个由多台服务器组成的集群来说,工作量是巨大的. 所以 ...

随机推荐

  1. poj2478

    比较简单的树形dp; 定义s[i]为节点i的子树节点数和(包括自身):叶子节点s[j]=1; s[i]=signma(s[k])+1 (k是i的孩子) 则i满足的条件是 1.s[k]<=n di ...

  2. js 动态计算折扣后总价格

    <script type="text/javascript"> <!---计算折扣后的总价格---> function outtotalprice(i) { ...

  3. C# List 用法与示例

    Problem. You have questions about the List collection in the .NET Framework, which is located in the ...

  4. 【转】UIColor对颜色的自定义

    原文网址:http://blog.sina.com.cn/s/blog_5f19ccb10101bhqh.html 在iOS开发中,我们使用UIColor来对我们的界面进行颜色设置,一般我们通过以下两 ...

  5. 【转】Android.mk文件语法规范(Android.mk File)

    原文网址:http://blog.csdn.net/smfwuxiao/article/details/8530742 1.Android.mk文件概述 Android.mk文件用来告诉NDK编译系统 ...

  6. 引用的时候js不能使用虚拟路劲,调试时用排除法测试

    今天碰到2个问题,搞了半天都没明白,又不报错: 就是js的问题:-->我返回了一个json,返回的json是正确的,但是view页面接受不到这个虚拟对象. 完全懵了,不知道为什么view页面接受 ...

  7. CF GYM 100703F Game of words

    题意:两个人玩n个游戏,给出每人玩每个游戏的时间,两个人需要在n个游戏中挑m个轮流玩,求最短时间. 解法:dp.(这场dp真多啊……话说也可以用最小费用最大流做……然而并不会XD)dp[i][j][k ...

  8. STM32软件仿真的一个注意点

    最近才做的板子由于自己的粗心把串口线搞反了,还好只有两条,飞线解决,而且现在还只是样板,但是还是应该引以为戒,以后做硬件一定要谨慎. 今天同事出差把CAN分析仪拿走了,本来在开发板上调试好的程序不知为 ...

  9. Solaris10下Telnet、SSH、ftp使用root登录

    学习solaris过程中,使用SecureCRT.putty等工具用root账号登录,总是登录不上去,后来经老师解答和网上找答案,发现是 solaris默认是不可以远程使用root账号登录的,如果想开 ...

  10. REST和SOAP

    转自:http://blog.csdn.net/smstong/article/details/5312136 我感觉维基百科说的REST解释的就听明白的,摘录下来: 含状态传输(英文:Represe ...