Cloudera Manager Server和Agent所有后发先至。也能够进行CDH5的安装和配置。

然后,主节点可以通过浏览器访问7180port测试(因为CM Server需要花时间来启动,可能要等待一会才干訪问),默认的username和password均为admin。

制作本地源

先下载CDH到本地http://archive-primary.cloudera.com/cdh5/parcels/5.3.4/

这里须要下载三样东西。

首先是与自己系统版本号相相应的parcel包,然后是manifest.json文件。

CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel、
CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha1、
manifest.json

下载完毕后。将这两个文件放到master节点的/opt/cloudera/parcel-repo下(文件夹在安装Cloudera Manager 5时已经生成),注意文件夹一个字都不能错。

[root@hadoop1 parcel-repo]# pwd
/opt/cloudera/parcel-repo
[root@hadoop1 parcel-repo]# ll
总用量 1533188
-rw-r-----. 1 root root 1569930781 6月 27 11:49 CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel
-rw-r--r--. 1 root root 41 6月 27 11:49 CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel.sha
-rw-r--r--. 1 root root 42475 6月 27 10:18 manifest.json

接下来打开manifest.json文件。里面是json格式的配置。我们须要的就是与我们系统版本号相相应的hash码。因为我们用的是Centos6.5,所以找到例如以下位置:

在这个大括号的最下面找到“hash”所相应的值。

将“hash”的值复制下来,然后,将CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha1文件名称改为CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha。将复制下来的hash值替换掉文本中的hash值,按理说应该是一致的。保存好了,这样。我们的本地源制作完毕了。

然后的操作就是控制台依照步骤安装就可以。

安装CDH

打开http://hadoop1:7180。登陆控制台,默认账户和password都是admin,安装时选择免费版,之后因为cm5对中文的支持非常强大,依照提示安装就可以,假设系统配置有什么问题在安装过程中会有提示,依据提示给系统安装组件就能够了。

登录界面

选取安装版本号

指定安装主机

选取本地Parcel包

接下来,出现下面包名。说明本地Parcel包配置无误,直接点继续就能够了。

集群安装

检查主机正确性

接下来是server检查。可能会遇到下面问题:

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。
使用 sysctl 命令在执行时更改该设置并编辑 /etc/sysctl.conf 以在重新启动后保存该设置。
您能够继续进行安装,但可能会遇到问题。Cloudera Manager 报告您的主机因为交换执行状况不佳。 下面主机受到影响:
···

在会受到影响的主机上执行echo 0 > /proc/sys/vm/swappiness命令就可以解决。

选择安装服务

集群角色分配

普通情况下保持默认就能够了(Cloudera Manager会依据机器的配置自己主动进行配置,假设须要特殊调整,自行进行设置就能够了)。

集群数据库设置

集群审查更改

假设没有其它需求保持默认配置。

最终到安装各个服务的地方了。

注意,这里安装Hive的时候可能会报错,因为我们使用了MySql作为hive的元数据存储。hive默认没有带mysql的驱动。通过下面命令拷贝一个就可以了:

cp /opt/cm-5.3.4/share/cmf/lib/mysql-connector-java-5.1.25-bin.jar
/opt/cloudera/parcels/CDH-5.3.4-1.cdh5.3.4.p0.12/lib/hive/lib/

之后再继续安装就不会遇到问题了。

经过漫长的等待后,服务的安装完毕:

安装完毕后,就能够进入集群界面看一下集群的当前状况了。

測试

[root@hadoop1 /]# su hdfs
[hdfs@hadoop1 /]$ yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 100 1000
Number of Maps = 100
Samples per Map = 1000
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Wrote input for Map #10 ···· 15/06/27 22:45:55 INFO mapreduce.Job: map 100% reduce 0%
15/06/27 22:46:00 INFO mapreduce.Job: map 100% reduce 100%
15/06/27 22:46:01 INFO mapreduce.Job: Job job_1435378145639_0001 completed successfully
15/06/27 22:46:01 INFO mapreduce.Job: Counters: 49
Map-Reduce Framework
Map input records=100
Map output records=200
Map output bytes=1800
Map output materialized bytes=3400
Input split bytes=14490
Combine input records=0
Combine output records=0
Reduce input groups=2
Reduce shuffle bytes=3400
Reduce input records=200
Reduce output records=0
Spilled Records=400
Shuffled Maps =100
Failed Shuffles=0
Merged Map outputs=100
GC time elapsed (ms)=3791
CPU time spent (ms)=134370
Physical memory (bytes) snapshot=57824903168
Virtual memory (bytes) snapshot=160584515584
Total committed heap usage (bytes)=80012115968
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=11800
File Output Format Counters
Bytes Written=97
Job Finished in 50.543 seconds
Estimated value of Pi is 3.14120000000000000000

查看mapreduce作业

检查Hue

首次登陆Hue会让设置一个初试的username和password,设置好,登陆到后台。会做一次检查,一切正常后会提示。



到这里表明我们的集群能够使用了。

离线安装Cloudera Manager5.3.4与CDH5.3.4(二)的更多相关文章

  1. 离线安装Cloudera Manager5.3.4与CDH5.3.4

    文章转载:http://www.aboutyun.com/thread-14024-1-1.html 前期准备工作(系统环境搭建) 操作系统:CentOS 6.5 x64 CPU*2 64G 300G ...

  2. 离线安装Cloudera Manager5.2.0和CDH5 2.0

    第一次安装出现了各种问题,尤其是对于不是太熟悉linux系统的更是头疼不已呀!特此记录一下,希望能够让小伙伴们少走点弯路. 1.给机器添加路由 (根据自己的机器情况,可以忽略)   route add ...

  3. 离线安装Cloudera Manager5.3.4与CDH5.3.4(一)

    这几天一直在安装CDH,头都搞大了,安装第三次,最终成功了. 第一次问题非常多.后面卸载了.由于没有卸载干净导致第二次安装失败. 后来索性重装系统了.直接使用了纯净系统进行安装.一个人跑到学院机房去装 ...

  4. 离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...

  5. 离线安装 Cloudera Manager 5 和 CDH5.10

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...

  6. 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(六)CM的安装

    一.角色分配 Cloudera Manager Agent:向server端报告当前机器服务状态. Cloudera Manager Server:接受agent角色报告服务状态,以视图界面展现,方便 ...

  7. 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(一)环境说明

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud ...

  8. 离线安装Cloudera Manager 5和CDH5

    关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Cloudera 完全开源的Hadoop  ...

  9. CentOS 6.4 离线安装 Cloudera 5.7.1 CDH 5.7.1

    因为项目开发需要要在本地组建一个Hadoop/Spark集群,除了Hadoop/Spark还要同时安装多个相关的组件,如果一个个组件安装配置,对于一个由多台服务器组成的集群来说,工作量是巨大的. 所以 ...

随机推荐

  1. annotatedClasses和component-scan冲突吗

    annotatedClasses:配置在sessionFactory下面表示的是,哪些实体需要映射,代码如下: <bean id="sessionFactory" class ...

  2. JS 打印报表

    <script type="text/javascript"> window.print(); </script> 前台页面: <%@ Page La ...

  3. windows远程桌面3389超时锁定时间调整方法(取消锁屏时间限制)

    我们在管理服务器操作时,有时候需要长时间操作服务器,有时候稍微离开下倒杯水或接个稍长点的电话,就超时断开了很烦啦!有没有方法解决这个问题类?答案是有的!我只要在组策略里面,稍微修改下超时时间就可以了. ...

  4. [Bhatia.Matrix Analysis.Solutions to Exercises and Problems]ExI.5.1

    Show that the inner product $$\bex \sef{x_1\wedge \cdots \wedge x_k,y_1\wedge \cdots\wedge y_k} \eex ...

  5. 如何在网页中显示pdf

    用如下的html代码即可(例子): <div class="postBody"> <div id="cnblogs_post_body"> ...

  6. Tomcat安全

    一.版本安全 升级当前的tomcat版本为最新稳定版本.故名思议,最新稳定版本就要兼顾最新和稳定这两个概念.一个稳定的版本,是需要时间沉淀的,而最新又是相对于稳定版而言的最新.因此我们一般会选择当前大 ...

  7. 9、四大组件之四-Broadcast Receiver

    课程目标: 了解Android消息机制 掌握Broadcast发送消息的两种类型 掌握BroadcastReceiver接收消息的编程 重点难点: sendOrderedBroadcast()的理解 ...

  8. 总结1-JMeter压力测试

    考虑到测试最需要逻辑能力,所以今天开始慢慢写些东西,希望能自我锻炼下. 第一个课题是压力测试,会把我了解到的和百度的东西按我的思路整合一下 一 什么是压力测试 二 压力测试所需要关注的参数 三 怎么做 ...

  9. MSP430F5438内部延时函数的用法

    今天看示例程序中出现了__delay_cycles()这个函数,在查找msp430x54x.h这个头文件的时候,发现这个头文件中没有该函数的声明,原来这个函数已经在IAR这个编译器中集成,这里总结一下 ...

  10. 文件I/O操作(1)

    linux系统调用和用户编程接口(api) 系统调用是指在操作系统提供给用户程序调用的一组“特殊”的接口,用户程序可以通过这组特殊的接口来获取操作系统内核提供的服务,例如用户可以通过进程控制相关的系统 ...