文档说明

本文是针对Linux CentOS6服务器与CDH5.15的安装手册。

关于CDH和ClouderaManager

CDH(Cloudera's Distribution, includingApache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。

ClouderaManager(本文以下简称为CM)则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化

术语介绍

CM: Cloudera Manager (Cloudera公司专有的Hadoop集群管控平台);

CDH: Cloudera Distributed Hadoop(Cloudera公司重新打包发布的Hadoop版本);

HDFS:分布式文件系统;

HBASE: 基于HADOOP的分布式、列式存储数据库;

HIVE: 基于大数据技术(文件系统+运算框架)的SQL数据仓库工具;

MAPREDUCE: 分布式运算程序开发框架;

SPARK:为大规模数据处理而设计的快速通用的计算引擎;

ZOOKEEPER: 分布式协调服务基础组件;

YARN: 负责集群资源的统一管理和调度,分配系统资源给各个应用程序。

基础环境准备

关闭防火墙:/etc/init.d/iptables stop  && chkconfig iptables off

关闭NetworkManager:/etc/init.d/NetworkManager stop && chkconfig NetworkManager off

SeLinux设为disabled: setenforce 0

yum源仓库的配置:本次部署使用了公司yum源

主机规划

软件安装

MySQL安装

因为需要安装数据库,所以安装了mysql5.6此时需要卸载系统自带的mysql-lib-5.1

[root@hdp01 yum.repos.d]# rpm -qa | grep mysql
mysql-client-5.6.-.x86_64
mysql-server-5.6.-.x86_64

安装cloudera时需要mysql-lib,此时我们需要在
官网:https://downloads.mysql.com/archives/community/
下载:MySQL-shared-compat和MySQL-shared安装,选择和安装的mysql相应的版本
启动mysql,并操作修改密码等一系列事宜

cloudera安装

本次cloudera目录结构如下:

[root@hdp01 ~]# tree /opt/cloudera/
/opt/cloudera/
├── csd
│   └── SPARK2_ON_YARN-2.3..cloudera2.jar
└── parcel-repo
├── CDH-5.14.-.cdh5.14.2.p0.-el6.parcel
├── CDH-5.14.-.cdh5.14.2.p0.-el6.parcel.sha
├── CDH-5.14.-.cdh5.14.2.p0.-el6.parcel.torrent
├── SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel
├── SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel.sha
└── SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel.torrent directories, files
[root@hdp01 ~]# ll /opt/cloudera/
total
drwxr-xr-x cloudera-scm cloudera-scm Nov : csd
drwxr-xr-x cloudera-scm cloudera-scm Nov : parcel-repo
[root@hdp01 ~]# ll /opt/cloudera/parcel-repo/
total
-rw-r----- cloudera-scm cloudera-scm Nov : CDH-5.14.-.cdh5.14.2.p0.-el6.parcel
-rw-r----- cloudera-scm cloudera-scm Nov : CDH-5.14.-.cdh5.14.2.p0.-el6.parcel.sha
-rw-r----- cloudera-scm cloudera-scm Nov : CDH-5.14.-.cdh5.14.2.p0.-el6.parcel.torrent
-rw-r----- cloudera-scm cloudera-scm Nov : SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel
-rw-r----- cloudera-scm cloudera-scm Nov : SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel.sha
-rw-r----- cloudera-scm cloudera-scm Nov : SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel.torrent
[root@hdp01 ~]# ll /opt/cloudera/csd/
total
-rw-r--r-- root root Apr SPARK2_ON_YARN-2.3..cloudera2.jar

本次使用单位的yum源,如果没有yum源,请手动下载下软件进行安装

cloudera-manager 下载地址:
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.3/RPMS/x86_64/

spark-2 下载地址:
http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/

  SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel
  SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha

cdh 下载地址:
http://archive.cloudera.com/cdh5/parcels/5.14.2/

  CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel
  CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha

yum安装:

server端安装:

yum inshall cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server oracle-j2sdk1.

client端安装:

yum install cloudera-manager-daemons cloudera-manager-agent oracle-j2sdk1.

配置修改

所有节点执行

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
#修改:vim /etc/cloudera-scm-agent/config.ini
server_host=
添加:vim /etc/sysctl.conf
vm.swappiness =
sysctl -p

master节点执行

修改:vim /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=localhost
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=root
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=

mysql中创建数据库,并进行连接

/usr/share/cmf/schema/scm_prepare_database.sh mysql cmf root 

所有节点下载 mysql-connector-java-5.1.46.tar.gz,上传至服务器并解压

cp mysql-connector-java-5.1.-bin.jar /usr/share/java/oracle-connector-java.jar

下载spark插件

cd /opt/cloudera/csd
wget http://yum.ncfgroup.org/cloudera/spark2/csd/SPARK2_ON_YARN-2.3.0.cloudera2.jar

启动cloudera

server端:/etc/init.d/cloudera-scm-server start
agent端:/etc/init.d/cloudera-scm-agent start

CDH集群安装

ClouderaManager浏览器默认管理账号:/http://hdp01.yxdev.wx:7180

  User:admin
  Password:admin

Cloudera Manager 安装 CDH5的更多相关文章

  1. Cloudera Manager安装_搭建CDH集群

    2017年2月22日, 星期三 Cloudera Manager安装_搭建CDH集群 cpu   内存16G 内存12G 内存8G 默认单核单线 CDH1_node9 Server  || Agent ...

  2. 通过Cloudera Manager部署CDH5.15.1的webUI界面详解

    通过Cloudera Manager部署CDH5.15.1的webUI界面详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客CDH的部署完全通过Cloudera Mana ...

  3. Cloudera Manager安装之利用parcels方式安装3或4节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(CentOS6.5)(五)

    参考博客 Cloudera Manager安装之利用parcels方式安装单节点集群  Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式.rpm ...

  4. Cloudera Manager安装之利用parcels方式安装单节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(CentOS6.5)(四)

    不多说,直接上干货! 福利 => 每天都推送 欢迎大家,关注微信扫码并加入我的4个微信公众号:   大数据躺过的坑      Java从入门到架构师      人工智能躺过的坑          ...

  5. Cloudera Manager安装之Cloudera Manager 5.3.X安装(三)(tar方式、rpm方式和yum方式)

    不多说,直接上干货! 福利每天都有  =>  =>=>=>=> 欢迎大家,关注微信扫码并加入我的4个微信公众号:   大数据躺过的坑      Java从入门到架构师  ...

  6. Cloudera Manager安装之利用parcels方式(在线或离线)安装3或4节点集群(包含最新稳定版本或指定版本的安装)(添加服务)(Ubuntu14.04)(五)

    前期博客 Cloudera Manager安装之Cloudera Manager 5.6.X安装(tar方式.rpm方式和yum方式) (Ubuntu14.04) (三) 如果大家,在启动的时候,比如 ...

  7. Cloudera Manager安装之Cloudera Manager安装前准备(Ubuntu14.04)(一)

    其实,基本思路跟如下差不多,我就不多详细说了,贴出主要图. 博主,我是直接借鉴下面这位博主,来进行安装的!(灰常感谢他们!) 在线和离线安装Cloudera CDH 5.6.0  Cloudera M ...

  8. Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)

    Cloudera Manager安装前准备 (一)机器准备 192.168.80.148   clouderamanager01 (部署ClouderaManager-server和Mirror se ...

  9. Cloudera Manager 安装集群遇到的坑

    Cloudera Manager 安装集群遇到的坑 多次安装集群,但每次都不能顺利,都会遇到很多很多的坑,今天就过去踩过的坑简单的总结一下,希望已经踩了的和正在踩的童鞋能够借鉴一下,希望对你们能有所帮 ...

随机推荐

  1. [LeetCode]17. Letter Combinations of a Phone Number电话号码的字母组合

    Given a string containing digits from 2-9 inclusive, return all possible letter combinations that th ...

  2. ASP.NET MVC 音乐商店 - 5. 通过支架创建编辑表单

    在上一章,我们已经从数据库获取数据,然后显示出来,这一章,我们将允许编辑数据. 创建 StoreManagerController 控制器 我们将要创建称为 StoreManager 的控制器,对于这 ...

  3. Gremlin--一种支持对图表操作的语言

    Gremlin 是操作图表的一个非常有用的图灵完备的编程语言.它是一种Java DSL语言,对图表进行查询.分析和操作时使用了大量的XPath. Gremlin可用于创建多关系图表.因为图表.顶点和边 ...

  4. ArcGIS Runtime SDK for Android 各版本下载地址

    ArcGIS Runtime SDK for Android各版本下载地址:ArcGIS Runtime SDK交流群:249819194 SDK包中主要包含以下内容: 其中里面比较重要的有以下几项: ...

  5. Trouble Shooting的一些感想(实时补充)

    最近一直做两个产品功能的Merge工作,代码Merge过来之后,发现了很多问题.经过Trouble Shooting,最终发现归根结底都是我们Merge的问题,例如有的Code没有Merge过来,Me ...

  6. Eclipse 如何修改 Web 项目的名称

    Eclipse 切换到  Navigator 视图,能显现出项目下所有的文件便于修改. 1.修改该项目目录下:.project文件 <projectDescription><name ...

  7. 被遗忘的设计模式——空对象模式(Null Object Pattern)

    GoF(四人帮)那本<设计模式 可复用面向对象软件的基础>可谓是设计模式方面的经典之作,其中介绍的23种设计模式, 也可谓是经典中的经典.但是,设计模式的种类绝不仅仅是这23种,除此之外还 ...

  8. 二叉查找树(c++)

    二叉查找数的操作: #include <iostream> using namespace std; typedef struct BitNode { int data; struct B ...

  9. SQL:获取语句执行时间2

    获取sql执行时间方法2 --清除缓存 CHECKPOINT; DBCC DROPCLEANBUFFERS; DBCC FREEPROCCACHE; DBCC FREESYSTEMCACHE ('AL ...

  10. 进程—内存描述符(mm_struct)

    http://blog.csdn.net/qq_26768741/article/details/54375524 前言 上一篇我们谈论了task_struct这个结构体,它被叫做进程描述符,内部成员 ...