一、前言。

学习大数据组件,最好的方式是直接参照官网。不过官网的教程也让我吃了一坑,在此记录一下。因在个人笔记本资源有限,在此安装为单机版安装

官网参考地址:https://docs.cloudera.com/documentation/enterprise/6/6.0/topics/install_cm_cdh.html

二、搭建。

1.1配置主机名

hostnamectl set-hostname cdh

1.2配置hosts文件

vi /etc/hosts之后进行编辑,加入本机的ip映射关系(非单机时,有多个ip时,均加进来)

192.168.159.133 cdh

1.3关闭selinux

setenforce 0

1.4关闭防火墙

systemctl stop firewalld.service

systemctl disable firewalld.service

1.5配置免密登录

ssh-keygen (后面一路回车就行)

ssh-copy-id cdh(cdh为主机名,非单机时有多个ip时,则执行多次进行免密配置)

1.6配置时间同步(时间服务器使用已有的,在此不介绍时间服务器的搭建1)yum install nt2)vi /etc/ntp.conf加入以下内容server 0.pool.ntp.org

3)sudo systemctl start ntpd
4)sudo systemctl enable ntpd
5)ntpdate -u 0.pool.ntp.org
6)hwclock --systohc 1.7安装JDK
1)下载jdk
2)将jdk放至/usr/java/目录下(一定要放至此目录下,否则Clouder-Manager启动会失败!!!)
3)解压并配置JAVA_HOME与PATH环境变量
4)导入TLS
1.8安装Mysql(采用docker安装)
1)安装docker
 yum install docker
system enable docker
vi /etc/docker/daemons.json并加入加速镜像地址 {"registry-mirrors": ["http://hub-mirror.c.163.com"]}
system start docker
2)安装mysql
docker run --name mysql -e MYSQL_ROOT_PASSWORD=root -d --restart=always -p 3306:3306 mysql:5.6
3)建库
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm@123';
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman@123';
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'hue@123';
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON metastore.* TO 'metastore'@'%' IDENTIFIED BY 'metastore@123';
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry@123';
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY 'nav@123';
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY 'navms@123';
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie@123';
1.9设置数据库
格式为:/opt/cloudera/cm/schema/scm_prepare_database.sh [options] -h <hostname> <databaseType> <databaseName> <username> <password>
执行时:/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h cdh  scm root root 2.0安装Cloudera Manager
下载地址: https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x86_64/
下载

  1.cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm
  2.cloudera-manager-server-6.0.1-610811.el7.x86_64.rpm
  3.cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm
执行rpm安装: rpm -ivh cloudera-*
导入STL:JAVA_HOME=/usr/java/${jdk名称} /opt/cloudera/cm-agent/bin/certmanager setup --configure-services 单机版时执行:
  systemctl start cloudera-scm-server
  查看日志:tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
  显示如下表示服务已经正常起来:INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.
  vi /etc/cloudera-scm-agent/config.ini,修改server_host=cdh
  启动cloudera-scm-agent服务:systemctl start cloudera-scm-agent
  查看cloudera-scm-agent状态:systemctl status cloudera-scm-agent
  查看cloudera-scm-agent日志:tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log
多机版时:
  在server端执行cloudera-scm-server与cloudera-scm-agent操作
  在agent端只执行cloudera-scm-agent操作 2.1配置CDH
Cloudera Manager Server启动起来以后就可以登录Web界面进行CDH的安装配置工作了。
在浏览器中输入 http://192.168.1.101:7180,默认用户名与密码均为:admin
2.2之后按自己的安装需要去安装大数据组件即可,就不一一介绍了。




 
												

Centos7搭建CDH6.0.1(单机版)的更多相关文章

  1. CentOS7部署CDH6.0.1大数据平台

    Cloudera’s Distribution Including Apache Hadoop,简称“CDH”,基于Web的用户界面,支持大多数Hadoop组件,包括HDFS.MapReduce.Hi ...

  2. centos7搭建zabbix3.0监控系统

    关闭防火墙和selinux systemctl stop firewalld.service                (停止防火墙) systemctl disable firewalld.se ...

  3. zabbix系列(一)centos7搭建zabbix3.0.4服务端及配置详解

    1.安装常用的工具软件 yum install -y vim wget centos7关闭防火墙 systemctl stop firewalld.service systemctl disable ...

  4. linux centos7搭建redis-5.0.5

    1. 下载redis 1.1 下载地址 http://download.redis.io/releases/ 1.2 安装版本 redis-5.0.5.tar.gz 2. 安装redis 2.1 前置 ...

  5. Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)--------hadoop环境的搭建

    Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)------https://blog.csdn.net/pucao_cug/article/details/71698903 ...

  6. CentOS7搭建Hadoop-3.3.0集群手记

    前提 这篇文章是基于Linux系统CentOS7搭建Hadoop-3.3.0分布式集群的详细手记. 基本概念 Hadoop中的HDFS和YARN都是主从架构,主从架构会有一主多从和多主多从两种架构,这 ...

  7. centos7 搭建GlusterFS

    centos7 搭建GlusterFS 转载http://zhaijunming5.blog.51cto.com/10668883/1704535 实验需求:4台机器安装GlusterFS组成一个集群 ...

  8. CentOS7 搭建Ambari-Server,安装Hadoop集群(一)

    2017-07-05:修正几处拼写错误,之前没发现,抱歉! 第一次在cnblogs上发表文章,效果肯定不会好,希望各位多包涵. 编写这个文档的背景是月中的时候,部门老大希望我们能够抽时间学习一下Had ...

  9. CentOS7 搭建 SVN 服务器

    CentOS7 搭建 SVN 服务器 介绍SVN: SVN是Subversion的简称,是一个开放源代码的版本控制系统,相较于RCS.CVS,它采用了分支管理系统,它的设计目标就是取代CVS.互联网上 ...

随机推荐

  1. 进行hcmcloud 数据库备份以及设置的处理过程.

    导入数据库以及简单设置. 最近进行了一个数据库备份的简单工作: create database hcmcloud create user hcm with password 'Test6530' 执行 ...

  2. SQL Server 下载与安装

    1.首先去Microsoft官网下载对应的安装程序,下载地址:https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.运行安 ...

  3. 2017Nowcoder Girl初赛重现赛 D(二进制枚举

    链接:https://ac.nowcoder.com/acm/contest/315/D来源:牛客网 题目描述 妞妞参加完Google Girl Hackathon之后,打车回到了牛家庄. 妞妞需要支 ...

  4. 首篇-记录自己学习python之路!

    对于自己学习python的目的比较明确——爬虫和量化. 目前找了一些资源进行学习,先进行量化方面的学习,爬虫滞后.目前的目标是“180天掌握尽可能多的量化能力”! 以后定时发送自己学习思考内容以作自己 ...

  5. centos 配置rsync+inotify数据实时同步

    何为rsync? 定义: rsync是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份,保持链接和权限,非常适用于异地备份 何为源端和发起端? 在远程同步过程中,负责发起rs ...

  6. haproxy + keepalived + mycat 高可用与负载均衡集群配置 centos7

    架构如上,但是其实keepalived.haproxy.Mycat都可以多台(比如keepalived.haproxy.Mycat各3台,3台keepalived抢占vip,然后抢到vip的hapro ...

  7. GitHub使用--01

    1.Git下载与安装 Git网站下载地址https://git-scm.com/downloads 2.本地Git使用 在存储代码仓库的文件夹下右键 git bash here 初始化仓库 git i ...

  8. curl命令用法

    curl命令是一个功能强大的网络工具,它能够通过http.ftp等方式下载文件,也能够上传文件,同时支持HTTPS等众多协议,还支持POST.cookies.认证.从指定偏移处下载部分文件.用户代理字 ...

  9. fetch的文件流下载及下载进度获取

    下载过程中,获取进度,fetch API并没有提供类似xhr和ajax的 progress所以用 getReader()来循环读取大小 let size = 0; fetch( URL() + `/s ...

  10. 第九章、import 和from ...import

    目录 第九章.import 和from ...import 一.import和 from ...import ... 二.import模块名 第九章.import 和from ...import 一. ...