环境5台装有centos 6.9系统的服务器

1.网络配置

sudo vi /etc/sysconfig/network修改hostname:

NETWORKING=yes
HOSTNAME=ZXXS-52

通过service network restart重启网络服务生效

sudo vi /etc/hosts,将集群中主机ip 与主机名添加进去

10.30.100.52    ZXXS-52    master1
10.30.100.53 ZXXS-53 master2
10.30.100.54 ZXXS-54 slave1
10.30.100.55 ZXXS-55 slave2
10.30.100.56 ZXXS-56 slave3

集群中的每台机器都需要配置,且需要一致。

2.SSH无密码登陆

现在主节点执行命令rm -rf ~/.ssh/*删除已有的密钥,然后执行ssh-keygen -t rsa一路回车,生成三个文件

authorized_keys:授权文件,存放远程登陆的公钥

id_rsa:生成的私钥文件

id_rsa.pub:生成的公钥文件

在配置过程中对权限也有要求

  • 1..ssh目录的权限必须是700
  • 2..ssh/authorized_key文件的权限必须是600

将公钥添加到授权文件中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

并设置权限chmod 600 ~/.ssh/authorized_keys

并将文件复制到所有的节点中:scp ~/.ssh/authorized_keys hadoop@ZXXS-52:~/.ssh/,这样就可以实现单方向的无密码登陆了。那如果向实现双向无密码登陆怎么办?有两种方法

  • 1.将.ssh下面的文件全部拷贝到其他节点
  • 2.在其他节点进行无密码设置,并将id_rsa.pub追加到主节点的授权文件authorized_keys中,并将该文件分发到 各个节点。

注意在scp命令中username@hostname,username是登陆的用户,hostname是主机名,也可以是ip地址。如果远程登陆的用户和被登陆主机的用户相同可以省略username,如下

scp -P 3600 jdk-8u144-linux-x64.rpm 10.30.100.53:/home/hadoop/

3.安装Java环境

centos默认安装的是openjdk,不知是否满足cdh的需求,索性就直接卸载掉了。先使用命令rpm -qa | grep java找出所有与Java相关的安装包,卸载自己安装的Java可能需要命令是rpm -qa | grep jdk使用强制卸载命令一一卸载rpm -e --nodeps 包名,在官网下载jdk8的rpm格式。

安装rpm -ivh jdk-8u144-linux-x64.rpmrpm这种安装方式不需要配置环境变量,不过我们还是配置一下sudo vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4.启用NTP(Network Time Protocol)

参考官网,CHD要求集群中的主机时间保持同步,所以就需要在集群中的每台机器配置NTP服务,并且要求开机自动启动。配置开机启动chkconfig ntpd on,并检查是否设置成功chkconfig --list ntpd,其中2-5为on代表成功。进入/etc/ntp.conf查看配置文件,手动校准sudo ntpdate -u 0.centos.pool.ntp.org

5.MySQL

Hive中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等;元数据需要不断的更新、需要将元数据存储在数据库中,录入mysql。

使用命令yum install mysql-server安装mysql服务器,使用命令chkconfig mysqld on设置开机启动,并service mysqld start启动mysql服务,设置root的初始密码mysqladmin -u root password 'admin'。密码设置好了,使用命令mysql -uroot -padmin进入mysql的命令控制台。

sql
#Activity Monitor
create database amon DEFAULT CHARACTER SET utf8; #Reports Manager
create database rman DEFAULT CHARACTER SET utf8; #Hive Metastore Server
create database hive DEFAULT CHARACTER SET utf8; #Sentry Server
create database sentry DEFAULT CHARACTER SET utf8; #Cloudera Navigator Audit Server
create database nav DEFAULT CHARACTER SET utf8; #Cloudera Navigator Metadata Server
create database navms DEFAULT CHARACTER SET utf8;

为root用户授权访问以上所有的数据库的权限:

grant all privileges on *.* to 'root'@'ZXXS-52' identified by 'admin' with grant option;
flush privileges; --立即生效

也可以是单独创建一个用户并授权:

CREATE USER 'uname'@'%' IDENTIFIED BY 'password';
GRANT all privileges ON database.* TO 'uname'@'%' identified by 'password';
flush privileges;

查看mysql的编码:

mysql> show variables like '%char%';

修改编码:set character_set_connection utf8

5.安装

下面的安装比较的简单,因为是可视化。就不细说了可以参考这一篇,下面只说我安装时候出现的问题



我把这两个设置成一样,然后就会卡在激活状态,另外一个就是将mysql的驱动复制到hive的lib中。这些都比较简单,因为有很清楚的日志

CDH的安装的更多相关文章

  1. Coudera-Manager/CDH的安装和部署

    由于之前部署的集群采用的是用apache hadoop的方式来实现,但是考虑到运维的成本问题,下面将apache hadoop转换成cloudera cdh.下面主要讲解一下cloudera cdh的 ...

  2. cdh 上安装spark on yarn

    在cdh 上安装spark on yarn 还是比较简单的,不需要独立安装什么模块或者组件. 安装服务 选择on yarn 模式:上面 Spark 在spark 服务中添加 在yarn 服务中添加 g ...

  3. CentOS7安装CDH 第十章:CDH中安装Spark2

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  4. CentOS7安装CDH 第九章:CDH中安装Kafka

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  5. CentOS7安装CDH 第五章:CDH的安装和部署-CDH5.7.0

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  6. CDH CM安装及简单群集部署测试

    前吃人的故事开始了,金钱是如何吃人的呢?我在想ing,还没想通,一起吧,哈哈: 入题,别胡扯,误人子弟!!!! CM@@!!!!!!....................., 先来张monitor ...

  7. CDH的安装和设置

    采用伪分布模式安装和设置CDH,前提是已经安装了Java和SSH. 1. 下载hadoop-2.6.0-cdh5.9.0,复制到/opt/下,再解压: 2. 进入/opt/hadoop-2.6.0-c ...

  8. CDH impala安装

    环境 CDH版本:5.12.1 添加impala parcel 1.菜单“主机”-->Parcel-->配置-->远程 Parcel 存储库 URL,点击添加按钮,添加一个URL,h ...

  9. CDH离线安装

    1. 安装准备 系统:Centos 6 Cloudera Manager分配如下: 安装版本:CDH-5.8.0 所需安装文件 CDH相关 CDH-5.8.0-1.cdh5.8.0.p0.42-el6 ...

随机推荐

  1. java.util.HashMap和java.util.HashTable (JDK1.8)

    一.java.util.HashMap 1.1 java.util.HashMap 综述 java.util.HashMap继承结构如下图 HashMap是非线程安全的,key和value都支持nul ...

  2. Handlebars 和 angularjs 之间的区别

    handlebarsjs算不上框架,只是一种js模板引擎,是模板库,模板库的主要作用是:你想要生成某一大片有一定规律的界面,比如商品详情,不同商品之间差的只是名称,价格,图片,介绍这些,但是结构一样的 ...

  3. 域名和ip不能访问的原因

    centos的话可能默认可能会有firewalld,可以执行 systemctl stop firewalld systemctl disable firewalld 禁用后在看看,前提都是域名得备案 ...

  4. Python的控制语句

    1.  控制语句 控制语句是用来改变程序执行的顺序.程序利用控制语句有条件地执行语句,循环地执行语句或者跳转到程序中的其他部分执行语句. Python支持三种不同的控制语句:if,for和while, ...

  5. Python笔记·第一章—— Python基础(一)

    一.Python的简介 1.Python的由来与版本 1.1 python的由来 python的创始人为吉多·范罗苏姆(Guido van Rossum).1989年的圣诞节期间,吉多·范罗苏姆(中文 ...

  6. BFS求最短路 Abbottt's Revenge UVa 816

    本题的题意是输入起点,朝向和终点,求一条最短路径(多解时任意输出一个即可) 本题的主要代码是bfs求解,就是以下代码中的slove的主要部分,通过起点按照路径的长度来寻找最短路径,输出最先到终点的一系 ...

  7. vue2的keep-alive的总结

    vue2的keep-alive的总结 keep-alive 是Vue的内置组件,能在组件切换过程中将状态保留在内存中,防止重复渲染DOM.结合vue-router中使用,可以缓存某个view的整个内容 ...

  8. js清除cookie有时无法清除

    最近写页面遇到一个问题,退出的时候需要清除cookie,但是刚开始一直清除不掉,代码如下: //清除函数 function delCookie(name) { var date= new Date() ...

  9. Struts2学习笔记整理(三)

    Struts2的输入校验 之前对请求参数的输入校验一般分为两部分:1.客户端校验,也就是我们写js代码去对客户的误操作进行过滤  2.服务端校验, 这是整个应用组织非法数据的最后防线. Struts2 ...

  10. ASP.MVC当URL跳转时候参数的安全性

    一个页面跳转到另外一个页面直接将参数写在URL上面并不安全比如 http://XXXXXXXXXXX/meeting/shakeGroup?id=5381&uid=o0En_sj1J0bFgI ...