CDH6安装文档
1、准备工作
1.1 环境
centos7、jdk8、mysql5.7、python2.7、CDH6
1.2文件下载
1.2.1 cloudmanger地址
https://archive.cloudera.com/cm6/6.0.0/redhat7/yum/RPMS/x86_64/
- cloudera-manager-agent-6.0.0-530873.el7.x86_64.rpm
- cloudera-manager-daemons-6.0.0-530873.el7.x86_64.rpm
- cloudera-manager-server-6.0.0-530873.el7.x86_64.rpm
1.2.2 资源下载地址
https://archive.cloudera.com/cdh6/6.0.0/parcels/
- CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel
- CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel.sha256
- manifest.json
2、开始安装
2.1 服务器配置
2.1.1 修改HOST和主机名
- vim /etc/hosts修改host,例如
198.168.12.1 cdh1
192.168.12.2 cdh2
192.168.12.3 cdh3
不能有大写字母和下划线 - vim /etc/hostname修改主机名,修改完后三台机器分别执行hostname ***(当前节点的主机名)
2.1.2 配置免密登录
1. ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa b、ssh-copy-id 每台服务器地址
2.1.3 关闭防火墙
1. 临时关闭 systemctl stop firewalld
2. 禁止开机启动 systemctl disable firewalld
2.1.4 安装jdk,配置环境变量
这个大家都会,如果不会可以参考这个教程
https://www.cnblogs.com/ocean-sky/p/8392444.html
2.1.5 其他依赖
每台服务器yum安装依赖包:redhat-lsb、portmap、httpd、mod_ssl、openssl-devel、python-psycopg2、MySQL-python、chkconfig、python、chkconfig、bind-utils、libxslt、zlib、sqlite、cyrus-sasl-plain、cyrus-sasl-gssapi、fuse、fuse-libs
2.2 Mysql5.7安装(在主节点安装)
2.2.1 安装
1. wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
2. yum -y install mysql57-community-release-el7-10.noarch.rpm
3. yum -y install mysql-community-server
4. 启动 systemctl start mysqld.service
5. 查看运行状态 systemctl status mysqld.service
6. 查看初始密码 grep "password" /var/log/mysqld.log
7. 登录后修改密码(尽量复杂一点,太简单了验证不通过,也可以查看如何关闭mysql校验规则) ALTER USER 'root'@'localhost' IDENTIFIED BY 'new password';
8. 卸载yum源防止自动更新 yum -y remove mysql57-community-release-el7-10.noarch</br>
9. 安装MySQL-shared-compat或MySQL-shared软件包(这是Cloudera Manager Agent软件包安装所必需的)yum install MySQL-shared-advanced
2.2.2 创建CDH相关数据库
- create database scm default character set utf8 default collate utf8_general_ci;
- grant all on scm.* to 'scm'@'%' identified by 'password';
- create database amon default character set utf8 default collate utf8_general_ci;
- grant all on amon.* to 'amon'@'%' identified by 'password';
- create database rman default character set utf8 default collate utf8_general_ci;
- grant all on rman.* to 'rman'@'%' identified by 'password';
- create database hue default character set utf8 default collate utf8_general_ci;
- grant all on hue.* to 'hue'@'%' identified by 'password';
- create database metastore default character set utf8 default collate utf8_general_ci;
- grant all on metastore.* to 'hive'@'%' identified by 'password';
- create database sentry default character set utf8 default collate utf8_general_ci;
- grant all on sentry.* to 'sentry'@'%' identified by 'password';
- create database nav default character set utf8 default collate utf8_general_ci;
- grant all on nav.* to 'nav'@'%' identified by 'password';
- create database oozie default character set utf8 default collate utf8_general_ci;
- grant all on oozie.* to 'oozie'@'%' identified by 'password';
2.3 CDH安装
1. mkdir /opt/cloudera-manager
2. 将cloudera-manager-agent-6.0.0-530873.el7.x86_64.rpm、cloudera-manager-daemons-6.0.0-530873.el7.x86_64.rpm 、cloudera-manager-server-6.0.0-530873.el7.x86_64.rpm
复制到/opt/cloudera-manager文件夹中
3. 按 daemons、server、agent顺序解压
4. 修改文件/etc/cloudera-scm-agent/config.ini中serverhost指定server节点
5. 下载mysql-connector-java-5.1.47.jar包并复制为/usr/share/java/mysql-connector-java.jar
6. 在主节点执行
/opt/cloudera/cm/schema/scmpreparedatabase.sh mysql -h 主节点ip --scm-host 主节点ip scm scm
7. mkdir -p /opt/cloudera/parcel-repo
8. 将CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel、CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel.sha256、manifest.json复制到/opt/cloudera/parcel-repo
9. 将CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel.sha256 重命名为 CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel.sha
10. 在manifest.json文件中,找到对应版本的秘钥,复制到CDH-6.0.0-1.cdh6.0.0.p0.537114-el7.parcel.sha文件中。
11. 启动systemctl start cloudera-scm-agent、systemctl start cloudera-scm-server
2.4 集群配置
2.4.1 禁用透明大页面压缩
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
2.4.1 分配组件
访问http://192.168.1.1:7180开始配置集群组件
因为是先安装集群后编写文档,没有截图就没有详细写。
CDH6安装文档的更多相关文章
- ORACLE LINUX 6.3 + ORACLE 11.2.0.3 RAC + VBOX安装文档
ORACLE LINUX 6.3 + ORACLE 11.2.0.3 RAC + VBOX安装文档 2015-10-21 12:51 525人阅读 评论(0) 收藏 举报 分类: Oracle RA ...
- Oracle 11g 单实例安装文档
这里介绍在Red Hat Enterprise Linux Server release 5.7 (Tikanga)下安装ORACLE 11.2.0.1.0的过程,本文仅仅是为了写这样安装指导文档而整 ...
- linkedin开源的kafka-monitor安装文档
linkedin开源的kafka-monitor安装文档 linkedin 开源的kafka-monitor的安装使用可以参考官方的readme:流程介绍的已经比较清楚,但是还是有一些地方需要修正.让 ...
- _00024 尼娜抹微笑伊拉克_云计算ClouderaManager以及CHD5.1.0群集部署安装文档V1.0
笔者博文:妳那伊抹微笑 itdog8 地址链接 : http://www.itdog8.com(个人链接) 博客地址:http://blog.csdn.net/u012185296 博文标题:_000 ...
- oracle database 12c R1 安装文档
INSTALLORACLE DATABASE 12C 完整的安装文档下载地址: http://download.csdn.net/detail/royjj/5665869 OS:ORALCE LINU ...
- HAProxy安装文档
HAProxy安装文档 [toc][TOC] 一.环境说明 系统环境:CentOS Linux release 7.2.1511 (Core) 系统内核:3.10.0-327.el7.x86_64 软 ...
- Oracle 12c RAC 静默安装文档
参考文档: https://docs.oracle.com/en/database/oracle/oracle-database/12.2/cwlin/index.html https://docs. ...
- Oracle 12c RAC 安装文档
参考文档: https://docs.oracle.com/en/database/oracle/oracle-database/12.2/cwlin/index.html https://docs. ...
- Azkaban使用安装文档
Azkaban使用安装文档 Azkaban简介 Azkaban的是什么 Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程.Az ...
随机推荐
- 38 写一个函数,求一个字符串的长度,在main函数中输入字符串,并输出其长度。
题目:写一个函数,求一个字符串的长度,在main函数中输入字符串,并输出其长度. public class _038PrintLength { public static void main(Stri ...
- python 函数星号参数说明
转自: python 函数参数的传递(参数带星号的说明) python中函数参数的传递是通过赋值来传递的.函数参数的使用又有俩个方面值得注意:1.函数参数是如何定义的 2.在调用函数的过程中参数是如何 ...
- 编写高质量代码改善C#程序的157个建议——建议120:为程序集指定强名称
建议120:为程序集指定强名称 虽然强名称在设计之初有防止被未授权的第三方软件非法执行程序的作用,但是因为它的破解方法并不难,所以现在强名称更多的意义在于它可以避免出现“DLL HELL”现象. “D ...
- 编写高质量代码改善C#程序的157个建议——建议105:使用私有构造函数强化单例
建议105:使用私有构造函数强化单例 单例指一个类型只生成一个实例对象.单例的一个简单实现如下所示: static void Main(string[] args) { Singleton.Insta ...
- 编写高质量代码改善C#程序的157个建议——建议85:Task中的异常处理
建议85:Task中的异常处理 在任何时候,异常处理都是非常重要的一个环节.多线程与并行编程中尤其是这样.如果不处理这些后台任务中的异常,应用程序将会莫名其妙的退出.处理那些不是主线程(如果是窗体程序 ...
- 51nod1298圆与三角形——(二分法)
1298 圆与三角形 题目来源: HackerRank 基准时间限制:1 秒 空间限制:131072 KB 分值: 0 难度:基础题 收藏 关注 给出圆的圆心和半径,以及三角形的三个顶点,问圆同 ...
- no getter for property named 'power_state
错误信息:nested exception is org.apache.ibatis.reflection.ReflectionException: There is no getter for pr ...
- iTerm2 + Oh My Zsh 打造舒适终端体验
iTerm2 + Oh My Zsh 打造舒适终端体验 写在前面 最终效果图: 因为powerline以及homebrew均需要安装command line tool,网络条件优越的同学在执行本文下面 ...
- PostgreSQL按年月日分组
Select EXTRACT(year from cast(joindate as timestamp)) as Year, EXTRACT(month from cast(joindate as t ...
- RHEL因为selinux设置失误,无法重启问题。(centos适用)
今天做FTP模拟的时候selinux设置出现失误.导致系统无法重新启动.出现如下界面 Failed To Load SELinux policy.freezing .. 网上找了下,解决方法如下: 开 ...