1、部署基本信息说明:
1.1、主机信息
操作系统:选择CentOS6.7 x86-64版本
MEM:64GB,CPU: E5-2630 v3 @ 2.40GHz, DISK:2TB*4(数据节点存储,操作系统除外)
主机信息:
主机名 IP
dcnn1 10.20.20.1
dcnn2 10.20.20.2
dcdn01 10.20.20.3
dcdn02 10.20.20.4
dcdn03 10.20.20.5
1.2、CDH版本信息
ClouderaManager:cm5.7.2
CDH:cdh5.7.2版本
2、部署步骤
CM parcel离线安装包:5.7.2
CDH parcel离线安装包:(5.7.2)
2.2 账号分配
建立安装用户bigdata,用户配置sudo无密码登录权限,后面都以bigdata用户操作,也可以直接用root用户操作
部署管理平台的主机打通到其它主机的ssh免登陆(部署用户,bigdata或者root),这里用bigdata
2.3 主机名设置:
每台主机的/etc/hosts增加所有主机信息,并用hostname命令更改相应主机名
10.20.20.1 dcnn1
10.20.20.2 dcnn2
10.20.20.3 dcdn01
10.20.20.4 dcdn02
10.20.20.5 dcdn03
2.4网络配置(每台主机)
以dcnn1位例
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=dcnn1
通过service network restart
重启网络服务,生效
2.5关闭IPtables和SELINUX (每台主机)
sudo chkconfig iptables off
sudo /etc/init.d/iptables stop
关闭SELINUX(实际安装过程中发现没有关闭也是可以的,不知道会不会有问题,还需进一步进行验证):
setenforce 0 (临时生效)
修改:/etc/selinux/configx下的 SELINUX=disabled(重启后永久生效)
2.6开启NTP服务
这里因为是和外网隔离的,配置自己的ntpd服务器,ntp服务未安装,请自行安装,一般linux系统会默认安装ntpd服务,但没有启动,没有的可以自行安装
配置ntp server:
1)打开ntp服务配置文件/etc/ntp.conf
2)增加内容
//忽略ntp要求封包
restrict default nomodify notrap
restrict 10.20.20.1 mask 255.255.255.0 nomodify
server 10.20.20.1
server 127.127.1.0
//同步上层服务器的stratum 大小不能超过或等于16
fudge 127.127.1.0 stratum 10
3)启动
启动服务:sudo service ntpd start
重启生效:sudo chkconfig ntpd on
配置ntp client:
1)打开ntp服务配置文件/etc/ntp.conf
2)增加内容
server 10.20.20.1
3)启动
启动服务:sudo service ntpd start
重启生效:sudo chkconfig ntpd on
注:ntp服务的配置,生效需要一段时间,我自己测试大概5分钟左右,刚重启ntp服务,检查状态并不一定正常。
2.7安装JDK
我们使用建议版本1.8.0_60
因为CDH需要oracle的java(所有节点)
CentOS自带OpenJdk,不过运行CDH5需要使用Oracle的JDK,需要Java 7以上的支持。
先卸载自带的OpenJdk,使用rpm -qa | grep java
查询java相关的包,使用rpm -e --nodeps 包名
卸载之。
安装: rpm -ivh jdk-8u60-linux-x64.rpm
由于是rpm包并不需要我们来配置环境变量,我们只需要配置一个全局的JAVA_HOME变量即可,执行命令:
echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment
2.8 安装MySQL(安装CentOS6.7自带版本5.1.7)
mysql数据库服务端:
sudo rpm -hvi mysql-5.1.73-5.el6_6.x86_64.rpm
sudo rpm -hvi perl-DBD-MySQL-4.013-3.el6.x86_64.rpm
sudo rpm -hvi mysql-server-5.1.73-5.el6_6.x86_64.rpm
chkconfig mysqld on
设置开机启动,并service mysqld start
启动mysql服务,
并根据提示设置root的初试密码:
mysqladmin -u root password 'bigdata'
mysqladmin -u root -h dcnn1 password 'bigdata'
mysql数据库客户端:
sudo rpm -hvi mysql-5.1.73-5.el6_6.x86_64.rpm
创建数据库和设置mysql数据库访问权限:
#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
UPDATE user SET password=PASSWORD('hive') WHERE user='hive';
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
UPDATE user SET password=PASSWORD('amon') WHERE user='amon';
#oozie
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
UPDATE user SET password=PASSWORD('oozie') WHERE user='oozie';
#report
create database report DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
UPDATE user SET password=PASSWORD('report') WHERE user='report';
FLUSH PRIVILEGES;
#设置root授权访问以上所有的数据库:
grant all privileges on *.* to 'root'@'dcnn1' identified by 'bigdata' with grant option;
flush privileges;
#授权用户在服务端拥有数据库的访问权限
grant all privileges on *.* to 'oozie'@'dcnn1 ' identified by 'oozie' with grant option;
grant all privileges on *.* to 'hive'@'dcnn1' identified by 'hive' with grant option;
grant all privileges on *.* to 'amon'@'dcnn1 ' identified by 'amon' with grant option;
grant all privileges on *.* to 'report'@'dcnn1 ' identified by 'report' with grant option;
flush privileges;
#授权root用户在客户端拥有数据库的访问权限
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIFIED BY 'hive' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%' IDENTIFIED BY 'oozie' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'amon'@'%' IDENTIFIED BY 'amon' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'report'@'%' IDENTIFIED BY 'report' WITH GRANT OPTION;
flush privileges;
2.9安装cm
cm和namenode复用了,机器太少了
1)将下载的cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz上传至dcnn1目录/opt下(该目录为Cloudera manager的默认目录)
2)tar xvfz cloudera-manager*.tar.gz,解压后生成两个目录cloudera和cm-5.7.2
3)所有节点创建用户cloudera-scm
sudo useradd --system --home=/opt/cm-5.7.2/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
4)为Cloudera Manager 5建立数据库
首先需要去MySql的官网下载JDBC驱动mysql-connector-java-5.1.38.tar.gz(可以下载最新的版本),下载地址:
http://dev.mysql.com/downloads/connector/j/ ,解压后找到mysql-connector-java-5.1.38-bin.jar放到/opt/cm-5.7.2/share/cmf/lib/中: cp mysql-connector-java-5.1.38-bin.jar /opt/cm-5.7.2/share/cmf/lib/
/opt/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql cm -h dcnn1 -uroot -pbigdata --scm-host dcnn1 scm scm scm
遇到问题:未解决,但不影响后面得部署
AVA_HOME=/usr/java/jdk1.8.0_60
Verifying that we can write to /opt/cm-5.7.2/etc/cloudera-scm-server
log4j:ERROR Could not find value for key log4j.appender.A
log4j:ERROR Could not instantiate appender named "A".
Creating SCM configuration file in /opt/cm-5.7.2/etc/cloudera-scm-server
Executing: /usr/java/jdk1.8.0_60/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cm-5.7.2/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cm-5.7.2/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
log4j:ERROR Could not find value for key log4j.appender.A
log4j:ERROR Could not instantiate appender named "A".
agent配置
1)修改/opt/cm-5.7.2/etc/cloudera-scm-agent/config.ini中的server_host, server_host为主节点的主机名
2)同步Agent到其他节点
sudo scp -r /opt/cm-5.7.2 root@dcnn2:/opt/;
sudo scp -r /opt/cm-5.7.2 root@dcdn01:/opt/;
sudo scp -r /opt/cm-5.7.2 root@dcdn02:/opt/;
sudo scp -r /opt/cm-5.7.2 root@dcdn03:/opt/;
2.10启动服务
通过sudo /opt/cm-5.7.2/etc/init.d/cloudera-scm-server start 启动服务端
通过sudo /opt/cm-5.7.2/etc/init.d/cloudera-scm-agent start 启动agent端
我们启动的其实是个service脚本,需要停止服务将以上的start参数改为stop就可以了,重启是restart。
2.11 通过cm部署CDH
1)登录http://10.20.20.1:7180
2)根据向导就可以一步一步进行了,比较简单。
3 遇到问题
1、hive和oozie启动失败
缺少JDBC驱动,因为我的mysql装在远端,这里要访问的时候要通过JDBC驱动。因此将mysql-connector-java-5.1.22-bin.jar添加到hive和oozie的lib:
sudo cp mysql-connector-java-5.1.38-bin.jar /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/hive/lib
sudo cp mysql-connector-java-5.1.38-bin.jar /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/oozie/libext
2、安装后hive在查询时失败,原因是权限问题
org.apache.hadoop.security.AccessControlException: Permission denied: user=bigdata, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
最简单的处理办法是:服务范围勾选去掉。
- CDH5.16.1集群企业真正离线部署
一.准备工作 1.离线部署主要分为三块: MySQL离线部署 CM离线部署 Parcel文件离线源部署 2.规划 节点 MySQL部署组件 Parcel文件离线源 CM服务进程 大数据组件 hadoo ...
- 《ArcGIS Runtime SDK for Android开发笔记》——(5)、基于Android Studio构建ArcGIS Android开发环境(离线部署)(转)
1.前言 在上一篇的内容里我们介绍了基于Android Studio构建ArcGIS Runtime SDK for Android开发环境的基本流程,流程中我们采用的是基于Gradle的构建方式,在 ...
- CDH-5.7.1离线安装
CDH-5.7.1离线安装 参考自:http://blog.csdn.net/jdplus/article/details/45920733 1.文件下载 CDH (Cloudera's Dist ...
- CDH5.10.0 离线安装(共3节点) 转
1.安装方式 CDH的离线部署安装,即Parcel包(推荐) 2.角色规划 三个节点对应的角色: 3.基本环境配置(在每个节点上都要配置) (1)关闭防火墙 #/etc/init.d/iptables ...
- ArcGis API for JavaScript学习——离线部署API
ArcGis API for JavaScript开发笔记——离线部署API 以3.18版API为例: 在加载图图前引用GIS服务是必须的.有两种方法,一是在线引用,而是离线部署引用. 在线引用: & ...
- Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive(CDH5.14.2离线安装tar包)
Tags: Hadoop Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive(CDH5.14.2离线安装tar包) Centos7.5安装分布式Hadoop2.6.0+Hbase ...
- Cesium简介以及离线部署运行
Cesium简介 cesium是国外一个基于JavaScript编写的使用WebGL的地图引擎,一款开源3DGIS的js库.cesium支持3D,2D,2.5D形式的地图展示,可以自行绘制图形,高亮区 ...
- arcgis api for js入门开发系列一arcgis api离线部署
在我的GIS之家QQ群里,很多都是arcgis api for js开发的新手,他们一般都是GIS专业的学生,或者从计算机专业刚刚转向来的giser,他们难免会遇到各种webgis开发的简单问题,由于 ...
- HappyAA服务器部署笔记1(nginx+tomcat的安装与配置)
这是本人的服务器部署笔记.文章名称叫"部署笔记1"的原因是之后我对这个进行了改进之后,会有"部署笔记2","部署笔记3"...循序渐进,估计 ...
随机推荐
- leetcode 102 Binary Tree Level Order Traversal(DFS||BFS)
Given a binary tree, return the level order traversal of its nodes' values. (ie, from left to right, ...
- python爬虫知识点总结(二)爬虫的基本原理
一.什么是爬虫? 答:请求网页并提取数据的自动化程序. 二.爬虫的基本流程 三.什么是Request和Response? 1.Request 2.Response 四.能抓取怎样的数据 五.解析方式 ...
- 洛谷 1979 华容道——最短路+dp
题目:https://www.luogu.org/problemnew/show/P1979 感到无从下手.但不妨用dp的角度来看.因为空格只有在指定棋子的旁边才有用,所以状态记成制定棋子的位置与空格 ...
- ipv4 ipv6简介
互联网协议地址(英语:Internet Protocol Address,又译为网际协议地址),缩写为IP地址(IP Address),在Internet上,一种给主机编址的方式.常见的IP地址,分为 ...
- linux命令配置IP详解
在Linux系统中,TCP/IP网络是通过若干个文本文件进行配置的,有时需要编辑这些文件来完成联网工作. vi /etc/sysconfig/network-scripts/ifcfg-eth0 :进 ...
- 如何在 Swoole 中优雅的实现 MySQL 连接池
如何在 Swoole 中优雅的实现 MySQL 连接池 一.为什么需要连接池 ? 数据库连接池指的是程序和数据库之间保持一定数量的连接不断开, 并且各个请求的连接可以相互复用, 减少重复连接数据库带来 ...
- exporting
exporting: { buttons: { contextButton: { menuItems: [{ text: '导出png图片 100宽度', onclick: function () { ...
- C++11/14的新特性——更简洁
新的字符串表示方式——原生字符串(Raw String Literals) C/C++中提供了字符串,字符串的转义序列,给输出带来了很多不变,如果需要原生义的时候,需要反转义,比较麻烦. C++提 ...
- 【转】生产环境:Nginx高可用方案
准备工作: 192.168.16.128 192.168.16.129 两条虚拟机.安装好 Nginx 安装Nginx 更新 yum 源文件: rpm -ivh http://nginx.org/pa ...
- cf706C(dp)
题目链接:http://codeforces.com/problemset/problem/706/C 题意:给出n个字符串,反转第 i 个字符串需要花费 ai,问通过反转操作将n个字符串变成升序排列 ...