cdh部署
supermicro安装环境
本次安装基于无因特网的环境,共安装2个节点(一个master节点,一个data及节点),所用系统为centos7.x,所有安装过程均使用root用户。具体的节点信息如下:
节点名称 |
节点id |
mgmt |
192.168.111.134 |
data1 |
192.168.111.135 |
安装步骤
环境准备
- 1. 上传安装软件包到主机(仅主节点)
在根目录创建soft文件夹:mkdir /soft
通过scp工具将所有软件包上传
- 2. 网络配置(所有节点)
修改主机名:vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME={主机名称}
例如:
修改host名称:vi /etc/hostname
修改ip与主机名的对应关系:vim /etc/hosts
重启网卡:service network restart
- 3. 打通SSH,设置ssh无密码登陆(所有节点)
以下命令在mgmt节点执行
生成密钥:ssh-keygen -t rsa一直回车直至生成
将公钥复制到已认证文件:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
更改authorized_keys权限:chmod 600 ~/.ssh/authorized_keys
将authorized_keys复制到data1节点:scp ~/.ssh/authorized_keys root@data1:~/.ssh/
以下命令在data1节点执行
生成密钥:ssh-keygen -t rsa
将本机密钥追加到mgmt公钥中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
将新的authorized_keys重新复制回mgmt:scp ~/.ssh/authorized_keys root@mgmt:~/.ssh/
这样,两台主机将能够免密码登录。这时两台主机的authorized_keys如下:
- 4. 安装jdk(所有节点)
卸载自带的openjdk
查看自带jdk版本:rpm -qa | grep java
根据相依的版本卸载对应的jdk,如:rpm -e --nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
如果/usr/java/文件夹不存在,则创建该文件夹:mkdir /usr/java
以下命令在主节点执行
解压jdk安装包: tar -xvf jdk*.tar.gz -C /usr/java/
将jdk复制到各个子节点:scp -r /usr/java/ root@data1:/usr/
以下命令在所有节点执行
创建jdk软连接: ln -s /usr/java/jdk* /usr/java/default
执行完毕后每一个节点的/user/java目录如下:
配置环境变量/etc/profile,增加一下3行
export JAVA_HOME=/usr/java/default
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
调用命令使修改生效:source /etc/profile
调用 java –version 查看jdk是否安装成功
- 5. 关闭防火墙和SELinux(所有节点)
关闭防火墙
停止firewall:systemctl stop firewalld.service
禁止firewall开机启动:systemctl disable firewalld.service
查看默认防火墙状态:firewall-cmd --state #(关闭后显示notrunning,开启后显示running)
关闭SELinux: set enforce 0(临时生效)
修改vi /etc/selinux/config下的
SELINUX=disabled
- 安装数据库Mariadb(仅主节点)
cd /soft/
解压/soft/localReop.zip:unzip /soft/localRepo.zip
备份本地yum配置:cp -r /etc/yum.repos.d /etc/yum.repos.d.back
删除yun源配置:rm -rf /etc/yum.repos.d/*
复制新的yum源:cp –r local_repo.repo /etc/yum.repos.d
清除yum源缓存:yum clean all
刷新yum源:yum repolist
安装 mariadb:yum -y install mariadb mariadb-server
启动mariadb:systemctl start mariadb
通过命令: mysql -uroot进入Mariadb,并依次输入一下sql命令:
use mysql;
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'root'@'mgmt' IDENTIFIED BY 'root' WITH GRANT OPTION;
flush privileges;
create database hive DEFAULT CHARSET latin1;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database rm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database nas DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database nms DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
至此准备工作全部结束。
安装Cloudera Manager Server 和Agent
解压Cloudera Manager安装包到/opt:tar -zxvf /soft/cloudera-manager-centos7-cm5.6.1_x86_64.tar.gz -C /opt/
复制mysql驱动:cp /soft/mysql-connector-java-5.1.37.jar /opt/cm-5.6.1/share/cmf/lib/
复制mysql驱动(不能要版本号):cp /soft/mysql-connector-java-5.1.37.jar /usr/share/java/mysql-connector-java.jar
初始化cm数据库:/opt/cm-5.6.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hmgmt -uroot -proot --scm-host mgmt scm scm scm
在这里后面的参数分别是:数据库类型数据库名称数据库主机名数据库用户名密码 --scm-host cmserver主机名 scm scm scm
修改agent配置:vi /opt/cm-5.6.1/etc/cloudera-scm-agent/config.ini
修改配置server_host=mgmt
替换压缩包中的client_configs.py文件:cp /soft/client_configs.5.6.1.py /opt/cm-5.6.1/lib64/cmf/agent/src/cmf/client_configs.py
同步Agent到其他所有节点:scp -r /opt/cm-5.6.1/ root@data1:/opt/
以下命令在所有节点运行:
在所有节点创建cloudera-scm用户:useradd --system --home=/opt/cm-5.6.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
以下命令在主节点运行:
cp /soft/CDH-5.6.1-1.cdh5.6.1.p0.3-el7.parcel /opt/cloudera/parcel-repo/
cp /soft/CDH-5.6.1-1.cdh5.6.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/
cp /soft/manifest.json /opt/cloudera/parcel-repo/
mv /opt/cloudera/parcel-repo/CDH-5.6.1-1.cdh5.6.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.6.1-1.cdh5.6.1.p0.3-el7.parcel.sha
在主节点启动cloudera-scm-server服务:/opt/cm-5.6.1/etc/init.d/cloudera-scm-server start
在所有节点启动cloudera-scm- agent服务:/opt/cm-5.6.1/etc/init.d/cloudera-scm-agent start
在浏览器输入:http://mgmt:7180/cmf/login进入cdh安装界面。
使用用户名:admin密码:admin进行登录。
选择当前管理的主机,全部勾选,点击继续
选择使用parcel包安装,并选择5.6.1版本,点击继续。
等待分配激活。
等待主机检查。
选择所有服务。
根据需求选择主机角色。
设置各个组件数据库。
其中HDFS配置时:NameNode选择name1,SecondaryNameNode选择name2,DataNode选择data节点。
根据需求配置hdfs。
等待集群初始化。
DataNode数据目录需放最大的盘,其他位默认值,df命令查看磁盘空间。
至此cdh安装完毕。
当hive启动报错,出现mysql中不能自动建表,需要在hive的配置中添加如下代码:
位置:
hive-site.xml 的 Hive 服务高级配置代码段(安全阀)
Hive(服务范围)
添加代码:(实现mysql自动创表)
<property>
<name>datanucleus.readOnlyDatastore</name>
<value>false</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
<value>false</value>
</property>
<property>
<name>datanucleus.autoCreateSchema</name>
<value>true</value>
</property>
<property>
<name>datanucleus.autoCreateTables</name>
<value>true</value>
</property>
<property>
<name>datanucleus.autoCreateColumns</name>
<value>true</value>
</property>
hive-site.xml 的 Hive 复制高级配置代码段(安全阀)
<property>
<name>datanucleus.readOnlyDatastore</name>
<value>false</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
<value>false</value>
</property>
<property>
<name>datanucleus.autoCreateSchema</name>
<value>true</value>
</property>
<property>
<name>datanucleus.autoCreateTables</name>
<value>true</value>
</property>
<property>
<name>datanucleus.autoCreateColumns</name>
<value>true</value>
</property>
并按下图进行配置:
关机后,系统需要重新启动:
- 首先启动mariadb
service mariadb start
- 然后启动cloudarer服务
/opt/cm-5.6.1/etc/init.d/cloudera-scm-server start
- 查看启动状态
/opt/cm-5.6.1/etc/init.d/cloudera-scm-server status
4.同时启动agent
/opt/cm-5.6.1/etc/init.d/cloudera-scm-agent start
设置开机启动:
systemctl enable mariadb
主节点上
cp /opt/cm-5.6.1/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server
vim /etc/init.d/cloudera-scm-server
CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为CMF_DEFAULTS=${CMF_DEFAULTS:-/opt/cm-5.6.1/etc/default}
chkconfig --add cloudera-scm-server
chkconfig cloudera-scm-server on
所有节点上
cp /opt/cm-5.6.1//etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
vim /etc/init.d/cloudera-scm-agent
CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为CMF_DEFAULTS=${CMF_DEFAULTS:-/opt/cm-5.6.1/etc/default}
chkconfig --add cloudera-scm-agent
chkconfig cloudera-scm-agent on
针对hive创建库失败的修改:
- 需要在cdh的管理界面中点击hdfs,修改其中的权限。
- 点击配置,将检查 HDFS 权限的√去掉。
- 点击安全性,Hadoop 安全授权勾选,并且在授权的用户中添加要授权的root。
针对hive创建表失败的修改:
1.需要连接hive的mysql,在hive的库中修改字符集,要使用latin1。
安装过程中如果出错,需删除数据库cm,然后删除以下目录中的内容(所有节点):
cd /opt/cm-5.6.1/run/cloudera-scm-agent/
rm -rf ./*
然后初始化cm数据库:/opt/cm-5.6.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hmgmt -uroot -proot --scm-host mgmt scm scm scm
选择空间比较大的盘来安装
Sqoop从Oracle导入到hive
将Oracle驱动包ojdbc6.jar放到 sqoop/lib下
sqoop import --connect ‘jdbc:oracle:thin:@10.111.123.4:1521:orcl?useUnicode=true&characterEncoding=UTF-8’ --username CETC --password CETC123 --hive-drop-import-delims --table CETC2.KC21K1 --split-by id --hive-import
cdh部署的更多相关文章
- CDH部署日志
CDH部署时出现如图所示的错误 可去服务器查看:/opt/cm-5.5.0/run/cloudera-scm-agent/process/ccdeploy_hbase-conf_etchbasecon ...
- CDH 5.16.1 离线部署 & 通过 CDH 部署 Hadoop 服务
参考 Cloudera Enterprise 5.16.x Installing Cloudera Manager, CDH, and Managed Services Installation Pa ...
- CDH 部署 Hadoop:5.开始安装
Cloudera Enterprise 6.2.x 或者参考https://blog.csdn.net/shawnhu007/article/details/52579204 第零步:优化相关 e ...
- 离线部署 Cloudera Manager 5 和 CDH 5.12.1 及使用 CDH 部署 Hadoop 集群服务
Cloudera Manager Cloudera Manager 分为两个部分:CDH和CM. CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera ...
- CM记录-CDH部署手册
1.安装环境和软件准备 CentOS release 7.4 JDK1.8.0_121 mysql-connector-java-5.1.40-bin.jar CDH-5.10.2-1.cdh ...
- CDH部署StreamSets
StreamSets是一个大数据采集工具,数据源支持包括结构化和半/非结构化,目标源支持HDFS,HBase,Hive,Kudu,Cloudera Search, ElasticSearch等.它包括 ...
- CDH部署(以5.7.5为例)
博客园首发,转载请注明出处https://www.cnblogs.com/tzxxh/p/9120020.html 一.准备工作(下面的内容括号内写master的表示仅在master节点执行,all代 ...
- 使用Windows Azure的VM安装和配置CDH搭建Hadoop集群
本文主要内容是使用Windows Azure的VIRTUAL MACHINES和NETWORKS服务安装CDH (Cloudera Distribution Including Apache Hado ...
- 【CDH篇】---CDH从初识到搭建到应用
一.前述 CDH(Cloudera's Distribution, including Apache Hadoop)是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache ...
随机推荐
- 有源汇有上下界最小流 DInic + 各种优化 模板
例题:loj117 : https://loj.ac/problem/117 //其实就是判断可行流后倒着求一遍最大流 #include <iostream> #include <c ...
- day30 __new__ 以及单例模式
__new__ # __new__ # object.__new__() class A : def __init__(self): self.x = 1 print("init执行啦&qu ...
- 架构师成长之路2.1-PXE+Kickstart原理
点击返回架构师成长之路 架构师成长之路2.1-PXE+Kickstart原理 PXE+Kickstart 主要用于在公司内网批量安装新服务器系统,这极大地简化了用光盘重复安装Linux操作系统的过程, ...
- 【AGC016E】Poor Turkeys
Description 有\(n\)(\(1 \le n \le 400\))只鸡,接下来按顺序进行\(m\)(\(1 \le m \le 10^5\))次操作.每次操作涉及两只鸡,如果都存在则随意拿 ...
- [转载]Best Practices for Speeding Up Your Web Site
原文:http://developer.yahoo.com/performance/rules.html 提升网站加载速度的一些优化技巧,大部分在前端层面. 不知道是多久以前写的,看起来有些已经过时了 ...
- 【洛谷P3600】 随机数生成器
https://www.luogu.org/problem/show?pid=3600#sub (题目链接) 题意 一个$n$个数的序列,里面每个数值域为$[1,X]$.给$q$个区间,每个区间的权值 ...
- Windows下查看游戏服务器的IP地址
在任务管理器中查看进程的PID 在cmd中使用netstat -aon,找到PID对应的IP地址
- .net Forms身份验证不能用在应用的分布式部署中吗?
参照网上的一些方法,使用Forms身份验证对应用进行分布式部署,发现没有成功. 应用部署的两台内网服务器:192.168.1.19,192.168.1.87,使用Nginx做负载分配,配置完全相同:每 ...
- 应用程序发生异常 unknown software exception (0xc00000fd)... - 栈溢出(Stack overflow)
今天在写程序的时候,弹出这样的提示对话框: 应用程序发生异常 unknown software exception (0xc00000fd): 相关代码是这样,在一个函数中读取一个csv文件,先根据这 ...
- typescript枚举,类型推论,类型兼容性,高级类型,Symbols(学习笔记非干货)
枚举部分 Enumeration part 使用枚举我们可以定义一些有名字的数字常量. 枚举通过 enum关键字来定义. Using enumerations, we can define some ...