CM和CDH的安装-进阶完成
安装Cloudera Manager Server 和Agent
1、在cdh1解压cloudera-manager-el6-cm5.9.0_x86_64.tar.gz(cdh1节点)
tar -zcvf cloudera-manager-el6-cm5.9.0_x86_64.tar.gz
2、为Cloudera Manager 5建立数据库(cdh1节点)
2.1:复制 mysql-connector-java-5.1.30.jar到/opt/cm-5.10.0/share/cmf/lib/目录下
cp mysql-connector-java-5.1.30.jar /opt/cm-5.9.0/share/cmf/lib/
2.2:在主节点初始化CM5的数据库:
/opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm
3、Agent配置(cdh1节点)
3.1:修改/opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名:
vi /opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini
serverhost = cdh1
3.2:同步Agent到其他节点
scp -r /opt/cm-5:9.0/ root@cdh2:/opt/
scp -r /opt/cm-5.9.0/ root@cdh3:/opt/
4、创建cloudera-scm用户(所有节点)
useradd --system --home=/opt/cm-5.9.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
5、准备Parcels,用以安装CDH5(cdh1节点)
将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中
CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel
CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1
manifest.json
注:将CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1重命名为CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha
5、启动cm服务(cdh1节点)和Agent服务(所有节点)
/opt/cm-5.9.0/etc/init.d/cloudera-scm-server start #启动服务端。
/opt/cm-5.9.0/etc/init.d/cloudera-scm-agent start #启动Agent服务。
需要停止服务将以上的start参数改为stop就可以了,重启是restart。
6、访问http://192.168.189.128:7180/
Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了。
这时可以通过浏览器访问主节点cdh1的7180端口测试一下了(由于CM Server的启动需要花点时间,这里可能要等待一会才能访问)
默认的用户名和密码均为admin
7、CDH5的安装配置
按照界面操作直接进行:我就不一一截图了,总结下遇到的错误。
7.1、修改配置(所有节点)
解决办法:
临时修改:echo 0 > /proc/sys/vm/swappiness
重启生效:vim /etc/sysctl.conf
添加一行vm.swappiness=10
临时:
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
或添加上面二行:vi /etc/rc.local
7.2安装hive的时候回提示缺少mysql连接驱动(cdh1节点)
cp /opt/mysql-connector-java-5.1.30.jar /opt/cloudera/parcels/CDH-5.9.0-1.cdh5.9.0.p0.23/lib/hive/lib/
7.3安装oozie的时候提示没有权限建目录和缺少mysql驱动(cdh1节点)
修改/var/lib/oozie 目录权限 : chmod 777 /var/lib/oozie
cp /opt/mysql-connector-java-5.1.30.jar /var/lib/oozie/
注;几个配置警告是因为jvm内存设置太小和datanode节点数少于3个的原因。
CM和CDH的安装-进阶完成的更多相关文章
- CM和CDH的安装-准备工作
估计要分开来两篇博客说明,因为截图较多. 1.三个节点cdh1(主节点),cdh2,cdh3 配置就用一张图来说明,因为资源有限 2.版本依赖说明: CDH-5.9.0-1.cdh5.9.0.p0.2 ...
- product of大数据平台搭建------CM 和CDH安装
一.安装说明 CM是由cloudera公司提供的大数据组件自动部署和监控管理工具,相应的和CDH是cloudera公司在开源的hadoop社区版的基础上做了商业化的封装的大数据平台. 采用离线安装模式 ...
- CDH 离线安装 CM
CDH支持Yum包,Tar包,RPM包,Cloudera Manager(CM)四种安装方式 Cloudera Manager(CM) 用于CDH集群管理,可进行节点安装,配置,服务管理等,提供Web ...
- Coudera-Manager/CDH的安装和部署
由于之前部署的集群采用的是用apache hadoop的方式来实现,但是考虑到运维的成本问题,下面将apache hadoop转换成cloudera cdh.下面主要讲解一下cloudera cdh的 ...
- CDH离线安装
1. 安装准备 系统:Centos 6 Cloudera Manager分配如下: 安装版本:CDH-5.8.0 所需安装文件 CDH相关 CDH-5.8.0-1.cdh5.8.0.p0.42-el6 ...
- CentOS7安装CDH 第五章:CDH的安装和部署-CDH5.7.0
相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...
- cdh 上安装spark on yarn
在cdh 上安装spark on yarn 还是比较简单的,不需要独立安装什么模块或者组件. 安装服务 选择on yarn 模式:上面 Spark 在spark 服务中添加 在yarn 服务中添加 g ...
- CentOS7安装CDH 第十章:CDH中安装Spark2
相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...
- CentOS7安装CDH 第九章:CDH中安装Kafka
相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...
随机推荐
- 线段树 + 区间更新 ----- HDU 4902 : Nice boat
Nice boat Time Limit: 30000/15000 MS (Java/Others) Memory Limit: 131072/131072 K (Java/Others)Tot ...
- 从Java开发者的视角解释JavaScript
我们无法在一篇博文里解释JavaScript的所有细节.如果你正或多或少地涉及了web应用程序开发,那么,我们的Java工具和技术范围报告揭示了,大多数(71%)Java开发者被归到了这一类,只是你对 ...
- Sword protobuf学习三
#include <iostream> #include <sys/types.h> /* See NOTES */ #include <sys/socket.h> ...
- 《Qt数据类型》--QByteArray,QString,int,hex之间的转化
对于QString和QByteArray,他们都有一个toInt的静态函数,QString::toInt()是根据string的字面值转化为int类型,比如string:"123" ...
- Ubuntu Linux系统三种方法添加本地软件库
闲着没事教教大家以Ubuntu Linux系统三种方法添加本地软件库,ubuntu Linux使用本地软件包作为安装源——转2007-04-26 19:47新手重新系统的概率很高,每次重装系统后都要经 ...
- 【Python】【Flask】前端调用后端方法返回页面
后端代码: @app.route("/test",methods=['POST','GET']) def test(): return "我是测试的" 前端代码 ...
- 今日Q群:QQ群众群友反馈问题的归纳总结
今日Q群:QQ群群友反馈问题的归纳总结 今天Q群里还算比较活跃,归纳总结后主要有以下几类问题: 一.如何在Excel中按指定规则对有颜色的单元格进行过滤删选 具体的解决办法,请参照今天发布微信 ...
- e781. 设置JList中的选择模式
// The default mode is MULTIPLE_INTERVAL_SELECTION String[] items = {"A", "B", & ...
- 9款赏心悦目的HTML5/CSS3应用特效
经过几天的收集,在html5tricks网站上又增加了不少HTML5的教程和应用,今天我把几款赏心悦目的HTML5/CSS3应用特效总结了一下,一共9款HTML5特效,分享给大家. 1.HTML5 W ...
- Easyradius 1.699更新,增加用户设备绑定、桥接用户管理功能
最近几天,由于IDC机房设备的问题,导致OA连接3天一天挂2次,真是把我抑闷着,最事一个烦事特别多 好不容易等了一个五一假期,也不得空,把最近一些网友反馈的OA的一些功能及BUG进行修复,主要是以下几 ...