cloudera manager服务迁移(scm数据库在postgresql上,其他amon,rman,oozie,metastore等在mysql上)
公司线上大数据集群,之前用的是公有云主机,现在换成了自己idc机房机器,需要服务迁移,已下为测试:
1.备份原postgresql数据库:
pg_dump -U scm scm > scm.sql
2.选一个节点hadoopNode2,安装cloudea-manager-server服务:
yum install -y cloudera-manager-server
3.hadoopNode2上安装postgresql,要做到和hadoopNode1上的postgresql版本一致:
yum install -y postgresql-libs yum install -y postgresql yum install -y postgresql-server
可能会出现安装错误,把系统自带的postgresql-libs先删除,再安装;
创建用户scm,数据库scm,讲scm数据库权限赋给scm用户;
CREATE USER scm WITH PASSWORD 'chenliangliang'; CREATE DATABASE scm OWNER scm ; GRANT ALL PRIVILEGES ON DATABASE scm to scm;
说明:在安装好postgresql数据库,启动数据库/创建好scm用户后以scm登录数据库,会有以下问题:
1)初始化initdb;
先执行service postgresql initdb,在root身份;
2)
修改配置文件 vim /var/lib/pgsql/data/pg_hba.conf
将图中ident都修改为trust,然后service postgresql restart即可;
4.在hadoopNode2上初始化cloudera-scm-server服务:
/usr/share/cmf/schema/scm_prepare_database.sh postgresql scm scm chenliangliang
导入备份的数据库:
psql -U scm scm < scm.sql
数据导入成功后,检验一下tables中数据是否正常;
5.服务迁移:
).在cloudera manager页面上停止Cloudera Management Service监控服务
).主节点关闭cloudera-scm-server,所有节点关闭cloudera-scm-agent
主节点:service cloudera-scm-server stop
所有节点:service cloudera-scm-agent stop .修改新的主节点下 service cloudera-scm-server/db.properties的配置文件 vi /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.host=hadoopNode2 ).修改所有节点agent下的配置文件
vi /etc/cloudera-scm-agent/config.ini
server_host=hadoopNode2
).主节点启动 cloudera-scm-server
service cloudera-scm-server start
所有节点启动cloudera-scm-agent
service cloudera-scm-agent start
).登陆新节点的7180,查看服务状态
这时候打开http://hadoopNode2:7180/cmf可能会报以下错误,页面打不开,看cloudera-scm-server log日志:
参考链接:https://blog.csdn.net/qq_22222499/article/details/71024858
还有一种错误是service cloudera-scm-server start服务起来一段时间后,就挂掉了:
日志报错如:
Caused by: java.sql.SQLException: Connections could not be acquired from the underlying database!
这些问题都解决之后,继续;
6.登录到cloudera dashboard 重启 Cloudera Management Service一切正常:
cloudera manager服务迁移(scm数据库在postgresql上,其他amon,rman,oozie,metastore等在mysql上)的更多相关文章
- cloudera manager server迁移
一.迁移背景 服务器出了问题,导致整个cm server界面呈现出不可用的状态,也就是获取不到各个大数据组件以及主机相关的状态的信息,整个cm server的前端界面处于瘫痪的状态,不可用,刚开始怀疑 ...
- ubuntu14.04, Cloudera Manager 5.11.1, cdh5.11.1 postgresql离线部署
最近一段时间团队接到的项目需要处理的数据量非常大,之前的处理方式难以满足现有需求.最近两周前前后后折腾了不少,在搭建了hadoop+hbase+hive+spark的一个集群后,由于感觉管理和监控太麻 ...
- Cloudera Manager 和 CDH 4 终极安装
转载请注明出处:http://www.cnblogs.com/thinkCoding/p/3567408.html 系统环境 操作系统:CentOS 6.5 Cloudera Manager 版本:4 ...
- (转)Installing Cloudera Manager and CDH
转:https://blog.csdn.net/qq_26222859/article/details/79976506 译自官网: Installing Cloudera Manager and C ...
- Cloudera Manager和CDH安装部署
本次安装采用离线安装的方式,需要提前下载好需要的包. 1. 准备工作 1.1 环境说明 操作系统:RedHat企业级Linux6.5 64-bit Cloudera Manager:5.8.4 CDH ...
- 卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译】
问题导读: 1.不同的安装方式,卸载方法存在什么区别?2.不同的操作系统,卸载 Cloudera Manager Server and 数据库有什么区别? 重新安装不完整如果你来到这里,因为你的安装没 ...
- 手动安装cloudera manager 5.x(tar包方式)详解
官方共给出了3中安装方式:第一种方法必须要求所有机器都能连网,由于最近各种国外的网站被墙的厉害,我尝试了几次各种超时错误,巨耽误时间不说,一旦失败,重装非常痛苦.第二种方法下载很多包.第三种方法对系统 ...
- Cloudera Manager及CDH最新版本安装全程记录
大家都知道,Apache Hadoop的配置很繁琐,而且很零散,为此Cloudera公司提供了Clouder Manager工具,而且还封装了Apache Hadoop,flume,spark,hiv ...
- Cloudera Manager 4.6 安装部署hadoop CDH集群
Cloudera Manager 4.6 安装详解 1. Cloudera Manager介绍 1.1. 功能介绍 Cloudera Manager是一个针对hadoop集群的管理工具,功能包括:cd ...
随机推荐
- git 解决冲突方法
转载:http://www.cnlvzi.com/index.php/Index/article/id/119 当共享一个项目后提交冲突时 git push -f 强制推送本地的替换服务端 git f ...
- 什么是Load Average?
运维工程师在日常运维中经常使用w.top.uptime等命令来查看系统当前运行的负载情况.那么作为运维工程师是如何通过以上命令来判断系统当前负载是否已经达到极限了呢?为此笔者总结了一下如何通过load ...
- luogu P2424 约数和
嘟嘟嘟 求出[L, R]中每一个数的约数再相加必定会超时,所以换一种思路:枚举约数d. 对于一个约数d,能整除他的数可以写成k * d, (1 <= k <= ⌊n / d⌋),因此约数d ...
- nodejs protobuff node-protobuf c++ windows扩展安装笔记
https://www.npmjs.com/package/node-protobuf 按照作者所说的办法在windows平台安装的办法,先到google的github下载2.6.1版本的protob ...
- IntelliJ IDEA 快速搭建 Spring MVC环境
IntelliJ在业界被公认为最好的java开发工具之一,尤其在智能代码助手.代码自动提示.重构.J2EE支持.Ant.JUnit.CVS整合.代码审查. 创新的GUI设计等方面的功能可以说是超常的. ...
- 上传文件,经过Zuul,中文文件名乱码解决办法
转载请标明出处: http://blog.csdn.net/forezp/article/details/77170470 本文出自方志朋的博客 问题描述 在项目中又一个上传文件的oss服务,直接调用 ...
- Question 20171114 String的一些问题?
欢迎各位大神提问题及补充不足和警醒错误! Question 20171113 Java中char为什么占用两个字节? Java是使用Unicode编码的所以Java会将源代码以Unicode的方式编 ...
- 话说"登录页面"怎么测试
今天无聊突然想起web登录页面怎么测试,看似简单的问题杀机重重,怎么说呢,一般没有测试思维的人说简单啦,主要有以下几点 .1.账号密码框输入正确的a-z,A-Z,0-9字符,特殊的字符组合测试.2.账 ...
- DB数据源配置之抽象(〇)
DB数据源配置之抽象(〇) liuyuhang原创,未经允许禁止转载 DB数据源之SpringBoot+Mybatis踏坑过程实录(一) DB数据源之SpringBoot+MyBatis踏坑过程(二) ...
- LeetCode 中级 - 路径总和2(113)
给定一个二叉树和一个目标和,找到所有从根节点到叶子节点路径总和等于给定目标和的路径. 说明: 叶子节点是指没有子节点的节点. 示例:给定如下二叉树,以及目标和 sum = 22, 5 / \ 4 8 ...