公司线上大数据集群,之前用的是公有云主机,现在换成了自己idc机房机器,需要服务迁移,已下为测试:

1.备份原postgresql数据库:

pg_dump -U scm scm > scm.sql

2.选一个节点hadoopNode2,安装cloudea-manager-server服务:

yum install -y cloudera-manager-server

3.hadoopNode2上安装postgresql,要做到和hadoopNode1上的postgresql版本一致:

yum install -y postgresql-libs

yum install -y postgresql

yum install -y postgresql-server

可能会出现安装错误,把系统自带的postgresql-libs先删除,再安装;

创建用户scm,数据库scm,讲scm数据库权限赋给scm用户;

CREATE USER scm WITH PASSWORD 'chenliangliang';

CREATE DATABASE scm OWNER scm ;

GRANT ALL PRIVILEGES ON DATABASE scm to scm;

说明:在安装好postgresql数据库,启动数据库/创建好scm用户后以scm登录数据库,会有以下问题:

1)初始化initdb;

先执行service postgresql initdb,在root身份;

2)

修改配置文件 vim /var/lib/pgsql/data/pg_hba.conf

将图中ident都修改为trust,然后service postgresql restart即可;

4.在hadoopNode2上初始化cloudera-scm-server服务:

/usr/share/cmf/schema/scm_prepare_database.sh postgresql scm scm chenliangliang

导入备份的数据库:

psql -U scm scm < scm.sql

数据导入成功后,检验一下tables中数据是否正常;

5.服务迁移:

).在cloudera manager页面上停止Cloudera Management Service监控服务
).主节点关闭cloudera-scm-server,所有节点关闭cloudera-scm-agent
主节点:service cloudera-scm-server stop
所有节点:service cloudera-scm-agent stop .修改新的主节点下 service cloudera-scm-server/db.properties的配置文件 vi /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.host=hadoopNode2 ).修改所有节点agent下的配置文件
vi /etc/cloudera-scm-agent/config.ini
server_host=hadoopNode2
).主节点启动 cloudera-scm-server
service cloudera-scm-server start
所有节点启动cloudera-scm-agent
service cloudera-scm-agent start
).登陆新节点的7180,查看服务状态

这时候打开http://hadoopNode2:7180/cmf可能会报以下错误,页面打不开,看cloudera-scm-server log日志:

参考链接:https://blog.csdn.net/qq_22222499/article/details/71024858

还有一种错误是service cloudera-scm-server start服务起来一段时间后,就挂掉了:

日志报错如:

Caused by: java.sql.SQLException: Connections could not be acquired from the underlying database!

这些问题都解决之后,继续;

6.登录到cloudera dashboard 重启 Cloudera Management Service一切正常:

cloudera manager服务迁移(scm数据库在postgresql上,其他amon,rman,oozie,metastore等在mysql上)的更多相关文章

  1. cloudera manager server迁移

    一.迁移背景 服务器出了问题,导致整个cm server界面呈现出不可用的状态,也就是获取不到各个大数据组件以及主机相关的状态的信息,整个cm server的前端界面处于瘫痪的状态,不可用,刚开始怀疑 ...

  2. ubuntu14.04, Cloudera Manager 5.11.1, cdh5.11.1 postgresql离线部署

    最近一段时间团队接到的项目需要处理的数据量非常大,之前的处理方式难以满足现有需求.最近两周前前后后折腾了不少,在搭建了hadoop+hbase+hive+spark的一个集群后,由于感觉管理和监控太麻 ...

  3. Cloudera Manager 和 CDH 4 终极安装

    转载请注明出处:http://www.cnblogs.com/thinkCoding/p/3567408.html 系统环境 操作系统:CentOS 6.5 Cloudera Manager 版本:4 ...

  4. (转)Installing Cloudera Manager and CDH

    转:https://blog.csdn.net/qq_26222859/article/details/79976506 译自官网: Installing Cloudera Manager and C ...

  5. Cloudera Manager和CDH安装部署

    本次安装采用离线安装的方式,需要提前下载好需要的包. 1. 准备工作 1.1 环境说明 操作系统:RedHat企业级Linux6.5 64-bit Cloudera Manager:5.8.4 CDH ...

  6. 卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译】

    问题导读: 1.不同的安装方式,卸载方法存在什么区别?2.不同的操作系统,卸载 Cloudera Manager Server and 数据库有什么区别? 重新安装不完整如果你来到这里,因为你的安装没 ...

  7. 手动安装cloudera manager 5.x(tar包方式)详解

    官方共给出了3中安装方式:第一种方法必须要求所有机器都能连网,由于最近各种国外的网站被墙的厉害,我尝试了几次各种超时错误,巨耽误时间不说,一旦失败,重装非常痛苦.第二种方法下载很多包.第三种方法对系统 ...

  8. Cloudera Manager及CDH最新版本安装全程记录

    大家都知道,Apache Hadoop的配置很繁琐,而且很零散,为此Cloudera公司提供了Clouder Manager工具,而且还封装了Apache Hadoop,flume,spark,hiv ...

  9. Cloudera Manager 4.6 安装部署hadoop CDH集群

    Cloudera Manager 4.6 安装详解 1. Cloudera Manager介绍 1.1. 功能介绍 Cloudera Manager是一个针对hadoop集群的管理工具,功能包括:cd ...

随机推荐

  1. 通过一个实际例子理解Kubernetes里pod的自动scale - 水平自动伸缩

    kubectl scale命令用于程序在负载加重或缩小时进行pod扩容或缩小,我们通过一些实际例子来观察scale命令到底能达到什么效果. 命令行创建一个deployment: kubectl run ...

  2. IOS CoreLocation框架的使用(用于地理定位)

    ●  在移动互联网时代,移动app能解决用户的很多生活琐事,比如 ●  导航:去任意陌生的地方 ●  周边:找餐馆.找酒店.找银行.找电影院 ●  在上述应用中,都用到了地图和定位功能,在iOS开发中 ...

  3. Android(java)学习笔记45:深入分析Java ClassLoader原理

    1. 前言: Android中的动态加载机制能更好的优化我们的应用,同时实现动态的更新,这就便于我们管理我们的应用,通过插件化来减轻我们的内存以及CPU消耗,在不发布新版本的情况下能更新某些模块. 当 ...

  4. PIL 一秒切九图 朋友圈发图神器

    注意图片像素返回值是(宽度,高度),pil填像素点坐标原点左上角. 判断像素点是否在圆方程中. import numpy as np from PIL import Image file = inpu ...

  5. Codeforces Round #460 (Div. 2)

    A. Supermarket We often go to supermarkets to buy some fruits or vegetables, and on the tag there pr ...

  6. 2018.11.20 Struts2中对结果处理方式分析&struts2内置的方式底层源码剖析

    介绍一下struts2内置帮我们封装好的处理结果方式也就是底层源码分析 这是我们的jar包里面找的位置目录 打开往下拉看到result-type节点 name那一列就是我们的type类型取值 上一篇博 ...

  7. 取火柴游戏||Nim博弈

    好久之前看的sg函数了 好像就记住一个nim博弈qwq 第一次啊看的时候很迷,现在感觉可以了qwq 首先我们来看一个其他的游戏.(以下游戏只有两个人参与,且足够聪明) 两个人在一张圆形的桌子上放等大的 ...

  8. java递归菜单树转换成pojo对象

    package com.cjonline.foundation.authority.pojo; import java.util.ArrayList; import java.util.Collect ...

  9. 【题解】洛谷 P1525 关押罪犯

    题目 https://www.luogu.org/problemnew/show/P1525 思路 把所有边sort一遍从大到小排列 运用并查集思想敌人的敌人就是朋友 从最大边开始查找连着的两个罪犯 ...

  10. 下载YouTube视频的网站和工具

    1.界面友好,可选择的清晰度较多(我个人用这个比较多) http://en.savefrom.net/ 2.几乎可以解析到所有的清晰度 http://www.clipconverter.cc 3.可选 ...