CDH  遇到的问题

JAVA_HOME问题

这里, 很明显可以看到, JAVA_HOME 并没有设置成功。using  as ... 感觉完全就是没有设置JAVA_HOME 这个环境变量。可是呢? 我确实是设置了JAVA_HOME 的,而且在linux shell 执行 echo $JAVA_HOME  也是有输出的。 百思不得其解。

后面偶然注意到, 其实是Bigtop 的原因: 由于CDH不会使用系统默认JAVA_HOME环境变量,而是使用Bigtop进行管理,故我们需要安装Bigtop的规则在指定的位置安装jdk。

配置在这里: cloudera-manager-centos7-cm5.11.1_x86_64\cm-5.11.1\lib64\cmf\service\common\cloudera-config.sh

其中可以看到:

local JAVA8_HOME_CANDIDATES=(
'/usr/java/jdk1.8'
'/usr/java/jre1.8'
'/usr/lib/jvm/j2sdk1.8-oracle'
'/usr/lib/jvm/j2sdk1.8-oracle/jre'
'/usr/lib/jvm/java-8-oracle'
)

于是,建立一个已经有的JAVA_HOME  链接到 /usr/java/jdk1.8 就好了!

Mysql-jdbc驱动找不到

可能是CDH软件本身问题,我们需要在多个位置(主要是 hadoop、 hbase、spark 等的 lib 目录 )保持Mysql-jdbc驱动拷贝,这个工作必须手动完成。很多服务都会跟数据库打交道,都需要Mysql-jdbc驱动,但是CDH默认可能并没有附带一个相应的驱动。

Master节点看不到其他从节点,或者连不上从节点,或者每次刷新页面,会有不同从节点出现。

首先看从节点的cm-agent是否配置正确( 百分之八十就是这个原因),启动是否有异常,然后再看防火墙、Selinux是否关闭,SSH免密是否ok,再看网络问题,以及主从各节点的系统负载是否过高导致响应很慢。

安装CDH耗时很长很长很长,而且最终还是失败

CM和CDH的版本必须是一样的,要一模一样,否则就会导致重新下载,下载的话,通常非常耗时,而且各种奇怪问题出现。

安装好后,访问管理界面,但是出现:Host Monitor和Service Monitor服务无法启动

 

CM 需要用到数据库,安装/启动CM之前,我们就应该先创建好各数据库,然后再安装CDH 过程中,我们需要正确填写。

机器变得很卡

CM 的Server 、 Agent启动后,机器变得很卡,那么我们就需要增加机器配置。这取决于我们安装的服务具体有哪些:

在CDH 安装过程中,我们选择了所有服务,故CDH 一次性把上面的都安装好了,但是,通常我们并需要这么多服务, 于是我们可以关掉其中一些服务。 另外, 如果确实需要运行这么多服务, 我们可以增加机器内存等配置。

因为安装了很多的服务,这些服务都是很好内存的,2G 内存是不够的, 我这里给每个节点分配4G 内存后感觉就好狠多了。

CDH 安装遇到的问题的更多相关文章

  1. cdh 安装记录

    安装文件准备 CDH 下载地址:http://archive.cloudera.com/cdh5/parcels/latest/ 下载操作系统对应的版本: 1.CDH-5.3.0-1.cdh5.3.0 ...

  2. CDH 安装

    CDH 安装 市场上免费大数据框架主要有三个版本,原生的 Apache 版本,Cloudera(https://www.cloudera.com/) 公司研发的(Cloudera Distributi ...

  3. CDH安装详细测试正确

    1. CDH简介 简单来说,Cloudera Manager是一个拥有集群自动化安装.中心化管理.集群监控.报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到 ...

  4. CDH安装错误集锦

      CDH安装过程中出现的错误 1.iptables: /sbin/iptables 不存在 我是因为误删将 /sbin/下的文件删除了. 解决方法: yum install iptables 2.c ...

  5. CDH6.2安装配置第二篇:CDH安装的前期配置

    本篇介绍cdh安装之前需要的一些必要配置,当然这些配置也可以用shell脚本来配置.在安装之前请先配置好yum源,在文中用的统一都是阿里源.在安装的时候,要确保主机的内存是4G以上,要不然会无限重启c ...

  6. CDH安装失败了,如何重新安装

    1> 删除Agent节点的UUID # rm -rf /opt/cm-5.4.7/lib/cloudera-scm-agent/* 2>  清空主节点CM数据库 进入主节点的Mysql数据 ...

  7. CDH安装

    离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, incl ...

  8. CM+CDH安装遇到的问题

    1.实在是在安装CDH的时候无法安装成功的话,只有重新启动了,下面给大家分享一个神器,按照这个脚本应该差不多就能卸载干净,然后重新安装,写一个脚本,内容如下,救命的神器呀: #!/bin/bash s ...

  9. CDH安装Hadoop

    一.安装CDH-manager 1.关闭selinux 修改/etc/selinux/config 文件 将SELINUX=enforcing改为SELINUX=disabled 重启机器即可   2 ...

随机推荐

  1. system.Data.Entity.Infrastructure.DbUpdateConcurrencyException: Store update, insert, or delete statement affected an unexpected number of rows (0) 问题

    页面控件没有做限制.提交后还可以继续点击,造成了在短时间内的多次请求.查看日志两次错误在200ms之内. 错误信息 system.Data.Entity.Infrastructure.DbUpdate ...

  2. Android app内存限制OOM

    Android系统的每个app做了内存限制,版本的android系统,不同的设备对每个app的内存限制可能有所不同,从早期的16M ,32M到现在的256M,384M...虽然内存增大了,但是不代表就 ...

  3. jenkins 邮件配置 二 ***

    Jenkins 有两种邮件通知方式: 1.Jenkins自带的“E-mail Notification” 2.插件:Extended E-mail Notification,是可编辑的邮件配置方式. ...

  4. 黄聪:Pjax无刷新跳转页面实现,支持超链接与表单提交

    什么是pjax? 当你点击一个站内的链接的时候,不是做页面跳转,而是只是站内页面刷新.这样的用户体验,比起整个页面都闪一下来说, 好很多. 其中有一个很重要的组成部分, 这些网站的ajax刷新是支持浏 ...

  5. mysql 事务学习

    1.事务 逻辑上的一组操作,组成这组操作的各个逻辑单元要么一起成功,要么一起失败. 2.事务特性 原子性:强调事务的不可分割.一致性:强调的是事务的执行的前后,数据的完整性要保持一致.隔离性:一个事务 ...

  6. leedcode_贪心算法系列

    861. 翻转矩阵后的得分 思路: 行首的权值最大,故首先将其置1; 每列由于权值相同,故只需要将0多于1的情况反转即可 763. 划分字母区间 思路: 1.计算每个字母的最右边界下标,并记录到新数组 ...

  7. MySQL锁之三:MySQL的共享锁与排它锁编码演示

    一.行锁之MySQL  使用SELECT ... FOR UPDATE 做事务写入前的确认 以MySQL 的InnoDB 为例,预设的Tansaction isolation level 为REPEA ...

  8. js堆和栈

    一.栈 栈:英文为“stack”: 定义:一种存放数据的内存区域: 特点: ①LIFO,后进先出: 可视化描述: ②调用栈,函数或者子例程像堆积木一样存放,以实现层层调用: 函数调用形成一个栈帧: f ...

  9. php给app写接口进行接口的加密

    <?php/**inc解析接口客户端接口传输规则:1.用cmd参数(base64)来动态调用不同的接口,接口地址统一为 http://a.lovexpp.com2.将要传过来的参数组成一个数组, ...

  10. 标准C库函数

    标准库函数由15个头文件组成 1.math.h 1.1 绝对值函数 1.2 幂函数.开平方函数 1.3 指数函数.对数函数 1.5 三角函数 注意参数范围: 1.6 取整函数.取余函数 2.字符串处理 ...