清理ambari安装的hadoop集群

本文针对redhat或者centos

对于测试集群,如果通过ambari安装hadoop集群后,想重新再来一次的话,需要清理集群。

对于安装了很多hadoop组件的话,这个工作很繁琐。接下来是我整理的清理过程。

1,通过ambari将集群中的所用组件都关闭,如果关闭不了,直接kill -9 XXX

2,关闭ambari-server,ambari-agent

  1. ambari-server stop
  2. ambari-agent stop

3,卸载安装的软件

  1. yum remove hadoop_2* hdp-select* ranger_2* zookeeper* bigtop* atlas-metadata* ambari* postgresql spark*

以上命令可能不全,执行完一下命令后,再执行

  1. yum list | grep @HDP

查看是否还有没有卸载的,如果有,继续通过#yum remove XXX卸载

4,删除postgresql的数据

postgresql软件卸载后,其数据还保留在硬盘中,需要把这部分数据删除掉,如果不删除掉,重新安装ambari-server后,有可能还应用以前的安装数据,而这些数据时错误数据,所以需要删除掉。

  1. rm -rf /var/lib/pgsql

5,删除用户

ambari安装hadoop集群会创建一些用户,清除集群时有必要清除这些用户,并删除对应的文件夹。这样做可以避免集群运行时出现的文件访问权限错误的问题。

  1. userdel oozie
  2. userdel hive
  3. userdel ambari-qa
  4. userdel flume
  5. userdel hdfs
  6. userdel knox
  7. userdel storm
  8. userdel mapred
  9. userdel hbase
  10. userdel tez
  11. userdel zookeeper
  12. userdel kafka
  13. userdel falcon
  14. userdel sqoop
  15. userdel yarn
  16. userdel hcat
  17. userdel atlas
  18. userdel spark
  19. rm -rf /home/atlas
  20. rm -rf /home/accumulo
  21. rm -rf /home/hbase
  22. rm -rf /home/hive
  23. rm -rf /home/oozie
  24. rm -rf /home/storm
  25. rm -rf /home/yarn
  26. rm -rf /home/ambari-qa
  27. rm -rf /home/falcon
  28. rm -rf /home/hcat
  29. rm -rf /home/kafka
  30. rm -rf /home/mahout
  31. rm -rf /home/spark
  32. rm -rf /home/tez
  33. rm -rf /home/zookeeper
  34. rm -rf /home/flume
  35. rm -rf /home/hdfs
  36. rm -rf /home/knox
  37. rm -rf /home/mapred
  38. rm -rf /home/sqoop

6,删除ambari遗留数据

  1. rm -rf /var/lib/ambari*
  2. rm -rf /usr/lib/python2.6/site-packages/ambari_*
  3. rm -rf /usr/lib/python2.6/site-packages/resource_management
  4. rm -rf /usr/lib/ambari-*
  5. rm -rf /etc/ambari-*

7,删除其他hadoop组件遗留数据

  1. m -rf /etc/hadoop
  2. rm -rf /etc/hbase
  3. rm -rf /etc/hive
  4. rm -rf /etc/oozie
  5. rm -rf /etc/sqoop
  6. rm -rf /etc/zookeeper
  7. rm -rf /etc/flume
  8. rm -rf /etc/storm
  9. rm -rf /etc/hive-hcatalog
  10. rm -rf /etc/tez
  11. rm -rf /etc/falcon
  12. rm -rf /etc/knox
  13. rm -rf /etc/hive-webhcat
  14. rm -rf /etc/kafka
  15. rm -rf /etc/slider
  16. rm -rf /etc/storm-slider-client
  17. rm -rf /etc/spark
  18. rm -rf /var/run/spark
  19. rm -rf /var/run/hadoop
  20. rm -rf /var/run/hbase
  21. rm -rf /var/run/zookeeper
  22. rm -rf /var/run/flume
  23. rm -rf /var/run/storm
  24. rm -rf /var/run/webhcat
  25. rm -rf /var/run/hadoop-yarn
  26. rm -rf /var/run/hadoop-mapreduce
  27. rm -rf /var/run/kafka
  28. rm -rf /var/log/hadoop
  29. rm -rf /var/log/hbase
  30. rm -rf /var/log/flume
  31. rm -rf /var/log/storm
  32. rm -rf /var/log/hadoop-yarn
  33. rm -rf /var/log/hadoop-mapreduce
  34. rm -rf /var/log/knox
  35. rm -rf /usr/lib/flume
  36. rm -rf /usr/lib/storm
  37. rm -rf /var/lib/hive
  38. rm -rf /var/lib/oozie
  39. rm -rf /var/lib/flume
  40. rm -rf /var/lib/hadoop-hdfs
  41. rm -rf /var/lib/knox
  42. rm -rf /var/log/hive
  43. rm -rf /var/log/oozie
  44. rm -rf /var/log/zookeeper
  45. rm -rf /var/log/falcon
  46. rm -rf /var/log/webhcat
  47. rm -rf /var/log/spark
  48. rm -rf /var/tmp/oozie
  49. rm -rf /tmp/ambari-qa
  50. rm -rf /var/hadoop
  51. rm -rf /hadoop/falcon
  52. rm -rf /tmp/hadoop
  53. rm -rf /tmp/hadoop-hdfs
  54. rm -rf /usr/hdp
  55. rm -rf /usr/hadoop
  56. rm -rf /opt/hadoop
  57. rm -rf /tmp/hadoop
  58. rm -rf /var/hadoop
  59. rm -rf /hadoop
  60. userdel nagios
  61. userdel hive
  62. userdel ambari-qa
  63. userdel hbase
  64. userdel oozie
  65. userdel hcat
  66. userdel mapred
  67. userdel hdfs
  68. userdel rrdcached
  69. userdel zookeeper
  70. userdel sqoop
  71. userdel puppet
  72. 可以查看:http://www.cnblogs.com/cenyuhai/p/3287855.html
  73. userdel nagios
  74. userdel hive
  75. userdel ambari-qa
  76. userdel hbase
  77. userdel oozie
  78. userdel hcat
  79. userdel mapred
  80. userdel hdfs
  81. userdel rrdcached
  82. userdel zookeeper
  83. userdel sqoop
  84. userdel puppet
  85. userdel nagios
  86. userdel hive
  87. userdel ambari-qa
  88. userdel hbase
  89. userdel oozie
  90. userdel hcat
  91. userdel mapred
  92. userdel hdfs
  93. userdel rrdcached
  94. userdel zookeeper
  95. userdel sqoop
  96. userdel puppet
  97. userdel -r accumulo
  98. userdel -r ambari-qa
  99. userdel -r ams
  100. userdel -r falcon
  101. userdel -r flume
  102. userdel -r hbase
  103. userdel -r hcat
  104. userdel -r hdfs
  105. userdel -r hive
  106. userdel -r kafka
  107. userdel -r knox
  108. userdel -r mapred
  109. userdel -r oozie
  110. userdel -r ranger
  111. userdel -r spark
  112. userdel -r sqoop
  113. userdel -r storm
  114. userdel -r tez
  115. userdel -r yarn
  116. userdel -r zeppelin
  117. userdel -r zookeeper
  118. userdel -r kms
  119. userdel -r sqoop2
  120. userdel -r hue
  121. rm -rf /var/lib/hbase
  122. rm -rf /var/lib/hive
  123. rm -rf /var/lib/oozie
  124. rm -rf /var/lib/sqoop
  125. rm -rf /var/lib/zookeeper
  126. rm -rf /var/lib/hadoop-hdfs
  127. rm -rf /var/lib/hadoop-mapreduce

8,清理yum数据源

  1. #yum clean all

通过以上清理后,重新安装ambari和hadoop集群(包括HDFS,YARN+MapReduce2,Zookeeper,Ambari Metrics,Spark)成功。如果安装其他组件碰到由于未清理彻底而导致的问题,请留言指出需要清理的数据,本人会补全该文档。

然后后续的重新搭建的方式,可以参考ambari2.6.0搭建文档。

卸载Ambari集群的更多相关文章

  1. Ambari集群移动现有复制到另外地方或更改ip地址,导致各项服务组件上为黄色问号代表心跳丢失的解决方案(图文详解)(博主推荐)

    前言 最近,是在做集群搬移工作,大家肯定会遇到如下的场景. (1) 比如,你新购买的电脑,初步者学习使用Ambari集群.从旧电脑复制到新电脑这边来. (2) 比如,你公司Ambari集群的ip,因业 ...

  2. Ambari集群里操作时典型权限问题put: `/home/bigdata/1.txt': No such file or directory的解决方案(图文详解)

    不多说,直接上干货! 问题详情 明明put该有的文件在,可是怎么提示的是文件找不到的错误呢? 我就纳闷了put: `/home/bigdata/1.txt': No such file or dire ...

  3. 给Ambari集群里安装可视化分析利器工具Hue步骤(图文详解)

    扩展博客 以下,是我在手动的CDH版本平台下,安装Hue. CDH版本大数据集群下搭建Hue(hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz) ...

  4. 给ambari集群里的kafka安装基于web的kafka管理工具Kafka-manager(图文详解)

    不多说,直接上干货! 参考博客 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8.0.9和0.10以后版本)(图文详解)(默认端口或任意自定义端口 ...

  5. Ambari 集群时间同步配置教程

    本文原始地址:https://sitoi.cn/posts/27560.html 步骤 在时间同步主节点创建 ntp.conf 文件 在时间同步从节点上创建 ntp.conf 文件 修改所有节点时区 ...

  6. Hadoop - Ambari集群管理剖析

    1.Overview Ambari是Apache推出的一个集中管理Hadoop的集群的一个平台,可以快速帮助搭建Hadoop及相关以来组件的平台,管理集群方便.这篇博客记录Ambari的相关问题和注意 ...

  7. Ambari集群的搭建(离线安装)

    我们先克隆几台机器 我们打开克隆出来的机器 我们先把主机名修改一下 我们把主机名改成am2 下一步我们来配置网卡 把原来的eth0的注释掉,把现在的eth1改成eth0,同时把mac地址记下来 保存退 ...

  8. 给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解)

    不多说,直接上干货! Impala和Hive的关系(详解) 扩展博客 给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解) 参考 horton ...

  9. nagios新增监控集群、卸载监控集群批量操作

    1.一定要找应用侧确认每台节点上需要监控的进程,不要盲目以为所有hadoop集群的zk.journal啥的都一样,切记! 2.被监控节点只需要安装nagios-plugin和nrpe,依赖需要安装xi ...

随机推荐

  1. Struts标签<s:if>判断字符串是否包含一个固定的值

    Struts标签<s:if>判断字符串是否包含一个固定的值:1.如果比较对象是字符串: <s:if test="str.contains('判断是否包含的字符串')&quo ...

  2. XCode5环境下利用crash log调试线上Crash的流程

    1.前言 本文主要介绍在XCode5环境下,如何根据App自己生成的crashlog来调试真机上运行时产生的crash问题. 2. 步骤 (1)构造一段会crash的代码,并放到viewDidLoad ...

  3. 【ASE模型组】Hint::neural 模型与case study

    模型 基于搜索的提示系统 我们的系统用Pycee针对语法错误给出提示.然而,对于语法正确.结果错误的代码,我们需要另外的解决方式.因此,我们维护一些 (错误代码, 相应提示) 的数据,该数据可以由我们 ...

  4. 第二章 Django之python安装(1)

    Python 安装 Django 由百分百的纯 Python 代码编写而成,因此必须在系统中安装 Python .Django 需要 2.3 或更高版本的 Python.如果使用的是 Linux 或 ...

  5. 使用yield处理文件

    写文件 # -*- coding:utf-8 -*- import random import threading import string import time t1 = time.time() ...

  6. mariadb-server安装问题(Error: MariaDB-common conflicts with 1:mariadb-libs-5.5.60-1.el7_5.x86_64)

    问题:今天在安装mariadb-server包时,提示错误,无法正确安装linux自带的mariadb包,提示错误很明确,是由于MariaDB-common包与mariadb-libs包冲突. 解决办 ...

  7. 基于OPENldap搭建postfix 虚拟用户

    本文首发: https://www.somata.work/2019/DependOPENldapBuildPostfixVirtualMailUser.html postfix + dovecot ...

  8. Python更改pip源

    Python更改pip源 pip源有以下 新版ubuntu要求使用https源,要注意.清华:https://pypi.tuna.tsinghua.edu.cn/simple阿里云:http://mi ...

  9. 利用CodeBlocks结合freeglut快速搭建OpenGL开发环境

    利用CodeBlocks结合freeglut快速搭建OpenGL开发环境 2018-12-19 10:15:48 再次超越梦想 阅读数 180更多 分类专栏: 我的开发日记   版权声明:本文为博主原 ...

  10. NLP传统基础(1)---BM25算法---计算文档和query相关性

    一.简介:TF-IDF 的改进算法 https://blog.csdn.net/weixin_41090915/article/details/79053584 bm25 是一种用来评价搜索词和文档之 ...