清理ambari安装的hadoop集群

本文针对redhat或者centos

对于测试集群,如果通过ambari安装hadoop集群后,想重新再来一次的话,需要清理集群。

对于安装了很多hadoop组件的话,这个工作很繁琐。接下来是我整理的清理过程。

1,通过ambari将集群中的所用组件都关闭,如果关闭不了,直接kill -9 XXX

2,关闭ambari-server,ambari-agent

  1. ambari-server stop
  2. ambari-agent stop

3,卸载安装的软件

  1. yum remove hadoop_2* hdp-select* ranger_2* zookeeper* bigtop* atlas-metadata* ambari* postgresql spark*

以上命令可能不全,执行完一下命令后,再执行

  1. yum list | grep @HDP

查看是否还有没有卸载的,如果有,继续通过#yum remove XXX卸载

4,删除postgresql的数据

postgresql软件卸载后,其数据还保留在硬盘中,需要把这部分数据删除掉,如果不删除掉,重新安装ambari-server后,有可能还应用以前的安装数据,而这些数据时错误数据,所以需要删除掉。

  1. rm -rf /var/lib/pgsql

5,删除用户

ambari安装hadoop集群会创建一些用户,清除集群时有必要清除这些用户,并删除对应的文件夹。这样做可以避免集群运行时出现的文件访问权限错误的问题。

  1. userdel oozie
  2. userdel hive
  3. userdel ambari-qa
  4. userdel flume
  5. userdel hdfs
  6. userdel knox
  7. userdel storm
  8. userdel mapred
  9. userdel hbase
  10. userdel tez
  11. userdel zookeeper
  12. userdel kafka
  13. userdel falcon
  14. userdel sqoop
  15. userdel yarn
  16. userdel hcat
  17. userdel atlas
  18. userdel spark
  19. rm -rf /home/atlas
  20. rm -rf /home/accumulo
  21. rm -rf /home/hbase
  22. rm -rf /home/hive
  23. rm -rf /home/oozie
  24. rm -rf /home/storm
  25. rm -rf /home/yarn
  26. rm -rf /home/ambari-qa
  27. rm -rf /home/falcon
  28. rm -rf /home/hcat
  29. rm -rf /home/kafka
  30. rm -rf /home/mahout
  31. rm -rf /home/spark
  32. rm -rf /home/tez
  33. rm -rf /home/zookeeper
  34. rm -rf /home/flume
  35. rm -rf /home/hdfs
  36. rm -rf /home/knox
  37. rm -rf /home/mapred
  38. rm -rf /home/sqoop

6,删除ambari遗留数据

  1. rm -rf /var/lib/ambari*
  2. rm -rf /usr/lib/python2.6/site-packages/ambari_*
  3. rm -rf /usr/lib/python2.6/site-packages/resource_management
  4. rm -rf /usr/lib/ambari-*
  5. rm -rf /etc/ambari-*

7,删除其他hadoop组件遗留数据

  1. m -rf /etc/hadoop
  2. rm -rf /etc/hbase
  3. rm -rf /etc/hive
  4. rm -rf /etc/oozie
  5. rm -rf /etc/sqoop
  6. rm -rf /etc/zookeeper
  7. rm -rf /etc/flume
  8. rm -rf /etc/storm
  9. rm -rf /etc/hive-hcatalog
  10. rm -rf /etc/tez
  11. rm -rf /etc/falcon
  12. rm -rf /etc/knox
  13. rm -rf /etc/hive-webhcat
  14. rm -rf /etc/kafka
  15. rm -rf /etc/slider
  16. rm -rf /etc/storm-slider-client
  17. rm -rf /etc/spark
  18. rm -rf /var/run/spark
  19. rm -rf /var/run/hadoop
  20. rm -rf /var/run/hbase
  21. rm -rf /var/run/zookeeper
  22. rm -rf /var/run/flume
  23. rm -rf /var/run/storm
  24. rm -rf /var/run/webhcat
  25. rm -rf /var/run/hadoop-yarn
  26. rm -rf /var/run/hadoop-mapreduce
  27. rm -rf /var/run/kafka
  28. rm -rf /var/log/hadoop
  29. rm -rf /var/log/hbase
  30. rm -rf /var/log/flume
  31. rm -rf /var/log/storm
  32. rm -rf /var/log/hadoop-yarn
  33. rm -rf /var/log/hadoop-mapreduce
  34. rm -rf /var/log/knox
  35. rm -rf /usr/lib/flume
  36. rm -rf /usr/lib/storm
  37. rm -rf /var/lib/hive
  38. rm -rf /var/lib/oozie
  39. rm -rf /var/lib/flume
  40. rm -rf /var/lib/hadoop-hdfs
  41. rm -rf /var/lib/knox
  42. rm -rf /var/log/hive
  43. rm -rf /var/log/oozie
  44. rm -rf /var/log/zookeeper
  45. rm -rf /var/log/falcon
  46. rm -rf /var/log/webhcat
  47. rm -rf /var/log/spark
  48. rm -rf /var/tmp/oozie
  49. rm -rf /tmp/ambari-qa
  50. rm -rf /var/hadoop
  51. rm -rf /hadoop/falcon
  52. rm -rf /tmp/hadoop
  53. rm -rf /tmp/hadoop-hdfs
  54. rm -rf /usr/hdp
  55. rm -rf /usr/hadoop
  56. rm -rf /opt/hadoop
  57. rm -rf /tmp/hadoop
  58. rm -rf /var/hadoop
  59. rm -rf /hadoop
  60. userdel nagios
  61. userdel hive
  62. userdel ambari-qa
  63. userdel hbase
  64. userdel oozie
  65. userdel hcat
  66. userdel mapred
  67. userdel hdfs
  68. userdel rrdcached
  69. userdel zookeeper
  70. userdel sqoop
  71. userdel puppet
  72. 可以查看:http://www.cnblogs.com/cenyuhai/p/3287855.html
  73. userdel nagios
  74. userdel hive
  75. userdel ambari-qa
  76. userdel hbase
  77. userdel oozie
  78. userdel hcat
  79. userdel mapred
  80. userdel hdfs
  81. userdel rrdcached
  82. userdel zookeeper
  83. userdel sqoop
  84. userdel puppet
  85. userdel nagios
  86. userdel hive
  87. userdel ambari-qa
  88. userdel hbase
  89. userdel oozie
  90. userdel hcat
  91. userdel mapred
  92. userdel hdfs
  93. userdel rrdcached
  94. userdel zookeeper
  95. userdel sqoop
  96. userdel puppet
  97. userdel -r accumulo
  98. userdel -r ambari-qa
  99. userdel -r ams
  100. userdel -r falcon
  101. userdel -r flume
  102. userdel -r hbase
  103. userdel -r hcat
  104. userdel -r hdfs
  105. userdel -r hive
  106. userdel -r kafka
  107. userdel -r knox
  108. userdel -r mapred
  109. userdel -r oozie
  110. userdel -r ranger
  111. userdel -r spark
  112. userdel -r sqoop
  113. userdel -r storm
  114. userdel -r tez
  115. userdel -r yarn
  116. userdel -r zeppelin
  117. userdel -r zookeeper
  118. userdel -r kms
  119. userdel -r sqoop2
  120. userdel -r hue
  121. rm -rf /var/lib/hbase
  122. rm -rf /var/lib/hive
  123. rm -rf /var/lib/oozie
  124. rm -rf /var/lib/sqoop
  125. rm -rf /var/lib/zookeeper
  126. rm -rf /var/lib/hadoop-hdfs
  127. rm -rf /var/lib/hadoop-mapreduce

8,清理yum数据源

  1. #yum clean all

通过以上清理后,重新安装ambari和hadoop集群(包括HDFS,YARN+MapReduce2,Zookeeper,Ambari Metrics,Spark)成功。如果安装其他组件碰到由于未清理彻底而导致的问题,请留言指出需要清理的数据,本人会补全该文档。

然后后续的重新搭建的方式,可以参考ambari2.6.0搭建文档。

卸载Ambari集群的更多相关文章

  1. Ambari集群移动现有复制到另外地方或更改ip地址,导致各项服务组件上为黄色问号代表心跳丢失的解决方案(图文详解)(博主推荐)

    前言 最近,是在做集群搬移工作,大家肯定会遇到如下的场景. (1) 比如,你新购买的电脑,初步者学习使用Ambari集群.从旧电脑复制到新电脑这边来. (2) 比如,你公司Ambari集群的ip,因业 ...

  2. Ambari集群里操作时典型权限问题put: `/home/bigdata/1.txt': No such file or directory的解决方案(图文详解)

    不多说,直接上干货! 问题详情 明明put该有的文件在,可是怎么提示的是文件找不到的错误呢? 我就纳闷了put: `/home/bigdata/1.txt': No such file or dire ...

  3. 给Ambari集群里安装可视化分析利器工具Hue步骤(图文详解)

    扩展博客 以下,是我在手动的CDH版本平台下,安装Hue. CDH版本大数据集群下搭建Hue(hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz) ...

  4. 给ambari集群里的kafka安装基于web的kafka管理工具Kafka-manager(图文详解)

    不多说,直接上干货! 参考博客 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8.0.9和0.10以后版本)(图文详解)(默认端口或任意自定义端口 ...

  5. Ambari 集群时间同步配置教程

    本文原始地址:https://sitoi.cn/posts/27560.html 步骤 在时间同步主节点创建 ntp.conf 文件 在时间同步从节点上创建 ntp.conf 文件 修改所有节点时区 ...

  6. Hadoop - Ambari集群管理剖析

    1.Overview Ambari是Apache推出的一个集中管理Hadoop的集群的一个平台,可以快速帮助搭建Hadoop及相关以来组件的平台,管理集群方便.这篇博客记录Ambari的相关问题和注意 ...

  7. Ambari集群的搭建(离线安装)

    我们先克隆几台机器 我们打开克隆出来的机器 我们先把主机名修改一下 我们把主机名改成am2 下一步我们来配置网卡 把原来的eth0的注释掉,把现在的eth1改成eth0,同时把mac地址记下来 保存退 ...

  8. 给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解)

    不多说,直接上干货! Impala和Hive的关系(详解) 扩展博客 给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解) 参考 horton ...

  9. nagios新增监控集群、卸载监控集群批量操作

    1.一定要找应用侧确认每台节点上需要监控的进程,不要盲目以为所有hadoop集群的zk.journal啥的都一样,切记! 2.被监控节点只需要安装nagios-plugin和nrpe,依赖需要安装xi ...

随机推荐

  1. http协议与soap协议之间的区别

    http是标准超文本传输协议.使用对参数进行编码并将参数作为键值对传递,还使用关联的请求语义.每个协议都包含一系列HTTP请求标头及其他一些信息,定义客户端向服务器请求哪些内容,服务器用一系列HTTP ...

  2. Java内存模型(JMM)

    JVM与线程(线程在JVM中) 1.JVM什么时候启动?         类被调用时启动,此时会启动JVM线程然后再是其他的线程(main) 2.JVM内存区域 除了程序计数器(PC)之外都有可能发生 ...

  3. Oracle学习笔记:update的字段中包括单引号

    平时update的时候直接更改字段内的值,例如: update table_temp set name = 'Hider' where id = 100; 但更新后的值中包括单引号,则不能按以上方式进 ...

  4. scp2自动部署

    安装scp2 npm install scp2 --save-dev 配置服务器文件 项目根目录创建文件 .env.dev 文件 (测试环境变量)和创建 .env.prod 文件 (生产环境变量) V ...

  5. Redis 学习-Redis Sentinel

    一.启动服务 1. 配置文件 sentinel.conf daemonize yes # 是否守护进程启动 pidfile "/var/run/redis-sentinel-26379.pi ...

  6. Codeforces 567D - One-Dimensional Battle Ships - [树状数组+二分]

    题目链接:https://codeforces.com/problemset/problem/567/D 题意: 在一个 $1 \times n$ 的网格上,初始摆放着 $k$ 只船,每只船的长度均为 ...

  7. Python&Selenium 数据驱动【unittest+ddt+Excel】

    一.摘要 一般情况下我们为了更好的管理测试数据会选择将测试数据存储在Excel文件当中去,本节内容将展示给读者将测试数据存储在Excel文档中的案例. 二.创建存储测试数据的Excel 创建一个Exc ...

  8. OPT

    http://cdn.imgtec.com/sdk-documentation/PowerVR.Performance+Recommendations.pdf 宝贝 https://developer ...

  9. web上传下载文件

    WebService代码: ///     /// 上传文件     ///     /// 文件的byte[]     /// 上传文件的路径     /// 上传文件名字     ///     ...

  10. JS window对象详解

    window 是客户端浏览器对象模型的基类,window 对象是客户端 JavaScript 的全局对象.一个 window 对象实际上就是一个独立的窗口,对于框架页面来说,浏览器窗口每个框架都包含一 ...