配置HDFS  高可用

1.配置HDFS配置文件

  1. $ vi hdfs-site.xml
  2. #写入
  3. <configuration>
  4. #配置NameService 名字随便起
  5. <property>
  6. <name>dfs.nameservices</name>
  7. <value>raphael</value>
  8. </property>
  9. # 这里的最后一个名字就是上面的nameService value是两台NameNode的节点
  10. <property>
  11. <name>dfs.ha.namenodes.raphael</name>
  12. <value>node5,node8</value>
  13. </property>
  14. # node5和node8的rpc地址
  15. <property>
  16. <name>dfs.namenode.rpc-address.raphael.node5</name>
  17. <value>node5:8020</value>
  18. </property>
  19. <property>
  20. <name>dfs.namenode.rpc-address.raphael.node8</name>
  21. <value>node8:8020</value>
  22. </property>
  23. # node5和node8的http地址
  24. <property>
  25. <name>dfs.namenode.http-address.raphael.node5</name>
  26. <value>node5:50070</value>
  27. </property>
  28. <property>
  29. <name>dfs.namenode.http-address.raphael.node8</name>
  30. <value>node8:50070</value>
  31. </property>
  32. # 3台JournalNode地址,后台跟名字,但后面的名字不能与nameService相同
  33. <property>
  34. <name>dfs.namenode.shared.edits.dir</name>
  35. <value>qjournal://node6:8485;node7:8485;node8:8485/raphael5200</value>
  36. </property>
  37. #配置客户端调用接口
  38. <property>
  39. <name>dfs.client.failover.proxy.provider.raphael</name>
  40. <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  41. </property>
  42. <property>
  43. <name>dfs.ha.fencing.methods</name>
  44. <value>sshfence</value>
  45. </property>
  46. <property>
  47. <name>dfs.ha.fencing.ssh.private-key-files</name>
  48. <value>/root/.ssh/id_dsa</value>
  49. </property>
  50. <property>
  51. <name>dfs.ha.fencing.methods</name>
  52. <value>sshfence</value>
  53. </property>
  54. <property>
  55. <name>dfs.ha.fencing.ssh.connect-timeout</name>
  56. <value>30000</value>
  57. </property>
  58. #配置journalnode目录
  59. <property>
  60. <name>dfs.journalnode.edits.dir</name>
  61. <value>/opt/journalnode</value>
  62. </property>
  63. <property>
  64. <name>dfs.ha.automatic-failover.enabled</name>
  65. <value>true</value>
  66. </property>
  1. $ vi core-site.xml
  2. #这里的value就是NameService的名字
  3. <property>
  4. <name>fs.defaultFS</name>
  5. <value>hdfs://raphael</value>
  6. </property>
  7.  
  8. <property>
  9. <name>hadoop.tmp.dir</name>
  10. <value>/opt/hadoop</value>
  11. </property>
  12. #3台zookeeper节点
  13. <property>
  14. <name>ha.zookeeper.quorum</name>
  15. <value>node5:2181,node6:2181,node7:2181</value>
  16. </property>

使用Yarn来调度HDFS

1.配置yarn-site.xml

  1. $ cd /usr/local/hadoop/
  2. $ vim etc/hadoop/yarn-site.xml
  3. <property>
  4. <name>yarn.resourcemanager.ha.enabled</name>
  5. <value>true</value>
  6. </property>
  7. # 该cluster-id不能与nameService相同
  8. <property>
  9. <name>yarn.resourcemanager.cluster-id</name>
  10. <value>raphael521</value>
  11. </property>
  12. #指定2台Resource Manager (即Name Node )节点
  13. <property>
  14. <name>yarn.resourcemanager.ha.rm-ids</name>
  15. <value>rm1,rm2</value>
  16. </property>
  17. <property>
  18. <name>yarn.resourcemanager.hostname.rm1</name>
  19. <value>node5</value>
  20. </property>
  21. <property>
  22. <name>yarn.resourcemanager.hostname.rm2</name>
  23. <value>node8</value>
  24. </property>
  25. #指定zookeeper 节点
  26. <property>
  27. <name>yarn.resourcemanager.zk-address</name>
  28. <value>node6:2181,node7:2181,node8:2181</value>
  29. </property>
  30.  
  31. <property>
  1. <name>yarn.nodemanager.aux-services</name>
  2. <value>mapreduce_shuffle</value>
  3. </property>
  1. </configuration>

2.配置etc/hadoop/mapred-site.xml

  1. $ vim etc/hadoop/mapred-site.xml
  2. <configuration>
  3. <property>
  4. <name>mapreduce.framework.name</name>
  5. <value>yarn</value>
  6. </property>
  7. </configuration>

hadoop2集群中关键配置文件的记录的更多相关文章

  1. 用Go造轮子-管理集群中的配置文件

    写在前面 最近一年来,我都在做公司的RTB广告系统,包括SSP曝光服务,ADX服务和DSP系统.因为是第一次在公司用Go语言实现这么一个大的系统,中间因为各种原因造了很多轮子.现在稍微有点时间,觉着有 ...

  2. hadoop2集群中的datanode启动以后自动关闭的问题

    今天在启动前几天搭建成功的hadoop集群的时候,出现了datanode启动之后自动关闭的情况,经过查询之后发现问题产生的原因是:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式 ...

  3. hadoop2集群环境搭建

    在查询了很多资料以后,发现国内外没有一篇关于hadoop2集群环境搭建的详细步骤的文章. 所以,我想把我知道的分享给大家,方便大家交流. 以下是本文的大纲: 1. 在windows7 下面安装虚拟机2 ...

  4. Hadoop学习笔记—13.分布式集群中节点的动态添加与下架

    开篇:在本笔记系列的第一篇中,我们介绍了如何搭建伪分布与分布模式的Hadoop集群.现在,我们来了解一下在一个Hadoop分布式集群中,如何动态(不关机且正在运行的情况下)地添加一个Hadoop节点与 ...

  5. Docker集群管理工具 - Kubernetes 部署记录 (运维小结)

    一.  Kubernetes 介绍 Kubernetes是一个全新的基于容器技术的分布式架构领先方案, 它是Google在2014年6月开源的一个容器集群管理系统,使用Go语言开发,Kubernete ...

  6. 在开启DRS的集群中修复VMware虚拟主机启动问题

    通过iSCSI方式连接到ESXi主机上的外挂存储意外失联了一段时间,导致部分虚拟主机在集群中呈现出孤立的状态,单独登陆到每台ESXi上可以看到这些虚拟主机都变成了unknow状态.因为有过上一次(VM ...

  7. 初试 Kubernetes 集群中使用 Traefik 反向代理

    初试 Kubernetes 集群中使用 Traefik 反向代理 2017年11月17日 09:47:20 哎_小羊_168 阅读数:12308    版权声明:本文为博主原创文章,未经博主允许不得转 ...

  8. 在kubernetes集群中创建redis主从多实例

    分类 > 正文 在kubernetes集群中创建redis主从多实例 redis-slave镜像制作 redis-master镜像制作 创建kube的配置文件yaml 继续使用上次实验环境 ht ...

  9. Hadoop学习之路(十二)分布式集群中HDFS系统的各种角色

    NameNode 学习目标 理解 namenode 的工作机制尤其是元数据管理机制,以增强对 HDFS 工作原理的 理解,及培养 hadoop 集群运营中“性能调优”.“namenode”故障问题的分 ...

随机推荐

  1. SoapUI简介和入门实例解析

    SoapUI简介 SoapUI是一个开源测试工具,通过soap/http来检查.调用.实现Web Service的功能/负载/符合性测试.该工具既可作为一个单独的测试软件使用,也可利用插件集成到Ecl ...

  2. webstorm配置scss环境

    1.下载 Ruby  (安装过程中记得勾选添加到环境变量,安装结束最后可能会弹出一个cmd弹框,可以忽略) 2. cmd安装sass gem install sass 3. cmd检查是否安装 sas ...

  3. BigDecimal的加减乘除及比较大小

    import java.math.BigDecimal; import static java.lang.System.out; public class BaseClass { public sta ...

  4. 初识 JShell

    Java9 现在吵得热火朝天,赶紧顺势学习一波喽! JDK9 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk9-dow ...

  5. java集合系列——List集合总结(六)

    一.总结概述 List继承了Collection,是有序的列表. 实现类有ArrayList.LinkedList.Vector.Stack等 ArrayList是基于数组实现的,是一个数组队列.可以 ...

  6. java一些问题的思考

    1.思考 为什么java规定作为程序入口点的main() 方法静态的? 在java中,main()方法是java应用程序的入口方法,也就是说,程序在运行的时候,第一个执行的方法就是main()方法,这 ...

  7. Robberies hdu 2955 01背包

    Robberies Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others)Total S ...

  8. css常见布局方式

    CSS常见布局方式 以下总结一下CSS中常见的布局方式.本人才疏学浅,如有错误,请留言指出. 如需转载,请注明出处:CSS常见布局方式 目录: 使用BFC隐藏属性 float + margin abs ...

  9. 将本地代码上传到github

    准备工作上传本地代码到github 准备工作 在github上创建自己的Repository. 安装git,centos的git安装教程. 上传本地代码到github git init git add ...

  10. webpack2使用ch9-处理模板文件 .html .ejs .tpl模板使用

    1 目录展示 安装依赖 "ejs-loader": "^0.3.0","html-loader": "^0.4.5", ...