1. <?xml version="1.0"?>
  2. <!--
  3. Licensed under the Apache License, Version 2.0 (the "License");
  4. you may not use this file except in compliance with the License.
  5. You may obtain a copy of the License at
  6.  
  7. http://www.apache.org/licenses/LICENSE-2.0
  8.  
  9. Unless required by applicable law or agreed to in writing, software
  10. distributed under the License is distributed on an "AS IS" BASIS,
  11. WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12. See the License for the specific language governing permissions and
  13. limitations under the License. See accompanying LICENSE file.
  14. -->
  15. <configuration>
  16. <property>
  17. <name>yarn.resourcemanager.hostname</name>
  18. <value>sdb-ali-hangzhou-dp1</value>
  19. </property>
  20. <property>
  21. <name>yarn.resourcemanager.webapp.address</name>
  22. <value>sdb-ali-hangzhou-dp1:21188</value>
  23. </property>
  24. <property>
  25. <name>yarn.nodemanager.aux-services</name>
  26. <value>mapreduce_shuffle</value>
  27. </property>
  28. <property>
  29. <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  30. <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  31. </property>
  32. <!-- 这个配置是将生成的日志文件上传到hdfs,但是本地的会删除,也就是说在yarn的监控界面会看不到,所以并没有采用-->
  33. <!--<property>
  34. <name>yarn.log-aggregation-enable</name>
  35. <value>true</value>
  36. </property>
  37. <property>
  38. <name>yarn.nodemanager.remote-app-log-dir</name>
  39. <value>/user/yarnlogs</value>
  40. </property>
  41. <property>
  42. <name>yarn.log-aggregation.retain-seconds</name>
  43. <value>-1</value>
  44. </property>
  45. <property>
  46. <name>yarn.log-aggregation.retain-check-interval-seconds</name>
  47. <value>-1</value>
  48. </property>-->
  49. <!-- 72小时候yarn的日志会清除掉-->
  50. <property>
  51. <name>yarn.nodemanager.log.retain-seconds</name>
  52. <value>604800</value>
  53. </property>
  54. <!--<property>
  55. <name>yarn.application.classpath</name>
  56. <value>/data/kefu3/application/easemobbigdata_jar/libs/*,$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,$HADOOP_COMMON_HOME/share/hadoop/common/lib/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,$HADOOP_YARN_HOME/share/hadoop/yarn/*,$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*</value>
  57. </property>-->
  58. <!-- 以下是yarn的HA的配置,暂时没有使用-->
  59. <!-- Site specific YARN configuration properties -->
  60. <!--<property>
  61. <name>yarn.resourcemanager.ha.enabled</name>
  62. <value>true</value>
  63. </property>
  64. <property>
  65. <name>yarn.resourcemanager.ha.rm-ids</name>
  66. <value>nn1,nn2</value>
  67. </property>
  68. <property>
  69. <name>yarn.resourcemanager.hostname.nn1</name>
  70. <value>sdb-ali-hangzhou-dp1</value>
  71. </property>
  72. <property>
  73. <name>yarn.resourcemanager.hostname.nn2</name>
  74. <value>sdb-ali-hangzhou-dp2</value>
  75. </property>
  76. <property>
  77. <name>yarn.resourcemanager.recovery.enabled</name>
  78. <value>true</value>
  79. </property>
  80. <property>
  81. <name>yarn.resourcemanager.store.class</name>
  82. <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  83. </property>
  84. <property>
  85. <name>yarn.resourcemanager.zk-address</name>
  86. <value>sdb-ali-hangzhou-dp1:2181,sdb-ali-hangzhou-dp2:2181</value>
  87. <description>For multiple zk services, separate them with comma</description>
  88. </property>
  89. <property>
  90. <name>yarn.resourcemanager.cluster-id</name>
  91. <value>yarn-ha</value>
  92. </property>
  93. <property>
  94. <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
  95. <value>true</value>
  96. <description>Enable automatic failover; By default, it is enabled only when HA is enabled.</description>
  97. </property>
  98. <property>
  99. <name>yarn.resourcemanager.ha.automatic-failover.zk-base-path</name>
  100. <value>/yarn-leader-election</value>
  101. <description>Optional setting. The default value is /yarn-leader-election</description>
  102. </property>
  103. <property>
  104. <name>yarn.client.failover-proxy-provider</name>
  105. <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>
  106. </property>
  107. <property>
  108. <name>yarn.nodemanager.aux-services</name>
  109. <value>mapreduce_shuffle</value>
  110. </property>
  111. <property>
  112. <name>yarn.resourcemanager.address.nn1</name>
  113. <value>sdb-ali-hangzhou-dp1:21132</value>
  114. </property>
  115. <property>
  116. <name>yarn.resourcemanager.address.nn2</name>
  117. <value>sdb-ali-hangzhou-dp2:21132</value>
  118. </property>
  119. <property>
  120. <name>yarn.resourcemanager.scheduler.address.nn1</name>
  121. <value>sdb-ali-hangzhou-dp1:21130</value>
  122. </property>
  123. <property>
  124. <name>yarn.resourcemanager.scheduler.address.nn2</name>
  125. <value>sdb-ali-hangzhou-dp2:21130</value>
  126. </property>
  127. <property>
  128. <name>yarn.resourcemanager.resource-tracker.address.nn1</name>
  129. <value>sdb-ali-hangzhou-dp1:21131</value>
  130. </property>
  131. <property>
  132. <name>yarn.resourcemanager.resource-tracker.address.nn2</name>
  133. <value>sdb-ali-hangzhou-dp2:21131</value>
  134. </property>
  135. <property>
  136. <name>yarn.resourcemanager.webapp.address.nn1</name>
  137. <value>sdb-ali-hangzhou-dp1:21188</value>
  138. </property>
  139. <property>
  140. <name>yarn.resourcemanager.webapp.address.nn2</name>
  141. <value>sdb-ali-hangzhou-dp2:21188</value>
  142. </property>
  143. <property>
  144. <name>yarn.nodemanager.resource.memory-mb</name>
  145. <value>10240</value>
  146. </property>
  147. <property>
  148. <name>yarn.scheduler.minimum-allocation-mb</name>
  149. <value>2048</value>
  150. </property>
  151. <property>
  152. <name>yarn.scheduler.maximum-allocation-mb</name>
  153. <value>10240</value>
  154. </property>
  155. <property>
  156. <name>yarn.app.mapreduce.am.resource.mb</name>
  157. <value>4096</value>
  158. </property>
  159. <property>
  160. <name>yarn.app.mapreduce.am.command-opts</name>
  161. <value>-Xmx1024m</value>
  162. </property>-->
  163. </configuration>

  

Dream Spark ------spark on yarn ,yarn的配置的更多相关文章

  1. spark on yarn模式下配置spark-sql访问hive元数据

    spark on yarn模式下配置spark-sql访问hive元数据 目的:在spark on yarn模式下,执行spark-sql访问hive的元数据.并对比一下spark-sql 和hive ...

  2. Spark On Yarn:提交Spark应用程序到Yarn

    转载自:http://lxw1234.com/archives/2015/07/416.htm 关键字:Spark On Yarn.Spark Yarn Cluster.Spark Yarn Clie ...

  3. Spark集群之yarn提交作业优化案例

    Spark集群之yarn提交作业优化案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.启动Hadoop集群 1>.自定义批量管理脚本 [yinzhengjie@s101 ...

  4. spark任务提交到yarn上命令总结

    spark任务提交到yarn上命令总结 1. 使用spark-submit提交任务 集群模式执行 SparkPi 任务,指定资源使用,指定eventLog目录 spark-submit --class ...

  5. Spark作业提交至Yarn上执行的 一个异常

    (1)控制台Yarn(Cluster模式)打印的异常日志: client token: N/A         diagnostics: Application application_1584359 ...

  6. [Spark]Spark、Yarn 入门

    Spark在集群上的运行模式 链接: http://spark.apache.org/docs/latest/cluster-overview.html Component章节 总结: 1 Each ...

  7. CDH集群中YARN的参数配置

    CDH集群中YARN的参数配置 前言:Hadoop 2.0之后,原先的MapReduce不在是简单的离线批处理MR任务的框架,升级为MapReduceV2(Yarn)版本,也就是把资源调度和任务分发两 ...

  8. spark 1.6.0 安装与配置(spark1.6.0、Ubuntu14.04、hadoop2.6.0、scala2.10.6、jdk1.7)

    前几天刚着实研究spark,spark安装与配置是入门的关键,本人也是根据网上各位大神的教程,尝试配置,发现版本对应最为关键.现将自己的安装与配置过程介绍如下,如有兴趣的同学可以尝试安装.所谓工欲善其 ...

  9. Hadoop HA on Yarn——集群配置

    集群搭建 因为服务器数量有限,这里服务器开启的进程有点多: 机器名 安装软件 运行进程 hadoop001 Hadoop,Zookeeper NameNode, DFSZKFailoverContro ...

  10. [spark] spark 特性、简介、下载

    [简介] 官网:http://spark.apache.org/ 推荐学习博客:http://dblab.xmu.edu.cn/blog/spark/ spark是一个采用Scala语言进行开发,更快 ...

随机推荐

  1. 2-Thirteenth Scrum Meeting-10151213

    任务安排 成员 今日完成 明日任务 闫昊 获取视频播放进度  用本地数据库记录课程结构和学习进度 唐彬  阅读IOS代码+阅读上届网络核心代码  请假(编译……) 史烨轩 下载service开发    ...

  2. 《实时控制软件设计》之Github提交作业步骤

    在掌握GIT/GITHUB基本操作后,接下来把第一次的编程作业提交到 https://github.com/RTCSD15/HOMEWORK1 ,把第二次的编程作业提交到https://github. ...

  3. @Autowire和@Resource注解的区别

    1.@Autowire是Spring开发的,而@Resource是jdk开发的 2.@Autowire是按照type来注解的,而@Resource是按照名称来的,如果名称找不到,那么就按照type,, ...

  4. C语言编程—自动生成四则运算升级版

    #include<stdio.h> #include<time.h> struct fenshu { int fenzi; int fenmu; }Fenshu[]; int ...

  5. 什么是GPS的冷启动、温启动和热启动?

    对于GPS多种启动方式的概念还很模糊,冷启动.热启动.温启动各种专业术语铺天盖地,使得许多用户眼花缭乱. 我们简单从定义上了解一下几种GPS启动的方式,GPS开机启动分为冷启动.温启动.热启动三种. ...

  6. final发布评论Ⅱ

    奋斗吧兄弟:奋斗吧兄弟团队提供了草原.水域.田地三种环境可以进行选择.功能如下:添加自定义生物功能可以增加生物种类,但是无法设置捕食关系,这里希望想办法完善.生物除了图片方式以外,还可以以文字的方式展 ...

  7. thinkphp5报错

    thinkPHP5配置nginx环境无法打开(require():open_basedirrestrictionineffect.File(/mnt/hgfs/ro (2018-07-19 22:05 ...

  8. Postgres数据库获取所有的索引信息的SQL

    Study From:https://blog.csdn.net/u013992330/article/details/73870734 SELECT A.SCHEMANAME, A.TABLENAM ...

  9. 一本通1625【例 1】反素数 Antiprime

    反素数 Antiprime 题目描述 原题来自:POI 2001 如果一个大于等于 1 的正整数 n,满足所有小于 n 且大于等于 1 的所有正整数的约数个数都小于 n 的约数个数,则 n 是一个反素 ...

  10. 【设计模式】—— 代理模式Proxy

    前言:[模式总览]——————————by xingoo 模式意图 代理模式为其他的对象增加一个代理对象,进行访问控制.从而避免直接访问一个对象,造成效率或者安全性上的降低. 应用场景 1 远程代理, ...