1. <?xml version="1.0"?>
  2. <!--
  3. Licensed under the Apache License, Version 2.0 (the "License");
  4. you may not use this file except in compliance with the License.
  5. You may obtain a copy of the License at
  6.  
  7. http://www.apache.org/licenses/LICENSE-2.0
  8.  
  9. Unless required by applicable law or agreed to in writing, software
  10. distributed under the License is distributed on an "AS IS" BASIS,
  11. WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12. See the License for the specific language governing permissions and
  13. limitations under the License. See accompanying LICENSE file.
  14. -->
  15. <configuration>
  16. <property>
  17. <name>yarn.resourcemanager.hostname</name>
  18. <value>sdb-ali-hangzhou-dp1</value>
  19. </property>
  20. <property>
  21. <name>yarn.resourcemanager.webapp.address</name>
  22. <value>sdb-ali-hangzhou-dp1:21188</value>
  23. </property>
  24. <property>
  25. <name>yarn.nodemanager.aux-services</name>
  26. <value>mapreduce_shuffle</value>
  27. </property>
  28. <property>
  29. <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  30. <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  31. </property>
  32. <!-- 这个配置是将生成的日志文件上传到hdfs,但是本地的会删除,也就是说在yarn的监控界面会看不到,所以并没有采用-->
  33. <!--<property>
  34. <name>yarn.log-aggregation-enable</name>
  35. <value>true</value>
  36. </property>
  37. <property>
  38. <name>yarn.nodemanager.remote-app-log-dir</name>
  39. <value>/user/yarnlogs</value>
  40. </property>
  41. <property>
  42. <name>yarn.log-aggregation.retain-seconds</name>
  43. <value>-1</value>
  44. </property>
  45. <property>
  46. <name>yarn.log-aggregation.retain-check-interval-seconds</name>
  47. <value>-1</value>
  48. </property>-->
  49. <!-- 72小时候yarn的日志会清除掉-->
  50. <property>
  51. <name>yarn.nodemanager.log.retain-seconds</name>
  52. <value>604800</value>
  53. </property>
  54. <!--<property>
  55. <name>yarn.application.classpath</name>
  56. <value>/data/kefu3/application/easemobbigdata_jar/libs/*,$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,$HADOOP_COMMON_HOME/share/hadoop/common/lib/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,$HADOOP_YARN_HOME/share/hadoop/yarn/*,$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*</value>
  57. </property>-->
  58. <!-- 以下是yarn的HA的配置,暂时没有使用-->
  59. <!-- Site specific YARN configuration properties -->
  60. <!--<property>
  61. <name>yarn.resourcemanager.ha.enabled</name>
  62. <value>true</value>
  63. </property>
  64. <property>
  65. <name>yarn.resourcemanager.ha.rm-ids</name>
  66. <value>nn1,nn2</value>
  67. </property>
  68. <property>
  69. <name>yarn.resourcemanager.hostname.nn1</name>
  70. <value>sdb-ali-hangzhou-dp1</value>
  71. </property>
  72. <property>
  73. <name>yarn.resourcemanager.hostname.nn2</name>
  74. <value>sdb-ali-hangzhou-dp2</value>
  75. </property>
  76. <property>
  77. <name>yarn.resourcemanager.recovery.enabled</name>
  78. <value>true</value>
  79. </property>
  80. <property>
  81. <name>yarn.resourcemanager.store.class</name>
  82. <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  83. </property>
  84. <property>
  85. <name>yarn.resourcemanager.zk-address</name>
  86. <value>sdb-ali-hangzhou-dp1:2181,sdb-ali-hangzhou-dp2:2181</value>
  87. <description>For multiple zk services, separate them with comma</description>
  88. </property>
  89. <property>
  90. <name>yarn.resourcemanager.cluster-id</name>
  91. <value>yarn-ha</value>
  92. </property>
  93. <property>
  94. <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
  95. <value>true</value>
  96. <description>Enable automatic failover; By default, it is enabled only when HA is enabled.</description>
  97. </property>
  98. <property>
  99. <name>yarn.resourcemanager.ha.automatic-failover.zk-base-path</name>
  100. <value>/yarn-leader-election</value>
  101. <description>Optional setting. The default value is /yarn-leader-election</description>
  102. </property>
  103. <property>
  104. <name>yarn.client.failover-proxy-provider</name>
  105. <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>
  106. </property>
  107. <property>
  108. <name>yarn.nodemanager.aux-services</name>
  109. <value>mapreduce_shuffle</value>
  110. </property>
  111. <property>
  112. <name>yarn.resourcemanager.address.nn1</name>
  113. <value>sdb-ali-hangzhou-dp1:21132</value>
  114. </property>
  115. <property>
  116. <name>yarn.resourcemanager.address.nn2</name>
  117. <value>sdb-ali-hangzhou-dp2:21132</value>
  118. </property>
  119. <property>
  120. <name>yarn.resourcemanager.scheduler.address.nn1</name>
  121. <value>sdb-ali-hangzhou-dp1:21130</value>
  122. </property>
  123. <property>
  124. <name>yarn.resourcemanager.scheduler.address.nn2</name>
  125. <value>sdb-ali-hangzhou-dp2:21130</value>
  126. </property>
  127. <property>
  128. <name>yarn.resourcemanager.resource-tracker.address.nn1</name>
  129. <value>sdb-ali-hangzhou-dp1:21131</value>
  130. </property>
  131. <property>
  132. <name>yarn.resourcemanager.resource-tracker.address.nn2</name>
  133. <value>sdb-ali-hangzhou-dp2:21131</value>
  134. </property>
  135. <property>
  136. <name>yarn.resourcemanager.webapp.address.nn1</name>
  137. <value>sdb-ali-hangzhou-dp1:21188</value>
  138. </property>
  139. <property>
  140. <name>yarn.resourcemanager.webapp.address.nn2</name>
  141. <value>sdb-ali-hangzhou-dp2:21188</value>
  142. </property>
  143. <property>
  144. <name>yarn.nodemanager.resource.memory-mb</name>
  145. <value>10240</value>
  146. </property>
  147. <property>
  148. <name>yarn.scheduler.minimum-allocation-mb</name>
  149. <value>2048</value>
  150. </property>
  151. <property>
  152. <name>yarn.scheduler.maximum-allocation-mb</name>
  153. <value>10240</value>
  154. </property>
  155. <property>
  156. <name>yarn.app.mapreduce.am.resource.mb</name>
  157. <value>4096</value>
  158. </property>
  159. <property>
  160. <name>yarn.app.mapreduce.am.command-opts</name>
  161. <value>-Xmx1024m</value>
  162. </property>-->
  163. </configuration>

  

Dream Spark ------spark on yarn ,yarn的配置的更多相关文章

  1. spark on yarn模式下配置spark-sql访问hive元数据

    spark on yarn模式下配置spark-sql访问hive元数据 目的:在spark on yarn模式下,执行spark-sql访问hive的元数据.并对比一下spark-sql 和hive ...

  2. Spark On Yarn:提交Spark应用程序到Yarn

    转载自:http://lxw1234.com/archives/2015/07/416.htm 关键字:Spark On Yarn.Spark Yarn Cluster.Spark Yarn Clie ...

  3. Spark集群之yarn提交作业优化案例

    Spark集群之yarn提交作业优化案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.启动Hadoop集群 1>.自定义批量管理脚本 [yinzhengjie@s101 ...

  4. spark任务提交到yarn上命令总结

    spark任务提交到yarn上命令总结 1. 使用spark-submit提交任务 集群模式执行 SparkPi 任务,指定资源使用,指定eventLog目录 spark-submit --class ...

  5. Spark作业提交至Yarn上执行的 一个异常

    (1)控制台Yarn(Cluster模式)打印的异常日志: client token: N/A         diagnostics: Application application_1584359 ...

  6. [Spark]Spark、Yarn 入门

    Spark在集群上的运行模式 链接: http://spark.apache.org/docs/latest/cluster-overview.html Component章节 总结: 1 Each ...

  7. CDH集群中YARN的参数配置

    CDH集群中YARN的参数配置 前言:Hadoop 2.0之后,原先的MapReduce不在是简单的离线批处理MR任务的框架,升级为MapReduceV2(Yarn)版本,也就是把资源调度和任务分发两 ...

  8. spark 1.6.0 安装与配置(spark1.6.0、Ubuntu14.04、hadoop2.6.0、scala2.10.6、jdk1.7)

    前几天刚着实研究spark,spark安装与配置是入门的关键,本人也是根据网上各位大神的教程,尝试配置,发现版本对应最为关键.现将自己的安装与配置过程介绍如下,如有兴趣的同学可以尝试安装.所谓工欲善其 ...

  9. Hadoop HA on Yarn——集群配置

    集群搭建 因为服务器数量有限,这里服务器开启的进程有点多: 机器名 安装软件 运行进程 hadoop001 Hadoop,Zookeeper NameNode, DFSZKFailoverContro ...

  10. [spark] spark 特性、简介、下载

    [简介] 官网:http://spark.apache.org/ 推荐学习博客:http://dblab.xmu.edu.cn/blog/spark/ spark是一个采用Scala语言进行开发,更快 ...

随机推荐

  1. 数据库——SQL数据连接查询

    连接查询 查询结果或条件涉及多个表的查询称为连接查询SQL中连接查询的主要类型     广义笛卡尔积     等值连接(含自然连接)     自身连接查询     外连接查询 一.广义笛卡尔积 不带连 ...

  2. 《Linux内核分析》第二周学习笔记

    <Linux内核分析>第二周学习笔记 操作系统是如何工作的 郭垚 原创作品转载请注明出处 <Linux内核分析>MOOC课程http://mooc.study.163.com/ ...

  3. 小组成员的github地址

    袁颖https://github.com/joanyy/test 魏晓 https://github.com/weixiaohaobaobao/test 张晓磊 https://github.com/ ...

  4. mac下mongoDB的使用

    第一步: 我们在网上找到mongoDB的安装文件包,下载下来然后放在mac系统的指定位置,如图所示: 第二步:打开数据库服务端 我们在bin目录下执行mongod这个命令: 首先cd到bin目录 然后 ...

  5. Alpha冲刺测试

    项目Alpha冲刺(团队) Alpha冲刺测试 姓名 学号 博客链接 何守成 031602408 http://www.cnblogs.com/heshoucheng/ 黄锦峰 031602411 h ...

  6. tp3.2.3运用phpexcel将excel文件导入mysql数据库

    1,下载PHPExcel 2,配置将下载好的PHPExcel文件与PHPExcel.php 放到thinkphp 根目录 include/Library/Org/Util/下面 3,同时将PHPExc ...

  7. Vue-router的基本用法

    刚学习vue不久,就接触了路由这个好东西.下面简单聊聊vue-router的基本用法. 一.路由的概念 路由,其实就是指向的意思,当我点击页面上的home按钮时,页面中就要显示home的内容,如果点击 ...

  8. Codeforces 68D - Half-decay Tree

    题意 有一颗高度为 \(h\) 的完全二叉树(即点数为 \(2^{h+1}-1\) ),有两种操作: add x y 给 \(x\) 点的权值加 \(y\) decay 一次衰变定义为选择一个叶子节点 ...

  9. 平面最近点对(分治nlogn)

    平面最近点对,是指给出平面上的n个点,寻找点对间的最小距离 首先可以对按照x为第一关键字排序,然后每次按照x进行分治,左边求出一个最短距离d1,右边也求出一个最短距离d2,那么取d=min(d1, d ...

  10. VMXNET3 vs E1000E and E1000

    VMXNET3 vs E1000E and E1000 用户为什么要从E1000调整为VMXNET3,理由如下: E1000是千兆网路卡,而VMXNET3是万兆网路卡: E1000的性能相对较低,而V ...