hadoop多硬盘配置注意点
[一]、实验环境
1.1、环境
- hadoop 2.6.0
- namenode 2个 各增加 2个1T硬盘
- datanode 3个 各增加3个1T硬盘
1.2、挂载硬盘
- fdisk 分区 (输入m—n—p—1–回车—回车—p—w)
- mkfs 格式化硬盘 ( mkfs.ext4 )
- mount 挂载硬盘 (以挂载目录为 /bigdata/data0 /bigdata/data1 …. /bigdata/dataN 为例)
- 开机挂载
vi /etc/fstab
:Shell
123/dev/sda1 /bigdata/data0 ext4 defaults 0 0/dev/sdb1 /bigdata/data1 ext4 defaults 0 0/dev/sdc1 /bigdata/data2 ext4 defaults 0 0
命令不会使用的可以查阅相关文档,只要注意配置挂载的新目录赋予hadoop用户的读写权限。
[二]、修改hadoop配置
2.1、修改 $HADOOP_HOME/hdfs-site.xml
:
XHTML
1
2
3
4
5
6
7
8
9
|
<!-- 多个目录逗号,分割,不能有空格 千万注意 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/bigdata/data0/dfs/name,/bigdata/data1/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/bigdata/data0/dfs/data,/bigdata/data1/dfs/data,/bigdata/data2/dfs/data</value>
</property>
|
2.2、修改 $HADOOP_HOME/mapred-site.xml
:
XHTML
1
2
3
4
|
<property>
<name>mapreduce.cluster.local.dir</name>
<value>/bigdata/data0/mapred/local,/bigdata/data1/mapred/local,/bigdata/data2/mapred/local</value>
</property>
|
—————– EOF @Michael Sun —————–
http://www.micmiu.com/bigdata/hadoop/hadoop-many-disk-config/
hadoop多硬盘配置注意点的更多相关文章
- Hadoop多硬盘配置时的注意事项
<!-- hdfs-site.xml --> <property> <name>dfs.datanode.fsdataset.volume.choosing.pol ...
- 初识Hadoop一,配置及启动服务
一.Hadoop简介: Hadoop是由Apache基金会所开发的分布式系统基础架构,实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS:Hadoo ...
- [Hadoop入门] - 2 ubuntu安装与配置 hadoop安装与配置
ubuntu安装(这里我就不一一捉图了,只引用一个网址, 相信大家能力) ubuntu安装参考教程: http://jingyan.baidu.com/article/14bd256e0ca52eb ...
- Hadoop伪分布模式配置
本作品由Man_华创作,采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可.基于http://www.cnblogs.com/manhua/上的作品创作. 请先按照上一篇文章H ...
- Hadoop伪分布配置与基于Eclipse开发环境搭建
国内私募机构九鼎控股打造APP,来就送 20元现金领取地址:http://jdb.jiudingcapital.com/phone.html内部邀请码:C8E245J (不写邀请码,没有现金送)国内私 ...
- Hadoop集群配置(最全面总结)
Hadoop集群配置(最全面总结) 通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker.这些机器是masters.余下的机器即作为DataNode也作为Ta ...
- 大数据测试之hadoop集群配置和测试
大数据测试之hadoop集群配置和测试 一.准备(所有节点都需要做):系统:Ubuntu12.04java版本:JDK1.7SSH(ubuntu自带)三台在同一ip段的机器,设置为静态IP机器分配 ...
- Hadoop生态的配置
网盘下载地址 链接: https://pan.baidu.com/s/19qWnP6LQ-cHVrvT0o1jTMg 密码: 44hs Hadoop伪分布式配置 Hadoop 可以在单节点上以伪分布 ...
- Hadoop Yarn环境配置
抄一个可行的Hadoop Yarn环境配置.用的官方的2.2.0版本. http://www.jdon.com/bigdata/yarn.html Hadoop 2.2新特性 将Mapreduce框架 ...
随机推荐
- soui中,列表控件动态高度的使用注意
1.listview的模板template中,需要增加defHeight属性,即默认高度,同时,不能出现itemHeight属性,否则动态高度会失效 2.数据适配器中,重写getViewDesired ...
- LeetCode记录(1)——Array
1.Two Sum naive 4.Median of Two Sorted Arrays 找两个已排序数组的中位数 直接数可以过,但很蠢,O(m+n)时间 class Solution { publ ...
- PXE DHCP获取IP与传统DHCP获取IP地址的区别
正常的DHCP获取IP的流程(Discover-Offer-Request-Ack): (Discovery)主机端在LAN中发布MAC地址为FF:FF:FF:FF:FF:FF的广播来寻找DHCP服务 ...
- Struts2与Ajax的整合
整合: 导入jar包 sturts2-json-plugin-2.1.8.1.jar 说明: 在该jar包中有struts-plugin.xml文件 <struts> ...
- 自动化服务安装部署工具-Ansible
自动化运维工具Ansible详细部署 ================================================================================= ...
- Spark部署三种方式介绍:YARN模式、Standalone模式、HA模式
参考自:Spark部署三种方式介绍:YARN模式.Standalone模式.HA模式http://www.aboutyun.com/forum.php?mod=viewthread&tid=7 ...
- 分析器错误消息: 未能加载类型“Automation.Web.MvcApplication”。
常见原因1 : 可能是自己手动修改了项目 ==>属性==>生成的输出路径 ,导致版本不兼容 常见员因2 : Global的 命名空间 与 项目的命名空间 不一致 常见原因3 : 查看 ...
- TestNG测试报告美化buid.xml配置
<?xml version="1.0" encoding="UTF-8"?> <project name="myproject&qu ...
- javascript中的闭包、模块与模块加载
一.前言 闭包是基于词法作用域( 和动态作用域对应,词法作用域是由你写代码时,将变量写在哪里来决定的,因此当词法分析器处理代码时,会保持作用)书写代码时所产生的自然结果,甚至不需要为了利用闭包而有意 ...
- WCF 依赖注入-- Attribute
最近,工作之余学习WCF(Windows Communication Fundation)时,感觉自己还有好多的东西需要学习呀⊙﹏⊙b汗,于是想记录下自己学习WCF的心得,以鼓励自己再接再厉,同时希望 ...