0.修改IP,主机名,hosts文件
        setup        修改网卡IP
        service  network  restart        重启网络服务使IP生效
vim /etc/sysconfig/network修改主机名
vim /etc/hosts/修改hosts文件
192.168.126.128 hadoop001
192.168.126.129 hadoop002
192.168.126.130 hadoop003
192.168.126.131 hadoop004
1.安装jdk环境
alt + p        打开远程连接SecureCRT远程传输工具sftp   put    c:/........tar.gz        把win上软件传到linux
        mkdir -p /java/jdk        建多级文件夹
        tar -zxvf jdk----.tar.gz  -C  /java/jdk        解压jdk到指定路径
        vim /etc/profile        修改全局环境变量
                export JAVA_HOME=/java/jdk/jdk1.7.0_65
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile重新加载配置文件
echo$JAVA_HOME打印变量JAVA_HOME
java -version查看环境变量配置是否成功
安装protobuf
tar -zxvf protobuf-2.5.0.tar.gz 
cd protobuf-2.5.0
./configure --prefix=/opt
配置环境变量加入/opt/bin
protoc -–version
 
2.安装Hadoop
tar -zxvf hadoop-2.4.1.tar.gz -C /java/解压Hadoop
ls lib/native/查看解压目录下有哪些文件
cd etc/hadoop/进入配置文件目录
vim hadoop-env.sh修改配置文件环境变量(export JAVA_HOME=/java/jdk/jdk1.7.0_65)
*-site.xml*
vim core-site.xml修改配置文件(去官网找参数含义)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop001:9000<value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/java/hadoop-2.4.1/tmp<value>
</property>
</configuration>
 
vim hdfs-site.xml修改hdfs配置文件
<configuration>
<property>
<!-- 副本数量,默认3 -->
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
 
cp mapred-site.xml.template mapred-site.xml复制一份配置文件样本
vim mapred-site.xml修改mapreduce配置文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
 
vim yarn-site.xml配置yarn配置文件,也可以配置主机名,前提是修改hosts文件映射
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 主节点 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop001</value>
</property>
<!-- 从节点 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
 
vim slaves配置从节点(可以是主机名)
192.168.126.128
192.168.126.129
192.168.126.130
 
scp /java/hadoop-2.4.1/ root@192.168.126.129:/java/hadoop-2.4.1/复制到其他机器
 
cd /java/hadoop-2.4.1/bin
./hadoop namenode -format格式化HDFS文件系统(建文件和文件夹)
成功:INFO common.Storage: Storage directory /java/hadoop-2.4.1/tmp/dfs/name has been successfully formatted
 
3.启动
jps看java进程,此时什么都没有
cd sbin/到sbin下找启动命令
./start-dfs.sh启动hdfs
[root@hadoop001 sbin]# jps
2488 NameNode
2746 SecondaryNameNode
2872 Jps
2601 DataNode
 
[root@hadoop002 ~]# jps
2422 DataNode
2485 Jps
 
4.启动hdfs客户端
cd /java/hadoop-2.4.1/bin进入bin
./hdfs dfs -ls /查看hsfs /下内容
./hdfs dfs -put /root/install.log hdfs://hadoop001:9000/向hdfs文件系统存入文件(每块128M)
./hdfs dfs -ls /查看hsfs /下内容
ls /java/hadoop-2.4.1/tmp/dfs/查看文件保存位置(namenode,datanode)
ls /java/hadoop-2.4.1/tmp/dfs/(datanode)只有data文件夹
cd /java/hadoop-2.4.1/tmp/dfs/data/current/BP-343820156-192.168.126.128-1443868868316/current/finalized查看文件分了几块
./hdfs dfs -get  hdfs://hadoop001:9000/install.log从hdfs上把文件下载下来(get后面指定下载的目录)
 
原理:
touch hadoop.tar.gz建一个空文件
cat block1 >> hadoop.tar.gz把block追加到hadoop.tar.gz
cat block2 >> hadoop.tar.gz 把block2追加到hadoop.tar.gz
 
./hdfs dfshdfs其他命令
./hdfs dfs -chown tangwan:hadoop /install.log改变hdfs文件用户所有者和组
./hdfs dfs -ls /install.log查看更改后状态
./hdfs dfs -chmod 600 /install.log更改权限
./hdfs dfs -ls /查看权限
改权限后用户依旧可以下载但是如果建一个文件夹给权限,就只能是指定权限用户上传
./hdfs dfs -df /查看hdfs还剩多少空间kb
./hdfs dfs -df -h /查看hdfs还剩多少空间M,G
./hdfs dfs -mkdir -p /aaa/bbb在hdfs创建文件夹
        ./hadoop fs -du -s /    #查看hdfs占用空间
 
停止hdfs:
/java/hadoop-2.4.1/sbin进入sbin
./stop-dfs.sh停止hdfs
hadoop001:50070浏览器界面(可以下载不可以上传)
 
 
 
 
 
 
 
 
 
 

29.Hadoop之HDFS集群搭建笔记的更多相关文章

  1. Hadoop基础-HDFS集群中大数据开发常用的命令总结

    Hadoop基础-HDFS集群中大数据开发常用的命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本盘博客仅仅列出了我们在实际生成环境中常用的hdfs命令,如果想要了解更多, ...

  2. 大数据-HDFS 集群搭建的配置文件

    1.HDFS简单版集群搭建相关配置文件 1.core-site.xml文件 <property> <name>fs.defaultFS</name> <val ...

  3. hadoop高可用集群搭建小结

    hadoop高可用集群搭建小结1.Zookeeper集群搭建2.格式化Zookeeper集群 (注:在Zookeeper集群建立hadoop-ha,amenode的元数据)3.开启Journalmno ...

  4. hadoop namenode HA集群搭建

    hadoop集群搭建(namenode是单点的)  http://www.cnblogs.com/kisf/p/7456290.html HA集群需要zk, zk搭建:http://www.cnblo ...

  5. 大数据之Hadoop完全分布式集群搭建

    1.准备阶段 1.1.新建三台虚拟机 Hadoop完全分市式集群是典型的主从架构(master-slave),一般需要使用多台服务器来组建.我们准备3台服务器(关闭防火墙.静态IP.主机名称).如果没 ...

  6. 从零自学Hadoop(06):集群搭建

    阅读目录 序 集群搭建 监控 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一 ...

  7. hadoop伪分布式集群搭建与安装(ubuntu系统)

    1:Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip; 2:使用Xsheel软件远程链接自己的虚拟机,方便操作.输入自己ubuntu操作系统的账号密码之后就链 ...

  8. hadoop HA分布式集群搭建

    概述 hadoop2中NameNode可以有多个(目前只支持2个).每一个都有相同的职能.一个是active状态的,一个是standby状态的.当集群运行时,只有active状态的NameNode是正 ...

  9. 1、hadoop HA分布式集群搭建

    概述 hadoop2中NameNode可以有多个(目前只支持2个).每一个都有相同的职能.一个是active状态的,一个是standby状态的.当集群运行时,只有active状态的NameNode是正 ...

随机推荐

  1. ClearTrace

    一年前两次手动使用fn_trace_gettable对跟踪文件进行分析,按TextData排序,通过截取TextData左边N位尝试分组,观察总体相同的过程或语句中的关键字,逐一得出跟踪分析报表,罗列 ...

  2. Date.prototype.format

    // 对Date的扩展,将 Date 转化为指定格式的String // 月(M).日(d).小时(h).分(m).秒(s).季度(q) 可以用 1-2 个占位符, // 年(y)可以用 1-4 个占 ...

  3. 2.C语言中的关键字

    1.auto 修饰局部变量,编译器默认所有局部变量都是用auto来修饰的,所以在程序中很少见到. 2.static 它作用可大了,除了可以修饰变量,还可以修饰函数,修饰变量,改变其作用域和生命周期,修 ...

  4. object_id用法

    特别是在建表建存储过程的时候进场会写到: IF OBJECT_ID('Table_Test','U') IS NOT NULL DROP TABLE Table_Test 这种方式代替了以往所使用的 ...

  5. sql中datetime 和 timestamp

    datetime 1.允许为空值,可以自定义值,系统不会自动修改其值. 2.不可以设定默认值,所以在不允许为空值的情况下,必须手动指定datetime字段的值才可以成功插入数据. 3.虽然不可以设定默 ...

  6. AD10的PCB设计规则

    PCB布线规则,布板需要注意的点很多,但是基本上注意到了下面的这此规则,LAYOUT PCB应该会比较好,不管是高速还是低频电路,都基本如此. 1. 一般规则 1.1 PCB板上预划分数字.模拟.DA ...

  7. HTML5--页面自动居中

    注意: margin:0 auto;/**0:上下    auto:左右**/ <html lang="en"> <head> <meta chars ...

  8. android 设计

    引用:http://my.eoe.cn/blue_rain/archive/3631.html 1.一些概念 模式的定义: 每个模式都描述了一个在我们的环境中不断出现的问题,然后描述了该问题的解决方案 ...

  9. Kolmogorov-Smirnov检验

    Kolmogorov-Smirnov检验(K-S检验)基于累积分布函数,用以检验一个经验分布是否符合某种理论分布或比较两个经验分布是否有显著性差异. 两样本K-S检验由于对两样本的经验分布函数的位置和 ...

  10. N久没写过东西了..写个最近在研究的程序

    import numpy as np import matplotlib.pyplot as plt #a = np.matrix([[1,1.15],[1,1.9],[1,3.06],[1,4.66 ...