HDFS学习总结之安装

HDFS linux安装总结（基于hadoop-2.6.0-cdh5.7.0 伪分部安装）

1、jdk安装

1） 直接下载jdk包放到安装目录即可（jdk-8u131-linux-x64.tar.gz解压到安装目录）

2）配置环境变量 直接在 .bash_profile配置

export JAVA_HOME=/home/hadoop/app/jdk1.8.0_131
            export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
            export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

2、安装ssh

sudo  yum install ssh

3、配置免密码登录

1）ssh-keygen -t rsa （会在.ssh目录生成公钥和私钥）

2）将公钥添加到authorized_keys文件中

4、下载安装包，解压到安装目录（http://archive.cloudera.com/cdh5/cdh/5/)

5、修改相关配置

1）hadoop_home/etc/hadoop/hadoop-env.sh 配置jdk

export JAVA_HOME=/home/hadoop/app/jdk1.8.0_131

2) hadoop_home/etc/hadoop/core-site.xml

<configuration>
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop01:8020</value>
            </property>
 
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/tmp</value>
            </property>
</configuration>

3）hadoop_home/etc/hadoop/hdfs-site.xml  设置副本系数

 <configuration>
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
</configuration>

5、启动hdfs

1）格式化文件系统：

bin/hdfs namenode -format

2) 启动

sbin/start-dfs.sh

3）验证是否成功

第一种方式：jps命令

[hadoop@hadoop01 sbin]$ jps
                    7880 DataNode
                    8060 SecondaryNameNode
                    8173 Jps
                    7791 NameNode

第二种方式（浏览器）：http://192.168.44.183:50070/

4)、停止hdfs

sbin/stop-dfs.sh