HDFS分布式集群安装

HDFS集群安装：
 
1.准备工作
    虚拟机(电脑8G内存 磁盘500GB)
    3台 linux系统（1台namenode 2台datanode）
 
    （1）关闭防火墙
        firewall-cmd --state 查看防火墙状态
        systemctl stop firewalld.service 关闭防火墙
        systemctl disable firewalld.service 禁止开机启动
 
    （2）远程连接（CRT）
 
    （3）永久设置主机名
        vi /etc/hostname
        注意：要reboot重启生效
 
    （4）配置映射文件
        vi /etc/hosts
 
        #127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
        #::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
        192.168.146.132 hd09-1
        192.168.146.133 hd09-2
        192.168.146.134 hd09-3
 
2.安装jdk
    （1）上传tar包
        SecureCRT  中  按alt + p进入sftp模式，拖拽上传文件
 
    （2）解压tar包
        tar -zxvf jdk-8u144-linux-x64.tar.gz
 
    （3）配置环境变量
        vi /etc/profile 
 
        export JAVA_HOME=/root/hd/jdk1.8.0_144
        export PATH=$PATH:$JAVA_HOME/bin
 
        source /etc/profile  加载环境变量
 
    （4）发送到其它机器
        scp -r hd/jdk1.8.0_144/ hd09-2:hd/jdk1.8.0_144
        scp -r hd/jdk1.8.0_144/ hd09-3:hd/jdk1.8.0_144
        scp -r /etc/profile hd09-2:/etc
        scp -r /etc/profile hd09-3:/etc
 
        注意：加载环境变量 source /etc/profile
 
3.配置ssh免密登录
        ssh-keygen  生成密钥对
        ssh-copy-id hd09-1
        ssh-copy-id hd09-2
        ssh-copy-id hd09-3
 
4.安装HDFS集群
    （1）解压tar包
        tar -zxvf hadoop-2.8.4.tar.gz
 
    （2）修改hadoop-env.sh
        export JAVA_HOME=/root/hd/jdk1.8.0_144
 
    （3）修改core-site.xml
        <configuration>
            //配置hdfs
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hd09-1:9000</value>
            </property>
        </configuration>
 
    （4）修改hdfs-site.xml
        <configuration>
            //配置元数据存储位置
            <property>
                <name>dfs.namenode.name.dir</name>
                <value>/root/hd/dfs/name</value>
            </property>
            //配置数据存储位置
            <property>
                <name>dfs.datanode.data.dir</name>
                <value>/root/hd/dfs/data</value>
            </property>
        </configuration>
 
    （5）配置hadoop环境变量
        vi /etc/profile
 
        export JAVA_HOME=/root/hd/jdk1.8.0_144
        export HADOOP_HOME=/root/hd/hadoop-2.8.4
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
 
        source /etc/profile  加载环境变量
 
    （6）格式化namenode
        hadoop namenode -format
 
    （7）分发hadoop到其他服务器
        scp -r ~/hd/hadoop-2.8.4/ hd09-2:/root/hd/
        scp -r ~/hd/hadoop-2.8.4/ hd09-3:/root/hd/
 
    （8）分发hadoop环境变量
        scp -r /etc/profile hd09-2:/etc
        scp -r /etc/profile hd09-3:/etc
 
        注意：加载环境变量 source /etc/profile
 
    （9）启动namenode
        hadoop-daemon.sh start namenode
 
    （10）启动datanode
        hadoop-daemon.sh start datanode
 
    （11）访问namenode提供的web端口：50070
        hd09-1:50070
 
    （12）访问hd09-1出错需要修改 windows电脑的 C:\Windows\System32\drivers\etc\hosts 文件
        在下面加上
        192.168.146.132 hd09-1
        192.168.146.133 hd09-2
        192.168.146.134 hd09-3
        即可
 
5.自动批量的启动脚本
    （1）修改配置文件slaves 加入
        hd09-2
        hd09-3
 
    （2）执行启动命令
        start-dfs.sh