Hadoop学习笔记（一）：ubuntu虚拟机下的hadoop伪分布式集群搭建

hadoop百度百科：https://baike.baidu.com/item/Hadoop/3526507?fr=aladdin

hadoop官网：http://hadoop.apache.org/

本文结构如下：

1. 安装hadoop前的准备工作

1.1 创建新用户

1.2 更新APT

1.3 安装SSH

1.4 安装Java环境

　　2.安装和配置hadoop

　　　　 2.1 hadoop下载

　　　　 2.2 hadoop为分布式模式配置

　  3.问题总结

---

1.安装hadoop前的准备工作

1.1创建hadoop用户

　　 为了方便以后的实验进行，推荐创建一个新的hadoop用户，所有实验内容都登陆该用户进行，具体的shell代码和注释如下：

sudo useradd -m hadoop -s /bin/bash  #创建用户hadoop，并使用/bin/bash作为Shell
sudo passwd hadoop  #设置hadoop的密码
sudo adduser hadoop sudo   #为hadoop增加管理员权限

1.2更新APT

　　APT是一款软件管理工具，Linux采用APT来安装和管理各种软件，安装成功LInux系统以后，需要及时更新APT软件，否则后续的一些软件可能无法正常安装，更新APT使用以下命令：

　　

sudo apt-get update

1.3安装SSH

　　SSH是Secure Shell的缩写.....

　　为什么要安装Hasoop之前要配置SSH呢？ 这是因为Hadoop名称节点（NameNode）需要启用集群中所有机器的Hadoop守护进程，这个过程需要通过SSH登陆来实现。Hadoop并没有提供SSH输入密码登陆的形式，因此，为了能够顺利登陆集群中的每台机器，需要将所有机器配置为“名称节点可以无密码登陆它们”

　　Ubuntu默认已经安装了SSH客户端，因此，只需要安装SSH服务端，在终端中执行以下命令：

sudo apt-get install openssh-server

　　然后可以使用如下命令登陆本机（因为是伪分布式集群，只有一台机器，同时作为名称节点和普通节点），如果提示输入密码，则表示安装成功了：

ssh localhost

　　由于这样登陆需要每次输入密码，所以，有必要配置SSH为无密码登陆，这样在Hadoop集群中，名称节点（NameNode）要登陆某台机器就不需要人工输入密码了（实际上也不可能每次都人工输入密码），SSH免密登陆配置方法如下：

cd ~/.ssh/                  #，切换目录，若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa        #会有提示，按enter即可(即不设置密码），这条语句生成公钥和私钥两个文件，补充ssh-keygen的基本用法：https://blog.csdn.net/qq_38570571/article/details/79268426
cat ./id_rsa.pub >> ./authorized_keys      #加入授权，cat file1 >> file2 的含义是将file1的内容写入到file2的尾部

　　然后再执行ssh localhost命令，无需输入密码就可以直接登陆了，如图：

　　

　　1.4 安装Java环境

　　　　Hadoop是基于Java语言开发的，同时Java语言也可以用来编写Hadoop应用程序，在Linux系统中安装Java环境有两种方式：Oracle的JDK或OpenJDK，本文采用第二中方式：

sudo apt-get install default-jre default-jdk
#使用apt安装jre和jdk

　　　　安装完成后，编辑~/.bashrc，添加JAVA_HOME环境变量：

vim ~/.bashrc
#编辑~/.bashrc

　　　　在.bashrc中添加如下单独一行：

export JAVA_HOME=/usr/lib/jvm/defult-java

　　　　然后执行如下代码，使环境变量立即生效：

source ~/.bashrc    #使环境变量设置生效

　　　　检验一下是否设置正确：

echo $JAVA_HOME  #打印$JAVA_HOME
java --version  #查看java版本

　　　　Java安装成功后，就可以进行Hadoop的安装了

---

2.安装和配置Hadoop

　　2.1 Hadoop下载和安装

　　　　Hadoop官网：http://hadoop.apache.org/，选择合适的版本（本文采用Hadoop2.7.7）下载（可以在windows系统中下载后，用ftp软件如filezilla上传到ubuntu虚拟机，也可以在ubuntu中直接下载），本文使用filezilla上传hadoop压缩包到ubuntu的~/Downloads/目录下，然后解压缩到/usr/local/并重命名文件夹为hadoop，由于我们当前的用户为hadoop，没有usr/local的文件权限，所以还需要修改文件权限，执行命令如下：

sudo tar -zxf ~/Downloads/hadoop-2.7.7.tar.gz -C /usr/local #解压缩
cd /usr/local/
sudo mv ./hadoop-2.7.7 ./hadoop #重命名文件
sudo chown -R hadoop ./hadoop  #修改文件权限,即将./hadoop目录下所有的文件的属组都改成hadoop，也可以使用sudo chmod 777 ./hadoop

　　　　解压成功后，就可以使用如下命令查看Hadoop的版本信息：

cd /usr/local/hadoop
./bin/hadoop version

　　2.2Hadoop模式配置

　　　　Hadoop的默认模式为本地模式（即单机模式），无须其他配置就可以运行，值得注意的是，Hadoop的模式变更（单机模式、伪分布式、分布式）完全是通过修改配置文件实现的，本文想要将Hadoop配置为伪分布式模式，即只有一个节点（一台机器），这个节点既作为名称节点（NameNode），也作为数据节点（DataNode），伪分布式模式配置涉及两个配置文件：hadoop目录/etc/hadoop/下的core-site.xml和hdfs-site.xml，首先在core-site.xml文件中新增如下属性：

<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>  #指定临时目录，如果不指定，会默认使用临时目录/tmp/hadoo-hadoop，这个文件在Hadoop重启时可能被清除
    <description>Abase for other trmporary directories</description>
</property>
<property>
    <name>fs.defaultFS</name>  #指定HDFS的访问地址
    <value>hdfs://localhost:9000</value>
</property>

　　　　然后在hdfs-site.xml中新增如下属性：

<property>
    <name>dfs.replication</name>  #指定副本数量
    <value>1</value>
</property>

<property>
    <name>dfs.namenode.name.dir</name>  #name节点的存储位置
    <value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>

<property>
    <name>dfs.datanode.data.dir</name>   #data节点的存储位置
    <value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>

　　　　上面两个文件内涉及的属性名称和值得含义可以在Hadoop官网中查看：

　　　　http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml

　　　　和http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

　　　　完成了配置文件的修改后，就可以执行名称节点格式化（NameNode Format）了：

cd /usr/local/hadoop
./bin/hdfs namenode -format

　　　　如果格式化成功，会看到Exiting with status 0的提示

　　　　然后执行以下命令启动Hadoop

cd /usr/local/hadoop
./sbin/start-dfs.sh

　　　　在终端中执行jps（查看所有java进程pid）判断hadoop是否启动成功：

jps

　　　　如果执行成功，就可以看到如下几个进程：

　　　　至此，Hadoop伪分布式环境搭建成功

---

3.问题总结

　　1.DataNode没有启动

　　　　通过查阅资料https://blog.csdn.net/islotus/article/details/78357857，原因是：

　　当我们使用hadoop namenode -format格式化namenode时，会在namenode数据文件夹（这个文件夹为自己配置文件中dfs.name.dir的路径）中保存一个current/VERSION文件，记录clusterID，datanode中保存的current/VERSION文件中的clustreID的值是上一次格式化保存的clusterID，这样就导致了datanode和namenode之间的ID不一致。

　　解决方法有两种，一是删除dfs文件（如果没有重要数据），二是在dfs/name目录下找到一个current/VERSION文件，记录clusterID并复制。然后dfs/data目录下找到一个current/VERSION文件，将其中clustreID的值替换成刚刚复制的clusterID的值即可

　　应该在每一次运行结束Hadoop后，都关闭Hadoop

　　2.一定要关注权限问题

　　因为Linux下对用户权限有着严格的约束，用户A只有权访问/home/A/下的文件，用户B只有权访问/home/B/下的文件，如果A想要访问B的文件fileB，那么就要赋权给A，具体的方法有很多种，本文在刚开始执行名称节点格式化的过程中老是出错，就是因为没有注意权限问题。