1.hadoop环境搭建以及配置

提前说明一下：由于环境的配置搞得我很头疼，所以记录下来。并不是零基础，像hadoop的由来、发展史、结构、各个组件，这里都没有介绍，只是为了自己能够在忘了的时候回忆起来，所以记录下来

如何在linux上安装hadoop

首先我这里使用的是Ubuntu18.04,64位系统

1.安装jdk

由于hadoop是由java编写的，所以需要安装jdk。我这里使用的是jdk1.8.0，安装路径为/usr/local/java/jdk1.8.0_191/

配置环境变量，在 ~/.bashrc尾部添加如下内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_191

export PATH=$JAVA_HOME/bin:$PATH

然后source ~/.bashrc激活

最后在终端中输入java -version，显示如下，说明配置成功

2.安装Hadoop

在安装hadoop之前，我们先安装一下ssh和rsync

apt-get install ssh

apt-get install rsync

然后配置免密码登录，因为我们的datanode和namenode之间是要进行进程通信的。可以使用以下方式配置

　　ssh-keygen -t rsa，一路回车即可，然后文件自动会保存在当前用户下的.ssh文件下

　　cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys，将id_rsa.pub文件里的内容拷贝到authorized_keys文件里

这样登陆过一次之后就可以免密码登录了

接下来下载hadoop

这里我们使用hadoop的发行版，cdh，下载链接在http://archive.cloudera.com/cdh5/cdh/5/，这个发行版的好处就在于可以避免jar包的冲突。

以上便是hadoop-cdh的文件结构，我们进入./etc/hadoop目录下看看

这里面有很多的配置文件，这些配置文件非常重要，hadoop的配置所以才说麻烦，我们慢慢介绍

再来看看sbin目录下的文件

sbin目录下有很多的启动文件，启动dfs、yarn等等，当然有启动就有停止。

接下来便要修改配置文件了，进入./etc/hadoop下

首先修改hadoop-env.sh

然后修改core-site.xml

再次打开文件

然后修改hdfs-site.xml

接下来修改slaves这个文件，对于我们目前的伪分布式目前是没有什么作用的，但是对于我们理解hadoop集群是有帮助的。我们知道一个namenode带多个datanode，那么datanode的hostname或者ip在哪，有多少个呢？就是配置在slaves文件里面。

里面只有一个localhost，当然我们写成ubuntu也是可以的，因为我们的主机名就叫ubuntu

接下来启动hdfs

首先格式化文件系统（仅第一次执行即可，因为每执行一次，相当于格式化一次，hdfs上的数据也就被我们清空了），hdfs namenode -format

我们进入bin目录下执行格式化操作

执行成功，来看看有没有tmp目录

看看有没有内容

然后启动hadoop，直接执行sbin目录下的start-dfs.sh即可

出现界面如下，直接输入yes即可

显示配置成功，我们查看当前的进程

显示如下

如果出现进程少了的情况，那么说明配置文件出了问题，那么可以去记录日志的文件里面查看，那么日志记录在哪呢？

查看之后，显示的都是info，说明是正常输出，如果出错，会出现error

以上是通过查看日志文件，那么能不能通过浏览器查看呢？显然是可以的

输入http://ubuntu:50070即可，再次强调这里的ubuntu是我的主机名，你在终端中输入hostname，显示的啥就输入啥。至于端口为什么不是8020,8020是我们启动的时候用的，使用浏览器要通过50070访问

里面包含很多信息，包括你的节点，数量等等

那么启动既然成功了，停止该怎么办呢？直接进入sbin目录下，执行./stop-dfs.sh即可

hdfs shell常用命令的使用

主要命令有：ls mkdir put get rm，和linux shell非常相似

前面忘记说了，建议把hadoop的bin目录配置到环境变量里面去，我这里已经配置好了

这便是hadoop shell的常用命令，比方说第二个namenode -format是不是很熟悉，我们之前用来格式化hadoop文件系统的

再来看看第一个命令dfs，可以在支持hadoop的文件系统上运行文件系统命令，我们执行hdfs dfs看一下

里面的命令很多和linux是相似的，而且从参数名也能看出来作用

下面我们就来试一试吧，我在桌面上创建了一个hello.txt文件

我们打开看一看，既然文件已经上传到了hdfs，那么我们就可以直接使用hdfs shell命令打开它，使用hdfs dfs -cat xxx，可以发现和linux基本命令是保持一致的，只不过在hdfs shell中命令要加上一个-。

如果我们想创建一个目录呢？在linux上是mkdir，那么同理在hadoop上是hdfs dfs -mkdir，如果想递归创建，那么使用hdfs dfs -mkdir -p即可

如果递归显示文件目录，使用hdfs dfs -ls -R

之前展示了把本地文件复制到hdfs上面来，那么我要把hdfs的文件放到本地上面去怎么办呢？使用get

虽然是mmp.txt，但mkdir只能创建目录，所以这里还是一个目录

那么删除一个文件怎么办呢？显然熟悉linux应该能猜到，hdfs dfs -rm xxx,但是这个只能删除文件，如果想删除文件夹，hdfs dfs -rm -R XXX

我们进入浏览器页面

这里的block0表示只有一个block，为什么呢？因为文件没有分块，默认是128M，我们这里的文件就几百字节，所以无需分块

基本命令就讲到这里，至于其他的需要时可以直接输入hdfs dfs查找即可

3.安装maven

然后配置环境变量，

export MAVEN_HOME=/usr/local/maven/apache-maven-3.6.0
export PATH=$MAVEN_HOME/bin:$PATH

-------------------------------pass------------------------------

显示版本2.9.1

这里还需要修改一些其他的配置文件，进入到$HADOOP_HOME/etc/hadoop中。

首先修改hadoop-env.sh

然后修改core-site.xml

然后修改hdfs-site.xml

然后修改mapred-site.xml，由于没有这个文件，但有mapred-site.xml.template这个文件，所以我们拷贝一份。

然后配置yarn-site.xml

配置完成

接下来格式化一下

格式化成功，看一下相应的目录

可以看到之前新建的空目录，里面已经有东西了。

如果需要密码，就输入这两行，就可以免密码登陆了

最后启动一下hadoop

ssh-keygen -t rsa -P

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

4.安装maven

我安装到了/usr/local/java目录下，然后在~/.bashrc中配置环境变量

export JAVA_HOME=/usr/local/java/jdk1.8.0_181

export PATH=$JAVA_HOME/bin:$PATH

输入mvn输出如下，说明安装成功

5.安装python

直接apt-get install python3即可

6.安装spark

我安装到了/usr/local/目录下，然后在~/.bashrc中配置环境变量

export SPARK_HOME=/usr/local/spark/spark-2.3.1-bin-hadoop2.7

export PATH=$SPARK_HOME/bin:$PATH

输入pyspark成功进入。