简述hadoop安装步骤

简述hadoop安装步骤

安装步骤:

1、安装虚拟机系统，并进行准备工作(可安装- 一个然后克隆)

2.修改各个虚拟机的hostname和host

3.创建用户组和用户

4、配置虚拟机网络，使虚拟机系统之间以及和host主机之间可以通过

相互ping通。

5.安装jdk和配置环境变量，检查是否配置成功

6、配置ssh,实现节点间的无密码登录ssh node1/2指令验证时候成

功

7、master 配置hadoop,并将hadoop文件传输到node节点

8、配置环境变量，并启动hadoop, 检查是否安装成功，执行wordcou

nt检查是否成功。

 

二.HDFS作用是什么

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）文件系统中的数据。

 

三.常用的Hadoop FS Shell命令有哪些及其作用

1.调用Hadoop的文件系统Shell（FileSystem Shell）的命令格式：

语法：hadoop fs <args>：前提是位置位于hadoop/bin下，其中fs是参数，表示FS Shell，<args>是fs的子命令

2.使用FS Shell命令行管理文件：

mkdir  -创建目录

 

语法：hadoop fs -mkdir <paths>

例子：

hadoop fs -mkdir /user：在HDFS中创建"/user"目录

 

hadoop fs -mkdir /user/hadoop：在HDFS中创建"/user/hadoop"目录

 

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2：在HDFS中同时创建"/user/hadoop/dir1"和"/user/hadoop/dir2"，目录

ls -查看列表文件

 

语法：hadoop fs -ls <args>

如果是文件，则按照如下格式返回文件信息：

文件名<副本数> 文件大小 修改日期 修改时间 权限 用户ID 组ID

 

如果是目录，则返回它直接子文件的一个列表

cat -查看文件

 

语法：hadoop fs -cat URI <URI...>：输出路径指定文件的内容

例子：

hadoop fs -cat /input2/file1.txt  /input2/file2.txt：在HDFS中查看input2目录下的file1.txt和file2.txt的文件内容

put -从本地文件系统中复制一个或多个文件到HDFS（外部命令）

 

语法：hadoop fs -put <localsrc>...<dst>

其中localsrc只能是本地文件，dst只能是HDFS文件，且不受fs.defaultFS属性影响。

 

例子：

hadoop fs -put /home/hduser/file/file1.txt /input2

-将本地文件复制到HDFS目录"input2"

 

hadoop fs -put /home/hduser/file/file1.txt /home/hduser/file/file2.txt /input2

-将多个本地文件复制到HDFS目录"input2"

 

hadoop fs -put - /input2/file3

-从标准输入中读取输入，按Ctrl+C组合键退出并保存到"file3"

get -复制HDFS文件到本地系统（外部命令，是put命令的逆操作）

 

语法：hadoop fs -get <src><localdst>

其中src只能是HDFS文件，localdst只能是本地文件，且同样不受fs.defaultFS属性影响

 

例子：

hadoop fs -get /input2/file1.txt /sa/file

-将HDFS目录"input2"下的file1.txt文件复制到本地系统目录"sa"下的file文件夹中

mv -移动、剪切命令

 

语法：hadoop fs -mv URI [URI...] <dest>：将文件从源路径移动到目标路径，允许多个源路径，目标路径必须是一个目录

 

例子：

hadoop fs -mv /input2/file1.txt /input2/file2.txt /user/hadoop/dir1

-将HDFS上"input2"文件夹中的file1.txt和file2.txt文件移动到"/user/hadoop/dir1"文件夹中

cp -复制命令

 

语法：hadoop fs -cp URI [URI...] <dest>：将文件从源路径复制到目标路径，允许多个源路径，目标路径必须是一个目录

 

例子：

hadoop fs -cp /input2/file1.txt /input2/file2.txt /user/hadoop/dir1

-将HDFS上"input2"文件夹中的file1.txt和file2.txt文件复制到"/user/hadoop/dir1"文件夹中

rm、rmr -删除文件

 

1.rm命令

语法：hadoop fs -rm URI [URI...]

删除指定的文件，只删除非空目录和文件

 

例子：

hadoop fs -rm /input2/file1.txt

-在HDFS中删除input2文件夹下的file1.txt文件

 

2.rmr命令

语法：hadoop fs -rmr URI [URI...]

rm的递归版本，整个文件夹及子文件将全部删除

例子：

hadoop fs -rmr /user/hadoop/dir1

-在HDFS中直接删除" /user/hadoop/dir1"路径中dir1文件夹及该文件夹中的子文件

test、du、expubge -管理命令

 

1.test命令

语法：hadoop fs -test -[选项] URI

选项：

-e：检查文件是否存在，如果存在则返回0，不存在返回1；

-z：检查文件是否存在内容，有内容返回1，没有内容返回0（检查文件的大小是否是0字节，文件大小是0字节返回0，不是0字节返回1）；

-d：检查路径是否为目录，如果是则返回1，不是则返回0.

 

例子：

hadoop fs -test -e /input2/file1.txt

-检查文件是否存在

echo $?   -#"$?"是Linux变量，存储上一条命令的返回值，"echo $?"表示输出命令行返回的数值。

 

2.du命令

语法：hadoop fs -du URI [URI...]

-显示目录中所有文件的大小

 

例子：

hadoop fs -du /input2

-在HDFS中显示input2文件夹的大小，如果是目录则列出所有文件及其大小

 

hadoop fs -du /input2/file1.txt

-在HDFS中显示input2文件夹下fil1.txt文件的大小，如果是目录则统计总大小

 

3.expunge命令

语法：hadoop fs -expunge

-清空回收站

以上只介绍了部分常用命令，更多命令可查阅Hadoop帮助文档，获取位置：

 

$Hadoop_HOME/share/doc/hadoop/hadoop-project-dist/hadoop-common/FileSystemShell.html