【Hadoop】三、HDFS命令行接口
通过前面对HDFS基本概念、高可用性、数据读写流程的介绍,我们对HDFS已经有了大致的了解。这里我们还需要明确一点:Hadoop作为一个完整的分布式系统,它有一个抽象的文件系统的概念,而我们介绍的HDFS只是其中的一个实现,一个最常用的实现,实际上还有很多其他的分布式文件系统。
Hadoop对文件系统提供了很多接口,一般使用URI(统一资源定位符)来表示选取的文件系统具体是哪一个,比如file://表示本地文件系统,而hdfs://表示HDFS,还有其他一些具体的实现,但是不常用到。
至此,我们对HDFS的理论技术基础已经基本了解,既然它是一个文件系统,类似于我们日常使用的本地文件系统,我们就可以通过命令行的一些命令来与其进行交互,接下来主要介绍其命令行接口。
当然,为了使用HDFS,首先我们安装和配置Hadoop,可以先以伪分布式的模式在一台电脑中试用,配置的过程这里不再赘述,可以参考《Hadoop权威指南》的附录。
配置完成后,作为一个文件系统,其主要的操作无非就是:读取文件、新建目录、移动文件、删除数据、列出目录等等,可以使用hadoop fs -help
来查看命令帮助。
以下例子演示其命令行接口的基本使用方法。
# 从本地文件系统将一个文件复制到HDFS
$ hadoop fs -copyFromLocal ~/1.txt hdfs://localhost/user/gz.shan/2.txt
# 从本地文件系统将一个文件复制到HDFS,省略hdfs://localhost,因为这在启动hadoop时已经在配置文件指定
$ hadoop fs -copyFromLocal ~/1.txt /user/gz.shan/2.txt
# 从本地文件系统将一个文件复制到HDFS,相对路径,默认就是用户的home目录
$ hadoop fs -copyFromLocal ~/1.txt 2.txt
# 从HDFS中将文件复制回本地文件系统
$ hadoop fs -copyToLocal /user/gz.shan/2.txt ~/3.txt
# 在HDFS中新建目录
$ hadoop fs -mkdir test
# 查看当前路径下的文件信息
$ hadoop fs -ls .
# 得到的结果是:
-rw-r--r-- 1 gz.shan supergroup 60 2019-06-20 18:18 2.txt
drwxr-xr-x - gz.shan supergroup 0 2019-06-20 18:21 test
# 第一列代表文件模式,第二列代表文件的副本数量,第三列和第四列是文件的所属用户和组别,第五列是文件的大小,以字节为单位,目录是0,第六列和第七列是文件最后修改日期和时间,第八列是文件名
# 删除文件
$ hadoop fs -rm /user/gz.shan/2.txt
以上就是Hadoop HDFS的命令行接口简单示例,需要补充说明的是:HDFS中的文件访问权限和POSIX中是差不多的,一共三类权限:只读、写入和可执行(分别对应r,w,x),每个文件同样都有所属用户(owner)、所属组别(group)以及模式(mode),这个模式由所属用户的权限、组内成员的权限以及其他用户的权限组成。
【Hadoop】三、HDFS命令行接口的更多相关文章
- Hadoop点滴-HDFS命令行接口
1.-help[cmd] 显示命令的帮助信息 ./hdfs dfs -help ls1 2.-ls(r) 显示当前目录下的所有文件 -R层层循出文件夹 ./hdfs dfs -ls /log/map ...
- hadoop(三):hdfs 机架感知
client 向 Active NN 发送写请求时,NN为这些数据分配DN地址,HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响.一个简单但非优化的副本放置策略是,把副本分别放在不同机架 ...
- Hadoop 学习 HDFS
1.HDFS的设计 HDFS是什么:HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网 ...
- Hadoop 基石HDFS 一文了解文件存储系统
@ 目录 前言:浅谈Hadoop Hadoop的发展历程 1.1 Hadoop产生背景 1.引入HDFS设计 1.1 HDFS主要特性 2.HDFS体系结构 HDFS工作流程机制 1.各个节点是如何互 ...
- Hadoop三种安装模式:单机模式,伪分布式,真正分布式
Hadoop三种安装模式:单机模式,伪分布式,真正分布式 一 单机模式standalone单 机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守 ...
- Hadoop入门--HDFS(单节点)配置和部署 (一)
一 配置SSH 下载ssh服务端和客户端 sudo apt-get install openssh-server openssh-client 验证是否安装成功 ssh username@192.16 ...
- 每天收获一点点------Hadoop之HDFS基础入门
一.HDFS出现的背景 随着社会的进步,需要处理数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是却不方便管理和维护—>因此,迫切需要一种系统来管理多 ...
- (转)hadoop三个配置文件的参数含义说明
hadoop三个配置文件的参数含义说明 1 获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配 ...
- Hadoop基础-HDFS的API常见操作
Hadoop基础-HDFS的API常见操作 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本文主要是记录一写我在学习HDFS时的一些琐碎的学习笔记, 方便自己以后查看.在调用API ...
- Hadoop基础-HDFS安全管家之Kerberos实战篇
Hadoop基础-HDFS安全管家之Kerberos实战篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 我们都知道hadoop有很多不同的发行版,比如:Apache Hadoop ...
随机推荐
- STL 之 list源码自行实现(iterator)
(0)文件夹 STL 之 vector源码实现(云算法<< [] = 重载, new delete,throw catch) STLc++中string类的源码 堆(stack) 之 c ...
- 【Silverlight】Bing Maps学习系列(五):绘制多边形(Polygon)图形(转)
[Silverlight]Bing Maps学习系列(五):绘制多边形(Polygon)图形 Bing Maps Silverlight Control支持用户自定义绘制多边形(Polygon)图形, ...
- 【Poj 1832】连环锁
连环锁 Time Limit: 1000MS Memory Limit: 30000K Total Submissions: 1260 Accepted: 403 Description 许多 ...
- luogu3942将军令
https://www.zybuluo.com/ysner/note/1302132 题面 在大小为\(n\)的树上选择尽量少的点,使得所有未选择的点距离选择了的点小于等于\(k\). \(n\leq ...
- 两个局域网(办公网-IDC)安全互通方案2:by GRE and linux server&深入理解GRE
(0)gre的turnel的打通 1. 这个过程就是双方建立turnel的过程. (1)局域网路由过程 1.主机A发送一个源为192.168.1.2,目的为10.1.1.2的包 ( ...
- Book-MySQL-Operate
创建数据库 CREATE DATABASE db_name 查看数据库 SHOW DATABASES 选择数据库 USE db_name 删除数据库 DROP DATABASE db_name 列主键 ...
- P4196 [CQOI2006]凸多边形
传送门 半平面交的讲解 然而这个代码真的是非常的迷--并不怎么看得懂-- //minamoto #include<bits/stdc++.h> #define fp(i,a,b) for( ...
- BZOJ4543/BZOJ3522 [POI2014]Hotel加强版(长链剖分)
题目好神仙--这个叫长链剖分的玩意儿更神仙-- 考虑dp,设\(f[i][j]\)表示以\(i\)为根的子树中到\(i\)的距离为\(j\)的点的个数,\(g[i][j]\)表示\(i\)的子树中有\ ...
- jQuery setInterval倒计时精确到毫秒
效果类似于:购物抢购倒计时-->在跳转N多个页面之后,倒计时间仍然正常显示. 思路: 结束时间是固定不变的(endTime),一直在改变的是当下的时间(curTime = new date()) ...
- [POI2013]POL-Polarization
题目描述 Everyone knew it would only be a matter of time. So what? Faced for years on, a peril becomes t ...