对于hadoop HDFS 中的全部命令进行解析(当中操作流程是自己的想法有不允许见欢迎大家指正)

接口名称

功能

操作流程

get

将文件拷贝到本地文件系统 。

假设指定了多个源文件,本地目的端必须是一个文件夹。

(1)依照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得文件名称(或大文件元数据信息);

(2)依据文件名称(或大文件元数据信息)到对应的Data server中获取对应的文件(大文件须要拼接);

(3)将获取的文件写入本地文件系统。

put

从本地文件系统中拷贝文件或文件夹到目标文件系统。

(1)依照上述章节所述,逐层解析<dst>绝对路径,获取目标目录的key/value数据。

(2)依据章节所述规则。结合目标目录的标号和源文件的文件名称生成相应的key/value;

(3)依据步骤(2)生成的key/value上传源文件的相关信息。

(4)上传源文件内容到系统中。

rm

删除指定的文件。仅仅删除非空文件夹和文件。

(1)依据上述章节所述,逐层解析到目标文件所在的位置获取指定文件的key/value。

(2)依据key找到指定的文件或文件夹所在的DataNode上存储的信息;

(3)删除信息。

(4)将删除记录写入edit log。

mkdir

创建文件夹,会创建路径中全部缺失的父文件夹。

(1)依照上述机制,逐层解析找到父文件夹,获取标记。假设父文件夹不存在则递归的创建路径上的文件夹。

(2)将父文件夹的标记作为key的父节点字段部分,创建新文件夹。

appendToFile

加入源文件从本地文件系统到目标文件系统。

(1)依照上述章节所述,逐层解析<dst>绝对路径,获取目标目录的key/value数据;

(2)依据章节所述规则,结合目标目录的标号和源文件的文件名称生成相应的key/value;

(3)依据步骤(2)生成的key/value上传源文件的相关信息;

(4)上传源文件内容到系统中。

cat

将路径指定文件的内容输出到stdout。

(1)依照上述机制,逐层解析path到目标文件,获取文件的key/value。

(2)依据key值在找到文件内容输出到stdout中。

(3)将结果在终端显示出来。

chgrp

改变文件和文件夹的群组。

(1)依照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得所操作的文件名称/文件夹(或大文件元数据信息);

(2)改动这个K-V中的value的表示群组的字段并又一次插入新的K-V。

chmod

改变文件和文件夹的訪问权限。

(1)依照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得所操作的文件名称/文件夹(或大文件元数据信息);

(2)改动这个K-V中的value的表示訪问权限的字段并又一次插入新的K-V。

chown

变更文件和文件夹的拥有者。

(1)依照上述机制。在Config server上的存储引擎中逐层读取K-V,直到获得所操作的文件名称/文件夹(或大文件元数据信息)。

(2)改动这个K-V中的value的表示全部者的字段并又一次插入新的K-V。

copyFromLocal

从本地文件系统中拷贝文件,和put命令相似。

操作流程參见put接口。

copToLocal

将文件拷贝到本地文件系统。和get命令类似。

操作流程參见get接口。

count

显示由路径确定的子文件夹的个数,文件个数,使用字节个数。以及全部的文件文件夹名。

(1)解析到目标路径,获取相关的key/value;

(2)获取value中的子文件夹个数,文件个数,使用字符串等相关信息的字段。

cp

将文件从源路径拷贝到目标路径。这个命令同意有多个原路径,此时目标路径必须是一个文件夹。

(1)依据上述章节所述,逐层解析<dest>,获取目标文件的位置信息;

(2)获取源文件的内容;

(3)逐块复制源文件信息到目标文件其中。

du

显示文件大小。假设path是一个文件夹,则显示该文件夹中全部文件的大小。

(1)依照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得文件名称或文件夹;

(2)假设是文件读取对应的key/value中,读取value中表示文件大小的字段。假设是文件夹则读取标记,递归的查询属于该文件夹下的全部文件。

dus

显示文件的大小,可是当作用于文件夹时,会显示文件大小之和。

(1)依照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得文件名称或文件夹。

(2)假设是文件读取对应的key/value中。读取value中表示文件大小的字段,假设是文件夹则读取标记,递归的查询属于该文件夹下的全部文件value信息,将value中关于文件大小的字段信息相加取和。

expunge

清空回收站。

(1)依照上述机制,解析到HDFS系统回收站文件夹下(/user/username/.Trash/current);

(2)删除(參考接口rm)。

getfacl

显示文件和文件夹的訪问控制列表

(1)依照上述章节所述。逐层解析,获取目标文件或路径的key/value数据。

(2)获取value中有关的ACL的字段信息。

getmerge

获取由源文件夹指定的全部文件。将它们合并为单个文件并写入本地文件系统中的LOCALDST

(1)依照上述机制。逐层解析,获取源文件夹文件的标记;

(2)依据标记。在config server中寻找文件夹文件下的子文件;

(3)创建目标文件,将子文件的内容依次合并到目标文件其中;

(4)将目标文件写入本地文件系统。

ls

列出文件夹及文件信息。

(1)依照上述机制,逐层解析获取到目标文件或者目录的标记。

(2)依据标记查询子文件夹或者文件相关信息;

(3)列出信息。

lsr

循环列出文件夹。子文件夹及文件信息。

操作流程參见參照ls接口。

moveFromLocal

类似于put,仅仅是本地的源在复制之后会被删除。

1)依照上述章节所述,逐层解析<dst>绝对路径,获取目标目录的key/value数据;

(2)依据章节所述规则,结合目标目录的标号和源文件的文件名称生成相应的key/value;

(3)依据步骤(2)生成的key/value上传源文件的相关信息;

(4)上传源文件内容到系统中;

(5)删除本地源文件。

moveToLocal

于get命令类似。

操作流程參见get接口。

mv

移动文件从源地址到目标地址。

(1)依照上述机制,逐层解析<dest>绝对路径获取目标目录的标号。

(2)逐层解析到源文件获取源文件的key/value数据;

(3)更改源文件里的key值将当中的父节点标号字段改为目标目录的标号。

rmr

递归删除指定文件和文件夹。

(1)依照上述机制。逐层解析到目标文件所在的位置获取指定文件的标记;

(2)採用递归算法依据标记删除指定的文件或文件夹。

setfacl

设置訪问控制列表(acl)的文件和文件夹。

(1)依照上述机制,逐层解析。获取目标文件或路径的key/value数据;

(2)设置value中的ACL。

setrep

改变文件的目标副本系数。

(1)依照上述章节所述,逐层解析。获取目标文件的key/value数据。

(2)改动value中有关副本系数的字段。

stat

显示文件里的统计信息。

(1)依照上述章节所述,逐层解析。获取目标文件的key/value数据;

(2)获取value中关于文件的统计信息的相关字段。

tail

显示目标文件里的最后1KB数据。

(1)依照上述章节所述,逐层解析,获取目标文件的key/value数据。

(2)依据所得到的key/value查询最后一块中的1KB信息,假设最后一块不足1KB,则查询倒数第二块中信息,拼接成1KB。返回信息。

test

对路径进行检查。

(1)依照上述章节所述。对目标路径逐层解析,获取目标文件的key/value数据。

(2)检查目标文件里的key/value中的相关字段。以检測文件是否存在。大小是否为0,文件夹路径是否存在。

text

显示文件的文本内容,当文件为文本文件时,等同于cat。文件为压缩格式时,会先解压缩。

操作流程參见cat接口。

touchz

创建长度为0的文件。

操作流程參见mkdir接口。

基于key/value+Hadoop HDFS 设计的存储系统的shell命令接口的更多相关文章

  1. Hadoop HDFS 设计随想

    目录 引言 HDFS 数据块的设计 数据块应该设置成多大? 抽象成数据块有哪些好处? 操作块信息的命令 HDFS 中节点的设计 有几种节点类型? 用户如何访问 HDFS? 如何对 namenode 容 ...

  2. HADOOP HDFS的设计

    Hadoop提供的对其HDFS上的数据的处理方式,有以下几种, 1 批处理,mapreduce 2 实时处理:apache storm, spark streaming , ibm streams 3 ...

  3. 基于 ZooKeeper 搭建 Hadoop 高可用集群

    一.高可用简介 二.集群规划 三.前置条件 四.集群配置 五.启动集群 六.查看集群 七.集群的二次启动 一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS ...

  4. Hadoop 学习之路(八)—— 基于ZooKeeper搭建Hadoop高可用集群

    一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求 ...

  5. Hadoop 系列(八)—— 基于 ZooKeeper 搭建 Hadoop 高可用集群

    一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求 ...

  6. 基于Eclipse的Hadoop应用开发环境配置

    基于Eclipse的Hadoop应用开发环境配置 我的开发环境: 操作系统ubuntu11.10 单机模式 Hadoop版本:hadoop-0.20.1 Eclipse版本:eclipse-java- ...

  7. Hadoop HDFS负载均衡

    Hadoop HDFS负载均衡 转载请注明出处:http://www.cnblogs.com/BYRans/ Hadoop HDFS Hadoop 分布式文件系统(Hadoop Distributed ...

  8. [python 译] 基于面向对象的分析和设计

    [python 译] 基于面向对象的分析和设计 // */ // ]]>   [python 译] 基于面向对象的分析和设计 Table of Contents 1 原文地址 2 引言 2.1 ...

  9. atitit.基于http json api 接口设计 最佳实践 总结o7

    atitit.基于http  json  api 接口设计 最佳实践 总结o7 1. 需求:::服务器and android 端接口通讯 2 2. 接口开发的要点 2 2.1. 普通参数 meth,p ...

随机推荐

  1. C#.NET常见问题(FAQ)-如何让TabControl可以动态增加或删除

    动态插入可以使用TabPages.Insert方法   动态删除可以用Remove方法   更多教学视频和资料下载,欢迎关注以下信息: 我的优酷空间: http://i.youku.com/aceta ...

  2. 【转】Spring MVC处理静态资源

    优雅REST风格的资源URL不希望带 .html 或 .do 等后缀.由于早期的Spring MVC不能很好地处理静态资源,所以在web.xml中配置DispatcherServlet的请求映射,往往 ...

  3. 用一条sql取得第10到第20条的记录-Mssql数据库

    因为id可能不是连续的,所以不能用取得10<id<20的记录的方法. 有三种方法可以实现: 一.搜索前20条记录,指定不包括前10条 语句: select top 20 * from tb ...

  4. JavaScript 之 ScriptManager.RegisterStartupScript的应用

    如果页面中不用Ajax,cs中运行某段js代码方式可以是: Page.ClientScript.RegisterStartupScript(Page.GetType(), "", ...

  5. 微信小程序 - 3d轮播图组件(基础)

    <!-- 目前仅支持data数据源来自banner,请看测试案例 ################ 以上三种形式轮播: 1. basic 2. 3d 3. book basic即普通轮播 3d即 ...

  6. 微信小程序 - setData:key的几种用法

    1. 常量key渲染   2. 变量key渲染(字符串和变量先拼接) 3.对象key渲染

  7. 在Windows中监视IO性能

    附:在Windows中监视IO性能 本来准备写一篇windows中监视IO性能的,后来发现好像可写的内容不多,windows在细节这方面做的不是那么的好,不过那些基本信息还是有的. 在Windows中 ...

  8. Linux--U盘安装Ubuntu12.04[转]

    http://www.cnblogs.com/plokmju/p/linux_installubuntu.html 最近一直在研究Android内核驱动开发的相关事宜,使用VMware虚拟机虽然可以更 ...

  9. intellij 创建测试

    之后再test目录下面创建java的文件夹,悲催的发现不能创建.想了好久,之后找到再本机的目录,手动创建java文件夹,然后点击test文件夹 ,并且点击下面的Tests文件夹 设置完test-> ...

  10. Hibernate学习笔记一:项目创建与基本配置文件

    转载请注明原文地址:http://www.cnblogs.com/ygj0930/p/6760773.html  一:ORM ORM:对象-关系 映射. 即:把Java中有关联关系的对象,转换成关系型 ...