基于key/value+Hadoop HDFS 设计的存储系统的shell命令接口
对于hadoop HDFS 中的全部命令进行解析(当中操作流程是自己的想法有不允许见欢迎大家指正)
接口名称 |
功能 |
|
get |
将文件拷贝到本地文件系统 。 假设指定了多个源文件,本地目的端必须是一个文件夹。 |
(1)依照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得文件名称(或大文件元数据信息); (2)依据文件名称(或大文件元数据信息)到对应的Data server中获取对应的文件(大文件须要拼接); (3)将获取的文件写入本地文件系统。 |
put |
从本地文件系统中拷贝文件或文件夹到目标文件系统。 |
(1)依照上述章节所述,逐层解析<dst>绝对路径,获取目标目录的key/value数据。 (2)依据章节所述规则。结合目标目录的标号和源文件的文件名称生成相应的key/value; (3)依据步骤(2)生成的key/value上传源文件的相关信息。 (4)上传源文件内容到系统中。 |
rm |
删除指定的文件。仅仅删除非空文件夹和文件。 |
(1)依据上述章节所述,逐层解析到目标文件所在的位置获取指定文件的key/value。 (2)依据key找到指定的文件或文件夹所在的DataNode上存储的信息; (3)删除信息。 (4)将删除记录写入edit log。 |
创建文件夹,会创建路径中全部缺失的父文件夹。 |
(1)依照上述机制,逐层解析找到父文件夹,获取标记。假设父文件夹不存在则递归的创建路径上的文件夹。 (2)将父文件夹的标记作为key的父节点字段部分,创建新文件夹。 |
|
加入源文件从本地文件系统到目标文件系统。 |
(1)依照上述章节所述,逐层解析<dst>绝对路径,获取目标目录的key/value数据; (2)依据章节所述规则,结合目标目录的标号和源文件的文件名称生成相应的key/value; (3)依据步骤(2)生成的key/value上传源文件的相关信息; (4)上传源文件内容到系统中。 |
|
cat |
将路径指定文件的内容输出到stdout。 |
(1)依照上述机制,逐层解析path到目标文件,获取文件的key/value。 (2)依据key值在找到文件内容输出到stdout中。 (3)将结果在终端显示出来。 |
改变文件和文件夹的群组。 |
(1)依照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得所操作的文件名称/文件夹(或大文件元数据信息); (2)改动这个K-V中的value的表示群组的字段并又一次插入新的K-V。 |
|
chmod |
改变文件和文件夹的訪问权限。 |
(1)依照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得所操作的文件名称/文件夹(或大文件元数据信息); (2)改动这个K-V中的value的表示訪问权限的字段并又一次插入新的K-V。 |
变更文件和文件夹的拥有者。 |
(1)依照上述机制。在Config server上的存储引擎中逐层读取K-V,直到获得所操作的文件名称/文件夹(或大文件元数据信息)。 (2)改动这个K-V中的value的表示全部者的字段并又一次插入新的K-V。 |
|
copyFromLocal |
从本地文件系统中拷贝文件,和put命令相似。 |
操作流程參见put接口。 |
copToLocal |
将文件拷贝到本地文件系统。和get命令类似。 |
操作流程參见get接口。 |
显示由路径确定的子文件夹的个数,文件个数,使用字节个数。以及全部的文件文件夹名。 |
(1)解析到目标路径,获取相关的key/value; (2)获取value中的子文件夹个数,文件个数,使用字符串等相关信息的字段。 |
|
cp |
将文件从源路径拷贝到目标路径。这个命令同意有多个原路径,此时目标路径必须是一个文件夹。 |
(1)依据上述章节所述,逐层解析<dest>,获取目标文件的位置信息; (2)获取源文件的内容; (3)逐块复制源文件信息到目标文件其中。 |
du |
显示文件大小。假设path是一个文件夹,则显示该文件夹中全部文件的大小。 |
(1)依照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得文件名称或文件夹; (2)假设是文件读取对应的key/value中,读取value中表示文件大小的字段。假设是文件夹则读取标记,递归的查询属于该文件夹下的全部文件。 |
显示文件的大小,可是当作用于文件夹时,会显示文件大小之和。 |
(1)依照上述机制,在Config server上的存储引擎中逐层读取K-V,直到获得文件名称或文件夹。 (2)假设是文件读取对应的key/value中。读取value中表示文件大小的字段,假设是文件夹则读取标记,递归的查询属于该文件夹下的全部文件value信息,将value中关于文件大小的字段信息相加取和。 |
|
expunge |
清空回收站。 |
(1)依照上述机制,解析到HDFS系统回收站文件夹下(/user/username/.Trash/current); (2)删除(參考接口rm)。 |
getfacl |
(1)依照上述章节所述。逐层解析,获取目标文件或路径的key/value数据。 (2)获取value中有关的ACL的字段信息。 |
|
获取由源文件夹指定的全部文件。将它们合并为单个文件并写入本地文件系统中的LOCALDST。 |
(1)依照上述机制。逐层解析,获取源文件夹文件的标记; (2)依据标记。在config server中寻找文件夹文件下的子文件; (3)创建目标文件,将子文件的内容依次合并到目标文件其中; (4)将目标文件写入本地文件系统。 |
|
ls |
列出文件夹及文件信息。 |
(1)依照上述机制,逐层解析获取到目标文件或者目录的标记。 (2)依据标记查询子文件夹或者文件相关信息; (3)列出信息。 |
lsr |
循环列出文件夹。子文件夹及文件信息。 |
操作流程參见參照ls接口。 |
类似于put,仅仅是本地的源在复制之后会被删除。 |
(1)依照上述章节所述,逐层解析<dst>绝对路径,获取目标目录的key/value数据; (2)依据章节所述规则,结合目标目录的标号和源文件的文件名称生成相应的key/value; (3)依据步骤(2)生成的key/value上传源文件的相关信息; (4)上传源文件内容到系统中; (5)删除本地源文件。 |
|
moveToLocal |
于get命令类似。 |
操作流程參见get接口。 |
mv |
移动文件从源地址到目标地址。 |
(1)依照上述机制,逐层解析<dest>绝对路径获取目标目录的标号。 (2)逐层解析到源文件获取源文件的key/value数据; (3)更改源文件里的key值将当中的父节点标号字段改为目标目录的标号。 |
rmr |
递归删除指定文件和文件夹。 |
(1)依照上述机制。逐层解析到目标文件所在的位置获取指定文件的标记; (2)採用递归算法依据标记删除指定的文件或文件夹。 |
setfacl |
设置訪问控制列表(acl)的文件和文件夹。 |
(1)依照上述机制,逐层解析。获取目标文件或路径的key/value数据; (2)设置value中的ACL。 |
改变文件的目标副本系数。 |
(1)依照上述章节所述,逐层解析。获取目标文件的key/value数据。 (2)改动value中有关副本系数的字段。 |
|
stat |
显示文件里的统计信息。 |
(1)依照上述章节所述,逐层解析。获取目标文件的key/value数据; (2)获取value中关于文件的统计信息的相关字段。 |
tail |
显示目标文件里的最后1KB数据。 |
(1)依照上述章节所述,逐层解析,获取目标文件的key/value数据。 (2)依据所得到的key/value查询最后一块中的1KB信息,假设最后一块不足1KB,则查询倒数第二块中信息,拼接成1KB。返回信息。 |
test |
对路径进行检查。 |
(1)依照上述章节所述。对目标路径逐层解析,获取目标文件的key/value数据。 (2)检查目标文件里的key/value中的相关字段。以检測文件是否存在。大小是否为0,文件夹路径是否存在。 |
text |
显示文件的文本内容,当文件为文本文件时,等同于cat。文件为压缩格式时,会先解压缩。 |
操作流程參见cat接口。 |
touchz |
创建长度为0的文件。 |
操作流程參见mkdir接口。 |
基于key/value+Hadoop HDFS 设计的存储系统的shell命令接口的更多相关文章
- Hadoop HDFS 设计随想
目录 引言 HDFS 数据块的设计 数据块应该设置成多大? 抽象成数据块有哪些好处? 操作块信息的命令 HDFS 中节点的设计 有几种节点类型? 用户如何访问 HDFS? 如何对 namenode 容 ...
- HADOOP HDFS的设计
Hadoop提供的对其HDFS上的数据的处理方式,有以下几种, 1 批处理,mapreduce 2 实时处理:apache storm, spark streaming , ibm streams 3 ...
- 基于 ZooKeeper 搭建 Hadoop 高可用集群
一.高可用简介 二.集群规划 三.前置条件 四.集群配置 五.启动集群 六.查看集群 七.集群的二次启动 一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS ...
- Hadoop 学习之路(八)—— 基于ZooKeeper搭建Hadoop高可用集群
一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求 ...
- Hadoop 系列(八)—— 基于 ZooKeeper 搭建 Hadoop 高可用集群
一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求 ...
- 基于Eclipse的Hadoop应用开发环境配置
基于Eclipse的Hadoop应用开发环境配置 我的开发环境: 操作系统ubuntu11.10 单机模式 Hadoop版本:hadoop-0.20.1 Eclipse版本:eclipse-java- ...
- Hadoop HDFS负载均衡
Hadoop HDFS负载均衡 转载请注明出处:http://www.cnblogs.com/BYRans/ Hadoop HDFS Hadoop 分布式文件系统(Hadoop Distributed ...
- [python 译] 基于面向对象的分析和设计
[python 译] 基于面向对象的分析和设计 // */ // ]]> [python 译] 基于面向对象的分析和设计 Table of Contents 1 原文地址 2 引言 2.1 ...
- atitit.基于http json api 接口设计 最佳实践 总结o7
atitit.基于http json api 接口设计 最佳实践 总结o7 1. 需求:::服务器and android 端接口通讯 2 2. 接口开发的要点 2 2.1. 普通参数 meth,p ...
随机推荐
- C#.NET常见问题(FAQ)-如何让TabControl可以动态增加或删除
动态插入可以使用TabPages.Insert方法 动态删除可以用Remove方法 更多教学视频和资料下载,欢迎关注以下信息: 我的优酷空间: http://i.youku.com/aceta ...
- 【转】Spring MVC处理静态资源
优雅REST风格的资源URL不希望带 .html 或 .do 等后缀.由于早期的Spring MVC不能很好地处理静态资源,所以在web.xml中配置DispatcherServlet的请求映射,往往 ...
- 用一条sql取得第10到第20条的记录-Mssql数据库
因为id可能不是连续的,所以不能用取得10<id<20的记录的方法. 有三种方法可以实现: 一.搜索前20条记录,指定不包括前10条 语句: select top 20 * from tb ...
- JavaScript 之 ScriptManager.RegisterStartupScript的应用
如果页面中不用Ajax,cs中运行某段js代码方式可以是: Page.ClientScript.RegisterStartupScript(Page.GetType(), "", ...
- 微信小程序 - 3d轮播图组件(基础)
<!-- 目前仅支持data数据源来自banner,请看测试案例 ################ 以上三种形式轮播: 1. basic 2. 3d 3. book basic即普通轮播 3d即 ...
- 微信小程序 - setData:key的几种用法
1. 常量key渲染 2. 变量key渲染(字符串和变量先拼接) 3.对象key渲染
- 在Windows中监视IO性能
附:在Windows中监视IO性能 本来准备写一篇windows中监视IO性能的,后来发现好像可写的内容不多,windows在细节这方面做的不是那么的好,不过那些基本信息还是有的. 在Windows中 ...
- Linux--U盘安装Ubuntu12.04[转]
http://www.cnblogs.com/plokmju/p/linux_installubuntu.html 最近一直在研究Android内核驱动开发的相关事宜,使用VMware虚拟机虽然可以更 ...
- intellij 创建测试
之后再test目录下面创建java的文件夹,悲催的发现不能创建.想了好久,之后找到再本机的目录,手动创建java文件夹,然后点击test文件夹 ,并且点击下面的Tests文件夹 设置完test-> ...
- Hibernate学习笔记一:项目创建与基本配置文件
转载请注明原文地址:http://www.cnblogs.com/ygj0930/p/6760773.html 一:ORM ORM:对象-关系 映射. 即:把Java中有关联关系的对象,转换成关系型 ...