HDFS建筑与shell操作
一个、hadoop1.1.0演示
- hadoop它适合于大容量数据存储和分布式计算平台
- hadoop核心由hdfs和mapreduce组成
- hdfs这是一个主从结构,仅有一个。是namenode:从节点有非常多个
- 分布式文件系统与HDFS (HDFS体系结构与基本概念)
- Distributed File System
- 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到很多其它的操作系统管理的磁盘中。可是不方便管理和维护,因此迫切须要一种系统来管理多台机器上 的文件,这就是分布式文件管理系统 。
- 是一种同意文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。
- 通透性。
让实际上是通过网络来訪问文件的动作。由程序与用户看来。就像是訪问本地的磁盘一般。
- 容错。即使系统中有某些节点脱机,总体来说系统仍然能够持续运作而不会有数据损失。
- 分布式文件管理系统非常多,hdfs仅仅是当中一种。适用于一次写入多次查询的情况,不支持并发写情况,小文件不合适。
二、HDFS的shell操作
- 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。
- 全部的FS shell命令使用URI路径作为參数。
- URI格式是scheme://authority/path。HDFS的scheme是hdfs,对本地文件系统,scheme是file。
当中scheme和authority參数都是可选的。如果未加指定,就会使用配置中指定的默认scheme。
- 比如:/parent/child能够表示成hdfs://namenode:namenodePort/parent/child。或者更简单的/parent/child(如果配置文件是namenode:namenodePort)
- 大多数FS Shell命令的行为和相应的Unix Shell命令类似。
-help [cmd] //显示命令的帮助信息-ls(r) <path> //显示当前文件夹下全部文件-du(s) <path> //显示文件夹中全部文件大小-count[-q] <path> //显示文件夹中文件数量-mv <src> <dst> //移动多个文件到目标文件夹-cp <src> <dst> //复制多个文件到目标文件夹-rm(r) //删除文件(夹)-put <localsrc> <dst> //本地文件拷贝到hdfs-copyFromLocal //同put-moveFromLocal //从本地文件移动到hdfs-get [-ignoreCrc] <src> <localdst> //拷贝文件到本地。能够忽略crc校验-getmerge <src> <localdst> //将源文件夹中的全部文件排序合并到一个文件里-cat <src> //在终端显示文件内容-text <src> //在终端显示文件内容-copyToLocal [-ignoreCrc] <src> <localdst>
//拷贝到本地-moveToLocal <src> <localdst>-mkdir <path> //创建目录-touchz <path> //创建一个空文件HDFS 的shell练习hadoop fs -ls / 查看HDFS根文件夹hadoop fs -mkdir /test 在根文件夹创建一个文件夹testhadoop fs -mkdir /test1 在根文件夹创建一个文件夹test1
版权声明:本文博客原创文章。博客,未经同意,不得转载。
HDFS建筑与shell操作的更多相关文章
- HDFS的基本shell操作,hadoop fs操作命令
(1)分布式文件系统 随着数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管 ...
- 大数据(4) - HDFS常用的shell操作
注意:这次使用的是第二部分安装的集群,不是高可用集群 为了方便,开发,必须写集群脚本,试想集群的机器是100台以上,而不是3台的情况.... 集群启动脚本 vim /home/admin/tools/ ...
- HDFS概述和Shell操作
大数据技术之Hadoop(HDFS) 第一章 HDFS概述 HDFS组成架构 HDFS文件块大小 第二章 HDFS的Shell操作(开发重点) 1.基本语法 bin/hadoop fs 具体命令 ...
- Hadoop读书笔记(二)HDFS的shell操作
Hadoop读书笔记(一)Hadoop介绍:http://blog.csdn.net/caicongyang/article/details/39898629 1.shell操作 1.1全部的HDFS ...
- HDFS shell操作及HDFS Java API编程
HDFS shell操作及HDFS Java API编程 1.熟悉Hadoop文件结构. 2.进行HDFS shell操作. 3.掌握通过Hadoop Java API对HDFS操作. 4.了解Had ...
- Hadoop开发第6期---HDFS的shell操作
一.HDFS的shell命令简介 我们都知道HDFS 是存取数据的分布式文件系统,那么对HDFS 的操作,就是文件系统的基本操作,比如文件的创建.修改.删除.修改权限等,文件夹的创建.删除.重命名等. ...
- 大数据:Hadoop(JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作)
所有的内容都来源与 Hadoop 官方文档 一.Hadoop 伪分布式安装步骤 1)JDK安装 解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app 添加到系 ...
- HDFS02 HDFS的Shell操作
HDFS的Shell操作(开发重点) 目录 HDFS的Shell操作(开发重点) 基本语法 常用命令 准备工作 上传 -moveFromLocal 剪切 -copyFromLocal 拷贝 -put ...
- Hadoop(6)-HDFS的shell操作
1.基本语法 使用 hadoop fs 具体命令 或者 hdfs dfs 具体命令 hadoop命令的shell源码 hdfs命令的shell源码 由此可见,这两个命令最后都是执行的一个jav ...
随机推荐
- ReentrantLock可重入锁的使用场景(转)
摘要 从使用场景的角度出发来介绍对ReentrantLock的使用,相对来说容易理解一些. 场景1:如果发现该操作已经在执行中则不再执行(有状态执行) a.用在定时任务时,如果任务执行时间可能超过下次 ...
- hdu3732(多重背包)
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=3732 题意:Ahui学习英语单词,每个单词都是不同的,并且都有自身的价值量 w 和难度值 c (0&l ...
- URAL1113(数学)
题目链接:http://acm.timus.ru/problem.aspx?space=1&num=1113 根据样例分析: 1.沙漠只有500公里或者更短,这时很简单,一次搞定. 2.沙漠6 ...
- BlueJ的code pad
Java的REPL BlueJ的code pad实用吗?Java对(Read-Eval-Print Loop)不提供原生支持.这样的"交互式解释器"或"交互式编程环境&q ...
- ORA-00600: 内部错误代码, 参数: [kqlnrc_1]
如以下的错误: Mon Mar 31 18:45:59 2014 Errors in file /oracle/app/oracle/diag/rdbms/zscims/zscims2/trace/z ...
- •当对自己的技术足够自信的时候,拼的就是RP和面试技巧了(转)
前言 三月真是一个忙碌的季节,刚刚开学就需要准备各种面试和笔试(鄙视).幸运的是,在长达一个月的面试内推季之后,终于同时拿到了阿里和腾讯的offer,还是挺开心的.突而想起久未更新的博客,就冒昧学一学 ...
- Android Graphics专题(1)--- Canvas基础
作为Android Graphics专题的开篇.毫无疑问,我们将讨论Android UI技术的核心概念--Canvas. Canvas是Android UI框架的基础,在Android的控件体系中.全 ...
- pygame系列_箭刺Elephant游戏
这个游戏原名为:Chimp,我们可以到: http://www.pygame.org/docs/tut/chimp/ChimpLineByLine.html 获取到源码和详细的源码讲解 下面是我对游戏 ...
- windows phone (21) Grid元素的Background和Clip
原文:windows phone (21) Grid元素的Background和Clip Grid是唯一可以在内部定制单元格的panel类,我们可以在grid中定制单元格,然后通过grid.row和g ...
- OSChina底层数据库操作的类(QueryHelper)源代码
OSChina 使用的是 dbutils 这个JDBC的封装类库来进行数据库操作. 而 QueryHelper 则是在 dbutils 的基础上进行一级简单的封装,提供一些经常使用的数据库操作方法和对 ...