HDFS建筑与shell操作
一个、hadoop1.1.0演示
- hadoop它适合于大容量数据存储和分布式计算平台
- hadoop核心由hdfs和mapreduce组成
- hdfs这是一个主从结构,仅有一个。是namenode:从节点有非常多个
- 分布式文件系统与HDFS (HDFS体系结构与基本概念)
- Distributed File System
- 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到很多其它的操作系统管理的磁盘中。可是不方便管理和维护,因此迫切须要一种系统来管理多台机器上 的文件,这就是分布式文件管理系统 。
- 是一种同意文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。
- 通透性。
让实际上是通过网络来訪问文件的动作。由程序与用户看来。就像是訪问本地的磁盘一般。
- 容错。即使系统中有某些节点脱机,总体来说系统仍然能够持续运作而不会有数据损失。
- 分布式文件管理系统非常多,hdfs仅仅是当中一种。适用于一次写入多次查询的情况,不支持并发写情况,小文件不合适。
二、HDFS的shell操作
- 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。
- 全部的FS shell命令使用URI路径作为參数。
- URI格式是scheme://authority/path。HDFS的scheme是hdfs,对本地文件系统,scheme是file。
当中scheme和authority參数都是可选的。如果未加指定,就会使用配置中指定的默认scheme。
- 比如:/parent/child能够表示成hdfs://namenode:namenodePort/parent/child。或者更简单的/parent/child(如果配置文件是namenode:namenodePort)
- 大多数FS Shell命令的行为和相应的Unix Shell命令类似。
-help [cmd] //显示命令的帮助信息-ls(r) <path> //显示当前文件夹下全部文件-du(s) <path> //显示文件夹中全部文件大小-count[-q] <path> //显示文件夹中文件数量-mv <src> <dst> //移动多个文件到目标文件夹-cp <src> <dst> //复制多个文件到目标文件夹-rm(r) //删除文件(夹)-put <localsrc> <dst> //本地文件拷贝到hdfs-copyFromLocal //同put-moveFromLocal //从本地文件移动到hdfs-get [-ignoreCrc] <src> <localdst> //拷贝文件到本地。能够忽略crc校验-getmerge <src> <localdst> //将源文件夹中的全部文件排序合并到一个文件里-cat <src> //在终端显示文件内容-text <src> //在终端显示文件内容-copyToLocal [-ignoreCrc] <src> <localdst>
//拷贝到本地-moveToLocal <src> <localdst>-mkdir <path> //创建目录-touchz <path> //创建一个空文件HDFS 的shell练习hadoop fs -ls / 查看HDFS根文件夹hadoop fs -mkdir /test 在根文件夹创建一个文件夹testhadoop fs -mkdir /test1 在根文件夹创建一个文件夹test1
版权声明:本文博客原创文章。博客,未经同意,不得转载。
HDFS建筑与shell操作的更多相关文章
- HDFS的基本shell操作,hadoop fs操作命令
(1)分布式文件系统 随着数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管 ...
- 大数据(4) - HDFS常用的shell操作
注意:这次使用的是第二部分安装的集群,不是高可用集群 为了方便,开发,必须写集群脚本,试想集群的机器是100台以上,而不是3台的情况.... 集群启动脚本 vim /home/admin/tools/ ...
- HDFS概述和Shell操作
大数据技术之Hadoop(HDFS) 第一章 HDFS概述 HDFS组成架构 HDFS文件块大小 第二章 HDFS的Shell操作(开发重点) 1.基本语法 bin/hadoop fs 具体命令 ...
- Hadoop读书笔记(二)HDFS的shell操作
Hadoop读书笔记(一)Hadoop介绍:http://blog.csdn.net/caicongyang/article/details/39898629 1.shell操作 1.1全部的HDFS ...
- HDFS shell操作及HDFS Java API编程
HDFS shell操作及HDFS Java API编程 1.熟悉Hadoop文件结构. 2.进行HDFS shell操作. 3.掌握通过Hadoop Java API对HDFS操作. 4.了解Had ...
- Hadoop开发第6期---HDFS的shell操作
一.HDFS的shell命令简介 我们都知道HDFS 是存取数据的分布式文件系统,那么对HDFS 的操作,就是文件系统的基本操作,比如文件的创建.修改.删除.修改权限等,文件夹的创建.删除.重命名等. ...
- 大数据:Hadoop(JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作)
所有的内容都来源与 Hadoop 官方文档 一.Hadoop 伪分布式安装步骤 1)JDK安装 解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app 添加到系 ...
- HDFS02 HDFS的Shell操作
HDFS的Shell操作(开发重点) 目录 HDFS的Shell操作(开发重点) 基本语法 常用命令 准备工作 上传 -moveFromLocal 剪切 -copyFromLocal 拷贝 -put ...
- Hadoop(6)-HDFS的shell操作
1.基本语法 使用 hadoop fs 具体命令 或者 hdfs dfs 具体命令 hadoop命令的shell源码 hdfs命令的shell源码 由此可见,这两个命令最后都是执行的一个jav ...
随机推荐
- Android 调用谷歌语音识别
調用谷歌语音识别其实很简单,直接利用 intent 跳转到手机里面的谷歌搜索 代码也很简单,直接调用方法 startVoiceRecognitionActivity() 如果大家手机里面没有谷歌搜索, ...
- [华为机试练习题]50.求M的N次方的最后三位
题目 描写叙述: 正整数M 的N次方有可能是一个很大的数字,我们仅仅求该数字的最后三位 例1: 比方输入5和3 ,5的3次方为125.则输出为125 例2: 比方输入2和10 2的10次方为1024 ...
- Cocos2d-x v3.0正式版尝鲜体验【3】 Label文本标签
Cocos2d-x在新版本号中增加了新的Label API.和以往不同的是,2.x的版本号是通过三个不同的类来创建不同的文本标签,而如今是模仿着精灵的创建方式.一个类创建不同形式的文本,只是核心内容还 ...
- ContentType ,charset和pageEncoding的区别(转)
========================说法一=========================== ContentType 属性指定响应的 HTTP 内容类型.如果未指定 ContentTy ...
- AIR学习教程(一)
一.AIR的简单介绍 Adobe® AIR™ 为跨操作系统执行时,通过它能够利用现有 Web 开发技术(Adobe® Flash® CS3 Professional.Adobe® Flex™.HTML ...
- linq 中执行方法
Database1Entities db = new Database1Entities(); protected void Page_Load(object sender, EventArgs e) ...
- 谷歌下解决Pop遮罩层无法遮挡滚动栏下问题
今天用pop的弹出窗体里,出现一个问题,当网页出现滚动栏里,不能遮挡住,解决Pop遮罩层无法遮挡滚动栏下问题. 可通过下载获取改动后的代码----->进入下载
- poj2942 Knights of the Round Table,无向图点双联通,二分图判定
点击打开链接 无向图点双联通.二分图判定 <span style="font-size:18px;">#include <cstdio> #include ...
- Tomcat中更改网站根目录和默认页的配置方法
1.tomcat原来的默认根目录是http://localhost:8080,如果想修改访问的根目录,可以这样: 找到tomcat的server.xml(在conf目录下),找到: <Host ...
- Big Event in HDU(杭电1171)(多重背包)和(母函数)两种解法
Big Event in HDU Time Limit: 10000/5000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others ...