HDFS基本命令行操作及上传文件的简单API
一、HDFS基本命令行操作:
1.HDFS集群修改SecondaryNameNode位置到hd09-2
(1)修改hdfs-site.xml
<configuration>
//配置元数据存储位置
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hd/dfs/name</value>
</property>
//配置数据存储位置
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hd/dfs/data</value>
</property> <property>
<name>dfs.namenode.secondary.http-address</name>
<value>hd09-2:50090</value>
</property>
</configuration> 注意上面的第三个<property>不是
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>hd09-2:50090</value>
</property> (2)分发hdfs-site.xml到其他服务器
cd /root/hd/hadoop-2.8.4/etc/hadoop scp hdfs-site.xml hd09-2:$PWD
scp hdfs-site.xml hd09-3:$PWD (3)hdfs启动命令
start-dfs.sh (4)hdfs停止命令
stop-dfs.sh 2.HDFS集群修改replication(副本数)
修改hdfs-site.xml 在<configuration>中加入
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
其中<value>中的值就是副本数 3.HDFS集群修改blocksize(块大小)
修改hdfs-site.xml 在<configuration>中加入
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
其中<value>中的值就是块大小,单位是字节(byte) 4.hdfs命令行
(1)查看帮助
hdfs dfs -help (2)查看当前目录信息
hdfs dfs -ls / (3)上传文件
hdfs dfs -put /本地路径 /hdfs路径 (4)剪切文件
hdfs dfs -moveFromLocal a.txt /aa.txt (5)下载文件到本地
hdfs dfs -get /hdfs路径 /本地路径 (6)合并下载
hdfs dfs -getmerge /hdfs路径文件夹 /合并后的文件 (7)创建文件夹
hdfs dfs -mkdir /hello (8)创建多级文件夹
hdfs dfs -mkdir -p /hello/world (9)移动hdfs文件
hdfs dfs -mv /hdfs路径 /hdfs路径 (10)复制hdfs文件
hdfs dfs -cp /hdfs路径 /hdfs路径 (11)删除hdfs文件
hdfs dfs -rm /aa.txt (12)删除hdfs文件夹
hdfs dfs -rm -r /hello (13)查看hdfs中的文件
hdfs dfs -cat /文件
hdfs dfs -tail -f /文件 (14)查看文件夹中有多少个文件
hdfs dfs -count /文件夹 (15)查看hdfs的总空间
hdfs dfs -df /
hdfs dfs -df -h / (16)修改副本数
hdfs dfs -setrep 1 /a.txt
二、上传文件的简单API:
package com.css.hdfs01; import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path; public class HdfsClientDemo01 {
public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException {
//1.客户端加载配置文件
Configuration conf = new Configuration(); //2.指定配置(设置成2个副本数)
conf.set("dfs.replication", "2"); //3.指定块大小
conf.set("dfs.blocksize", "64m"); //4.构造客户端
FileSystem fs = FileSystem.get(new URI("hdfs://192.168.146.132:9000"), conf, "root"); //5.上传文件
fs.copyFromLocalFile(new Path("c:/words.txt"), new Path("/words.txt")); //6.关闭资源
fs.close();
}
}
HDFS基本命令行操作及上传文件的简单API的更多相关文章
- spring mvc(注解)上传文件的简单例子
spring mvc(注解)上传文件的简单例子,这有几个需要注意的地方1.form的enctype=”multipart/form-data” 这个是上传文件必须的2.applicationConte ...
- SpringMvc(注解)上传文件的简单例子
spring mvc(注解)上传文件的简单例子,这有几个需要注意的地方1.form的enctype=”multipart/form-data” 这个是上传文件必须的2.applicationConte ...
- hadoop的hdfs文件操作实现上传文件到hdfs
这篇文章主要介绍了使用hadoop的API对HDFS上的文件访问,其中包括上传文件到HDFS上.从HDFS上下载文件和删除HDFS上的文件,需要的朋友可以参考下hdfs文件操作操作示例,包括上传文件到 ...
- CentOS命令行向OSS上传文件或文件夹
下载地址:https://helpcdn.aliyun.com/document_detail/50452.html?spm=a2c4g.11186623.4.2.KyQak3 百度云盘:https: ...
- Linux命令之rz - 批量上传文件,简单易用(转载)
用途说明 rz命令能够批量上传文件,当然也可上传单个文件啦.使用的协议是古老的ZMODEM协议,尽管协议古老,但毫不影响的简单易用的特性.一般情 况我们要上传文件到Linux系统,要么使用ftp(还得 ...
- 关于Extjs MVC模式上传文件的简单方式
Extjs新手研究上传文件的事情估计是件很头痛的问题,毕竟,我就在头痛.最近两天一直在忙文件上传问题,终于小有收获. 用的是Extjs+MVC3.0+EF开发,语言为C#.前台window代码显示列内 ...
- mac 命令行上传文件,mac tar.gz命令压缩
在mac上可以直接打开命令行给服务器上传文件,注意是本地的命令行,不是服务器的命令行,我就走了绕路 命令可以看这里https://www.cnblogs.com/hitwtx/archive/2011 ...
- IOS上传文件开发
IOS上传文件开发 在移动应用开发 文件形式上传是不可缺少的,近期把IOS这块文件上传文件代码简单的整理一下.假设大家有须要安卓这边的代码,本人也能够分享给大家! QQ群:74432915 ...
- Asp.net上传文件后台通过二进制流发送到其他Url保存
实际情况一般有单独的站点存放静态文件,比如图片.office文档等.A站点的操作需要上传文件到B站点, 下面介绍一种方法通过System.Net.WebClient类的UploadData方法 . u ...
随机推荐
- jquery 怎么触发select的change事件
可以使用jQuery的trigger() 方法来响应事件 定义和用法 trigger() 方法触发被选元素的指定事件类型. 语法 $(selector).trigger(event,[param1,p ...
- 华中农业大学校赛--c The Same Color
Problem C: The Same Color Time Limit: 1 Sec Memory Limit: 128 MBSubmit: 993 Solved: 595[Submit][St ...
- PHP的数据类型转换
PHP的数据类型转换属于强制转换,允许转换的PHP数据类型有: •(int).(integer):转换成整形 •(float).(double).(real):转换成浮点型 •(string):转换成 ...
- cocos2dx集成友盟社会化分享图片崩溃问题
本人不懂oc,一步一步按照友盟的文档做,好不容易把分享做好了,结果在 分享图片的时候宕掉了.各种测试,搞了一下午终于搞定了. 如下是友盟文档的做法,错误就在[UIImage imageNamed:@& ...
- 面向对象设计原则三:里氏替换原则(LSP)
里氏替换原则(LSP)定义:在任何父类出现的地方都可以用它的子类类替换,且不影响功能.解释说明:其实LSP是对开闭原则的一个扩展,在OO思想中,我们知道对象是由一系列的状态和行为组成的,里氏替换原则说 ...
- WebIM技术---编写前端WebSocket组件
过去我们想要实现一个实时Web应用通常会考虑采用ajax轮循或者是long polling技术,但是因为频繁的建立http连接会带来多余的请求以及消息精准性的问题,让我们在实现实时Web应用时头疼不已 ...
- 用 HTML5+ payment方法支付宝支付遇到的坑
用 HTML5+ payment方法碰到的第一个坑就是如果是支付宝的话签约那种支付方式. 因为 Dcloud的文档没有更新的原因你可以看到他们说的都是‘移动支付’,但是你去支付宝平台的时候看到的根本就 ...
- 有用的Python代码片段
我列出的这些有用的Python代码片段,为我节省了大量的时间,并且我希望他们也能为你节省一些时间.大多数的这些片段出自寻找解决方案,查找博客和StackOverflow解决类似问题的答案.下面所有的代 ...
- UIImage 裁剪图片和等比列缩放图片
本文转载至 http://blog.csdn.net/cuiweijie3/article/details/9514293 转自 http://www.tedz.me/ios/uiimage-crop ...
- Ubuntu16.04安装QQ(图文说明)
导读 最近,因为工作需要,我安装了Ubuntu16.04,然而有好多不便,工作上的事情大多需要QQ联系,然而在Ubuntu上的WebQQ很是不好用,于是在网上搜索了好多个linux版本的QQ,然而不是 ...