hdfs --help # 所有参数 hdfs dfs -help # 运行文件系统命令在Hadoop文件系统 hdfs dfs -ls /logs # 查看 hdfs dfs -ls /user/ # 查看用户 hdfs dfs -cat hdfs dfs -df hdfs dfs -du hdfs dfs -rm hdfs dfs -tail hdfs dfsadmin -help # hdfs集群节点管理 hdfs dfsadmin -report # 基本的文件系统统计信息…

1.创建目录 import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class MakeDir { public static void main(String[] args) throws IOException { Configuration…

一.查询目录下的文件 1.查询根目录下的文件 Hadoop fs -ls / 2.查询文件夹下的文件 Hadoop fs -ls /input 二.创建文件夹 hadoop fs -mkdir /文件名称 三. 上传本地文件到HDFS中 hadoop fs -put 文件名称 文件名称 /上传位置/ 四.删除文件 hadoop fs -rm /文件名称 五.删除文件夹 hadoop fs -rm -r 文件夹名称 六.从HDFS中复制文件到本地 hadoop fs -get 文件名称 七.查询文…

HDFS的API操作 创建maven工程并导入jar包 注意 由于cdh版本的所有的软件涉及版权的问题,所以并没有将所有的jar包托管到maven仓库当中去,而是托管在了CDH自己的服务器上面,所以我们默认去maven的仓库下载不到,需要自己手动的添加repository去CDH仓库进行下载. 要用CDH的jar包,要先添加一个repository:https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh…

一.HDFS出现的背景 随着社会的进步,需要处理数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是却不方便管理和维护—>因此,迫切需要一种系统来管理多台机器上的文件,于是就产生了分布式文件管理系统,英文名成为DFS(Distributed File System). 那么,什么是分布式文件系统?简而言之,就是一种允许文件通过网络在多台主机上分享的文件系统,可以让多个机器上的多个用户分享文件和存储空间.它最大的特点是“通透性”,DFS让实际上是通过网络来…

一.HDFS出现的背景 随着社会的进步,需要处理数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是却不方便管理和维护—>因此,迫切需要一种系统来管理多台机器上的文件,于是就产生了分布式文件管理系统,英文名成为DFS(Distributed File System). 那么,什么是分布式文件系统?简而言之,就是一种允许文件通过网络在多台主机上分享的文件系统,可以让多个机器上的多个用户分享文件和存储空间.它最大的特点是“通透性”,DFS让实际上是通过网络来…

实训任务02:Hadoop基础操作 班级            学号               姓名 实训1:创建测试文件上传HDFS,并显示内容 需求说明: 在本地计算机上创建测试文件helloHadoop.txt,输入任意3行记录.将helloHadoop.txt上传到HDFS目录/user/root/filetest/下,并以HDFS命令显示 它的内容(提示:HDFS目录/user/root/filetest并不存在,因此需要先创建它. 实现思路及步骤: (1)     用vi编辑器编写…

指导手册03:Hadoop基础操作 Part 1:查看Hadoop集群的基本信息1．查询存储系统信息(1)在WEB浏览器的地址栏输入http://master:50070/ 请查看自己的Hadoop集群填写下表 Configured Capacity:己配置的文件系统存储总量 DFS Remaining :可使用的DFS存储总量 Non DFS Used 被非DFS的应用所占用的存储总量 DFS Used:己使用的 DFS存储总量 Live Nodes: 在线的数据节点:   (2)显示数据节点…

查看文件: [root@hadoop hadoop]# hadoop fs -lsr /drwxr-xr-x - root supergroup 0 2016-12-27 10:49 /homedrwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home/hadoopdrwxr-xr-x - root supergroup 0 2016-12-27 10:49 /home/hadoop/tmpdrwxr-xr-x - root supergroup…

网上拉取Docker模板,使用singlarities/hadoop镜像 [root@localhost /]# docker pull singularities/hadoop 查看: [root@localhost /]# docker image ls REPOSITORY TAG IMAGE ID CREATED SIZE docker.io/singularities/hadoop latest e213c9ae1b36 months ago 1.19 GB 创建docker-comp…