【HDFS API编程】查看文件块信息

现在我们把文件都存在HDFS文件系统之上,现在有一个jdk.zip文件存储在上面,我们想知道这个文件在哪些节点之上?切成了几个块?每个块的大小是怎么样?先上测试类代码: /** * 查看文件块信息 * @throws Exception */ @Test public void getFileBlockLocations() throws Exception{ FileStatus fileStatus = fileSystem.getFileStatus(new Path("/hdfsapi/…

hdfs fsck命令查看HDFS文件对应的文件块信息(Block)和位置信息(Locations)

关键字:hdfs fsck.block.locations 在HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态.获取文件的block信息和位置信息等. fsck命令必须由HDFS超级用户来执行,普通用户无权限. [hadoop@dev ~]$ hdfs fsck Usage: DFSck [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -r…

【HDFS API编程】查看HDFS文件内容、创建文件并写入内容、更改文件名

首先,重点重复重复再重复: /** * 使用Java API操作HDFS文件系统 * 关键点: * 1)创建 Configuration * 2)获取 FileSystem * 3)...剩下的就是 HDFS API的操作了*/ 回顾:https://www.cnblogs.com/Liuyt-61/p/10737466.html 先上代码(注意包不要导错了): public class HDFSApp { public static final String HDFS_PATH = "hdfs…

【HDFS API编程】从本地拷贝文件，从本地拷贝大文件，拷贝HDFS文件到本地

接着之前继续API操作的学习 CopyFromLocalFile: 顾名思义,从本地文件拷贝 /** * 使用Java API操作HDFS文件系统 * 关键点: * 1)create Configuration * 2)get FileSystem * 3)...It's your HDFS API operation. */ public class HDFSApp { public static final String HDFS_PATH = "hdfs://hadoop000:8020&…

【HDFS API编程】jUnit封装-改写创建文件夹

首先:什么是jUnit 回顾: https://www.cnblogs.com/Liuyt-61/p/10374732.html 上一节我们知道: /** * 使用Java API操作HDFS文件系统 * 关键点: * 1)创建 Configuration * 2)获取 FileSystem * 3)...剩下的就是HDFS API的操作了 */ 回顾:https://www.cnblogs.com/Liuyt-61/p/10737466.html 先上代码: public class HDF…

【HDFS API编程】第一个应用程序的开发-创建文件夹

/** * 使用Java API操作HDFS文件系统 * 关键点: * 1)创建 Configuration * 2)获取 FileSystem * 3)...剩下的就是 HDFS API的操作了*/ 先上代码 public class HDFSApp { public static void main(String[] args) throws Exception { Configuration configuration = new Configuration(); FileSystem f…

【HDFS API编程】副本系数深度剖析

上一节我们使用Java API操作HDFS文件系统创建了文件a.txt并写入了hello hadoop(回顾:https://www.cnblogs.com/Liuyt-61/p/10739018.html) 我们在终端控制台上使用hadoop fs -ls /hdfsapi/test查看a.txt文件是否创建成功的时候有没有发现一个问题. [hadoop@hadoop000 ~]$ hadoop fs -ls /hdfsapi/test Found 1 items -rw-r--r-- 3 h…

linux命令stat，查看文件详细信息

可以查看文件的各类具体信息:文件权限的数字形式0664:uid.gid的权限的数字形式等更多用法参考stat --help lsattr test.sh 查看文件的其他属性:只读属性.只可以追加写属性等 Linux chattr命令用于改变文件属性. 这项指令可改变存放在ext2文件系统上的文件或目录属性,这些属性共有以下8种模式: a:让文件或目录仅供附加用途. b:不更新文件或目录的最后存取时间. c:将文件或目录压缩后存放. d:将文件或目录排除在倾倒操作之外. i:不得任意更动文件或目…

【HDFS API编程】开发环境搭建

使用HDFS API的方式来操作HDFS文件系统 IDEA Java 使用Maven来管理项目先打开IDEA,New Project 创建GAV然后next 默认使用的有idea内置的Maven,可以使用默认的也可以使用自己安装的Maven(看个人喜好Override) 然后next finish 然后就进入了编译器页面,编译器自己在创建,有一些依赖在自动下载,需要等!!!(我的网速等了我半个多小时,卡到发指) 解决IDEA创建Maven项目卡到发指===>https://www.cnbl…

【HDFS API编程】查看目标文件夹下的所有文件、递归查看目标文件夹下的所有文件

使用hadoop命令:hadoop fs -ls /hdfsapi/test 我们能够查看HDFS文件系统/hdfsapi/test目录下的所有文件信息那么使用代码怎么写呢?直接先上代码:(这之后贴上去的代码怎么就全灰色了?....) public class HDFSApp { public static final String HDFS_PATH = "hdfs://hadoop000:8020"; FileSystem fileSystem = null; …

【HDFS API编程】删除文件

所有操作都是以fileSystem为入口进行,我们使用fileSystem下的delete方法进行删除文件操作,删除的时候必须慎重. 直接上代码: /** * 删除文件 * @throws Exception */ @Test public void delete() throws Exception{ Boolean result = fileSystem.delete(new Path("/hdfsapi/test/jdk.zip"),true); System.out.print…

【HDFS API编程】图解客户端写文件到HDFS的流程

…

HDFS API编程

3.1常用类 3.1.1Configuration Hadoop配置文件的管理类,该类的对象封装了客户端或者服务器的配置(配置集群时,所有的xml文件根节点都是configuration) 创建一个Configuration对象时,其构造方法会默认加载hadoop中的两个配置文件,分别是hdfs-site.xml以及core-site.xml,这两个文件中会有访问hdfs所需的参数值,主要是fs.default.name,指定了hdfs的地址,有了这个地址客户端就可以通过这个地址访…

干货--安装eclipse-hadoop-plugin插件及HDFS API编程两个遇到的重要错误的解决

在Windows的eclipse上写hdfs的API程序,都会遇到两个错误,在网上查了很多资料,都没有解决的办法,经过了很多时间的研究,终于把这个问题解决了错误是 1.java.io.IOException :HADOOP_HOME or hadoop.home.dir are not set. 2.java.io.IOException:could not locate executable D:\hadoop-2.6.4\hadoop-2.6.4\bin/winutils.exe in t…

Team Foundation API - 编程控制文件版本

Team Foundation Server (TFS)工具的亮点之一是文件的版本控制.在TFS中实现文件版本控制的类型: Microsoft.TeamFoundation.Client.TfsTeamProjectCollection; Microsoft.TeamFoundation.VersionControl.Client.VersionControlServer; Microsoft.TeamFoundation.VersionControl.Client.ItemSet; Micro…

【HDFS API编程】图解客户端从HDFS读数据的流程

…

linux stat 查看文件的详细信息

linux stat查看文件详细信息 [root@oldboy01 tmp]# stat /tmp/1.cc File: `/tmp/1.cc' Size: 4 Blocks: 8 IO Block: 4096 regular file Device: 803h/2051d Inode: 261989 Links: 1 Access: (0644/-rw-r--r--) Uid: ( 0/ root) Gid: ( 0/ root) Access: 2018-08-11 11:14:09.307…

shell 命令文件查看ls，复制cp，移动mv，查看文件内容cat more less，查看文件信息 file

1. 查看文件 ls ls -l 查看文件详细信息 ls -a 查看所有文件(包含隐藏文件) ls -lh 带单位显示文件大小 ls -i 查看文件的节点号(相当身份证唯一) 2. 复制文件/文件夹 cp (复制的文件可以修改名字) cp 源目的地 cp 文件名目录名 cp 文件名文件名 cp -r 目录名目录名参数-r表示文件夹中的内容递归复制 cp ~/f…

Linux常用命令查看文件、别名、切换目录、创建目录、查看当前目录

一.创建条件(使用liunx常用命令): 1.查看阿里云的环境是否搭建完成首先快捷键 win+R 输入cmd 回车,打开命令提示符输入命令 ssh,回车. 2.登录阿里云账户输入命令格式:ssh 账户名@域名,比如:ssh yuling@47.95.142.233回车 3.新建一个文件夹输入命令格式:touch 文件名.txt,比如:touch log.txt,回车(windows系统查看目录下的文件用dir,os系统查看目录下的文件用ls) 4.在新建的log.txt文件中写入东西 (…

Linux 学习笔记查看文件内容诸多命令

查看文件内容 1.查看文件统计信息 stat 提供文件系统上某个文件的所有状态信息 2.查看文件类型 file 用来查看文件类型 (该命令将文件分成3类:文本类型:可执行文件:数据文件) 如果你有从未知源获得的二进制文件,这会是个非常有用的特性. 3.查看整个文件 a. cat 一旦运行了cat命令,你就无法控制后面的操作了. b. more 会显示文本文件的内容,并在显示每页数据之后停下来 c. less less可以显示文件的内容,而不用读取整个文件.这点是cat和more命令在读取大文件时…

ubuntu，day1基础命令，shutdown,man,touch,rm,mv,cp,stat,locale,apt,date,tzselect,cal,快捷方式，echo，查看文件

基本设置命令 1,shutdown 命令, shutdown -r now # 现在立即重启 shutdown -r + # 三分钟后重启 shutdown -r : #在12:12时将重启计算机 shutdown -h now # 现在立即关机 shutdown -h + # 5分钟后关机 shutdown -h : # 12点钟关机 shutdown -c # 取消关机操作 init 关机 init 重启 2,帮助man -h --help info man man # 查看man命令的手…

HDFS的Java客户端操作代码(查看HDFS下所有的文件存储位置信息)

1.查看HDFS下所有的文件存储位置信息 package Hdfs; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.f…

HDFS设计思路，HDFS使用，查看集群状态，HDFS，HDFS上传文件，HDFS下载文件，yarn web管理界面信息查看，运行一个mapreduce程序，mapreduce的demo

26 集群使用初步 HDFS的设计思路 l 设计思想分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: l 在大数据系统中作用: 为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务 l 重点概念:文件切块,副本存放,元数据 26.1 HDFS使用 1.查看集群状态命令: hdfs dfsadmin –report 可以看出,集群共有3个datanode可用也可打开web控制台查看HDFS集群…

Hadoop（八）Java程序访问HDFS集群中数据块与查看文件系统

前言我们知道HDFS集群中,所有的文件都是存放在DN的数据块中的.那我们该怎么去查看数据块的相关属性的呢?这就是我今天分享的内容了一.HDFS中数据块概述 1.1.HDFS集群中数据块存放位置我们知道hadoop集群遵循的是主/从的架构,namenode很多时候都不作为文件的读写操作,只负责任务的调度和掌握数据块在哪些datanode的分布, 保存的是一些数据结构,是namespace或者类似索引之类的东西,真正的数据存储和对数据的读写是发生在datanode里的. 找到${HADOOP_…

使用FileSystem类进行文件读写及查看文件信息

使用FileSystem类进行文件读写及查看文件信息在这一节我们要深入了解Hadoop的FileSystem类——这是与与hadoop的文件系统交互的重要接口.虽然我们只是着重于HDFS的实现,但我们在编码时一般也要注意代码在FileSystem不同子类文件系统之间的可移植性.这是非常有用的,比如说你可以非常方便的直接用同样的代码在你的本地文件系统上进行测试. 使用hadoop URL读数据从hadoop文件系统中读取文件的最简单的方法之一便是使用java.net.URL对象来打开一个欲…

HDFS shell操作及HDFS Java API编程

HDFS shell操作及HDFS Java API编程 1.熟悉Hadoop文件结构. 2.进行HDFS shell操作. 3.掌握通过Hadoop Java API对HDFS操作. 4.了解Hadoop文件操作原理. 1.查看HDFS的NameNode和DataNode目录结构. 2.通过HDFS shell进行文件上传,目录创建等操作. 3.通过Java API进行文件增删查改操作. Hdfs shell 操作: 查看hdfs根目录: Hdfs dfs -ls / 创建文件夹 Hdfs d…