hadoop(一HDFS)


介绍

狭义上来说:

hadoop指的是以下的三大系统:

  • HDFS :分布式文件系统(高吞吐,没有延时要求,容错性,扩展能力)
  • MapReduce : 分布式计算系统
  • Yarn:分布式样集群资源管理

但是hadoop可不止这三个系统

广义上来说:

hadoop指的是大数据的一个生态圈


架构模型

1.X版本的架构

NameNode:集群的主节点,主要是管理集群中的各种元数据()

secondaryNameNode:主节点的辅助管理,主节点宕机后无法代替它(SecondaryNameNode 定期合并 fsimage 和 edits, 把 edits 控制在一个范围内 )

DataNode:从节点,主要用于存储集群中的各种数据


JobTracker:主节点,接收用户的计算请求,并分配给从节点

TaskTracker:负责执行主节点JobTracker分配的任务


2.x的版本架构模型

数据计算核心模块: 
ResourceManager:接收用户的计算请求任务,并负责集群的资源分配 
NodeManager:负责执行主节点APPmaster分配的任务


高可用的实现

文件管理系统多了JournalNode,目的是为了实现NameNode里面元数据的同步,当其中一个宕机,另外一个能完美代替它

多了一个备份节点,让Zookeeper来管理实现高可用


配置的作用

  1. cd /export/servers/hadoop-2.7./etc/hadoop
  2. vim core-site.xml
  1. <configuration>
  2. <property>
  3. <name>fs.default.name</name>
  4. <value>hdfs://node01:8020</value>
  5. </property>
  6. <property>
  7. <name>hadoop.tmp.dir</name>
  8. <value>/export/servers/hadoop-2.7.5/hadoopDatas/tempDatas</value>
  9. </property>
  10. <!-- 缓冲区大小,实际工作中根据服务器性能动态调整 -->
  11. <property>
  12. <name>io.file.buffer.size</name>
  13. <value></value>
  14. </property>
  15. <!-- 开启hdfs的垃圾桶机制,删除掉的数据可以从垃圾桶中回收,单位分钟 -->
  16. <property>
  17. <name>fs.trash.interval</name>
  18. <value></value>
  19. </property>
  20. </configuration>

  1. cd /export/servers/hadoop-2.7./etc/hadoop
  2. vim hdfs-site.xml
  1. <configuration>
  2. <property>
  3. <name>dfs.namenode.secondary.http-address</name>
  4. <value>node01:50090</value>
  5. </property>
  6. <property>
  7. <name>dfs.namenode.http-address</name>
  8. <value>node01:50070</value>
  9. </property>
  10. <property>
  11. <name>dfs.namenode.name.dir</name>
  12. <value>file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas,file:///export/servers/hadoop-
  13. 2.7.5/hadoopDatas/namenodeDatas2</value>
  14. </property>
  15. <!-- 定义dataNode数据存储的节点位置,实际工作中,一般先确定磁盘的挂载目录,然后
  16. 多个目录用,进行分割 -->
  17. <property>
  18. <name>dfs.datanode.data.dir</name>
  19. <value>file:///export/servers/hadoop-
  20. 2.7.5/hadoopDatas/datanodeDatas,file:///export/servers/hadoop-
  21. 2.7.5/hadoopDatas/datanodeDatas2</value>
  22. </property>
  23. <property>
  24. <name>dfs.namenode.edits.dir</name>
  25. <value>file:///export/servers/hadoop-
  26. 2.7.5/hadoopDatas/nn/edits</value>
  27. </property>
  28. <property>
  29. <name>dfs.namenode.checkpoint.dir</name>
  30. <value>file:///export/servers/hadoop-
  31. 2.7.5/hadoopDatas/snn/name</value>
  32. </property>
  33. <property>
  34. <name>dfs.namenode.checkpoint.edits.dir</name>
  35. <value>file:///export/servers/hadoop-
  36. 2.7.5/hadoopDatas/dfs/snn/edits</value>
  37. </property>
  38. <property>
  39. <name>dfs.replication</name>
  40. <value></value>
  41. </property>
  42. <property>
  43. <name>dfs.permissions</name>
  44. <value>false</value>
  45. </property>
  46. <property>
  47. <name>dfs.blocksize</name>
  48. <value></value>
  49. </property>
  50. </configuration>

HDFS 的架构

HDFS由四部分组成,HDFS Client、NameNod e、DataNode和Secondary NameNode

1、Client:就是客户端。 
文件切分。文件上传 HDFS 的时候,Client 将文件切分成 一个一个的Block,然后进行存储。 
与 NameNode 交互,获取文件的位置信息。 
与 DataNode 交互,读取或者写入数据。 
Client 提供一些命令来管理 和访问HDFS,比如启动或者关闭HDFS。 
2NameNode:就是 master,它是一个主管、管理者。

​ 管理 HDFS 的名称空间 
​ 管理数据块(Block)映射信息 
​ 配置副本策略 
​ 处理客户端读写请求。 
3DataNode:就是SlaveNameNode 下达命令,DataNode 执行实际的操作。

​ 存储实际的数据块。 
​ 执行数据块的读/写操作。 
4Secondary NameNode:并非 NameNode 的热备。当NameNode 挂掉的时候,它并不能马上替换 NameNode 并提供服务。

​ 辅助 NameNode,分担其工作量。 
​ 定期合并 fsimage和fsedits,并推送给NameNode。 
​ 在紧急情况下,可辅助恢复 NameNode。


NameNode作用 :

1、NameNode元数据信息 文件名,文件目录结构,文件属性(生成时间,副本数,权限)每个 
文件的块列表。 以及列表中的块与块所在的DataNode之间的地址映射关系 在内存中加载文件 
系统中每个文件和每个数据块的引用关系(文件、block、datanode之间的映射信息) 数据会定 
期保存到本地磁盘(fsImage文件和edits文件) 
2、NameNode文件操作 NameNode负责文件元数据的操作 DataNode负责处理文件内容的读写 
请求,数据流不经过NameNode,会询问它跟那个DataNode联系 
3、NameNode副本 文件数据块到底存放到哪些DataNode上,是由NameNode决定的,NN根 
据全局情况做出放置副本的决定 
4、NameNode心跳机制 全权管理数据块的复制,周期性的接受心跳和块的状态报告信息(包 
含该DataNode上所有数据块的列表) 若接受到心跳信息,NameNode认为DataNode工作正 
常,如果在10分钟后还接受到不到DN的心跳,那么NameNode认为DataNode已经宕机 ,这时候 
NN准备要把DN上的数据块进行重新的复制。 块的状态报告包含了一个DN上所有数据块的列 
表,blocks report 每个1小时发送一次.


DataNode作用 
提供真实文件数据的存储服务。 
1、Data Node以数据块的形式存储HDFS文件 
2、Data Node 响应HDFS 客户端读写请求 
3、Data Node 周期性向NameNode汇报心跳信息 
4、Data Node 周期性向NameNode汇报数据块信息 
5、Data Node 周期性向NameNode汇报缓存数据块信息


HDFS 文件副本机制 
所有的文件都是以 block 块的方式存放在 HDFS 文件系统当中,作用如下

  1. 一个文件有可能大于集群中任意一个磁盘,引入块机制,可以很好的解决这个问题

  2. 使用块作为文件存储的逻辑单位可以简化存储子系统

  3. 块非常适合用于数据备份进而提供数据容错能力

机架感知 
HDFS分布式文件系统的内部有一个副本存放策略:以默认的副本数=3为例: 
1、第一个副本块存本机

2、第二个副本块存跟本机同机架内的其他服务器节点

3、第三个副本块存不同机架的一个服务器节点上


HDFS 的元数据辅助管理

当 Hadoop 的集群当中, NameNode的所有元数据信息都保存在了 FsImage 与 Eidts 文件当中,这两个文件就记录了所有的数据的元数据信息, 元数据信息的保存目录配置在了 hdfssite.xml 当中

  1. <property>
  2. <name>dfs.namenode.name.dir</name>
  3. <value>
  4. file:///export/servers/hadoop2.7.5/hadoopDatas/namenodeDatas,
  5. file:///export/servers/hadoop-
  6. 2.7.5/hadoopDatas/namenodeDatas2
  7. </value>
  8. </property>
  9. <property>
  10. <name>dfs.namenode.edits.dir</name>
  11. <value>file:///export/servers/hadoop-
  12. 2.7.5/hadoopDatas/nn/edits</value
  13. </property>>

11.1 FsImage 和 Edits 详解

edits

  • edits 存放了客户端最近一段时间的操作日志
  • 客户端对 HDFS 进行写文件时会首先被记录在 edits 文件中
  • edits 修改时元数据也会更新

fsimage

  • NameNode 中关于元数据的镜像, 一般称为检查点, fsimage 存放了一份比较完整的元数据信息
  • 因为 fsimage 是 NameNode 的完整的镜像, 如果每次都加载到内存生成树状拓扑结构,这是非常耗内存和CPU, 所以一般开始时对 NameNode 的操作都放在 edits 中
  • fsimage 内容包含了 NameNode 管理下的所有 DataNode 文件及文件 block 及 block所在的 DataNode 的元数据信息
  • .随着 edits 内容增大, 就需要在一定时间点和 fsimage 合并

11.4 SecondaryNameNode 如何辅助管理 fsimage 与 edits 文件?

SecondaryNameNode 定期合并 fsimage 和 edits, 把 edits 控制在一个范围内

配置 SecondaryNameNode

SecondaryNameNode 在 conf/masters 中指定

在 masters 指定的机器上, 修改 hdfs-site.xml

  1. <property>
  2. <name>dfs.http.address</name>
  3. <value>host:50070</value>
  4. </property>

修改 core-site.xml , 这一步不做配置保持默认也可以

  1. <!-- 多久记录一次 HDFS 镜像, 默认 1小时 -->
  2. <property>
  3. <name>fs.checkpoint.period</name>
  4. <value></value>
  5. </property>
  6. <!-- 一次记录多大, 默认 64M -->
  7. <property>
  8. <name>fs.checkpoint.size</name>
  9. <value></value>
  10. </property>
  • SecondaryNameNode 通知 NameNode 切换 editlog
  • SecondaryNameNode 从 NameNode 中获得 fsimage 和 editlog(通过http方式)
  • SecondaryNameNode 将 fsimage 载入内存, 然后开始合并 editlog, 合并之后成为新的fsimage
  • SecondaryNameNode 将新的 fsimage 发回给 NameNode
  • NameNode 用新的 fsimage 替换旧的 fsimage

HDFS---API常规操作

常用Maven依赖

  1. <dependencies>
  2. <dependency>
  3. <groupId>org.apache.hadoop</groupId>
  4. <artifactId>hadoop-common</artifactId>
  5. <version>2.7.5</version>
  6. </dependency>
  7. <dependency>
  8. <groupId>org.apache.hadoop</groupId>
  9. <artifactId>hadoop-client</artifactId>
  10. <version>2.7.5</version>
  11. </dependency>
  12. <dependency>
  13. <groupId>org.apache.hadoop</groupId>
  14. <artifactId>hadoop-hdfs</artifactId>
  15. <version>2.7.5</version>
  16. </dependency>
  17. <dependency>
  18. <groupId>org.apache.hadoop</groupId>
  19. <artifactId>hadoop-mapreduce-client-core</artifactId>
  20. <version>2.7.5</version>
  21. </dependency>
  22. <dependency>
  23. <groupId>junit</groupId>
  24. <artifactId>junit</artifactId>
  25. <version>RELEASE</version>
  26. </dependency>
  27. </dependencies>
  28. <build>
  29. <plugins>
  30. <plugin>
  31. <groupId>org.apache.maven.plugins</groupId>
  32. <artifactId>maven-compiler-plugin</artifactId>
  33. <version>3.1</version>
  34. <configuration>
  35. <source>1.8</source>
  36. <target>1.8</target>
  37. <encoding>UTF-8</encoding>
  38. <!-- <verbal>true</verbal>-->
  39. </configuration>
  40. </plugin>
  41. <plugin>
  42. <groupId>org.apache.maven.plugins</groupId>
  43. <artifactId>maven-shade-plugin</artifactId>
  44. <version>2.4.3</version>
  45. <executions>
  46. <execution>
  47. <phase>package</phase>
  48. <goals>
  49. <goal>shade</goal>
  50. </goals>
  51. <configuration>
  52. <minimizeJar>true</minimizeJar>
  53. </configuration>
  54. </execution>
  55. </executions>
  56. </plugin>
  57. </plugins>
  58. </build>

获取 FileSystem

  1. @Test
  2. public void getFileSystem2() throws URISyntaxException, IOException {
  3. FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new Configuration());
  4. System.out.println(fileSystem);
  5. }

hdfs文件的遍历

  1. /*
  2. hdfs文件的遍历
  3. */
  4. @Test
  5. public void listFiles() throws URISyntaxException, IOException {
  6. //1:获取FileSystem实例
  7. FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new Configuration());
  8. //2:调用方法listFiles 获取 /目录下所有的文件信息
  9. RemoteIterator<LocatedFileStatus> iterator = fileSystem.listFiles(new Path("/"), true);
  10. //3:遍历迭代器
  11. while (iterator.hasNext()){
  12. LocatedFileStatus fileStatus = iterator.next();
  13. //获取文件的绝对路径 : hdfs://node01:8020/xxx
  14. System.out.println(fileStatus.getPath() + "----" +fileStatus.getPath().getName());
  15. //文件的block信息
  16. BlockLocation[] blockLocations = fileStatus.getBlockLocations();
  17. System.out.println("block数:"+blockLocations.length);
  18. }
  19. }

hdfs创建文件夹

  1. /*
  2. hdfs创建文件夹
  3. */
  4. @Test
  5. public void mkdirsTest() throws URISyntaxException, IOException {
  6. //1:获取FileSystem实例
  7. FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new Configuration());
  8. //2:创建文件夹
  9. //boolean bl = fileSystem.mkdirs(new Path("/aaa/bbb/ccc"));
  10. fileSystem.create(new Path("/aaa/bbb/ccc/a.txt"));
  11. fileSystem.create(new Path("/aaa2/bbb/ccc/a.txt"));
  12. //System.out.println(bl);
  13. //3: 关闭FileSystem
  14. //fileSystem.close();
  15. }

实现文件的下载

  1. /*
  2. 实现文件的下载
  3. */
  4. @Test
  5. public void downloadFile2() throws URISyntaxException, IOException, InterruptedException {
  6. //1:获取FileSystem
  7. FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new Configuration(),"root");
  8. //2:调用方法,实现文件的下载
  9. fileSystem.copyToLocalFile(new Path("/a.txt"), new Path("D://a4.txt"));
  10. //3:关闭FileSystem
  11. fileSystem.close();
  12. }

文件的上传

  1. /*
  2. 文件的上传
  3. */
  4. @Test
  5. public void uploadFile() throws URISyntaxException, IOException {
  6. //1:获取FileSystem
  7. FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new Configuration());
  8. //2:调用方法,实现上传
  9. fileSystem.copyFromLocalFile(new Path("D://set.xml"), new Path("/"));
  10. //3:关闭FileSystem
  11. fileSystem.close();
  12. }

小文件的合并

  1. /*
  2. 小文件的合并
  3. */
  4. @Test
  5. public void mergeFile() throws URISyntaxException, IOException, InterruptedException {
  6. //1:获取FileSystem(分布式文件系统)
  7. FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new Configuration(),"root");
  8. //2:获取hdfs大文件的输出流
  9. FSDataOutputStream outputStream = fileSystem.create(new Path("/big_txt.txt"));
  10. //3:获取一个本地文件系统
  11. LocalFileSystem localFileSystem = FileSystem.getLocal(new Configuration());
  12. //4:获取本地文件夹下所有文件的详情
  13. FileStatus[] fileStatuses = localFileSystem.listStatus(new Path("D:\\input"));
  14. //5:遍历每个文件,获取每个文件的输入流
  15. for (FileStatus fileStatus : fileStatuses) {
  16. FSDataInputStream inputStream = localFileSystem.open(fileStatus.getPath());
  17. //6:将小文件的数据复制到大文件
  18. IOUtils.copy(inputStream, outputStream);
  19. IOUtils.closeQuietly(inputStream);
  20. }
  21. //7:关闭流
  22. IOUtils.closeQuietly(outputStream);
  23. localFileSystem.close();
  24. fileSystem.close();
  25. }

hadoop(一HDFS)的更多相关文章

  1. Hadoop之HDFS文件操作常有两种方式(转载)

    摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式.本文介绍如何利用这两种方式对HDFS文件进行操作. 关键词:HDFS文件    命令行     Java API HD ...

  2. 搭建maven开发环境测试Hadoop组件HDFS文件系统的一些命令

    1.PC已经安装Eclipse Software,测试平台windows10及Centos6.8虚拟机 2.新建maven project 3.打开pom.xml,maven工程项目的pom文件加载以 ...

  3. Hadoop入门--HDFS(单节点)配置和部署 (一)

    一 配置SSH 下载ssh服务端和客户端 sudo apt-get install openssh-server openssh-client 验证是否安装成功 ssh username@192.16 ...

  4. Hadoop操作hdfs的命令【转载】

    本文系转载,原文地址被黑了,故无法贴出原始链接. Hadoop操作HDFS命令如下所示: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 ...

  5. hadoop执行hdfs文件到hbase表插入操作(xjl456852原创)

    本例中需要将hdfs上的文本文件,解析后插入到hbase的表中. 本例用到的hadoop版本2.7.2 hbase版本1.2.2 hbase的表如下: create 'ns2:user', 'info ...

  6. Hadoop学习-HDFS篇

    HDFS设计基础与目标 硬件错误是常态.因此需要冗余 流式数据访问.即数据批量读取而非随机读写,Hadoop擅长做的是数据分析而不是事务处理(随机性的读写数据等). 大规模数据集 简单一致性模型.为了 ...

  7. Hadoop之HDFS原理及文件上传下载源码分析(下)

    上篇Hadoop之HDFS原理及文件上传下载源码分析(上)楼主主要介绍了hdfs原理及FileSystem的初始化源码解析, Client如何与NameNode建立RPC通信.本篇将继续介绍hdfs文 ...

  8. Hadoop之HDFS及NameNode单点故障解决方案

    Hadoop之HDFS 版权声明:本文为yunshuxueyuan原创文章.如需转载请标明出处: http://www.cnblogs.com/sxt-zkys/QQ技术交流群:299142667 H ...

  9. Hadoop基础-HDFS集群中大数据开发常用的命令总结

    Hadoop基础-HDFS集群中大数据开发常用的命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本盘博客仅仅列出了我们在实际生成环境中常用的hdfs命令,如果想要了解更多, ...

  10. Hadoop基础-HDFS的API常见操作

    Hadoop基础-HDFS的API常见操作 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本文主要是记录一写我在学习HDFS时的一些琐碎的学习笔记, 方便自己以后查看.在调用API ...

随机推荐

  1. (八)树控件(Tree Control),标签控件(tab control)

    树控件 基于对话框创建工程 // 01_TreeCtrlDlg.cpp : 实现文件 // #include "stdafx.h" #include "01_TreeCt ...

  2. 【8.27-模拟赛】remove

    题解: 代码: #include<iostream> #include<algorithm> #include<cstdio> #include<cstrin ...

  3. Django基础之response对象

    与由DJango自动创建的HttpRequest对象相比, HttpResponse对象是我们的职责范围了. 我们写的每个视图都需要实例化, 填充和返回一个HttpResponse. HttpResp ...

  4. python并发——从线程池获取返回值

    并发是快速处理大量相似任务的绝佳办法,但对于有返回值的方法,需要一个容器专门来存储每个进程处理完的结果 from multiprocessing import Pool import time #返回 ...

  5. 消息中间件RabbitMQ的使用

    原理场景 MQ在所有项目里面都很常见, 1.减少非紧急性任务对整个业务流程造成的延时: 2.减少高并发对系统所造成的性能上的影响: 举例几个场景: 1.给注册完成的用户派发优惠券.加积分.发消息等(派 ...

  6. skbuff

    在2.6.24之后这个结构体有了较大的变化,此处先说一说2.6.16版本的sk_buff,以及解释一些问题. 一. 先直观的看一下这个结构体~~~~~~~~~~~~~~~~~~~~~~在下面解释每个字 ...

  7. Nginx数据结构之散列表

    1. 散列表(即哈希表概念) 散列表是根据元素的关键码值而直接进行访问的数据结构.也就是说,它通过把关键码值映射到表中一个位置来访问记录, 以加快查找速度.这个映射函数 f 叫做散列方法,存放记录的数 ...

  8. 基于DAT的中文分词方法的研究与实现

    一.从Trie说起 DAT是Double Array Trie的缩写,说到DAT就必须先说一下trie是什么.Trie树是哈希树的一种,来自英文单词"Retrieval"的简写,可 ...

  9. torch学习中的难点

    https://github.com/zergtant/pytorch-handbook/blob/master/chapter2/2.1.4-pytorch-basics-data-lorder.i ...

  10. SpringCloud(1)----基于RestTemplate微服务项目

    在写SpringCloud搭建微服务之前,我想先搭建一个不通过springcloud只通过SpringBoot和Mybatis进行模块之间额通讯.然后在此基础上再添加SpringCloud框架. 下面 ...