HDFS02
读取流程
写流程
============SecondaryNameNode============
Namenode的一个快照
周期性的备份namenode
记录namenode中的metadata及其它数据
可以用来恢复Namenode
============HDFS优点============
高容错性 --------->
√数据自动保存多个节点
√备份丢失后，自动恢复
适合批处理 --------->
√移动计算而非数据
√数据位置暴露给计算框架
合适大数据处理 --------->
√GB、TB、甚至PB级数据
√百万规模以上的文件数量
√ 10K+节点规模
流式文件访问 --------->
√一次性写入、多次读取
√保证数据的一致性
可构建在廉价的机器上 --------->
√通过多副本提高可靠性
√提供了容错和恢复机制
============HDFS缺点============
低延迟数据访问 --------->
√比如毫秒级
√低延迟与高吞吐率
小文件存取 --------->
√占用NameNode大量内存
√寻道时间超过读取时间
并发写入、文件随时修改 --------->
√一个文件只能有一个写者
√仅支持append
HDFS02的更多相关文章
- HDFS02 HDFS的Shell操作
HDFS的Shell操作(开发重点) 目录 HDFS的Shell操作(开发重点) 基本语法 常用命令 准备工作 上传 -moveFromLocal 剪切 -copyFromLocal 拷贝 -put ...
- HDFS基本操作的API
一.从hdfs下载文件到windows本地: package com.css.hdfs01; import java.io.IOException; import java.net.URI; impo ...
随机推荐
- dutacm.club_1085_Water Problem_(矩阵快速幂)
1085: Water Problem Time Limit:3000/1000 MS (Java/Others) Memory Limit:163840/131072 KB (Java/Othe ...
- 取得数据库中数据 查询条件where使用规则
string where = string.Format("DnX < {0} and DnD > {0} and Types = '{1}' and Type1 = '{2}' ...
- nginx_gzip压缩提升网站的传输速度
gzip on; gzip_min_length 1k; gzip_buffers 16k; #gzip_http_version 1.0; gzip_comp_level ; gzip_types ...
- Rest 参数（...）
javascript 之Rest 参数(...) ES6 Rest参数 Rest就是为解决传入的参数数量不一定, rest parameter(Rest 参数) 本身就是数组,数组的相关的方法都可以用 ...
- 关于vuex的理解
刚开始学vue的时候,看到很多项目都有用vuex,抱着一种好奇的心态去看下vuex的官方文档,如下: Vuex官方文档 Vuex 是什么?Vuex 是一个专为 Vue.js 应用程序开发的状态管理模式 ...
- 安迪的第一个字典（Andy's First Dictionary，Uva 10815）
输入一个文本,找出所有不同的单词(连续的字母序列),按字典序从小到大输出.单 词不区分大小写. 样例输入: Adventures in Disneyland Two blondes were goin ...
- World Cup（The 2016 ACM-ICPC Asia China-Final Contest dfs搜索）
题目: Here is World Cup again, the top 32 teams come together to fight for the World Champion. The tea ...
- Hadoop Mapreduce 中的FileInputFormat类的文件切分算法和host选择算法
文件切分算法 文件切分算法主要用于确定InputSplit的个数以及每个InputSplit对应的数据段. FileInputFormat以文件为单位切分成InputSplit.对于每个文件,由以下三 ...
- Go：闭包
闭包就是一个函数和与其相关的引用环境组合的一个整体(实体). package main import "fmt" func add() func(int) int { i := 0 ...
- JAVA实现创建Excel表并导出（转发）
<span style="font-family:Verdana, Arial, Helvetica, sans-serif;line-height:25.2px;background ...