day1--大数据概念，hadoop介绍，hdfs整体运行机制

【day1--大数据概念，hadoop介绍，hdfs整体运行机制】的更多相关文章

day1--大数据概念，hadoop介绍，hdfs整体运行机制

1.什么是大数据基本概念在互联网技术发展到现今阶段,大量日常.工作等事务产生的数据都已经信息化,人类产生的数据量相比以前有了爆炸式的增长,以前的传统的数据处理技术已经无法胜任,需求催生技术,一套用来处理海量数据的软件工具应运而生,这就是大数据! 换个角度说,大数据是: 1.有海量的数据 2.有对海量数据进行挖掘的需求 3.有对海量数据进行挖掘的软件工具(hadoop.spark.storm.flink.tez.impala......) 大数据在现实生活中的具体应用电商推荐系统:基于海量的…

大数据笔记04：大数据之Hadoop的HDFS（基本概念）

1.HDFS是什么? Hadoop分布式文件系统(HDFS),被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统.它和现有的分布式文件系统有很多共同点. 2.HDFS中的基本概念 (1)块(block) " 块 " 是固定大小的存储单元,HDFS的文件被分成块进行存储,HDFS的块默认大小是64MB.文件传递过来之后,HDFS会把文件拆分成块进行管理," 块"就是文件存储处理的逻辑单元. (2)HDFS有两类节点: Name…

大数据：Hadoop（HDFS 的设计思路、设计目标、架构、副本机制、副本存放策略）

一.HDFS 的设计思路 1)思路切分数据,并进行多副本存储: 2)如果文件只以多副本进行存储,而不进行切分,会有什么问题缺点不管文件多大,都存储在一个节点上,在进行数据处理的时候很难进行并行处理,节点可能成为网络瓶颈,很难进行大数据的处理: 存储负载很难均衡,每个节点的利用率很低: 二.HDFS 的设计目标 Hadoop Distributed File System(HDFS):源于Google 的 GFS 论文: 设计目标分布式存储:根据需要,水平横向增加节点: 运行在普通廉价的硬…

大数据笔记07：大数据之Hadoop的HDFS（特点）

1. HDFS的特点: (1)数据冗余,硬件容错 (2)流式的数据访问(写一次读多次,不能直接修改已写入的数据,只能删除之后再去写入) (3)存储大文件 2. HDFS适用性和局限性适用性:(1)适合数据批量读写,吞吐量高 (2)适合一次写入多次读取,顺序读写局限性:(1)不适合交互式应用,低延迟很慢满足(比如:不能操作数据库).(2)不支持多用户并发写相同文件…

大数据：Hadoop（HDFS 读写数据流程及优缺点）

一.HDFS 写数据流程写的过程: CLIENT(客户端):用来发起读写请求,并拆分文件成多个 Block: NAMENODE:全局的协调和把控所有的请求,提供 Block 存放在 DataNode 上的地址: DATANODE:负责数据的存储,可以有很多个: 客户端想 NameNode 发出请求(包含 Blocksize 和副本数): NameNode 经过计算,反馈给客户端相同副本数的 DataNode,切给出的 DataNode 有优先存储顺序要求:(数据与 DataNode 对应时,…

大数据笔记05：大数据之Hadoop的HDFS（数据管理策略）

HDFS中数据管理与容错 1.数据块的放置每个数据块3个副本,就像上面的数据库A一样,这是因为数据在传输过程中任何一个节点都有可能出现故障(没有办法,廉价机器就是这样的),为了保证数据不能丢失,所以存在3个副本,这样保证了硬件上的容错,保证数据传递过程中准确性. 3个副本数据,放在两个机架上.比如上面机架1存在2个副本,机架2存在1个副本. (1)如果就像下面的DataNode1数据块无法使用了,可以在机架1上的DataNode2和DataNode3…

大数据笔记06：大数据之Hadoop的HDFS（文件的读写操作）

1. 首先我们看一看文件读取: (1)客户端(java程序.命令行等等)向NameNode发送文件读取请求,请求中包含文件名和文件路径,让NameNode查询元数据. (2)接着,NameNode返回元数据给客户端,告诉客户端请求的文件包含哪些块以及这些块位置(块在哪些DataNode中可以找到). 比如:下面的数据块A在DataNode1.DataNode2.DataNode4中可以找到,这些信息就会反馈给客户端,这样客户端就知道数据块A可以在DataNode1.DataNode2.DataN…