(一).hadoop的内置数据类型都实现了writablecompareable,以便序列化和网络传输及文件存储 a自定义数据类型作为输入 1.实现writable接口 2.如果给数据需要比较大小时,实现writablecompareable接口 b数据输入格式和recordreader 数据输入格式(inputformat)用于描述maoreduce作业中的数据输入规范,mapreduce依靠数据输入规范完成数据文件的输入分块(inputsplit),从输入分块中将数据记录逐一读出,并转换为m…

1.小文件合并:如果文件有一定的规律或者是在同一个文件夹下,可以采用获取文件夹下所有的文件,通过流进行合并,然后再存到hdfs上. 2.mapreduce的优点:1.离线计算.2.高容错性,一个节点挂了可以将计算转移到另一个节点.3.易扩展,廉价机器随便加.缺点就是做不到实时计算. 3.链接mapreduce有三种方式:迭代式,就是上一个的输出数据为下一个的输入数据,依赖式,一个mapreduce可能依赖于多个mapreduce,线性式,可以链接过多个mapper,一个mapreduce可以有多…

HDFS 命令 命令 说明 fsck 检查文件的完整性 start-balancer.sh 重新平衡HDFS hdfs dfs -copyFromLocal 从本地磁盘复制文件到HDFS hadoop 配置 有两种配置文件: 一种是-default.xml(只读,默认的配置) 一种是-site.xml(替换default中的配置) core-site.xml 配置公共属性 hdfs-site.xml 配置HDFS yarn-site.xml 配置YARN mapred-site.xml 配置Ma…

关于元数据的checkpoint 每隔一段时间,会由secondary namenode将namenode上积累的所有edits和一个最新的fsimage下载到本地,并加载到内存进行merge(这个过程称为checkpoint) namenode和secondary namenode的工作目录存储结构完全相同,所以,当namenode故障退出需要重新恢复时,可以从secondary namenode的工作目录中将fsimage拷贝到namenode的工作目录,以恢复namenode的元数据 hd…

YARN设计理念与基本架构 1,MRv1的局限性:扩展性差,可靠性差,资源利用率低,无法支持多种计算框架 2,YARN基本设计思想 1)基本框架对比 Hadoop1.0中,JobTracker由资源管理和作业控制两部分组成 MRv1的局限性多,正是由于Hadoop对JobTracker赋予的功能过多而造成负载过重 从设计角度,Hadoop未能将资源管理相关功能与应用程序相关功能分开,造成Hadoop难以支持多种计算框架 2)MRv2的基本设计思想是将JobTracker的两个主要功能分拆成两个独…

1, hdfs设计:减少硬件错误的危害,流式数据访问,大规模数据集,简单的一致性模型 2,特点: 1)移动计算的代价比移动数据的代价低 在异构的软硬件平台间的可移植性 2)局限性 不适合低延迟性数据访问.可使用Hbase解决. 不能高效存储小文件.对NameNode压力大. 不支持多用户写入及任意修改文件.只能进行对文件的追加操作. 3,基本概念 1)块:操作系统中的文件块大小为几千字节,而磁盘块的大小为512KB. HDFS中的块是一个抽象概念,一般系统默认为64M 使用抽象块的好处: 可存储…

1,为什么需要hadoop 数据分析者面临的问题 数据日趋庞大,读写都出现性能瓶颈: 用户的应用和分析结果,对实时性和响应时间要求越来越高: 使用的模型越来越复杂,计算量指数级上升. 期待的解决方案 解决性能瓶颈,在可见的未来不会出现新瓶颈之前的技术可以平稳过渡,如SQL: 转移成本,如软硬件成本,开发成本,技能培养成本,维护成本 2,关系型数据库和MapReduce的比较: 传统关系型数据库 MapReduce 数据大小 GB PB 访问 交互式和批处理 批处理 更新 多次读写 一次写入多次读…

01 我们一起学大数据 老刘今天开始了大数据Hadoop知识点的复习,Hadoop包含三个模块,这次先分享出Hadoop中的HDFS模块的基础知识点,也算是对今天复习的内容进行一次总结,希望能够给想学大数据的同学一点帮助,也希望能够得到大佬们的批评和指点!(每个点都很重要,都不能忽视) 02 需谨记的知识点 第1点:Hadoop是什么? Hadoop,它是Apache开发的一个分布式系统基础架构,由三个模块组成:分布式存储的HDFS.分布式计算的MapReduce.资源调度引擎Yarn. 第2点…

本编随笔是小编个人参照个人的笔记.官方文档以及网上的资料等后对HDFS的概念以及运行原理进行系统性地归纳,说起来真的惭愧呀,自学了很长一段时间也没有对Hadoop知识点进行归纳,有时候在实战中或者与别人交流Hadoop相关技术时,很多概念也只是模模糊糊记得,并非很熟练.哈哈哈,趁着最后一个暑假,把自己这两年自学的大数据开发技术都系统性归纳,免得以后自己忘记了,顺便分享到自己的博客上,也给初学者等有需要的人参考. 写博客不易,如果文章有错误,请指出,觉得不错的话,请给个赞哈,谢谢~ 1.HDFS的…

------------恢复内容开始------------ Hadoop知识点 Hadoop知识点什么是HadoopHadoop和Spark差异Hadoop常见版本,有哪些特点,一般是如何进行选择Hadoop常用端口号搭建Hadoop集群的流程Hadoop中需要哪些配置文件,其作用是什么?HDFS读写流程MapReduce的Shuffle过程,Hadoop优化方案基于MapReduce做Hadoop的优化Yarn的job提交流程Yarn默认的调度器,分类,以及它们之间的区别Hadoop的参数优…