原创播客,如需转载请注明出处.原文地址:http://www.cnblogs.com/crawl/p/7751741.html ---------------------------------------------------------------------------------------------------------------------------------------------------------- 笔记中提供了大量的代码示例,需要说明的是,大部分代码示例都是本…

今天发这个的目的是为了给自己扫开迷茫,告诉自己该进阶了,下面内容不一定官方和正确.全然个人理解,欢迎大家留言讨论 1.什么是hadoop 答:是google的核心算法MapReduce的一个开源实现. 用于海量数据的并行处理. hadoop的核心主要包括:HDFS和MapReduce HDFS是分布式文件系统.用于分布式存储海量数据. MapReduce是分布式数据处理模型,本质是并行处理. 2.用hadoop来做什么? 1.最简单的.做个数据备份/文件归档的地方.这利用了hadoop海量数据的…

很多初学者在刚刚接触大数据的时候会有很多疑惑,比如对MapReduce.Storm.Spark三个计算框架的理解经常会产生混乱. 哪一个适合对大量数据进行处理?哪一个又适合对实时的流数据进行处理?又该如何来区分他们呢? 我对比整理了这3个计算框架的基本知识,大家可以了解一下以便对这个3个计算框架有一个整体的认识. 大数据学习群119599574 MapReduce 分布式离线计算框架 主要适用于大批量的集群任务,由于是批量执行,故时效性偏低. 原生支持 Java 语言开发 MapReduce ,…

颜色区别: 蓝色:hive,橙色:Hbase.黑色hadoop 请简述hadoop怎样实现二级排序． 你认为用Java,Streaming,pipe 方式开发map/reduce,各有哪些优缺点: 6. 请列出在你以前工作中所使用过的开发map /reduce的语言java:scala:python:shell: 7.当前日志采样格式为a,b,c,db,b,f,ea,a,c,f请用最熟悉的语言编写一个map/reduce 程序,计算第四列每个元素出现的个数: 14.某个目录下有两个文件a.txt…

Hadoop 面试题之十 548.redis有什么特别之处,为什么用redis,用hbase 不行么? 答:redis 是基于内存的数据库,速度快 551.redis用什么版本? 3.0以上才支持集群 553.redis安装时候遇到什么问题? log日志文件不存在,需要自己创建才能成功 .redis-server /redis.conf redis-cli 514.Redis的基本类型 答:基本类型就是key 只能是string类型 而value可以是 stirng hash 字符串列表list…

Hadoop 面试题之九 16.Hbase 的rowkey 怎么创建比较好?列族怎么创建比较好? 答: 19.Hbase 内部是什么机制? 答: 73.hbase 写数据的原理是什么? 答: 75.hbase宕机如何处理? 答: 144. 如果让你设计,你觉得一个分布式文件系统应该如何设计,考虑哪方面内容: 每天百亿数据入hbase,如何保证数据的存储正确和在规定的时间里全部录入完毕, 不残留数据. 答: 149.hbase过滤器实现原则. 答: 164.介绍一下hbase过滤器. 答: 167…

Hadoop 面试题之八 355.metaq 消息队列 zookeeper 集群 storm集群(包括 zeromq,jzmq,和 storm 本身)就可以完成对商城推荐系统功能吗?还有其他的中间件? 356.storm怎么完成对单词的计数?(个人看完storm 后一直都认为他是流处理,好像没有积攒数据的能力,都是处理完之后直接分发给下一个组件) 357.storm 其他的一些面试经常问的问题?…

Hadoop 面试题,看看书找答案,看看你能答对多少(2) 1. 下面哪个程序负责 HDFS 数据存储.a)NameNode  b)Jobtracker  c)Datanode d)secondaryNameNode e)tasktracker 答案C datanode 2. HDfS 中的 block 默认保存几份?a)3 份 b)2 份c)1 份d)不确定 答案A默认3分 3. 下列哪个程序通常与 NameNode 在一个节点启动?a)SecondaryNameNode b)DataNode…

何谓海量数据处理? 所谓海量数据处理,无非就是基于海量数据上的存储.处理.操作.何谓海量,就是数据量太大,所以导致要么是无法在较短时间内迅速解决,要么是数据太大,导致无法一次性装入内存. 那解决办法呢?针对时间,我们可以采用巧妙的算法搭配合适的数据结构,如Bloom filter/Hash/bit-map/堆/数据库或倒排索引/trie树,针对空间,无非就一个办法:大而化小:分而治之/hash映射,你不是说规模太大嘛,那简单啊,就把规模大化为规模小的,各个击破不就完了嘛. 至于所谓的单机及集群问…

hadoop面试题 Q1. Name the most common InputFormats defined in Hadoop? Which one is default ? Following 2 are most common InputFormats defined in Hadoop - TextInputFormat - KeyValueInputFormat - SequenceFileInputFormat Q2. What is the difference between …