颜色区别: 蓝色:hive,橙色:Hbase.黑色hadoop 请简述hadoop怎样实现二级排序． 你认为用Java,Streaming,pipe 方式开发map/reduce,各有哪些优缺点: 6. 请列出在你以前工作中所使用过的开发map /reduce的语言java:scala:python:shell: 7.当前日志采样格式为a,b,c,db,b,f,ea,a,c,f请用最熟悉的语言编写一个map/reduce 程序,计算第四列每个元素出现的个数: 14.某个目录下有两个文件a.txt…

Hadoop 面试题之十 548.redis有什么特别之处,为什么用redis,用hbase 不行么? 答:redis 是基于内存的数据库,速度快 551.redis用什么版本? 3.0以上才支持集群 553.redis安装时候遇到什么问题? log日志文件不存在,需要自己创建才能成功 .redis-server /redis.conf redis-cli 514.Redis的基本类型 答:基本类型就是key 只能是string类型 而value可以是 stirng hash 字符串列表list…

Hadoop 面试题之九 16.Hbase 的rowkey 怎么创建比较好?列族怎么创建比较好? 答: 19.Hbase 内部是什么机制? 答: 73.hbase 写数据的原理是什么? 答: 75.hbase宕机如何处理? 答: 144. 如果让你设计,你觉得一个分布式文件系统应该如何设计,考虑哪方面内容: 每天百亿数据入hbase,如何保证数据的存储正确和在规定的时间里全部录入完毕, 不残留数据. 答: 149.hbase过滤器实现原则. 答: 164.介绍一下hbase过滤器. 答: 167…

Hadoop 面试题之八 355.metaq 消息队列 zookeeper 集群 storm集群(包括 zeromq,jzmq,和 storm 本身)就可以完成对商城推荐系统功能吗?还有其他的中间件? 356.storm怎么完成对单词的计数?(个人看完storm 后一直都认为他是流处理,好像没有积攒数据的能力,都是处理完之后直接分发给下一个组件) 357.storm 其他的一些面试经常问的问题?…

Hadoop 面试题,看看书找答案,看看你能答对多少(2) 1. 下面哪个程序负责 HDFS 数据存储.a)NameNode  b)Jobtracker  c)Datanode d)secondaryNameNode e)tasktracker 答案C datanode 2. HDfS 中的 block 默认保存几份?a)3 份 b)2 份c)1 份d)不确定 答案A默认3分 3. 下列哪个程序通常与 NameNode 在一个节点启动?a)SecondaryNameNode b)DataNode…

还在用着以前的大数据Hadoop面试题去美团面试吗?互联网发展迅速的今天,如果不及时更新自己的技术库那如何才能在众多的竞争者中脱颖而出呢? 奉行着"吃喝玩乐全都有"和"美团一次美一次"的服务宣传宗旨的美团APP,是不是早已经在自己手机上赫然存在了好久,作为程序员的你是不是做梦都想进去工作呢?毕竟是知名企业而且薪资待遇是何等的诱人. 下面是我们学生面试大数据工程师时经历的面试题,就业讲师将其整理一些重要的技术面试题,大家可以根据自己学习的大数据技术知识进行整理一下,用…

剑指offer之面试题37 两个链表的第一个公共结点 提交网址: http://www.nowcoder.com/practice/6ab1d9a29e88450685099d45c9e31e46?tpId=13&tqId=11189 leetcode 160: https://leetcode.com/problems/intersection-of-two-linked-lists/ 参与人数:3252   时间限制:1秒   空间限制:32768K 本题知识点: 链表 时间空间效率的平衡题…

一.hdfs的高可用 1.先说下自己的理解, 正常的hdfs有namenode,datanode,secondnamenode,但是second name node 不是真正意义上的namenode备份,只能说当namenode挂掉,可以从second name node补回一些数据,减少损失 2.那hdfs高可用的怎么实现的呢, 通过journalnode +  zkfc 这个角色 进行实时的数据同步, 和故障切换 二.ext4和xfs的区别 xfs支持8eb -1 的容量 ext4只支持1e…

找了这篇文章看了一下面试题<Spark 和hadoop的一些面试题(准备)> http://blog.csdn.net/qiezikuaichuan/article/details/51578743 其中有一道题目很不错,详见: http://www.aboutyun.com/thread-18826-1-1.html http://www.cnblogs.com/lucius/p/3483494.html 我觉得可以在Hadoop上面实际编程做一下. 我觉得第一篇文章里面下面这一段总结的很好…

1.Hive 有哪些方式保存元数据,各有哪些特点. 15. Hive内部表和外部表的区别 23.hive底层与数据库交互原理Hive的Hql语句掌握情况? 36.使用Hive或自定义mr实现如下逻辑: product_no lac_id moment start_time user_id county_id staytime city_id 13429100031 22554 8 2013-03-11 08:55:19.151754088 571 571 282 571 13429100082…