http://blog.csdn.net/haohaixingyun/article/details/52819457 http://blog.csdn.net/kingmax54212008/article/details/51257067 http://blog.csdn.net/lxhandlbb/article/details/54599512 http://blog.csdn.net/SCGH_Fx/article/details/71124477 http://blog.csdn.n…

1.列出安装Hadoop流程步骤 a) 创建hadoop账号 b) 更改ip c) 安装Java 更改/etc/profile 配置环境变量 d) 修改host文件域名 e) 安装ssh 配置无密码登录 f) 解压hadoop g) 配置hadoop  conf下面的配置文件 h) Hadoop namenode -format  格式化 i) Start 启动 2.列出hadoop集群启动中的所有进程和进程的作用 a) Namenode 管理集群  记录namenode文件信息 b) Seco…

一.         linux部分 请阐述swap分区作用,您认为hadoop集群中的linux是否必须有swap分区? 答:在Linux中,如果一个进程的内存空间不足,那么,它会将内存中的部分数据暂时写到磁盘上,当需要时,再将磁盘上的数据动态置换到内存中,通常而言,这种行为会大大降低进程的执行效率.在MapReduce分布式计算环境中,用户完全可以通过控制每个作业处理的数据量和每个任务运行过程中用到的各种缓冲区大小,避免使用swap分区. 具体方法是调整/etc/sysctl.conf文件中…

Apache   软件下载 http://mirror.bit.edu.cn/apache/ 相关文档链接: Apache Hadoop 2.5.2  http://hadoop.apache.org/docs/r2.5.2/ Apache Hadoop 2.6.0  http://hadoop.apache.org/docs/r2.6.0/ sqoop 1.99.4 wiki 文档 https://cwiki.apache.org/confluence/display/SQOOP/Home s…

面试hadoop可能被问到的问题,你能回答出几个 ? 1.hadoop运行的原理? 2.mapreduce的原理? 3.HDFS存储的机制? 4.举一个简单的例子说明mapreduce是怎么来运行的 ? 5.面试的人给你出一些问题,让你用mapreduce来实现? 比如:现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url. 6.hadoop中Combiner的作用? Src: http://p-x1984.javaeye.com/blog/85984…

1.Hadoop集群可以运行的3个模式? 单机(本地)模式 伪分布式模式全分布式模式2. 单机(本地)模式中的注意点? 在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上.这里同样没有DFS,使用的是本地文件系统.单机模式适用于开发过程中运行MapReduce程序,这也是最少使用的一个模式.3. 伪分布模式中的注意点?伪分布式(Pseudo)适用于开发和测试环境,在这个模式中,所有守护进程都在同一台机器上运行.4. VM是否可以称为Pseudo?不是,两个事物,同…

1.Hadoop集群可以运行的3个模式? 单机(本地)模式 伪分布式模式 全分布式模式 2.  单机(本地)模式中的注意点? 在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上.这里同样没有DFS,使用的是本地文件系统.单机模式适用于开发过程中运行MapReduce程序,这也是最少使用的一个模式. 3.  伪分布模式中的注意点? 伪分布式(Pseudo)适用于开发和测试环境,在这个模式中,所有守护进程都在同一台机器上运行. 4.  VM是否可以称为Pseudo?…

1.简要描述如何安装配置一个开源的hadoop,只描述即可,列出完整步骤. a.创建一个用户和用户组,用来管理hadoop项目 b.修改确定ip地址:vim /etc/sysconfig/network-scripts/ifcfg-eth0 c.修改主机名:vim /etc/sysconfig/network d.修改host主机名和ip地址映射:vim /etc/hosts e.查看防火墙状态并关闭防火墙: #查看防火墙状态 service iptables status #关闭防火墙 ser…

http://wiki.apache.org/hadoop/FAQ…

0.Mappereduce采用的是Master/Slaves模型 1.Hadoop是一个开源软件框架,支持支持大数据集的存储和处理.Apache Hadoop是存储和处理大数据的解决方案你是因为: (1)可扩展性.添加任意数量的节点来提高性能 (2)可靠.尽管机器出现故障,但是仍能可靠的存储数据 (3)高可用.尽管机器出现故障,但是Hadoop仍然能够存储数据.如果机器硬件崩溃,可以从另一个路径进行访问. (4)经济. 2.Hadoop的核心组件是什么? Hadoop是一个开源软件框架,用于分布…