1. hadoop 是什么 以及解决的问题 (自行百度) 2.基本概念的讲解 1. NodeName  master 节点(NN) 主节点 保存了metaData(元数据信息) 包括文件的owener和permission ,文件包换哪些block,block保存在哪个DataNode NameNode的metaData信息在启动时会加载 到内存 ,操作文件的日志信息,edit文件,同时不断合并edit和fsimage 这两个文件就可以记录 HDFS 上所有文件的信息 2.secondary N…

一些介绍 Hadoop 2和Hadoop 3的端口区别 Hadoop 3 HDFS集群架构 我的集群规划 name ip role 61 192.168.3.61 namenode,datanode 62 192.168.3.62 datanode 63 192.168.3.63 secondnamenode 64 192.168.3.64 datanode 1.安装JDK 利用FileZilla sftp功能进行上传到指定文件夹下/root/software,下图是配置sftp.解压使用命令t…

2. Hadoop三种集群方式 1. 三种集群方式 本地模式 hdfs dfs -ls / 不需要启动任何进程 伪分布式 所有进程跑在一个机器上 完全分布式 每个机器运行不同的进程 2. 服务器基本配置 2.1 服务器配置及系统版本 CPU: 2核 内存: 4G 系统版本: Centos7 1511 2.2 服务器IP及主机名设置 服务器数量: 五台机器 主机名 公网IP 内网IP hadoop-1 192.168.10.145 172.16.1.207 hadoop-2 192.168.10.…

搭建过程中配置免密钥登录为了以后方便使用 [提醒]安装Hadoop中会遇到新建文件夹,配置路径等问题,这个不能生搬硬套,要使用自己配置的路径,灵活使用. Hadoop的部署配置文件在http://blog.csdn.net/beeman_xia/article/details/53391479 当初我练习这个不下十遍,熟能生巧,各位加油! 1新建master和slave两台虚拟机 2测试能否上网(浏览器登录) 3修改主机名,原始名都为localhost,为了方便区分,改名为master和slav…

原文地址  http://blog.sina.com.cn/s/blog_7060fb5a0101cson.html Hadoop HDFS分布式环境搭建 最近选择给大家介绍Hadoop HDFS系统,因此研究了一下如何在Linux 下配置一个HDFS Clust.小记一下,以备将来进一步研究和记忆. HDFS简介 全称 Hadoop Distributed File System, Hadoop分布式文件系统. 根据Google的GFS论文,由Doug Cutting使用JAVA开发的开源项目…

一.HDFS的相关基本概念 1.数据块 1.在HDFS中,文件诶切分成固定大小的数据块,默认大小为64MB(hadoop2.x以后是128M),也可以自己配置. 2.为何数据块如此大,因为数据传输时间超过寻到时间(高吞吐率). 3.文件的存储方式,按大小被切分成若干个block,存储在不同的节点上,默认情况下每个block有三个副本. 2.复制因子 就是一个block分为多少个副本,默认情况下是3个 3.fsimage文件作用: fsimage是元数据镜像文件(保存文件系统的目录树). 4.ed…

超详细解说Hadoop伪分布式搭建 原文http://www.tuicool.com/articles/NBvMv2原原文 http://wojiaobaoshanyinong.iteye.com/blog/1946817 单节点伪分布式Hadoop配置 (声明:文档里面需要用户输入的均已斜体表示) 第一步: 安装JDK 因为 Hadoop 运行必须安装 JDK 环境,因此在安装好 Linux 后进入系统的第一步 便是安装 JDK ,安装过程和在 Windows 环境中的安装步骤很类似,首先去…

前一段时间,终于抽出了点时间,在自己本地机器上尝试搭建完全分布式Hadoop集群环境,也是借助网络上虾皮的Hadoop开发指南系列书籍一步步搭建起来的,在这里仅代表hadoop初学者向虾皮表示衷心的感谢,他总结的系列文档确实帮我们扫除了很多hadoop环境搭建过程中的障碍. 自己不班门弄斧,就自己在搭建和调试过程中遇到的问题给出方案,希望以后的伙伴少走一点弯路,下面就搭建过程中遇到的几个问题给出总结:  说明:本次搭建hadoop集群环境时,本人使用的是hadoop-2.2.0版本,目前Apac…

1.新建三台机器,分别为: hadoop分布式搭建至少需要三台机器: master extension1 extension2 本文利用在VMware Workstation下安装Linux centOS,安装教程请看: VMware Workstation下安装Linux 2.编辑ip 用ifconfig查看本机ip: [root@master ~]# ifconfig eno16777736: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1…

下载的压缩文件放在~/software/    解压安装在~/app/ 一:分布式文件系统搭建HDFS 1,下载Hadoop HDFS环境搭建    使用版本:hadoop-2.6.0-cdh5.7.0 下载:wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz 解压:tar http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.…