目录 目录 1 1. 前言 2 2. 部署 2 2.1. 机器列表 2 2.2. 主机名 2 2.2.1. 临时修改主机名 3 2.2.2. 永久修改主机名 3 2.3. 免密码登录范围 4 3. 约定 4 3.1. 安装目录约定 4 3.2. 服务端口约定 5 4. 工作详单 6 5. JDK安装 6 5.1. 下载安装包 6 5.2. 安装步骤 6 6. 免密码ssh2登录 7 7. Hadoop安装和配置 8 7.1. 下载安装包 8 7.2. 安装和环境变量配置 8 7.3. 修改had…

目录 目录 1 1. 前言 3 2. 特性介绍 3 3. 部署 5 3.1. 机器列表 5 3.2. 主机名 5 3.2.1. 临时修改主机名 6 3.2.2. 永久修改主机名 6 3.3. 免密码登录范围 7 3.4. 修改最大可打开文件数 7 3.5. OOM相关:vm.overcommit_memory 7 4. 约定 7 4.1. 安装目录约定 7 4.2. 服务端口约定 9 4.3. 各模块RPC和HTTP端口 10 5. 工作详单 10 6. JDK安装 10 6.1. 下载安装包…

Hadoop 2.6.0分布式部署參考手冊 关于本參考手冊的word文档.能够到例如以下地址下载:http://download.csdn.net/detail/u012875880/8291493 1.环境说明 1.1安装环境说明 本列中.操作系统为Centos 7.0.JDK版本号为Oracle HotSpot 1.7,Hadoop版本号为Apache Hadoop 2.6.0.操作用户为hadoop. 2.2 Hadoop集群环境说明: 集群各节点信息參考例如以下: 主机名 IP地址 角色…

SSH无密安装与配置 具体配置步骤: ◎ 在root根目录下创建.ssh目录 (必须root用户登录) cd /root & mkdir .ssh chmod 700 .ssh & cd .ssh ◎ 创建密码为空的 RSA 密钥对: ssh-keygen -t rsa -P "" ◎ 在提示的对称密钥名称中输入 id_rsa将公钥添加至 authorized_keys 中: cat id_rsa.pub >> authorized_keys chmod 6…

三台虚拟机,IP地址通过路由器静态DHCP分配 (这样就无需设置host了). 三台机器信息如下 -      1. hadoop-a: 192.168.0.20  #master     2. hadoop-b: 192.168.0.21  #slave     3. hadoop-c: 192.168.0.22  #slave CenOS 7.0, Hadoop 2.6.0 1. 设置ssh无密码登陆(略)#可参考课程PPT或者 http://my.oschina.net/u/1169607…

本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit   本机名称 hadoop001   本机IP 192.168.3.128   JDK jdk-8u40-linux-x64.rpm 点此下载 Hadoop 2.7.3 点此下载 Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列,比较老的教材上用的可能是 0.20 这样的版本.Hadoop 2.x 版本在…

前言 本文主要通过对hadoop2.2.0集群配置的过程加以梳理,所有的步骤都是通过自己实际测试.文档的结构也是根据自己的实际情况而定,同时也会加入自己在实际过程遇到的问题.搭建环境过程不重要,重要点在于搭建过程中遇到的问题,解决问题的过程. 可能自己遇到的问题在一些由经验的老者手上都不是问题,但是这些问题着实让自己耽误了很长时间,最后问题解决也是费了太大心血.也通过这篇文档,表现出来,算是总结,为后者提供意见. Hadoop2.2.0体系结构 要想理解本节内容,首先需要了解hadoop1的体系…

前言 在寒假前的一段时间,开始调研Hadoop2.2.0搭建过程,当时苦于没有机器,只是在3台笔记本上,简单跑通一些数据.一转眼一两个月过去了,有些东西对已经忘了.现在实验室申请下来了,分了10台机器(4G+500G),这足够我们玩的了.开始搭建Hadoop2.2.0分布式集群,也趁着这个机会把整个流程梳理一下. 在很多博客中有关于Hadoop2.2.0版本的安装过程,有的很全,但是按照去做,还是会出现一些问题卡在那里.有的时候需要结合几篇文档去搭建平台.在这篇博客汇总会把我们遇到的问题,以及搭…

目录 目录 1 1. 前言 3 2. 特性介绍 3 3. 部署 5 3.1. 机器列表 5 3.2. 主机名 5 3.2.1. 临时修改主机名 6 3.2.2. 永久修改主机名 6 3.3. 免密码登录范围 7 4. 约定 7 4.1. 安装目录约定 7 4.2. 服务端口约定 8 4.3. 各模块RPC和HTTP端口 9 5. 工作详单 9 6. JDK安装 9 6.1. 下载安装包 9 6.2. 安装步骤 10 7. 免密码ssh2登录 10 8. Hadoop安装和配置 11 8.1. 下…

文件夹 文件夹 1 1. 前言 2 2. 部署 2 2.1. 机器列表 2 2.2. 主机名 2 2.2.1. 暂时改动主机名 3 2.2.2. 永久改动主机名 3 2.3. 免password登录范围 4 3. 约定 4 3.1. 安装文件夹约定 4 3.2. 服务port约定 5 4. 工作详单 6 5. JDK安装 6 5.1. 下载安装包 6 5.2. 安装步骤 6 6. 免passwordssh2登录 7 7. Hadoop安装和配置 8 7.1. 下载安装包 8 7.2. 安装和环境…