本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit   本机名称 hadoop001   本机IP 192.168.3.128   JDK jdk-8u40-linux-x64.rpm 点此下载 Hadoop 2.7.3 点此下载 Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列,比较老的教材上用的可能是 0.20 这样的版本.Hadoop 2.x 版本在…

目录 目录 1 1. 前言 3 2. 特性介绍 3 3. 部署 5 3.1. 机器列表 5 3.2. 主机名 5 3.2.1. 临时修改主机名 6 3.2.2. 永久修改主机名 6 3.3. 免密码登录范围 7 4. 约定 7 4.1. 安装目录约定 7 4.2. 服务端口约定 8 4.3. 各模块RPC和HTTP端口 9 5. 工作详单 9 6. JDK安装 9 6.1. 下载安装包 9 6.2. 安装步骤 10 7. 免密码ssh2登录 10 8. Hadoop安装和配置 11 8.1. 下…

目录 目录 1 1. 前言 2 2. 部署 2 2.1. 机器列表 2 2.2. 主机名 2 2.2.1. 临时修改主机名 3 2.2.2. 永久修改主机名 3 2.3. 免密码登录范围 4 3. 约定 4 3.1. 安装目录约定 4 3.2. 服务端口约定 5 4. 工作详单 6 5. JDK安装 6 5.1. 下载安装包 6 5.2. 安装步骤 6 6. 免密码ssh2登录 7 7. Hadoop安装和配置 8 7.1. 下载安装包 8 7.2. 安装和环境变量配置 8 7.3. 修改had…

前期规划 192.168.100.231                  db01 192.168.100.232                  db02 192.168.100.233                  db03 一.安装java [root@master ~]# vim /etc/profile 在末尾添加环境变量: export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera export PATH=$JAVA_HOME/bin:$J…

目录 目录 1 1. 前言 3 2. 特性介绍 3 3. 部署 5 3.1. 机器列表 5 3.2. 主机名 5 3.2.1. 临时修改主机名 6 3.2.2. 永久修改主机名 6 3.3. 免密码登录范围 7 3.4. 修改最大可打开文件数 7 3.5. OOM相关:vm.overcommit_memory 7 4. 约定 7 4.1. 安装目录约定 7 4.2. 服务端口约定 9 4.3. 各模块RPC和HTTP端口 10 5. 工作详单 10 6. JDK安装 10 6.1. 下载安装包…

基本安装步骤 安装包下载 从大数据组件下载地址下载以下组件安装包 hadoop-2.6.0-cdh5.6.0.tar.gz hbase-1.0.0-cdh5.6.0.tar.gz zookeeper-3.4.5-cdh5.6.0.tar.gz 从java下载地址下载以下组件安装包 jdk-8u144-linux-x64.tar.gz java环境 解压 tar zxvf jdk-8u144-linux-x64.tar.gz 配置环境变量 vim /etc/profile export JAVA_…

本次安装运行过程使用的是Ubuntu16.04 64位+Hadoop2.5.2+jdk1.7.0_75 Notice: Hadoop2.5.2版本默认只支持64位系统 使用的jdk可以为1.7和1.8版本的 安装过程: 1. 下载安装jdk1.7.0_75 jourluohua@jourluohua-m:~/tools$ tar -xzvf jdk-7u75-linux-x64.tar.gz 2. 设置PATH等环境变量 jourluohua@jourluohua-m:~/tools$ sudo…

一.准备工作 在伪分布式的搭建基础上修改配置,搭建全分布式hadoop环境,伪分布式安装参照 hadoop伪分布式安装. 首先准备4台虚拟机,信息如下: 192.168.1.11 namenode1 192.168.1.12 datanode1 192.168.1.13 datanode2 129.168.1.14 datanode3 第一台namenode1用做NameNode节点,我们使用伪分布式安装好的环境(将其配置文件进行修改,并分发给其他3个节点). 第二台datanode1用作第一台…

指导手册02:伪分布式安装Hadoop(ubuntuLinux)   Part 1:安装及配置虚拟机 1.安装Linux. 1.安装Ubuntu1604 64位系统 2.设置语言,能输入中文 3.创建hadoop账户 sudo useradd -m hadoop -s /bin/bash sudo passwd hadoop //输入2遍密码 sudo adduser hadoop sudo   #设置hadoop用户的管理员权限 5.更新apt 设置更新和服务中,更新站点选中国阿里云,执行“s…

1. 基本环境 1.1 操作系统 操作系统:CentOS7.3 1.2 三台虚拟机 172.20.20.100 master 172.20.20.101 slave1 172.20.20.102 slave2 1.3 软件包 jdk-8u121-linux-x64.gz hadoop-2.8.4.tar.gz 2. 环境配置 2.1 新建hadoop用户 useradd hadoop 通过passwd命令修改hadoop用户密码,启用hadoop用户. passwd hadoop 2.2 配置s…