---恢复内容开始---

一，linux下的准备工作

1，修改主机名：

vi /etc/sysconfig/network

2,修改ip

vi /etc/sysconfig/network-scripts/ifcfg-eth0

3,修改主机名和ip的映射

vi /etc/hosts

192.168.145.109 eddy01

192.168.145.110 eddy02

192.168.145.111 eddy03

192.168.145.112 eddy04

192.168.145.113 eddy05

192.168.145.114 eddy06

192.168.145.115 eddy07

4,关闭防火墙

5，在生产坏境中，操作linux不可能用root用户，最好添加一个普通的用户

　　useradd eddy

　　password eddy

6，给eddy用户添加sudo指令，

　　vi /etc/sudoers

7,查看是否有java环境

8，配置JAVA_HOME环境变量

　　vi /etc/profile

　　source /etc/profile

9,ssh的免密登录

ssh-keygen

不要忘了在使用hadoop命令中的start-all.sh命令需要给自己一个免密登录公钥
ssh-copy-id eddy02

二，hadoop集群

规划：

　　1，eddy01   namenode    resourcemanager

　　2，eddy02　datanode　　nodemanager

　　3，eddy02　datanode　　nodemanager

　　4，eddy02　datanode　　nodemanager

执行：

1，在eddy01中的/home/eddy/中mkdir一个apps

　　mkdir/home/eddy/apps

2,在apps中解压java和hadoop　

[eddy@eddy01 ~]$ cd apps/

[eddy@eddy01 apps]$ ll

total 8

drwxrwxr-x. 11 eddy eddy 4096 Mar 28 23:14 hadoop-2.6.4

drwxr-xr-x.  8 eddy eddy 4096 Mar 28 22:38 jdk1.7.0_79

3,在/etc/profile中添加JAVA_HOME和HADOOP_HOME环境变量

    export HISTCONTROL=ignoredups

fi                                                                                                

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL                                       

# By default, we want umask to get set. This sets it for login shell

# Current threshold for system reserved uid/gids is 200

# You could check uidgid reservation validity in

# /usr/share/doc/setup-*/uidgid file

if [ $UID -gt 199 ] && [ "`id -gn`" = "`id -un`" ]; then

    umask 002

else

    umask 022

fi                                                                                                

for i in /etc/profile.d/*.sh ; do

    if [ -r "$i" ]; then

        if [ "${-#*i}" != "$-" ]; then

            . "$i"

        else

            . "$i" >/dev/null 2>&1

        fi

    fi

done                                                                                              

unset i

unset -f pathmunge                                                                                

JAVA_HOME=/home/eddy/apps/jdk1.7.0_79

CLASSPATH=.:$JAVA_HOME/lib.tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH                                                                   

export HADOOP_HOME=/home/eddy/apps/hadoop-2.6.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4,分别拷贝/etc/profile文件到其它三台主机上

scp /etc/profile eddy@eddy02:/etc/

scp /etc/profile eddy@eddy03:/etc/

scp /etc/profile eddy@eddy04:/etc/

5,配置hadoop配置文件

cd /home/eddy/apps/hadoop-2.6.4/etc/hadoop

1,hadoop-env.sh中添加java环境变量

export JAVA_HOME=/home/eddy/apps/jdk1.7.0_79

2，vi core-site.xml

<configuration>

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->                                      

                <property>                                                                                          

                        <name>fs.defaultFS</name>                                                                   

                        <value>hdfs://eddy01:9000</value>                                                           

                </property>                                                                                         

                <!-- 指定hadoop运行时产生文件的存储目录 -->                                                         

                <property>                                                                                          

                        <name>hadoop.tmp.dir</name>                                                                 

                        <value>/home/eddy/apps/hadoop-2.6.4/tmp</value>                                             

    </property>

</configuration>

3,hdfs-site.xml

<configuration>

<!-- 指定HDFS副本的数量 -->                                                                                         

                <property>                                                                                          

                        <name>dfs.replication</name>                                                                

                        <value>2</value>                                                                            

                </property>                                                                                         

                <property>                                                                                          

                        <name>dfs.secondary.http.address</name>                                                     

                        <value>eddy01:50090</value>

                </property>

</configuration>

4,mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

<configuration>

<!-- 指定HDFS副本的数量 -->                                                                                         

                <property>                                                                                          

                        <name>dfs.replication</name>                                                                

                        <value>2</value>                                                                            

                </property>                                                                                         

                <property>                                                                                          

                        <name>dfs.secondary.http.address</name>                                                     

                        <value>eddy01:50090</value>

                </property>

</configuration>

5, yarn-site.xml

<configuration>

<!-- 指定YARN的老大（ResourceManager）的地址 -->                                                                    

                <property>                                                                                          

                        <name>yarn.resourcemanager.hostname</name>                                                  

                        <value>eddy01</value>                                                                       

                </property>                                                                                         

                <!-- reducer获取数据的方式 -->                                                                      

                <property>                                                                                          

                        <name>yarn.nodemanager.aux-services</name>                                                  

                        <value>mapreduce_shuffle</value>                                                            

                </property>

<!-- Site specific YARN configuration properties -->                                                                

</configuration>

6,以eddy用户的身份cp到其它三台主机上。

注意：⚠️如果用root用户cp会出现hadoop在启动的时候权限访问的问题，

scp -r /home/eddy/apps eddy@eddy02:/home/eddy/

scp -r /home/eddy/apps eddy@eddy04:/home/eddy/

scp -r /home/eddy/apps eddy@eddy03:/home/eddy/

7，格式化namenode

hdfs namenode -format (hadoop namenode -format)

8，启动dfs分布式文件系统

hadoop-daemon start namenode

9，在其它三台主机上启动datanode

hadoop-daemon.sh start datanode

10查看页面

http://eddy01:50070/

关闭进程

hadoop-daemon stop namenode

hadoop自动化启动脚本的说明：

1，上述中，只有三个节点，但是如果还有更多，就需要自动化启动

如：start-all.sh

　　start-dfs.sh

　  start-yarn.sh

这里说明一下/home/eddy/apps/hadoop-2.6.4/etc/hadoop中的slaves文件，

eddy01

eddy02

eddy03

eddy04

当使用start-all.sh启动的时候会ssh到slaves文件中的主机上启动namenode，resourcemanager等进程。

---恢复内容结束---

hadoop2.6.4集群笔记的更多相关文章

  1. Ubuntu12.04-x64编译Hadoop2.2.0和安装Hadoop2.2.0集群

      本文Blog地址:http://www.cnblogs.com/fesh/p/3766656.html   本文对Hadoop-2.2.0源码进行重新编译(64位操作系统下不重新编译会有版本问题) ...

  2. 分布式Hbase-0.98.4在Hadoop-2.2.0集群上的部署

    fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3898991.html Hbase 是Apache Hadoop的数据库,能够对大数据提 ...

  3. 在Hadoop-2.2.0集群上安装 Hive-0.13.1 with MySQL

    fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3872872.html 软件环境 操作系统:Ubuntu14.04 JDK版本:jdk1 ...

  4. Hadoop-2.6.0 集群的 安装与配置

    1.  配置节点bonnie1 hadoop环境 (1) 下载hadoop- 2.6.0 并解压缩 [root@bonnie1 ~]# wget http://apache.fayea.com/had ...

  5. CentOS6.4上搭建hadoop-2.4.0集群

    公司Commerce Cloud平台上提供申请主机的服务.昨天试了下,申请了3台机器,搭了个hadoop环境.以下是机器的一些配置: emi-centos-6.4-x86_64medium | 6GB ...

  6. 懒人记录 Hadoop2.7.1 集群搭建过程

    懒人记录 Hadoop2.7.1 集群搭建过程 2016-07-02 13:15:45 总结 除了配置hosts ,和免密码互连之外,先在一台机器上装好所有东西 配置好之后,拷贝虚拟机,配置hosts ...

  7. 基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用

    基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用 HBase是一种分布式.面向列的NoSQL数据库,基于HDFS存储,以表的形式存储数据,表由行和列组成,列划分到列族中.HBase ...

  8. HBase0.99.2集群的搭建步骤（在hadoop2.6.4集群和zookeeper3.4.5集群上）

    HBase介绍(NoSql,不是关系型数据库) HBase是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群. HBase ...

  9. hive1.2.1安装步骤（在hadoop2.6.4集群上）

    hive1.2.1在hadoop2.6.4集群上的安装 hive只需在一个节点上安装即可,这里再hadoop1上安装 1.上传hive安装包到/usr/local/目录下 2.解压 tar -zxvf ...

随机推荐

  1. vue-router进阶-3-过渡动效

    template: <transition> <router-view></router-view> </transition> 单个路由的过渡 con ...

  2. python变量传递

    python变量传递 数值 代码 num_1 = 123 num_2 = num_1 # 改变num_2值前 print 'num_1 = {0}, num_2 = {1}'.format(num_1 ...

  3. RN环境的搭建

    RN技术详细了解: RN环境的搭建: 1.           首先安装node.js 2.           安装homebrew(网上内容很多自己找,详细的我就不多说了) (1)   在home ...

  4. SpringMvc开发报找不到springmvc配置文件

    param-name标签属性值必须为contextConfigLocation

  5. error: checker javascript/jshint: can’t parse version string (abnormal termination?)”

    vim 安装插件(k-vim方法 )好后 编辑js文件提示错误 可能是nodejs环境没搭建好 或者版本有误 用nvm安装node 后 需要 source ~/.bashrc 或者重新开一个终端 再运 ...

  6. 脱产班第五次大作业-FTP服务器

    下载项目 my_ftp #!/usr/bin/env python3 # -*- coding: utf-8 -*- import os import hmac import json import ...

  7. iOS 弹幕制作

    离职的最后一天,在公司学习下弹幕的制作.基于OC. 主要思路: 1.首先建一个弹幕类BulletView,基于UIView,然后在该类上写个UIlabel,用于放置弹幕文字,然后前端放置一个UIIma ...

  8. CocoaPods 简介

    CocoaPods 简介 每种语言发展到一个阶段,就会出现相应的依赖管理工具,例如 Java 语言的 Maven,nodejs 的 npm.随着 iOS 开发者的增多,业界也出现了为 iOS 程序提供 ...

  9. centos7 ssh连接慢

    指的是连接到centos7,输入密码后要等很久才会返回.之前很多人遇到的问题都是由于/etc/ssh/sshd_config的UseDNS配置项和GSSAPIAuthentication配置项引起的, ...

  10. Centos 安装 python2.7.10以及pip

    安装python2.7.10 1. 下载安装包并解压 wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz tar -xf P ...