---恢复内容开始---

一，linux下的准备工作

1，修改主机名：

vi /etc/sysconfig/network

2,修改ip

vi /etc/sysconfig/network-scripts/ifcfg-eth0

3,修改主机名和ip的映射

vi /etc/hosts

192.168.145.109 eddy01

192.168.145.110 eddy02

192.168.145.111 eddy03

192.168.145.112 eddy04

192.168.145.113 eddy05

192.168.145.114 eddy06

192.168.145.115 eddy07

4,关闭防火墙

5，在生产坏境中，操作linux不可能用root用户，最好添加一个普通的用户

　　useradd eddy

　　password eddy

6，给eddy用户添加sudo指令，

　　vi /etc/sudoers

7,查看是否有java环境

8，配置JAVA_HOME环境变量

　　vi /etc/profile

　　source /etc/profile

9,ssh的免密登录

ssh-keygen

不要忘了在使用hadoop命令中的start-all.sh命令需要给自己一个免密登录公钥
ssh-copy-id eddy02

二，hadoop集群

规划：

　　1，eddy01   namenode    resourcemanager

　　2，eddy02　datanode　　nodemanager

　　3，eddy02　datanode　　nodemanager

　　4，eddy02　datanode　　nodemanager

执行：

1，在eddy01中的/home/eddy/中mkdir一个apps

　　mkdir/home/eddy/apps

2,在apps中解压java和hadoop　

[eddy@eddy01 ~]$ cd apps/

[eddy@eddy01 apps]$ ll

total 8

drwxrwxr-x. 11 eddy eddy 4096 Mar 28 23:14 hadoop-2.6.4

drwxr-xr-x.  8 eddy eddy 4096 Mar 28 22:38 jdk1.7.0_79

3,在/etc/profile中添加JAVA_HOME和HADOOP_HOME环境变量

    export HISTCONTROL=ignoredups

fi                                                                                                

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL                                       

# By default, we want umask to get set. This sets it for login shell

# Current threshold for system reserved uid/gids is 200

# You could check uidgid reservation validity in

# /usr/share/doc/setup-*/uidgid file

if [ $UID -gt 199 ] && [ "`id -gn`" = "`id -un`" ]; then

    umask 002

else

    umask 022

fi                                                                                                

for i in /etc/profile.d/*.sh ; do

    if [ -r "$i" ]; then

        if [ "${-#*i}" != "$-" ]; then

            . "$i"

        else

            . "$i" >/dev/null 2>&1

        fi

    fi

done                                                                                              

unset i

unset -f pathmunge                                                                                

JAVA_HOME=/home/eddy/apps/jdk1.7.0_79

CLASSPATH=.:$JAVA_HOME/lib.tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH                                                                   

export HADOOP_HOME=/home/eddy/apps/hadoop-2.6.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4,分别拷贝/etc/profile文件到其它三台主机上

scp /etc/profile eddy@eddy02:/etc/

scp /etc/profile eddy@eddy03:/etc/

scp /etc/profile eddy@eddy04:/etc/

5,配置hadoop配置文件

cd /home/eddy/apps/hadoop-2.6.4/etc/hadoop

1,hadoop-env.sh中添加java环境变量

export JAVA_HOME=/home/eddy/apps/jdk1.7.0_79

2，vi core-site.xml

<configuration>

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->                                      

                <property>                                                                                          

                        <name>fs.defaultFS</name>                                                                   

                        <value>hdfs://eddy01:9000</value>                                                           

                </property>                                                                                         

                <!-- 指定hadoop运行时产生文件的存储目录 -->                                                         

                <property>                                                                                          

                        <name>hadoop.tmp.dir</name>                                                                 

                        <value>/home/eddy/apps/hadoop-2.6.4/tmp</value>                                             

    </property>

</configuration>

3,hdfs-site.xml

<configuration>

<!-- 指定HDFS副本的数量 -->                                                                                         

                <property>                                                                                          

                        <name>dfs.replication</name>                                                                

                        <value>2</value>                                                                            

                </property>                                                                                         

                <property>                                                                                          

                        <name>dfs.secondary.http.address</name>                                                     

                        <value>eddy01:50090</value>

                </property>

</configuration>

4,mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

<configuration>

<!-- 指定HDFS副本的数量 -->                                                                                         

                <property>                                                                                          

                        <name>dfs.replication</name>                                                                

                        <value>2</value>                                                                            

                </property>                                                                                         

                <property>                                                                                          

                        <name>dfs.secondary.http.address</name>                                                     

                        <value>eddy01:50090</value>

                </property>

</configuration>

5, yarn-site.xml

<configuration>

<!-- 指定YARN的老大（ResourceManager）的地址 -->                                                                    

                <property>                                                                                          

                        <name>yarn.resourcemanager.hostname</name>                                                  

                        <value>eddy01</value>                                                                       

                </property>                                                                                         

                <!-- reducer获取数据的方式 -->                                                                      

                <property>                                                                                          

                        <name>yarn.nodemanager.aux-services</name>                                                  

                        <value>mapreduce_shuffle</value>                                                            

                </property>

<!-- Site specific YARN configuration properties -->                                                                

</configuration>

6,以eddy用户的身份cp到其它三台主机上。

注意：⚠️如果用root用户cp会出现hadoop在启动的时候权限访问的问题，

scp -r /home/eddy/apps eddy@eddy02:/home/eddy/

scp -r /home/eddy/apps eddy@eddy04:/home/eddy/

scp -r /home/eddy/apps eddy@eddy03:/home/eddy/

7，格式化namenode

hdfs namenode -format (hadoop namenode -format)

8，启动dfs分布式文件系统

hadoop-daemon start namenode

9，在其它三台主机上启动datanode

hadoop-daemon.sh start datanode

10查看页面

http://eddy01:50070/

关闭进程

hadoop-daemon stop namenode

hadoop自动化启动脚本的说明：

1，上述中，只有三个节点，但是如果还有更多，就需要自动化启动

如：start-all.sh

　　start-dfs.sh

　  start-yarn.sh

这里说明一下/home/eddy/apps/hadoop-2.6.4/etc/hadoop中的slaves文件，

eddy01

eddy02

eddy03

eddy04

当使用start-all.sh启动的时候会ssh到slaves文件中的主机上启动namenode，resourcemanager等进程。

---恢复内容结束---

hadoop2.6.4集群笔记的更多相关文章

  1. Ubuntu12.04-x64编译Hadoop2.2.0和安装Hadoop2.2.0集群

      本文Blog地址:http://www.cnblogs.com/fesh/p/3766656.html   本文对Hadoop-2.2.0源码进行重新编译(64位操作系统下不重新编译会有版本问题) ...

  2. 分布式Hbase-0.98.4在Hadoop-2.2.0集群上的部署

    fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3898991.html Hbase 是Apache Hadoop的数据库,能够对大数据提 ...

  3. 在Hadoop-2.2.0集群上安装 Hive-0.13.1 with MySQL

    fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3872872.html 软件环境 操作系统:Ubuntu14.04 JDK版本:jdk1 ...

  4. Hadoop-2.6.0 集群的 安装与配置

    1.  配置节点bonnie1 hadoop环境 (1) 下载hadoop- 2.6.0 并解压缩 [root@bonnie1 ~]# wget http://apache.fayea.com/had ...

  5. CentOS6.4上搭建hadoop-2.4.0集群

    公司Commerce Cloud平台上提供申请主机的服务.昨天试了下,申请了3台机器,搭了个hadoop环境.以下是机器的一些配置: emi-centos-6.4-x86_64medium | 6GB ...

  6. 懒人记录 Hadoop2.7.1 集群搭建过程

    懒人记录 Hadoop2.7.1 集群搭建过程 2016-07-02 13:15:45 总结 除了配置hosts ,和免密码互连之外,先在一台机器上装好所有东西 配置好之后,拷贝虚拟机,配置hosts ...

  7. 基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用

    基于Hadoop2.7.3集群数据仓库Hive1.2.2的部署及使用 HBase是一种分布式.面向列的NoSQL数据库,基于HDFS存储,以表的形式存储数据,表由行和列组成,列划分到列族中.HBase ...

  8. HBase0.99.2集群的搭建步骤（在hadoop2.6.4集群和zookeeper3.4.5集群上）

    HBase介绍(NoSql,不是关系型数据库) HBase是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群. HBase ...

  9. hive1.2.1安装步骤（在hadoop2.6.4集群上）

    hive1.2.1在hadoop2.6.4集群上的安装 hive只需在一个节点上安装即可,这里再hadoop1上安装 1.上传hive安装包到/usr/local/目录下 2.解压 tar -zxvf ...

随机推荐

  1. java 创建string对象机制 字符串缓冲池 字符串拼接机制 字符串中intern()方法

    字符串常量池:字符串常量池在方法区中 为了优化空间,为了减少在JVM中创建的字符串的数量,字符串类维护了一个字符串池,每当代码创建字符串常量时,JVM会首先检查字符串常量池.如果字符串已经存在池中,就 ...

  2. private、public、protected和默认

    类中的域最好标记为private: 方法最好标记为public: private:仅对本类可见 public:对所有类可见 protected:对本包和对所有子类可见 默认(什么都不写):对本包可见 ...

  3. PL/SQL修改数据之后，程序查到的还是原来的数据怎么办？

    我们在开发的过程中,可能需要手动删除或者修改数据库数据,但是在update之后,程序还是查到的是原始的数据.而我们自己在pl/sql中查到的确实修改之后的数据,通常情况下这个是因为我们在修改之后没有c ...

  4. touchend偶尔不触发（待解决）

    新闻流,实现tab横向切换效果,出现偶尔切到一半,手指移开后,没有跳转到上一个或下一个tab,而是持续在当前切了一半的位置. 找到原因: 没有切换的时候,touchend都没有触发. 网上找到的解决办 ...

  5. gzip 所使用压缩算法的基本原理（选摘）

    摘自:http://blog.csdn.net/ghevinn/article/details/45747465  gzip 所使用压缩算法的基本原理 gzip 对于要压缩的文件,首先使用LZ77算法 ...

  6. 基于Verilog的简单FIFO读写实验

    一.模块框图及基本思路 fifo_ip:ISE生成的IP fifo_control:在fifo未满情况下不断写入递增的四位数,每隔1s读出一个数据驱动Led显示 fifo_top:前两个模块的组合 二 ...

  7. python -django 之第三方支付

    神魔是第三方支付: 第三方支付是指具有一定实力和信誉保障的第三方独立机构.通过与各大银行签订合同,建立连接用户和银行支付结算系统的平台,从而实现电子支付模式.从另一个角度来看,第三方支付就是非金融机构 ...

  8. Arcmap连接数据库需管理员获取许可——创建ArcSDE连接文件

    一.在装有server的服务器上创建ArcSDE连接文件 1.打开ArcMap<<ArcToolBox<<数据管理工具<<工作空间<<创建ArcSDE连 ...

  9. 小妖精的完美游戏教室——东方project，同人，自机

    //================================================================ //// Copyright (C)// All Rights R ...

  10. LeetCode - Online Election

    In an election, the i-th vote was cast for persons[i] at time times[i]. Now, we would like to implem ...