http://blog.csdn.net/wangloveall/article/details/20195813

摘要:本文介绍Hadoop伪分布模式操作,适合于Hadoop学习、开发和调试。

关键词:Hadoop    伪分布式   文件配置

启动Hadoop支持三种模式操作,分别是单机模式操作、伪分布模式操作和全分布模式操作。

单机模式操作是Hadoop的默认操作模式,当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,会保守地选择最小配置,即单机模式。该模式主要用于开发调试MapReduce程序的应用逻辑,而不会和守护进程交互,避免增加额外的复杂性。

伪分布模式操作是指在“单节点集群”上运行Hadoop,其中所有的守护进程都运行在同一台机器上。该模式在单机模式操作之上多了代码调试功能,可以查阅内存的使用情况、HDFS的输入输出以及守护进程之间的交互。

全分布模式操作是指一种实际意义上的Hadoop集群,其规模可从几个节点的小集群到成百上千个节点的大集群,甚至是成千上万的超大集群。

单机模式操作和伪分布模式操作均用于开发与调试的目的。真实的Hadoop 集群是全分布模式操作。

伪分布模式操作Hadoop集群,具体步骤如下。

第一步:前期工作

1 设置静态IP,完毕后,重启网卡,执行命令:service network restart。验证是否成功,执行命令:ifconfig。

2 查阅并修改主机名。

1)查阅当前会话的主机名,执行命令:hostname。

2)修改当前会话的主机名,执行命令:hostname   hadoop。

该修改只能在本次操作生效。

3)通过配置文件修改主机名,执行命令:vi  /etc/sysconfig/network

该修改长期有效。

验证:重启机器

3  把主机名和ip进行绑定,执行命令: vi   /etc/hosts

增加一行内容  ip   主机名

保存退出

验证: ping  主机名

4  关闭防火墙

执行命令  service  iptables stop

验证:service iptables status

6  关闭防火墙的自动运行

执行命令  chkconfig   iptables  off

验证:chkconfig  - - list  | grep  iptables

第二步:SSH 免密码登录

对Linux进行操作 通过Shell。

a)执行命令  ssh-keygen   -t  rsa  产生密钥,位于~/.ssh文件夹中

b)执行命令 cp  ~/.ssh/id_rsa.pub   ~/.ssh/authorized_keys

验证:ssh  localhost

第三步:安装JDK软件

a)执行命令rm  -rf  /usr/local/*  删除所有内容

b)使用小工具Winscp把jdk文件从Windows环境下复制到Linux下的/usr/local目录下

c)执行命令  chmod   u+x  jdk-6u24-linux-i586.bin 授予执行权限

d)执行命令  ./jdk-6u24-linux-i586.bin  解压缩到当前目录下

e)执行命令 mv jdk1.6.0_24   jdk

f)执行命令 vi /etc/profile  设置环境变量,增加了两行内容

export   JAVA_HOME=/usr/local/jdk

export   PATH=.:$JAVA_HOME/bin:$PATH

保存退出

执行命令 source    /etc/profile   让该设置立即生效。

验证:java –version

第四步:伪分布模式操作Hadoop

1 执行命令  tar  -zxvf  hadoop-1.1.2.tar.gz进行解压缩

2 执行命令  mv  hadoop-1.1.2  hadoop  重命名hadoop

3 执行命令 vi /etc/profile  设置环境变量,增加了一行内容

export   HADOOP_HOME=/usr/local/hadoop

修改了一行内容

export   PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

保存退出,执行命令:wq

执行命令 source    /etc/profile   让该设置立即生效。

4  修改hadoop配置文件,位于$HADOOP_HOME/conf目录下的4个文件,分别是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml

a)配置hadoop-env.sh文件,把JAVA_HOME设置为Java安装根路径。

b)配置core-site.xml文件

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>

</configuration>

c)配置hdfs-site.xml文件

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

</configuration>

d)配置mapred-site.xml文件

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
<description>change your own hostname</description>
</property>

</configuration>

d)执行命令hadoop  namenode  -format   对hadoop进行格式化

f)执行命令 start-all.sh启动

验证:

(1)执行命令jps会有5个进程,分别是NameNode、

DataNode、SecondaryNameNode、JobTracker,

TaskTracker。

(2)通过Linux下的浏览器查看,输入网址

http://hadoop:50070

http:// hadoop:50030

(3)通过Windows下的浏览器查看,可以修改windows的hosts文件

Source:

http://www.wangluqing.com/2014/02/hadoop-weifenbu-operation/

http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html

http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html

Hadoop伪分布模式操作的更多相关文章

  1. Hadoop伪分布模式配置

    本作品由Man_华创作,采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可.基于http://www.cnblogs.com/manhua/上的作品创作. 请先按照上一篇文章H ...

  2. 【原】Hadoop伪分布模式的安装

    Hadoop伪分布模式的安装 [环境参数] (1)Host OS:Win7 64bit (2)IDE:Eclipse Version: Luna Service Release 2 (4.4.2) ( ...

  3. Linux环境搭建Hadoop伪分布模式

    Hadoop有三种分布模式:单机模式.伪分布.全分布模式,相比于其他两种,伪分布是最适合初学者开发学习使用的,可以了解Hadoop的运行原理,是最好的选择.接下来,就开始部署环境. 首先要安装好Lin ...

  4. Hadoop全分布模式操作

    http://blog.csdn.net/wangloveall/article/details/20767161 摘要:介绍Hadoop全分布模式操作,实现真正意义上的集群架构. 关键词:Hadoo ...

  5. hadoop伪分布模式的配置和一些常用命令

    大数据的发展历史 3V:volume.velocity.variety(结构化和非结构化数据).value(价值密度低) 大数据带来的技术挑战 存储容量不断增加 获取有价值的信息的难度:搜索.广告.推 ...

  6. Hadoop 伪分布模式安装

    ( 温馨提示:图片中有id有姓名,不要盗用哦,可参考流程,有问题评论区留言哦 ) 一.任务目标 1.了解Hadoop的3种运行模式 2.熟练掌握Hadoop伪分布模式安装流程 3.培养独立完成Hado ...

  7. hadoop伪分布模式安装

    软件环境 操作系统 :  OracleLinux-R6-U6 主机名: hadoop java: jdk1.7.0_75 hadoop: hadoop-2.4.1 环境搭建 1.软件安装 由于所需的软 ...

  8. 【Hadoop环境搭建】Centos6.8搭建hadoop伪分布模式

    阅读目录 ~/.ssh/authorized_keys 把公钥加到用于认证的公钥文件中,authorized_keys是用于认证的公钥文件 方式2: (未测试,应该可用) 基于空口令创建新的SSH密钥 ...

  9. Hadoop伪分布模式配置部署

    .实验环境说明 注意:本实验需要按照上一节单机模式部署后继续进行操作 1. 环境登录 无需密码自动登录,系统用户名 shiyanlou,密码 shiyanlou 2. 环境介绍 本实验环境采用带桌面的 ...

随机推荐

  1. [转]mysql日常工作手记

    1. 给navy加show权限: 1 2 update mysql.user set Show_db_priv='Y'  where user='navy'; flush privileges; 2. ...

  2. CoderForce 180D-Name (构造+回溯)

    题目大意:给两个字符串s,t,用s中的字符重新组合构造出按字典序最小的但比t大的新字符串. 题目分析:先统计s中各个字母出现的次数,然后从t的左端向右端依次构造出新串的每一位上的字母.这个过程我是用回 ...

  3. Linux 强制安装rpm 包

    Linux 强制安装rpm 包 2014年12月12日 10:21 [root@ilearndb1 Server]# rpm -ivh  unixODBC-devel-2.*  --nodeps -- ...

  4. 修改XML的节点内容

    这种形式可以修改任何一个节点: XmlDocument doc = new XmlDocument(); doc.Load("Event.xml"); XmlElement eve ...

  5. OAF Sample Code(转)

    原文地址: OAF Sample Code

  6. 使用路径arc-奥运五环

    <!DOCTYPE html><html xmlns="http://www.w3.org/1999/xhtml"><head>    < ...

  7. Elasticsearch单机下多实例配置

    ##################### Elasticsearch Configuration Example ##################### index.cache.field.ty ...

  8. ElasticSearch-hadoop saveToEs源码分析

    ElasticSearch-hadoop saveToEs源码分析: 类的调用路径关系为: EsSpark -> EsRDDWriter -> RestService -> Rest ...

  9. 线程的创建,pthread_create,pthread_self,pthread_once

    typedef unsigned long int pthread_t; //come from /usr/include/bits/pthreadtypes.h int pthread_create ...

  10. JFace下ApplicationWindow关闭窗口时结束进程

    /** * Configure the shell. * @param newShell */ @Override protected void configureShell(Shell newShe ...