环境配置:Ubuntu11.10,Hadoop1.0.0

安装ssh

1

apt-get install ssh

安装rsy

1

apt-get install rsync

配置ssh免密码登录

1

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

2

cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

验证是否成功

1

ssh localhost

下载Hadoop1.0.0,JDK

新建 linux 终端,建立app目录,Java和Hadoop都将安装在此目录中。

1

mkdir /home/app

接下来,安装Java和Hadoop,Hadoop解压即可。

1

cd /home/app

2

chmod +x jdk-6u30-linux-i586.bin

3

./jdk-6u30-linux-i586.bin

4

5

tar zxf hadoop-1.0.0-bin.tar.gz

配置JDK环境变量

1

vi /etc/profile

增加下面语句到最后

1

export JAVA_HOME=/home/app/jdk1.6.0_30

2

export PATH=$JAVA_HOME/bin:$PATH

3

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

接下来开始配置Hadoop

进入Hadoop目录

1

cd /home/app/hadoop-1.0.0

修改配置文件,指定JDk安装路径

1

vi conf/hadoop-env.sh

1

export JAVA_HOME=/home/app/jdk1.6.0_30

修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号

1

vi conf/core-site.xml

1

<configuration>

2

<property>

3

<name>fs.default.name</name>

4

<value>hdfs://localhost:9000</value>

5

</property>

6

</configuration>

修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1

1

vi conf/hdfs-site.xml

1

<configuration>

2

<property>

3

<name>dfs.replication</name>

4

<value>1</value>

5

</property>

6

</configuration>

修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口

1

vi conf/mapred-site.xml

1

<configuration>

2

<property>

3

<name>mapred.job.tracker</name>

4

<value>localhost:9001</value>

5

</property>

6

</configuration>

接下来,启动Hadoop,在启动之前,需要格式化Hadoop的文件系统HDFS,进入Hadoop文件夹,输入下面命令

1

bin/hadoop namenode -format

然后启动Hadoop,输入命令

1

bin/start-all.sh

这个命令为所有服务全部启动。

最后,验证Hadoop是否安装成功。打开浏览器,分别输入一下网址:

http://localhost:50030    (MapReduce的Web页面)

http://localhost:50070    (HDfS的web页面)

如果都能查看,说明安装成功。

Hadoop分别从三个角度将主机划分为两种角色:

第一,划分为master和slave,即主人与奴隶。

第二,从HDFS的角度,将主机划分为namenode和datanode(在分布式文件系统中,目录的管理很重要,管理目录的就相当于主人,而namenode就是目录管理者)。

第三,从MapReduce的角度,将主机划分为JobTracker和TaskTracker(一个job经常被划分为多个task,从这个角度不难理解它们之间的关系)。

运城互联网论坛地址:http://www.dmyc8.com/forum-104-1.html

Hadoop单机伪分布式的更多相关文章

  1. Hadoop:Hadoop单机伪分布式的安装和配置

    http://blog.csdn.net/pipisorry/article/details/51623195 因为lz的linux系统已经安装好了很多开发环境,可能下面的步骤有遗漏. 之前是在doc ...

  2. Hadoop单机/伪分布式集群搭建(新手向)

    此文已由作者朱笑笑授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 本文主要参照官网的安装步骤实现了Hadoop伪分布式集群的搭建,希望能够为初识Hadoop的小伙伴带来借鉴意 ...

  3. 【hadoop】 hadoop 单机伪分布式安装

    准备: 虚拟机(CentOS 6.9) JDK1.8 hadoop2.8.0 一.JDK安装及配置 rpm -ivh jdkxxxx 安装 配置环境变量 vim /etc/profile export ...

  4. 转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到, ...

  5. Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    摘自: http://www.cnblogs.com/kinglau/p/3796164.html http://www.powerxing.com/install-hadoop/ 当开始着手实践 H ...

  6. 【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下

    因篇幅过长,故分为两节,上节主要说明hadoop运行环境和必须的基础软件,包括VMware虚拟机软件的说明安装.Xmanager5管理软件以及CentOS操作系统的安装和基本网络配置.具体请参看: [ ...

  7. Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04(转)

    http://www.powerxing.com/install-hadoop/ http://blog.csdn.net/beginner_lee/article/details/6429146 h ...

  8. Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0

    Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0 环境 本教程使用 CentOS 6.4 32位 作为系统环境,请自行安装系统.如果用的是 Ubuntu 系统,请查 ...

  9. 【转】Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    原文链接:http://dblab.xmu.edu.cn/blog/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单, ...

随机推荐

  1. 从零3D基础入门XNA 4.0(2)——模型和BasicEffect

    [题外话] 上一篇文章介绍了3D开发基础与XNA开发程序的整体结构,以及使用Model类的Draw方法将模型绘制到屏幕上.本文接着上一篇文章继续,介绍XNA中模型的结构.BasicEffect的使用以 ...

  2. cache4j轻量级java内存缓存框架,实现FIFO、LRU、TwoQueues缓存模型

    简介 cache4j是一款轻量级java内存缓存框架,实现FIFO.LRU.TwoQueues缓存模型,使用非常方便. cache4j为java开发者提供一种更加轻便的内存缓存方案,杀鸡焉用EhCac ...

  3. zookeeper分布式锁实现

    1.定义分布式锁接口 package com.ljq.lock; import java.util.concurrent.TimeUnit; public interface DistributedL ...

  4. SqlServer2008安装时提示重启计算机失败 解决办法

    问题描述: 在安装Sql Server 2008时提示重启计算机,重启之后不行,仍需要重启计算机. 如下图所示: 解决方法: 1.运行(或按键盘Win+R 组合键),输入regedit,调出注册表管理 ...

  5. 拓展 Android 原生 CountDownTimer 倒计时

    拓展 Android 原生 CountDownTimer 倒计时 [TOC] CountDownTimer 在系统的CountDownTimer上进行的修改,主要是拓展了功能,当然也保留了系统默认的模 ...

  6. Distributed4:SQL Server 分布式数据库性能测试

    我使用三台SQL Server 2012 搭建分布式数据库,将一年的1.4亿条数据大致均匀存储在这三台Server中,每台Server 存储4个月的数据,Physical Server的配置基本相同, ...

  7. 数据库的Disk Space usage

    SQL Server占用的存储空间,包含数据库file占用的存储空间,数据库对象占用的存储空间. 一,数据库file占用的存储空间 1,使用 sys.master_files 查看数据库中各个file ...

  8. SQL Server中CTE的另一种递归方式-从底层向上递归

        SQL Server中的公共表表达式(Common Table Expression,CTE)提供了一种便利的方式使得我们进行递归查询.所谓递归查询方便对某个表进行不断的递归从而更加容易的获得 ...

  9. jQuery 2.0.3 源码分析core - 选择器

         声明:本文为原创文章,如需转载,请注明来源并保留原文链接Aaron,谢谢!      打开jQuery源码,一眼看去到处都充斥着正则表达式,jQuery框架的基础就是查询了,查询文档元素对象 ...

  10. ios语音输入崩溃

    游戏中任何可以输入的地方,只要调用语音输入,必然会导致app崩溃,解决方法如下: ok, so essentially the gist of it is that siri wants gl con ...