本文环境是在Ubuntu10.04环境下运行的。

  在Linux上安装Hadoop之前,首先安装两个程序:

  1、JDK1.6(或更高版本)。Hadoop是用Java编写的程序,Hadoop编译及MapReduce的运行都需要使用JDK。因此在安装Hadoop之前,必须安装JDK1.6或更高版本。

  2、SSH( Secure Shell 安全外壳协议)。SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。Hadoop需要SSH来启动Slave(从机)列表中各台主机的守护进程,推荐安装OpenSSH。

  (1)下载并安装JDK1.6

  进入http://www.oracle.com/technetwork/java/javasebusiness/downloads/java-archive-downloads-javase6-419409.html#jdk-6u45-oth-JPR页面下载JDK1.6 linux版本(根据自己的OS选择32为或64位版本的),如 jdk-6u45-linux-i586.bin(32位)或者jdk-6u45-linux-x64.bin(64位)。

   (2)安装并配置JDk环境变量

    进入 jdk-6u45-linux-i586.bin的目录输入以下命令进行安装:

    sudo chmod u+x jdk-6u45-linux-i586.bin                           //修改权限

    sudo -s ./jdk-6u45-linux-i586.bin                                     //安装

    安装完毕后就可以配置环境变量了。

    环境变量配置文件为/etc/profile,输入一下命令打开profile文件。在文件的末尾输入一下内容。

    #set JAVA Environment

    exprt JAVA_HOME=/usr/local/jdk1.6.0_45                                        //设置JDK的JAVA_HOME,为JDK安装的根目录

    export CLASSPATH=".:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib"   //设置JDK的CLASSPATH

    export PATH="$JAVA_HOME/bin:$JRE_HOME/bin:$PATH"                      //设置JDK的PATH路径

    环境变量配置好以后,系统就可以找到JDK了。

    输入一下命令:java -version 会出现如下信息:

    

    说明JDK已经安装成功。

    如果没有出现上述情景,说明当前安装的JDK并未设置成Ubuntu系统默认的JDK,还要手动将安装的JDK设置成系统默认的JDK。具体操作如下:

    在终端依次输入如下命令:

    sudo update-alternatives --install /usr/bin/java java /usr/local/jdk1.6.0_45/bin/java 300

    sudo update-alternatives --install /usr/bin/javac javac /usr/local/jdk1.6.0_45/bin/javac 300

    sudo update-alternatives --config java

  接下来再次输入java -version命令 就可以看到JDK的版本信息了。

  2、配置SSH免密码登陆

    首先安装ssh,输入命令:

    sudo apt-get install ssh

    然后,输入一下命令:

    ssh-keygen -t dsa -P ' ' -f ~/ .ssh/id_dsa

    ssh-keygen代表生成密钥:-t表示生成指定的密钥类型;

    dsa是dsa密钥认证的意思,即密钥类型:用于提供密语;-f 生成指定的密钥文件; ~/ 表示在当前用户文件夹下。

    这个命令会在.ssh文件夹下创建id_dsa及id_dsa.pub两个文件,这是SSH的一对私钥和公钥,类似于钥匙和锁,把id_dsa.pub(公钥)追加到授权的key中去。

    输入命令:

    cat ~/ .ssh/id_dsa.pub >> ~/ .ssh/authorized_keys

    这个命令时把公钥加到用于认证的公钥文件中,这里的authorized_keys是用于认证的公钥文件。到此为止,免密码登陆本机已配置完毕。

    输入一下命令:

    ssh -version

    显示如下结果:

    

    输入命令:

    ssh localhost

    会有如下显示:

      

  这说明已经安装成功,第一次登陆时会询问是否继续链接,输入yes即可进入。

  实际上,在Hadoop的安装过程中,是否免密码登陆是无关紧要,但是如果不配置免密码登陆,每次启动Hadoop都需要输入密码以登陆到每台机器的DataNode上,考虑到一般的Hadoop集群有成败上千台机器,因此都会配置SSH的免密码登陆。

3、安装并运行Hadoop

  进入Hadoop官网下载地址:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/,下载Hadoop最新版,并将其解压。

  hadoop的配置详解请请参照上一篇笔记 http://www.cnblogs.com/bester/p/3279368.html

  进入conf文件夹,修改配置文件。

  (1)hadoop-env.sh:

  

  指定JDK的安装位置,将红圈的部分修改为:export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45  并去掉 #

  (2)conf/core-site.xml 

  <configuration>
  <property>
    <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
  </property>
   <property>
   <name>hadoop.tmp.dir</name>
     <value>/home/hadoop/hadoop_home/var</value>
   </property>
  </configuration>

  fs.default.name:NameNode的URI。hdfs://主机名:端口/
  hadoop.tmp.dir:Hadoop的默认临时路径,这个最好配置,如果在新增节点或者其他情况下莫名其妙的DataNode启动不了,就删除此文件中的tmp目录即可。

  不过如果删除了NameNode机器的此目录,那么就需要重新执行NameNode格式化的命令。

(3)conf/hdfs-site.xml

<configuration>
<property>
<name>dfs.name.dir</name> //指定name镜像文件存放目录,如不指定则默认为core-site中配置的tmp目录
<value>/bobo/Software/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name> //数据存放的目录,如果不写默认为core-site中配置的tmp目录
<value>/bobo/Software/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
    <value>1</value>
  </property>
</configruation>

dfs.name.dir是NameNode持久存储名字空间及事务日志的本地文件系统路径。当这个值是一个逗号分割的目录列表时,nametable数据将会被复制到所有目录中做冗余备份。

dfs.data.dir是DataNode存放块数据的本地文件系统路径,逗号分割的列表。当这个值是逗号分割的目录列表时,数据将被存储在所有目录下,通常分布在不同设备上。

dfs.replication是数据需要备份的数量,默认是3,单机版需将此改为1,如果此数大于集群的机器数会出错。

 (4)conf/mapred-site.xml

  <configuration>
   <property>
   <name>mapred.job.tracker</name>
   <value>localhost:9001</value>
   </property>
  </configuration>

    mapred.job.tracker是JobTracker的主机(或者IP)和端口。主机:端口。

  在启动Hadoop之前,需要格式化Hadoop的文件系统HDFS。进入Hadoop文件夹,输入命令:
  bin/hadoop namenode -format //注意 namenode 必须小写 否则 会有异常出现
  格式化文件系统,接下来启动Hadoop,输入命令:
  bin/start-all.sh
  最后验证Hadoop是否安装成功。
  打开游览器,输入一下网址:
  http://localhost:50070/(MapReduce的Web页面)
  
  http://localhost:50030/(HDFS的Web页面)

   说明已经安装成功了。

   下一节将介绍HDFS文件系统。

  作者:Bester

   出处:http://www.cnblogs.com/bester/p/3279884.html

Hadoop学习笔记3---安装并运行Hadoop的更多相关文章

  1. Hadoop学习笔记: 安装配置Hadoop

    安装前的一些环境配置: 1. 给用户添加sudo权限,输入su - 进入root账号,然后输入visudo,进入编辑模式,找到这一行:"root ALL=(ALL) ALL"在下面 ...

  2. Hadoop学习笔记: 安装配置Hive

    1. 在官网http://hive.apache.org/下载所需要版本的Hive,以下我们就以hive 2.1.0版为例. 2. 将下载好的压缩包放到指定文件夹解压,tar -zxvf apache ...

  3. 十三、Hadoop学习笔记————Hive安装先决条件以及部署

    内嵌模式,存储于本地的Derby数据库中,只支持单用户 本地模式,支持多用户多会话,例如存入mysql 下载解压hive后,进到conf路径,将模板拷贝 出现该错误表示权限不够 该目录未找到 新建一个 ...

  4. hadoop学习笔记(三):hadoop文件结构

    hadoop完整安装目录结构: 比较重要的包有以下4个: src hadoop源码包.最核心的代码所在目录为core.hdfs和mapred,他们分别实现了hadoop最重要的3个模块:基础公共库.H ...

  5. hadoop学习笔记(六):hadoop全分布式集群的环境搭建

    本文原创,如需转载,请注明作者以及原文链接! 一.前期准备: 1.jdk安装        不要用centos7自带的openJDK2.hostname    配置       配置位置:/etc/s ...

  6. hadoop 学习笔记(第三章 Hadoop分布式文件系统 )

    map->shuffle->reduce map(k1,v1)--->(k2,v2) reduce(k2,List<v2>)--->(k2,v3) 传输类型:org ...

  7. hadoop学习笔记(一):hadoop生态系统及简介

    一.hadoop1.x的生态系统 HBase:实时分布式数据库 相当于关系型数据库,数据放在文件中,文件就放在HDFS中.因此HBase是基于HDFS的关系型数据库.实时性:延迟非常低,实时性高. 举 ...

  8. Hadoop学习笔记—22.Hadoop2.x环境搭建与配置

    自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...

  9. Hadoop学习笔记(2)

    Hadoop学习笔记(2) ——解读Hello World 上一章中,我们把hadoop下载.安装.运行起来,最后还执行了一个Hello world程序,看到了结果.现在我们就来解读一下这个Hello ...

随机推荐

  1. MySQL 跳过同步错误方法

    最近MySQL 遇到了同步问题,现整理一下常遇到的错误的解决方法,备用. 方法一:手动设置动态参数 sql_slave_skip_counter 我常用的脚本: stop slave sql_thre ...

  2. 源码解析Android中View的measure量算过程

    Android中的Veiw从内存中到呈现在UI界面上需要依次经历三个阶段:量算 -> 布局 -> 绘图,关于View的量算.布局.绘图的总体机制可参见博文< Android中View ...

  3. nodetree中 前面复选框禁用插件

    nodetree中 前面复选框的去掉插件 extendTreeCheck.js /** * tree方法扩展 * 作者:小雪转中雪 */ $.extend($.fn.tree.methods, { / ...

  4. DataGridView 相关操作

    一.单元格内容的操作// 取得当前单元格内容 Console.WriteLine(DataGridView1.CurrentCell.Value); // 取得当前单元格的列 Index Consol ...

  5. Linux进程控制(一)

    1. Linux进程概述 进程是一个程序一次执行的过程,它和程序有本质区别.程序是静态的,它是一些保存在磁盘上的指令的有序集合:而进程是一个动态的概念,它是一个运行着的程序,包含了进程的动态创建.调度 ...

  6. ionic中登陆逻辑控制

    问题 登陆成功后从login.html调转到home.html,此时在home页面按back键又回到了login.html . 解决方案 登陆成功后,清除导航历史堆栈. 具体代码 menu.html ...

  7. SQL group by分组查询(转)

    本文导读:在实际SQL应用中,经常需要进行分组聚合,即将查询对象按一定条件分组,然后对每一个组进行聚合分析.创建分组是通过GROUP BY子句实现的.与WHERE子句不同,GROUP BY子句用于归纳 ...

  8. 多个MapReduce作业相互依赖时,使用JobControl进行管理

    要处理复杂关系的数据,一个工程里面绝对不止一个MapReduce作业,当有多个MapReduce作业时,       并且每个作业之间有依赖关系,所谓的依赖就是一个作业得到的结果是另外一个作业的输入, ...

  9. Ubuntu中文输入法的安装

    Ubuntu上的输入法主要有小小输入平台(支持拼音/二笔/五笔等),Fcitx,Ibus,Scim等.其中Scim和Ibus是输入法框架. 在Ubuntu的中文系统中自带了中文输入法,通过Ctrl+S ...

  10. matplotlib 中文问题

    matplotlib的缺省配置文件中所使用的字体无法正确显示中文.为了让图表能正确显示中文,主要有三种设置中文的方法: (1)直接读取指定的字体文件.这种方法的依赖性最小,缺点是要指定字体文件的路径. ...