第一部分:Hadoop 在windows 上伪分布式的安装过程

安装JDK

1.下载JDK

       http://www.oracle.com/technetwork/java/javaee/downloads/java-ee-sdk-6u3-jdk-6u29-downloads-523388.html

2.解压

   或者直接运行.exe安装

后面根据项目的实际需要来进行调整。

安装 Cygwin

1.下载Cygwin

    网址: http://www.cygwin.com/setup.exe

2.安装Cygwin

1. Net Category 下的OpenSSL

2.    Base Category 下的sed

3.Editors Category 下的vim

4.Devel Category  下subversion

后面根据项目的实际需要来进行调整。

配置环境变量

1.配置JAVA 环境变量

    PATH 和JAVA_HOME:

        JAVA_HOME 指向JDK安装目录;

        PATH 指向JDK的bin

启动 SSHD 服务

1.安装SSHD

   ssh-host-config

2. 启动SSHD

    net start sshd 

ssh 的安装和配置

实现ssh无密码登陆

$ssh-keygen -t rsa  

直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对

出现,类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys完成后可以实现无密码登录本机

安装 Hadoop

1.下载Hadoop

   http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.0.0/

2.解压Hadoop

         tar xzvf hadoop-0.21.0.tar.gz

配置 Hadoop

1. 配置hadoop-env.sh

2 .配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件

概念

HDFS:

      NameNode  :管理节点

      DataNode   :数据节点

      SecondaryNamenode : 数据源信息备份整理节点

MapReduce

       JobTracker  :任务管理节点

       Tasktracker  :任务运行节点

配置文件

       core-site.xml   common属性配置

       hdfs-site.xml    HDFS属性配置

       mapred-site.xml  MapReduce属性配置

       hadoop-env.sh     hadooop 环境变量配置

修改 hadoop-env.sh

配置JDK即可

export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25

core-site.xml

java代码:

  1. <configuration>      
  2. <property>   
  3.        <name>fs.default.name</name>   
  4.        <value>hdfs://localhost:9000</value> 
  5. </property>   
  6. <property> 
  7.        <name>hadoop.tmp.dir</name> 
  8.         <value>/hadoop</value> 
  9.      </property> 
  10. </configuration>   

hdfs-site.xml

java代码:

  1. <configuration>      
  2.    <property>   
  3.          <name>dfs.replication</name>   
  4.          <value>1</value>   
  5.     </property>   
  6. </configuration>   

mapred-site.xml

java代码:

 

  1. <configuration>      
  2.     <property>   
  3.          <name>mapred.job.tracker</name>   
  4.          <value>localhost:9001</value>   
  5.     </property>   
  6. </configuration>   

启动 Hadoop

1.格式化文件系统

      hadoop namenode –format

2. 启动hadoop

      启动所有任务start-all.sh/stop-all.sh

      启动关闭HDFS: start-dfs.sh/stop-dfs.sh

      启动关闭MapReduce:  start-mapred.sh/stop-mapred.sh      

3. 用jps命令查看进程,确保有   namenode,dataNode,JobTracker,TaskTracker

第二部分:Hadoop 在linux  上单节点伪分布式的安装过程

安装 JDK

$chmod +x jdk-6u27-linux-i586.bin

$./jdk-6u27-linux-i586.bin

安装完后设置java 环境变量如下

命令 :/home路径下

$vi .bashrc

然后添加如下语句

export JAVA_HOME=/home/test/ jdk1.6.0_27

export PATH =/bin:$JAVA_HOME/bin:/usr/bin:$PATH:.

然后. .bashrc使其生效

ssh 的安装和配置

$实现ssh无密码登陆

$sudo apt-get install ssh

$ssh-keygen 

直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对

出现,类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys
$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys完成后可以实现无密码登录本机

Hadoop 安装

1.下载Hadoop

   http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.0.0/

2.解压Hadoop

         tar xzvf hadoop-0.21.0.tar.gz

3. 添加Hadoop Bin到环境变量中

修改 hadoop-env.sh

配置JDK即可

export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25

conf/core-site.xml

java代码:

 

  1. <configuration>      
  2.     <property>   
  3.           <name>fs.default.name</name>   
  4.           <value>hdfs://localhost:9000</value> 
  5.       </property>   
  6.       <property> 
  7.            <name>hadoop.tmp.dir</name> 
  8.            <value>/hadoop</value> 
  9.        </property> 
  10. </configuration>   

conf/hdfs-site.xml

java代码:

 

  1. <configuration>      
  2.    <property>   
  3.          <name>dfs.replication</name>   
  4.          <value>1</value>   
  5.     </property>   
  6. </configuration>   

conf/mapred-site.xml

java代码:

  1. <configuration>      
  2.      <property>   
  3.          <name>mapred.job.tracker</name>   
  4.          <value>localhost:9001</value>   
  5.     </property>   
  6. </configuration>   

启动 Hadoop

1.格式化文件系统

      hadoop namenode –format

2. 启动hadoop

     启动关闭所有服务 start-all.sh/stop-all.sh

     启动关闭HDFS: start-dfs.sh/stop-dfs.sh

     启动关闭MapReduce:  start-mapred.sh/stop-mapred.sh

3. 用jps命令查看进程,确保有   namenode,dataNode,JobTracker,TaskTracker

第三部分:Hadoop UI 介绍

Hadoop 重要的端口

1.Job Tracker 管理界面:50030

2.HDFS 管理界面 :50070

3.HDFS通信端口:9000

4.MapReduce通信端口:9001

常用访问页面

1. HDFS 界面

        http://hostname:50070

2. MapReduce 管理界面

        http://hostname:50030

第四部分:运行Word Count 示例

相关步骤及命令

1.先在本地磁盘上建立两个文件file1和file2

      $ echo ”Hello world Bye world" > >~/input/file1

      $ echo ”hello hadoop bye hadoop” > >~/input/file2

2.在HDFS上建立一个input目录

       $ hadoop fs -mkdir /tmp/input

3.将file1和file2拷贝到hdfs的input目录下

       $ hadoop fs -put input/* /tmp/input

4.检查hdfs上有没有file1,file2

     $ hadoop fs -ls /tmp/input

5.执行wordcount

   hadoop jar hadoop-examples-1.0.0.jar wordcount  /tmp/input  /tmp/output

6.运行完成,查看结果

   hadoop fs -cat /output/part-r-00000

第五部分:集成 Eclipse 开发环境

通过 Eclipse 编写 Hadoop 程序

1.导入hadoop-core.jar及hadoop/lib下所有Jar包

2.加入Hadoop配置文件,包括conf/core-site.xml、conf/hdfs-site.xml、conf/mapred- site.xml,并修改相应参数。

本节课程小结

掌握了在Windows ,Linux(ubuntu)上安装Hadoop 单节点伪分布式安装 

初次体验了Hadoop运行的WordCounter程序 

了解了Hadoop UI

掌握了Hadoop 集成到 Eclipse的情况

Hadoop 在windows 上伪分布式的安装过程的更多相关文章

  1. Hadoop Single Node Setup(hadoop本地模式和伪分布式模式安装-官方文档翻译 2.7.3)

    Purpose(目标) This document describes how to set up and configure a single-node Hadoop installation so ...

  2. Hadoop 3.1.3伪分布式环境安装Hive 3.1.2的异常总结

    背景:hadoop版本为3.1.3, 且以伪分布式形式安装,hive版本为3.1.2,hive为hadoop的一个客户端. 1. 安装简要步骤 (1) 官网下载apache-hive-3.1.2-bi ...

  3. hadoop 2.6.0 伪分布式部署安装遇到的问题

    之前读到了一篇关于配置安装hadoop的博文(地址:http://www.powerxing.com/install-hadoop/)能正确安装和运行,但是在网页进行Jobtracker监控时,输入l ...

  4. Win10环境下Hadoop(单节点伪分布式)的安装与配置--bug(yarn的8088端口打不开+)

    一.本文思路 [1].配置java环境–JDK12(Hadoop的底层实现语言是java,hadoop运行需要JDK环境) [2].安装Hadoop 1.解压hadop 2.配置hadoop环境变量 ...

  5. 初学者值得拥有【Hadoop伪分布式模式安装部署】

    目录 1.了解单机模式与伪分布模式有何区别 2.安装好单机模式的Hadoop 3.修改Hadoop配置文件---五个核心配置文件 (1)hadoop-env.sh 1.到hadoop目录中 ​ 2.修 ...

  6. Hadoop:Hadoop单机伪分布式的安装和配置

    http://blog.csdn.net/pipisorry/article/details/51623195 因为lz的linux系统已经安装好了很多开发环境,可能下面的步骤有遗漏. 之前是在doc ...

  7. Hadoop Yarn(一)—— 单机伪分布式环境安装

    HamaWhite(QQ:530422429)原创作品,转载请注明出处:http://write.blog.csdn.net/postedit/40556267. 本文是依据Hadoop官网安装教程写 ...

  8. Hadoop生态圈-hbase介绍-伪分布式安装

    Hadoop生态圈-hbase介绍-伪分布式安装 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HBase简介 HBase是一个分布式的,持久的,强一致性的存储系统,具有近似最 ...

  9. hadoop 2.7.3伪分布式安装

    hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...

随机推荐

  1. LNMP下wordpress无法切换主题,只显示当前主题解决方法

    最近在lnmp下发现wordpress后台无法切换主题,只能显示当前主题,开始还以为是文件没传完,又重置了一遍,还是一样.百度得知,原来军哥的LNMP安装包默认关闭了scandir函数,为了安全考虑. ...

  2. scjp考试准备 - 2 - 逻辑运算及类型转换

    判断如下代码的执行结果: public class Spock{ public static void main(String[] args){ Long tail = 2000L; Long dis ...

  3. [转]Linux下的图形库介绍

    [转]Linux 下的图形库介绍 http://blog.csdn.net/gogor/article/details/5925925 在进行Linux下的图形系统编程时,我们常常会遇到以下这些概念: ...

  4. flask中文问题

    在使用flask时在模板中使用了中文,运行的时候遇到下面的问题: UnicodeDecodeError UnicodeDecodeError: 'utf8' codec can't decode by ...

  5. Labview实现脉波调制( PAM )

    Labview实现脉波调制( PAM ) 根据定义为脉冲振幅调制 生成一个正弦信号,得到其幅值输入给一个方波信号的幅值 这个等价于一个方波信号和一个正弦信号相乘 得到的PAM信号通过观察其频率可以发现 ...

  6. iTween基础之Color(变换颜色)

    一.基础介绍:二.基础属性 原文地址: http://blog.csdn.net/dingkun520wy/article/details/51065275 一.基础介绍 ColorTo:从当前颜色变 ...

  7. snmp数据包分析

    今天看了一下snmp数据包的报文格式,用wireshark抓了两个数据包来分析. 先说说snmp get-request的书报包格式吧,get-next-request,get-response,se ...

  8. Ant学习---第三节:使用Ant实现一个最小的项目编译

    1.编译 .java 文件,生成 .jar 包,代码如下: <?xml version="1.0" encoding="UTF-8"?> <p ...

  9. IO和NIO的区别

    http://my.oschina.net/u/1010990/blog/192558 传统的socket IO中,需要为每个连接创建一个线程,当并发的连接数量非常巨大时,线程所占用的栈内存和CPU线 ...

  10. 【Maximum Depth of Binary Tree 】cpp

    题目: Given a binary tree, find its maximum depth. The maximum depth is the number of nodes along the ...