1.      下载Hadoop 3.0

http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz

从零开始的 Win7 64Bit 编译Hadoop3 (此步无需执行,直接下载第二步的链接库)

https://my.oschina.net/alexnine/blog/779794

2.      下载对应的链接库

https://github.com/steveloughran/winutils

将对应hadoop.dll和winutils.exe放置到\hadoop-3.0.0\bin

3.      配置hadoop环境变量

创建HADOOP_HOME,另外在Path下添加 %HADOOP_HOME%\bin

4.      配置

http://blog.csdn.net/dream_an/article/details/51862640

(1)    到hadoop根目录,建立workplace

datanode

namenode

tmp

(2)    修改\hadoop-3.0.0\etc\hadoop\hadoop-env.cmd

修改JAVA_HOME为你自己jdk路径

注意:如果你的JDK安装在ProgramFiles目录下,名称用\PROGRA~1\Java 否则中间的空格可能会识别失败。

怎么跑到hadoop上不识别了呢?

在网上搜索了下资料发现原来是路径上包含了一个空格

所以有以下2个解决办法:

1.用路径替代符

C:\PROGRA~1\Java\jdk1.8.0_91

PROGRA~1  ===== C:\Program Files 目录的dos文件名模式下的缩写

长于8个字符的文件名和文件夹名,都被简化成前面6个有效字符,后面~1,有重名的就 ~2,~3,

2.用引号括起来

"C:\ProgramFiles"\Java\jdk1.8.0_91

(3)    hdfs-site.xml

<configuration>

<!-- 这个参数设置为1,因为是单机版hadoop -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/D:/Tools/Hadoop/hadoop-3.0.0/workplace/datanode</value>

</property>

</configuration>

(4)    mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapred.job.tracker</name>

<value>hdfs://localhost:9001</value>

</property>

</configuration>

(5)    core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/D:/Tools/Hadoop/hadoop-3.0.0/workplace/tmp</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/D:/Tools/Hadoop/hadoop-3.0.0/workplace/namenode</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

(6)    yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

5.      格式化namenode

%HADOOP_HOME%\bin\hdfsnamenode –format

6.      启动namenode和datanode

%HADOOP_HOME%\sbin\start-dfs.cmd

7.      启动YARN

%HADOOP_HOME%\sbin\start-yarn.cmd

8.      上传文件到文件系统

%HADOOP_HOME%\bin\hdfs dfs -put D:\\myfile.txt /

查看

%HADOOP_HOME%\bin\hdfs dfs -ls /

9.      运行例子

%HADOOP_HOME%\bin\yarn jar%HADOOP_HOME%\share\hadoop\mapreduce\hadoop-mapreduce-examples-3.0.0.jarwordcount /myfile.txt /out

(1)    CreateSymbolicLink error(1314): A required privilege is not held by the client

以管理员权限启动cmd àHadoop

(2)    运行

(3)    跑第二遍org.apache.hadoop.mapred.FileAlreadyExistsException: Outputdirectory hdfs://localhost:9000/out already exists

【Mapreduce】从代码上解决Output directory already exists错误,避免每次调试都要手动删除输出文件夹

http://blog.csdn.net/yongh701/article/details/50601811

http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/

1)      在Eclipse中操作HDFS 中的文件

http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/

2)      查看HDFS文件系统数据的三种方法

http://blog.csdn.net/flyfish111222/article/details/51995523

3)      在eclipse中删除out

4)      重新跑

10.  结束Hadoop

%HADOOP_HOME%\sbin\stop-yarn.cmd

%HADOOP_HOME%\sbin\stop-dfs.cmd

Hadoop 3.0 安装的更多相关文章

  1. Hadoop 2.0安装以及不停集群加datanode

    Hadoop2.0是对Hadoop1.0全面升级,针对Namenode单点问题,提出了HDFS Federation,让多个NameNode分管不同的目录进而实现访问隔离和横向扩展.诞生了通用的计算框 ...

  2. hadoop 2.0安装及HA配置简述

    一.单机模式 a.配置本机到本机的免密登录 b.解压hadoop压缩包,修改hadoop.env.sh中的JAVA_HOME c.修改core-site.xml <configuration&g ...

  3. Hadoop 2.0 安装配置

    1. install jdk 2. install hadoop. 安装包hadoop-2.2.0.tar.gz存放在一个目录.并解压. 3. 修改配置文件,一般配置文件在/etc/hadoop下面. ...

  4. Sqoop安装与使用(sqoop-1.4.5 on hadoop 1.0.4)

    1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传输,发展至今 ...

  5. Centos 7环境下安装配置Hadoop 3.0 Beta1简记

    前言 由于以前已经写过一篇Centos 7环境下安装配置2.8的随笔,因此这篇写得精简些,只挑选一些重要环节记录一下. 安装环境为:两台主机均为Centos 7.*操作系统,两台机器配置分别为: 主机 ...

  6. CentOS 7安装Hadoop 3.0.0

    最近在学习大数据,需要安装Hadoop,自己弄了好久,最后终于弄好了.网上也有很多文章关于安装Hadoop的,但总会遇到一些问题,所以把在CentOS 7安装Hadoop 3.0.0的整个过程记录下来 ...

  7. Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)

    http://blog.csdn.net/licongcong_0224/article/details/12972889 历时一周多,终于搭建好最新版本hadoop2.2集群,期间遇到各种问题,作为 ...

  8. [转] Hadoop 2.0 详细安装过程

    1. 准备 创建用户 useradd hadoop passwd hadoop 创建相关的目录 定义代码及工具存放的路径 mkdir -p /home/hadoop/source mkdir -p / ...

  9. hadoop 3.0.0 alpha3 安装、配置

    1. 官网下载 wget  http://mirror.bit.edu.cn/apache/hadoop/common /hadoop-3.0.0-alpha3/hadoop-3.0.0-alpha3 ...

随机推荐

  1. Java-Runoob-高级教程-实例-时间处理:01. Java 实例 - 格式化时间(SimpleDateFormat)

    ylbtech-Java-Runoob-高级教程-实例-时间处理:01. Java 实例 - 格式化时间(SimpleDateFormat) 1.返回顶部 1. Java 实例 - 格式化时间(Sim ...

  2. locked (a oracle.jdbc.driver.T4CConnection

    发现写Oracle的线程挂住了,场景是从mysql读数据,然后写到Oracle.   1 定位线程 因为在同一台机器上运行了多个java进程,要找到对应的pid,就是连接mysql的的那个进程.   ...

  3. UnicodeString基本操作(Ring3)

    // Unicode_String_Ring3.cpp : 定义控制台应用程序的入口点. // #include "stdafx.h" #include "Unicode ...

  4. maven之BOM及BOM和provided的一个小坑

    BOM(Bill of Materials)定义一整套相互兼容的jar包版本集合,使用时只需要依赖该BOM文件,即可放心的使用需要的依赖jar包,且无需再指定版本号.BOM的维护方负责版本升级,并保证 ...

  5. [UE4]宏

    宏和函数的区别 “展开”就是直接将宏代码直接复制粘贴替换到所有使用当前宏的地方.这个跟C++中的宏是一样的. 1.宏可以有多个入口,多个出口,函数只有一个入口,一个出口 2.宏的参数可以使用“Exec ...

  6. [UE4]Cast to 转换成纯函数

    这样就变成不需要执行线了,可以直接得到转换结果

  7. Java IO网络编程经典模板

    本文会从传统的BIO到NIO再到AIO自浅至深介绍,并附上完整的代码讲解. 下面代码中会使用这样一个例子:客户端发送一段算式的字符串到服务器,服务器计算后返回结果到客户端. 代码的所有说明,都直接作为 ...

  8. Android 按下home键,程序在后台运行,在设置中点击程序的启动时,会再次打开启动页的解决办法

    在onCreate()方法中增加如下代码即可: if (!isTaskRoot()) {  finish();  return;  }

  9. sas 批量处理缺少缺失值

    DATA S.customer_grade;    SET S.customer_grade;    ARRAY NUM{*} _NUMERIC_;    DO I=1 TO DIM(NUM);   ...

  10. C# DataReader

    //1 连接字符串 string connectionString = "server=127.0.0.1;integrated security=true;database=MSPetSh ...