Hadoop 3.0 安装
1. 下载Hadoop 3.0
http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz
从零开始的 Win7 64Bit 编译Hadoop3 (此步无需执行,直接下载第二步的链接库)
https://my.oschina.net/alexnine/blog/779794
2. 下载对应的链接库
https://github.com/steveloughran/winutils
将对应hadoop.dll和winutils.exe放置到\hadoop-3.0.0\bin
3. 配置hadoop环境变量
创建HADOOP_HOME,另外在Path下添加 %HADOOP_HOME%\bin
4. 配置
http://blog.csdn.net/dream_an/article/details/51862640
(1) 到hadoop根目录,建立workplace
datanode
namenode
tmp
(2) 修改\hadoop-3.0.0\etc\hadoop\hadoop-env.cmd
修改JAVA_HOME为你自己jdk路径
注意:如果你的JDK安装在ProgramFiles目录下,名称用\PROGRA~1\Java 否则中间的空格可能会识别失败。
怎么跑到hadoop上不识别了呢?
在网上搜索了下资料发现原来是路径上包含了一个空格
所以有以下2个解决办法:
1.用路径替代符
C:\PROGRA~1\Java\jdk1.8.0_91
PROGRA~1 ===== C:\Program Files 目录的dos文件名模式下的缩写
长于8个字符的文件名和文件夹名,都被简化成前面6个有效字符,后面~1,有重名的就 ~2,~3,
2.用引号括起来
"C:\ProgramFiles"\Java\jdk1.8.0_91
(3) hdfs-site.xml
<configuration>
<!-- 这个参数设置为1,因为是单机版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/D:/Tools/Hadoop/hadoop-3.0.0/workplace/datanode</value>
</property>
</configuration>
(4) mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
(5) core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/Tools/Hadoop/hadoop-3.0.0/workplace/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/D:/Tools/Hadoop/hadoop-3.0.0/workplace/namenode</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
(6) yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
5. 格式化namenode
%HADOOP_HOME%\bin\hdfsnamenode –format
6. 启动namenode和datanode
%HADOOP_HOME%\sbin\start-dfs.cmd
7. 启动YARN
%HADOOP_HOME%\sbin\start-yarn.cmd
8. 上传文件到文件系统
%HADOOP_HOME%\bin\hdfs dfs -put D:\\myfile.txt /
查看
%HADOOP_HOME%\bin\hdfs dfs -ls /
9. 运行例子
%HADOOP_HOME%\bin\yarn jar%HADOOP_HOME%\share\hadoop\mapreduce\hadoop-mapreduce-examples-3.0.0.jarwordcount /myfile.txt /out
(1) CreateSymbolicLink error(1314): A required privilege is not held by the client
以管理员权限启动cmd àHadoop
(2) 运行
(3) 跑第二遍org.apache.hadoop.mapred.FileAlreadyExistsException: Outputdirectory hdfs://localhost:9000/out already exists
【Mapreduce】从代码上解决Output directory already exists错误,避免每次调试都要手动删除输出文件夹
http://blog.csdn.net/yongh701/article/details/50601811
http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/
1) 在Eclipse中操作HDFS 中的文件
http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/
2) 查看HDFS文件系统数据的三种方法
http://blog.csdn.net/flyfish111222/article/details/51995523
3) 在eclipse中删除out
4) 重新跑
10. 结束Hadoop
%HADOOP_HOME%\sbin\stop-yarn.cmd
%HADOOP_HOME%\sbin\stop-dfs.cmd
Hadoop 3.0 安装的更多相关文章
- Hadoop 2.0安装以及不停集群加datanode
Hadoop2.0是对Hadoop1.0全面升级,针对Namenode单点问题,提出了HDFS Federation,让多个NameNode分管不同的目录进而实现访问隔离和横向扩展.诞生了通用的计算框 ...
- hadoop 2.0安装及HA配置简述
一.单机模式 a.配置本机到本机的免密登录 b.解压hadoop压缩包,修改hadoop.env.sh中的JAVA_HOME c.修改core-site.xml <configuration&g ...
- Hadoop 2.0 安装配置
1. install jdk 2. install hadoop. 安装包hadoop-2.2.0.tar.gz存放在一个目录.并解压. 3. 修改配置文件,一般配置文件在/etc/hadoop下面. ...
- Sqoop安装与使用(sqoop-1.4.5 on hadoop 1.0.4)
1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传输,发展至今 ...
- Centos 7环境下安装配置Hadoop 3.0 Beta1简记
前言 由于以前已经写过一篇Centos 7环境下安装配置2.8的随笔,因此这篇写得精简些,只挑选一些重要环节记录一下. 安装环境为:两台主机均为Centos 7.*操作系统,两台机器配置分别为: 主机 ...
- CentOS 7安装Hadoop 3.0.0
最近在学习大数据,需要安装Hadoop,自己弄了好久,最后终于弄好了.网上也有很多文章关于安装Hadoop的,但总会遇到一些问题,所以把在CentOS 7安装Hadoop 3.0.0的整个过程记录下来 ...
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
http://blog.csdn.net/licongcong_0224/article/details/12972889 历时一周多,终于搭建好最新版本hadoop2.2集群,期间遇到各种问题,作为 ...
- [转] Hadoop 2.0 详细安装过程
1. 准备 创建用户 useradd hadoop passwd hadoop 创建相关的目录 定义代码及工具存放的路径 mkdir -p /home/hadoop/source mkdir -p / ...
- hadoop 3.0.0 alpha3 安装、配置
1. 官网下载 wget http://mirror.bit.edu.cn/apache/hadoop/common /hadoop-3.0.0-alpha3/hadoop-3.0.0-alpha3 ...
随机推荐
- Java-Runoob-高级教程-实例-时间处理:01. Java 实例 - 格式化时间(SimpleDateFormat)
ylbtech-Java-Runoob-高级教程-实例-时间处理:01. Java 实例 - 格式化时间(SimpleDateFormat) 1.返回顶部 1. Java 实例 - 格式化时间(Sim ...
- locked (a oracle.jdbc.driver.T4CConnection
发现写Oracle的线程挂住了,场景是从mysql读数据,然后写到Oracle. 1 定位线程 因为在同一台机器上运行了多个java进程,要找到对应的pid,就是连接mysql的的那个进程. ...
- UnicodeString基本操作(Ring3)
// Unicode_String_Ring3.cpp : 定义控制台应用程序的入口点. // #include "stdafx.h" #include "Unicode ...
- maven之BOM及BOM和provided的一个小坑
BOM(Bill of Materials)定义一整套相互兼容的jar包版本集合,使用时只需要依赖该BOM文件,即可放心的使用需要的依赖jar包,且无需再指定版本号.BOM的维护方负责版本升级,并保证 ...
- [UE4]宏
宏和函数的区别 “展开”就是直接将宏代码直接复制粘贴替换到所有使用当前宏的地方.这个跟C++中的宏是一样的. 1.宏可以有多个入口,多个出口,函数只有一个入口,一个出口 2.宏的参数可以使用“Exec ...
- [UE4]Cast to 转换成纯函数
这样就变成不需要执行线了,可以直接得到转换结果
- Java IO网络编程经典模板
本文会从传统的BIO到NIO再到AIO自浅至深介绍,并附上完整的代码讲解. 下面代码中会使用这样一个例子:客户端发送一段算式的字符串到服务器,服务器计算后返回结果到客户端. 代码的所有说明,都直接作为 ...
- Android 按下home键,程序在后台运行,在设置中点击程序的启动时,会再次打开启动页的解决办法
在onCreate()方法中增加如下代码即可: if (!isTaskRoot()) { finish(); return; }
- sas 批量处理缺少缺失值
DATA S.customer_grade; SET S.customer_grade; ARRAY NUM{*} _NUMERIC_; DO I=1 TO DIM(NUM); ...
- C# DataReader
//1 连接字符串 string connectionString = "server=127.0.0.1;integrated security=true;database=MSPetSh ...