Hadoop 3.0 安装
1. 下载Hadoop 3.0
http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz
从零开始的 Win7 64Bit 编译Hadoop3 (此步无需执行,直接下载第二步的链接库)
https://my.oschina.net/alexnine/blog/779794
2. 下载对应的链接库
https://github.com/steveloughran/winutils
将对应hadoop.dll和winutils.exe放置到\hadoop-3.0.0\bin
3. 配置hadoop环境变量
创建HADOOP_HOME,另外在Path下添加 %HADOOP_HOME%\bin
4. 配置
http://blog.csdn.net/dream_an/article/details/51862640
(1) 到hadoop根目录,建立workplace
datanode
namenode
tmp
(2) 修改\hadoop-3.0.0\etc\hadoop\hadoop-env.cmd
修改JAVA_HOME为你自己jdk路径
注意:如果你的JDK安装在ProgramFiles目录下,名称用\PROGRA~1\Java 否则中间的空格可能会识别失败。
怎么跑到hadoop上不识别了呢?
在网上搜索了下资料发现原来是路径上包含了一个空格
所以有以下2个解决办法:
1.用路径替代符
C:\PROGRA~1\Java\jdk1.8.0_91
PROGRA~1 ===== C:\Program Files 目录的dos文件名模式下的缩写
长于8个字符的文件名和文件夹名,都被简化成前面6个有效字符,后面~1,有重名的就 ~2,~3,
2.用引号括起来
"C:\ProgramFiles"\Java\jdk1.8.0_91
(3) hdfs-site.xml
<configuration>
<!-- 这个参数设置为1,因为是单机版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/D:/Tools/Hadoop/hadoop-3.0.0/workplace/datanode</value>
</property>
</configuration>
(4) mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
(5) core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/Tools/Hadoop/hadoop-3.0.0/workplace/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/D:/Tools/Hadoop/hadoop-3.0.0/workplace/namenode</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
(6) yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
5. 格式化namenode
%HADOOP_HOME%\bin\hdfsnamenode –format
6. 启动namenode和datanode
%HADOOP_HOME%\sbin\start-dfs.cmd
7. 启动YARN
%HADOOP_HOME%\sbin\start-yarn.cmd
8. 上传文件到文件系统
%HADOOP_HOME%\bin\hdfs dfs -put D:\\myfile.txt /
查看
%HADOOP_HOME%\bin\hdfs dfs -ls /
9. 运行例子
%HADOOP_HOME%\bin\yarn jar%HADOOP_HOME%\share\hadoop\mapreduce\hadoop-mapreduce-examples-3.0.0.jarwordcount /myfile.txt /out
(1) CreateSymbolicLink error(1314): A required privilege is not held by the client
以管理员权限启动cmd àHadoop
(2) 运行
(3) 跑第二遍org.apache.hadoop.mapred.FileAlreadyExistsException: Outputdirectory hdfs://localhost:9000/out already exists
【Mapreduce】从代码上解决Output directory already exists错误,避免每次调试都要手动删除输出文件夹
http://blog.csdn.net/yongh701/article/details/50601811
http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/
1) 在Eclipse中操作HDFS 中的文件
http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/
2) 查看HDFS文件系统数据的三种方法
http://blog.csdn.net/flyfish111222/article/details/51995523
3) 在eclipse中删除out
4) 重新跑
10. 结束Hadoop
%HADOOP_HOME%\sbin\stop-yarn.cmd
%HADOOP_HOME%\sbin\stop-dfs.cmd
Hadoop 3.0 安装的更多相关文章
- Hadoop 2.0安装以及不停集群加datanode
Hadoop2.0是对Hadoop1.0全面升级,针对Namenode单点问题,提出了HDFS Federation,让多个NameNode分管不同的目录进而实现访问隔离和横向扩展.诞生了通用的计算框 ...
- hadoop 2.0安装及HA配置简述
一.单机模式 a.配置本机到本机的免密登录 b.解压hadoop压缩包,修改hadoop.env.sh中的JAVA_HOME c.修改core-site.xml <configuration&g ...
- Hadoop 2.0 安装配置
1. install jdk 2. install hadoop. 安装包hadoop-2.2.0.tar.gz存放在一个目录.并解压. 3. 修改配置文件,一般配置文件在/etc/hadoop下面. ...
- Sqoop安装与使用(sqoop-1.4.5 on hadoop 1.0.4)
1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传输,发展至今 ...
- Centos 7环境下安装配置Hadoop 3.0 Beta1简记
前言 由于以前已经写过一篇Centos 7环境下安装配置2.8的随笔,因此这篇写得精简些,只挑选一些重要环节记录一下. 安装环境为:两台主机均为Centos 7.*操作系统,两台机器配置分别为: 主机 ...
- CentOS 7安装Hadoop 3.0.0
最近在学习大数据,需要安装Hadoop,自己弄了好久,最后终于弄好了.网上也有很多文章关于安装Hadoop的,但总会遇到一些问题,所以把在CentOS 7安装Hadoop 3.0.0的整个过程记录下来 ...
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
http://blog.csdn.net/licongcong_0224/article/details/12972889 历时一周多,终于搭建好最新版本hadoop2.2集群,期间遇到各种问题,作为 ...
- [转] Hadoop 2.0 详细安装过程
1. 准备 创建用户 useradd hadoop passwd hadoop 创建相关的目录 定义代码及工具存放的路径 mkdir -p /home/hadoop/source mkdir -p / ...
- hadoop 3.0.0 alpha3 安装、配置
1. 官网下载 wget http://mirror.bit.edu.cn/apache/hadoop/common /hadoop-3.0.0-alpha3/hadoop-3.0.0-alpha3 ...
随机推荐
- 基于无锁队列和c++11的高性能线程池
基于无锁队列和c++11的高性能线程池线程使用c++11库和线程池之间的消息通讯使用一个简单的无锁消息队列适用于linux平台,gcc 4.6以上 标签: <无> 代码片段(6)[ ...
- SSH加密原理、RSA非对称加密算法学习与理解
首先声明一下,这里所说的SSH,并不是Java传统的三大框架,而是一种建立在应用层和传输层基础上的安全外壳协议,熟悉Linux的朋友经常使 用到一 个SSH Secure Shell Cilent的工 ...
- [Easyui - Grid]为easyui的datagrid、treegrid增加表头菜单,用于显示或隐藏列
为easyui的datagrid.treegrid增加表头菜单,用于显示或隐藏列 /** * @author 孙宇 * * @requires jQuery,EasyUI * * 为datagrid. ...
- 即用了 测试脚本里面的 类的值,又继承了 unittest类 使用他的断言方法 (接口自动化 数据分离 变量相互调用 看这里)
- Python——pandas数据处理(python programming)
- 字符串分割split()
知识讲解: split() 方法将字符串分割为字符串数组,并返回此数组. 语法: stringObject.split(separator,limit) 参数说明: 注意:如果把空字符串 (" ...
- ping一个网段的cmd程序
ping一个网段的cmd程序 今天发现只在cmd命令行工具中输入: FOR /L %i IN (1,1,254) DO ping -n 1 192.168.1.%i 即可.
- Oracle下PLSQL连接没有数据库的问题
https://blog.csdn.net/master_yao/article/details/51055850 参考博文地址 当PLSQL连接提示时请注意 请将首选项里内容进行修改 指定oci.d ...
- Zabbix 添加主机
#1 #2
- Postman模拟ajax请求 并模拟登陆
2.设置header头 <span style="font-size:16px;">设置代理.cookie.X-Requested-With 注意 :X-Reque ...