1 下载准备

  • 下载hadoop,官网用一个快一点的镜像,使用迅雷加速下载,二进制格式,解压目录:E:\hadoop\hadoop-2.9.2
  • 下载winutils,这个是别人编译好的hadoop的windows版本二进制文件,选择对应版本覆盖安装目录下对应目录
  • 下载jdk

2 配置环境变量

  • 添加环境变量HADOOP_HOME,E:\hadoop\hadoop-2.9.2;JAVA_HOME,E:\Java\jdk1.8.0_231
  • 在系统Path环境变量中添加,%HADOOP_HOME%\bin,%HADOOP_HOME%\sbin,%JAVA_HOME%\bin,%HADOOP_HOME%\jre\bin

注意:hadoop必须要和Java JDK在同一个盘下,否则找不到JAVA_HOME。可以将JDK拷贝到hadoop所在盘并修改JAVA_HOME

3 cmd下测试

  • hadoop versioin
  • java -version

4 hadoop 基本文件配置

在安装目录\etc\hadoop下的四个xml文件 core-site.xml / hdfs-site.xml / mapred-site.xml / yarn-site.xml

注意:(没有mapred xml将mapred-site.xml.template去掉.template后缀变成xml)

注意使用utf-8编码保存,notepad++

  • core-site.xml
<configuration>
<!-- 指定namenode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property> <!-- 指定使用hadoop时产生文件的存放目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/E:/hadoop/hadoop-2.10.0/tmp</value>
</property> <!-- 设置检查点备份日志的最长时间 -->
<property>
<name>fs.checkpoint.period</name>
<value>3600</value>
</property>
</configuration>
  • hdfs-site.xml
<configuration>
<!-- 指定hdfs保存数据的副本数量 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property> <!-- 指定hdfs中namenode的存储位置 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/E:/hadoop/hadoop-2.9.2/tmp/dfs/namenode</value>
</property> <!-- 指定hdfs中datanode的存储位置 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/E:/hadoop/hadoop-2.9.2/tmp/dfs/datanode</value>
</property>
</configuration>
  • mapred-site.xml
<configuration>
<!-- 告诉hadoop以后MR运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
  • yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
<!-- namenodeManager获取数据的方式是shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property> <property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- yarn打印工作日志 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
</configuration>

注意: 设置一下参数后resourcemanager无法启动,待解决

<!-- 指定yarn的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>

5 测试是否搭建成功

  • 格式化系统文件,cmd下,hdfs namenode -format(如果没有添加bin到path,也可以cd到安装目录下的bin)
  • 启动hadoop(如果没有添加sbin到path,也可以cd到安装目录下的sbin)

6 测试hadoop自带的demo,计算单词数量

  • 创建一个txt文件test.txt
  • 在dfs创建一个文件夹,hadoop fs -mkdir /test
  • 将文本文件上传到dfs,hadoop fs -put 文件目录\test.txt /test/input
  • 查看:hadoop fs -ls 目录
  • hadoop jar jar包路径 /test/input /test/output

https://blog.csdn.net/Ryan_92/article/details/81319134

  • jps,显示所有当前java进程pid的命令

win7下安装Hadoop的更多相关文章

  1. CentOS下安装hadoop

    CentOS下安装hadoop 用户配置 添加用户 adduser hadoop passwd hadoop 权限配置 chmod u+w /etc/sudoers vi /etc/sudoers 在 ...

  2. WIN7下安装visualC++2008 redistributable 出现1935错误的解决办法(转自)

    转自:http://zhidao.baidu.com/link?url=jylNh_JeANi4wrOMmd4d2i06e_N3QCw7z6BLGiNNNTu1Hc6ADTkUq2PORExKmjtk ...

  3. Win7下安装Centos7

    win7下安装Centos同一块硬盘时:win启动项没有,使用pe进行修复,之后用easybcd进行centos启动项修复,grub2,自动搜索两块硬盘时:不要动启动项,bios选启动的硬盘即可 li ...

  4. 64位Win7下安装与配置PHP环境【Apache+PHP+MySQL】

    [软件下载] 本安装实例所使用安装文件如图所示: 其中,64位版本的MySQL安装文件mysql-5.5.33-winx64.msi,可直接从官网下载,下载地址:http://dev.mysql.co ...

  5. Win7下安装依赖lxml的python插件

    博主python菜鸟,本想在win7下安装一个pyquery玩玩爬虫,折腾了好几天终于搞好了,发现python这坑不是一般的深啊. 有一部分没有截图,请谅解 python版本3.4 1.下载easy_ ...

  6. win7下安装MYSQL报错:"MYSQL 服务无法启动"的3534问题

    上午在win7下安装MYSQL,只到“net start mysql”这一步报错:3534的错误: 于是在百度中搜索关键字“mysql服务无法启动3534”. 参考以下两个链接中的方法,解决了3534 ...

  7. win7下安装 WINDRIVER.TORNADO.V2.2.FOR.ARM

    [风河VxWorks].WINDRIVER.TORNADO.V2.2.FOR.ARM下载 http://115.com/file/dlfo8zpy http://115.com/file/c4r01l ...

  8. win7 下安装oracle 10g

    oracle 10g 在win7下安装,提示程序异常终止,发生未知错误 在网上搜结果: 修改Oracle 10G\database\stage\prereq\db\refhost.xml 在 < ...

  9. (转)NoSQL——Redis在win7下安装配置的学习一

    NoSQL——Redis在win7下安装配置的学习一   有些也是从网上看来的 1.下载安装 Redis它没有windows的官方版本,但是又非官方的版本,到官网上去下载相应的版本,我的电脑是win7 ...

随机推荐

  1. vue学习17-插槽作用域

    <!DOCTYPE html> <html lang='en'> <head> <meta charset='UTF-8'> <meta http ...

  2. 0,NULL和nullpter

    #include <iostream> using namespace std; void f(int) { cout<<"f(int)"<<e ...

  3. .Net Core中自定义认证实现

    一.起因 最近项目中需要对项目同时支持JWT认证,以及自定义的认证校验方式认证.通过对官方文档了解,得到认证实现主要通过继承IAuthenticationHandler 或 Authenticatio ...

  4. DB2重组表失败处理办法

    set integrity for XXX all immediate unchecked reorg table XXX allow no access 如set integrity for a a ...

  5. linux 常用命令。

    /* Linux常用命令? 1 查看 ls             展示当前目录下的可见文件   ls -a         展示当前目录下所有的文件(包括隐藏的文件)   ls -l(ll)     ...

  6. mybatis 接口中定义方法、映射文件、实体类之间的关系?

    一.定义实体类 ,注意需求 是一对多还是多对一.  这里用员工和部门  多对一的关系举例. package com.zs.entity; /* * /* * 多对一? * 多个员工 对应一个部门 一个 ...

  7. 【转】python导出依赖库

    原文链接:https://www.cnblogs.com/ceshixuexi/p/8283372.html 在Python开发的过程中,经常会遇到各种各样的小问题,比如在一台计算机上调试好的程序,迁 ...

  8. Netty入门使用教程

    原创:转载需注明原创地址 https://www.cnblogs.com/fanerwei222/p/11827026.html 本文介绍Netty的使用, 结合我本人的一些理解和操作来快速的让初学者 ...

  9. 解压命令tar zxvf中zxvf分别是什么意思

    x : 从 tar 包中把文件提取出来z : 表示 tar 包是被 gzip 压缩过的,所以解压时需要用 gunzip 解压v : 显示详细信息f xxx.tar.gz : 指定被处理的文件是 xxx ...

  10. 疑难杂症:运用 transform 导致文本模糊的现象探究

    在我们的页面中,经常会出现这样的问题,一块区域内的文本或者边框,在展示的时候,变得特别的模糊,如下(数据经过脱敏处理): 正常而言,应该是这样的: emmm,可能大图不是很明显,我们取一细节对比,就非 ...