转自:https://blog.csdn.net/qq_32938169/article/details/80209083

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_32938169/article/details/80209083

1.去官网下载hadoop。

1>选择镜像网站,选清华的镜像的网站。

2>找个自己喜欢版本的hadoop,下载好将压缩包解压。

2.找对应版本的winutil。因为hadoop主要基于linux编写,这个winutil.exe主要用于模拟linux下的目录环境。因此hadoop放在windows下运行的时候,需要这个辅助程序才能运行。Github和csdn基本对应版本的都有。下载好解压放入hadoop的bin里,hadoop.dll放入window\Ssytem32\中。

csdn:

https://download.csdn.net/download/cpp_yangzuoshi/10164025

github:

https://github.com/steveloughran/winutils

3.配置hadoop相关xml。

1>首先确保环境变量中有JAVA_HOME,java相关程序,都会默认调用JAVA_HOME,注意“Program Files”因为有空格不被识别。可用PROGRA~1替代。

2>配置4个xml。先进入hadoop\etc\hadoop。

配置core-stie.xml。

配置hdfs-site.xml。

配置mapred-site.xml.template。

配置yarn-site.xml。

4.至此hadoop就可以用了。

1>将hadoop目录里的bin和sbin添加到环境变量中。

2>打开cmd。输入start-all.cmd,会启动hdfs和yarn服务。jps查看进程。stop-all.cmd停止服务。

3>Localhost:50070和Localhost:8088查看。

5.注意事项:

1>我是使用的hadoop2.9.0依赖jdk8,jdk9和10均不能正常使用hadoop。

2>使用前hadoop namenode -format

3>jps无法查看java进程的问题。由于更换jdk导致,清除一下Appdata内的Tamp就好了

hdfs的基本操作:(和linux很想)

在hdfs中创建目录,注意user是根目录

向hdfs上传文件

查看hdfs文件目录

以上是转载文章,供自己下次查看

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

可能会有的问题:

1、Localhost:50070访问失败

  原因一:hadoop3.0相比2.0的端口有改变,请自行查询原文评论区或者官网文档

原因二:观察输入start-all.cmd后跳出的四个界面是否有报错shutdown的。

我的问题出在NameNode,第一次跳出rg.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory C:\hadoop\data\dfs\namenode is in an inconsistent state: storage directory does not exist or is not accessible.

   我在对应文件夹中创建了namenode后跳出了第二个问题:Namenode is not formatted。

解决方法:在命令行输入 hadoop namenode -format

2、创建目录时不可级联创建,必须一个个创建

[转] Hadoop入门系列(一)Window环境下搭建hadoop和hdfs的基本操作的更多相关文章

  1. 【大数据系列】windows环境下搭建hadoop开发环境使用api进行基本操作

    前言 搭建完hadoop集群之后在windows环境下搭建java项目进行测试 操作hdfs中的文件 版本一 package com.slp.hadoop274.hdfs; import java.i ...

  2. window环境下搭建SVN服务器

    <span style="font-family: Arial; rgb(255, 255, 255);">第一步:准备工具:</span> 1.SVN服务 ...

  3. Windows环境下搭建Hadoop(2.6.0)+Hive(2.2.0)环境并连接Kettle(6.0)

    前提:配置JDK1.8环境,并配置相应的环境变量,JAVA_HOME 一.Hadoop的安装 1.1 下载Hadoop (2.6.0) http://hadoop.apache.org/release ...

  4. cocos基础教程(2)Window环境下搭建

    第一步:开始安装VS2012  第二步:下载Cocos2d-x 3.4源码  配置环境变量 COCOS_CONTROL = E:\cocos2d-x-3.4\tools\cocos2d-console ...

  5. Window环境下搭建Vue.js开发环境

    原文链接:http://blog.csdn.net/solo95/article/details/72084907 笔者最近在进行前端的学习,在点完了HTML5.CSS3.JavaScript等技能树 ...

  6. Hadoop入门进阶步步高(五)-搭建Hadoop集群

    五.搭建Hadoop集群 上面的步骤,确认了单机能够运行Hadoop的伪分布运行,真正的分布式运行无非也就是多几台slave机器而已,配置方面的有一点点差别,配置起来就很easy了. 1.准备三台se ...

  7. window环境下搭建react native及相关插件

    可以先浏览一下中文翻译的开发文档具体了解一下关于React Native,想要查看官方文档可以点http://facebook.github.io/react-native/docs/getting- ...

  8. react-native学习(RN)--之Window环境下搭建环境配置,以及初始化建立react-native项目,(真机和模拟器运行的相关错误解决办法,android打包报错)

    react-native以后会更火的 一.安装java 二.安装Android Studio 三.安装react-native需要的Android studio额外部分 四.安装nodeJS  五.安 ...

  9. Window环境下搭建MyEclipse+Tomcat+MAVEN+SVN

    1.JDK的安装 首先下载JDK,这个从sun公司官网(http://www.oracle.com/)可以下载,根据自己的系统选择64位还是32位,安装过程就是next一路到底.安装完成之后当然要配置 ...

随机推荐

  1. R_基本统计分析_06

    summary()提供基础的统计信息 sapply(x,FUN,options)可以指定统计函数 fivenum()可以返回图基五数 Hmisc 中的describe(data)返回变量,观测的变量, ...

  2. js实现图片上传本地预览

    演示地址:https://xibushijie.github.io/static/uploadImg.html <!DOCTYPE> <html> <head> & ...

  3. “proxy” in package.json must be a string 解决办法

    今天学习一个react项目.想从本地服务器获取数据. 直接axios.get('http://localhost:80/api/react/header.json'),报错跨域. 网上查了下,需要在p ...

  4. IOS模拟器调试ANE

    来源:http://www.tuicool.com/articles/AFRJzi 利用iOS模拟器来检测和调试AIR应用程序补充篇 Air3.4来了 除去可以直接往模拟器里面部署应用,还可以往真机里 ...

  5. Arm存储器

    Arm可以引出27根地址线,只能实现128MB的寻址,那么要如何实现1GB的寻址呢?答案就是使用nGCS片选线,nGCSx为低电平为选中相应的外接设备.一共八根片选线,也就是bank1,bank2-以 ...

  6. elasticsearch 7版本 基础操作

    elasticsearch 7版本 基础操作 首先我们浏览器http://localhost:5601/进入 kibana里的Console中输入 首先让我们在 Console 中输入: PUT t1 ...

  7. Scrapy 框架的使用

    Scrapy 框架的介绍 Scrapy 是一个基于Twisted的异步处理框架,是纯Python实现的爬虫框架,其架构清晰模块之间的耦合成都低,可扩展性极强,可以灵活完成各种需求.我们只需要定制开发几 ...

  8. centos6/7添加系统服务

    服务脚本必须存放在/etc/ini.d/目录下:       chkconfig --add mongodb     chkconfig --list mongodb     等级0表示:表示关机   ...

  9. altium designer(AD13)隐藏敷铜的方法

    覆铜,就是将PCB上闲置的空间作为基准面,然后用固体铜填充,这些铜区又称为灌铜.敷铜的意义在于,减小地线阻抗,提高抗干扰能力;降低压降,提高电源效率;还有,与地线相连,减小环路面积. 如果拿到别人的P ...

  10. Jmeter4.0 _Beanshell解析并获取json响应数据数组长度

    我们在做jmeter接口测试的时候,有时候碰到开发没返回数据total,只返回了一条条记录,可是呢,我们又需要知道到底返回了多少条数据时,咋办呢?咋办呢?咋办呢? 不要急,接下来,让我们见证奇迹是如何 ...