[转] Hadoop入门系列(一)Window环境下搭建hadoop和hdfs的基本操作
转自:https://blog.csdn.net/qq_32938169/article/details/80209083
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_32938169/article/details/80209083
1.去官网下载hadoop。
1>选择镜像网站,选清华的镜像的网站。
2>找个自己喜欢版本的hadoop,下载好将压缩包解压。
2.找对应版本的winutil。因为hadoop主要基于linux编写,这个winutil.exe主要用于模拟linux下的目录环境。因此hadoop放在windows下运行的时候,需要这个辅助程序才能运行。Github和csdn基本对应版本的都有。下载好解压放入hadoop的bin里,hadoop.dll放入window\Ssytem32\中。
csdn:
https://download.csdn.net/download/cpp_yangzuoshi/10164025
github:
https://github.com/steveloughran/winutils
3.配置hadoop相关xml。
1>首先确保环境变量中有JAVA_HOME,java相关程序,都会默认调用JAVA_HOME,注意“Program Files”因为有空格不被识别。可用PROGRA~1替代。
2>配置4个xml。先进入hadoop\etc\hadoop。
配置core-stie.xml。
配置hdfs-site.xml。
配置mapred-site.xml.template。
配置yarn-site.xml。
4.至此hadoop就可以用了。
1>将hadoop目录里的bin和sbin添加到环境变量中。
2>打开cmd。输入start-all.cmd,会启动hdfs和yarn服务。jps查看进程。stop-all.cmd停止服务。
3>Localhost:50070和Localhost:8088查看。
5.注意事项:
1>我是使用的hadoop2.9.0依赖jdk8,jdk9和10均不能正常使用hadoop。
2>使用前hadoop namenode -format
3>jps无法查看java进程的问题。由于更换jdk导致,清除一下Appdata内的Tamp就好了
hdfs的基本操作:(和linux很想)
在hdfs中创建目录,注意user是根目录
向hdfs上传文件
查看hdfs文件目录
以上是转载文章,供自己下次查看
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
可能会有的问题:
1、Localhost:50070访问失败
原因一:hadoop3.0相比2.0的端口有改变,请自行查询原文评论区或者官网文档
原因二:观察输入start-all.cmd后跳出的四个界面是否有报错shutdown的。
我的问题出在NameNode,第一次跳出rg.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory C:\hadoop\data\dfs\namenode is in an inconsistent state: storage directory does not exist or is not accessible.
我在对应文件夹中创建了namenode后跳出了第二个问题:Namenode is not formatted。
解决方法:在命令行输入 hadoop namenode -format
2、创建目录时不可级联创建,必须一个个创建
[转] Hadoop入门系列(一)Window环境下搭建hadoop和hdfs的基本操作的更多相关文章
- 【大数据系列】windows环境下搭建hadoop开发环境使用api进行基本操作
前言 搭建完hadoop集群之后在windows环境下搭建java项目进行测试 操作hdfs中的文件 版本一 package com.slp.hadoop274.hdfs; import java.i ...
- window环境下搭建SVN服务器
<span style="font-family: Arial; rgb(255, 255, 255);">第一步:准备工具:</span> 1.SVN服务 ...
- Windows环境下搭建Hadoop(2.6.0)+Hive(2.2.0)环境并连接Kettle(6.0)
前提:配置JDK1.8环境,并配置相应的环境变量,JAVA_HOME 一.Hadoop的安装 1.1 下载Hadoop (2.6.0) http://hadoop.apache.org/release ...
- cocos基础教程(2)Window环境下搭建
第一步:开始安装VS2012 第二步:下载Cocos2d-x 3.4源码 配置环境变量 COCOS_CONTROL = E:\cocos2d-x-3.4\tools\cocos2d-console ...
- Window环境下搭建Vue.js开发环境
原文链接:http://blog.csdn.net/solo95/article/details/72084907 笔者最近在进行前端的学习,在点完了HTML5.CSS3.JavaScript等技能树 ...
- Hadoop入门进阶步步高(五)-搭建Hadoop集群
五.搭建Hadoop集群 上面的步骤,确认了单机能够运行Hadoop的伪分布运行,真正的分布式运行无非也就是多几台slave机器而已,配置方面的有一点点差别,配置起来就很easy了. 1.准备三台se ...
- window环境下搭建react native及相关插件
可以先浏览一下中文翻译的开发文档具体了解一下关于React Native,想要查看官方文档可以点http://facebook.github.io/react-native/docs/getting- ...
- react-native学习(RN)--之Window环境下搭建环境配置,以及初始化建立react-native项目,(真机和模拟器运行的相关错误解决办法,android打包报错)
react-native以后会更火的 一.安装java 二.安装Android Studio 三.安装react-native需要的Android studio额外部分 四.安装nodeJS 五.安 ...
- Window环境下搭建MyEclipse+Tomcat+MAVEN+SVN
1.JDK的安装 首先下载JDK,这个从sun公司官网(http://www.oracle.com/)可以下载,根据自己的系统选择64位还是32位,安装过程就是next一路到底.安装完成之后当然要配置 ...
随机推荐
- R_基本统计分析_06
summary()提供基础的统计信息 sapply(x,FUN,options)可以指定统计函数 fivenum()可以返回图基五数 Hmisc 中的describe(data)返回变量,观测的变量, ...
- js实现图片上传本地预览
演示地址:https://xibushijie.github.io/static/uploadImg.html <!DOCTYPE> <html> <head> & ...
- “proxy” in package.json must be a string 解决办法
今天学习一个react项目.想从本地服务器获取数据. 直接axios.get('http://localhost:80/api/react/header.json'),报错跨域. 网上查了下,需要在p ...
- IOS模拟器调试ANE
来源:http://www.tuicool.com/articles/AFRJzi 利用iOS模拟器来检测和调试AIR应用程序补充篇 Air3.4来了 除去可以直接往模拟器里面部署应用,还可以往真机里 ...
- Arm存储器
Arm可以引出27根地址线,只能实现128MB的寻址,那么要如何实现1GB的寻址呢?答案就是使用nGCS片选线,nGCSx为低电平为选中相应的外接设备.一共八根片选线,也就是bank1,bank2-以 ...
- elasticsearch 7版本 基础操作
elasticsearch 7版本 基础操作 首先我们浏览器http://localhost:5601/进入 kibana里的Console中输入 首先让我们在 Console 中输入: PUT t1 ...
- Scrapy 框架的使用
Scrapy 框架的介绍 Scrapy 是一个基于Twisted的异步处理框架,是纯Python实现的爬虫框架,其架构清晰模块之间的耦合成都低,可扩展性极强,可以灵活完成各种需求.我们只需要定制开发几 ...
- centos6/7添加系统服务
服务脚本必须存放在/etc/ini.d/目录下: chkconfig --add mongodb chkconfig --list mongodb 等级0表示:表示关机 ...
- altium designer(AD13)隐藏敷铜的方法
覆铜,就是将PCB上闲置的空间作为基准面,然后用固体铜填充,这些铜区又称为灌铜.敷铜的意义在于,减小地线阻抗,提高抗干扰能力;降低压降,提高电源效率;还有,与地线相连,减小环路面积. 如果拿到别人的P ...
- Jmeter4.0 _Beanshell解析并获取json响应数据数组长度
我们在做jmeter接口测试的时候,有时候碰到开发没返回数据total,只返回了一条条记录,可是呢,我们又需要知道到底返回了多少条数据时,咋办呢?咋办呢?咋办呢? 不要急,接下来,让我们见证奇迹是如何 ...