Windows下的Hadoop安装(本地模式)
时隔许久的博客。。
系统为Windows 10,Hadoop版本2.8.3。
虽然之前已经在Linux虚拟机上成功运行了Hadoop,但我还是在Windows上编码更加习惯,所以尝试了在Window上安装。
这里主要是归纳出安装过程的简要步骤和可能碰到的问题。
有两点要先注意的:
Java和Hadoop的路径最好不要带空格,如果安装在如Program Files这样带空格的文件夹下,使用路径时可用类似PROGRA~1来代替。
Localhost url不要与已有的冲突,如DLNA。
- winutils
- 环境变量
- 配置文件
- hadcoop-env.cmd
- core-site.xml
- hdfs-site.xml
- mapred-site.xml
- yarn-site.xml
- Let's Hadoop
winutils
除了Hadoop和JDK外,还要下载的一套第三方类库winutils, 下载地址:
https://github.com/steveloughran/winutils
注意:Hadoop与winutils的版本要相对应。
照着列表找到想用的Hadoop,clone一个到本地,把里面所有的文件都覆盖到Hadoop目录的bin子目录下去。
环境变量
我基本是能添的都添了。。
以及path中
其实不一定要都加,实测可以只在path中加入Hadoop的bin,Java可以在hadcoop-env.cmd另行设置。
配置文件
hadcoop-env.cmd
位于Hadoop的etc/hadoop下,设置JAVA_HOME。
set JAVA_HOME=JDK路径
core-site.xml
位于Hadoop的etc/hadoop下,通用配置。
其中tmp.dir和localhost url需自己设置。
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/hadoop-2.8.3/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8000</value>
</property>
</configuration>
hdfs-site.xml
位于Hadoop的etc/hadoop下,HDFS有关配置。
其中name.dir和data.dir需自己预先建立。
<configuration>
<!-- 参数设置为1,单机的hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/D:/hadoop-2.8.3/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/D:/hadoop-2.8.3/data</value>
</property>
</configuration>
mapred-site.xml
位于Hadoop的etc/hadoop下,MapReduce有关配置。
mapred-site.xml.template去掉template后缀名。
其中localhost url需自行设置。
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:8001</value>
</property>
</configuration>
yarn-site.xml
位于Hadoop的etc/hadoop下,yarn有关配置。
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
Let's Hadoop
自行小黑窗或小蓝窗。
cd D:/hadoop-2.8.3/bin
hadoop namenode -format #一定先要格式化hdfs!!!!!
cd D:/hadoop-2.8.3/sbin
start-dfs.cmd #先启动dfs
start-yarn.cmd #再启动yarn
start-all.cmd #等于上面两条命令的组合
stop-dfs.cmd
stop-yarn.cmd
stop-all.cmd
效果图
Windows下的Hadoop安装(本地模式)的更多相关文章
- Windows下运行Hadoop
Windows下运行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行:另一种是通过Cygwin模拟Linux环境.后者的好处 ...
- Mysql在windows下的免安装配置步骤和重新安装的步骤
windows下mysql免安装配置 1. 下载mysql免安装压缩包 下载mysql-5.6.22-winx64.zip 解压到本地D:\mysql-5.6.22-winx64 2. 修改配置文件 ...
- 本地windows下搭建git的本地服务器
本地windows下搭建git的本地服务器 准备工作: 本地安装java环境,配置环境变量(略) 下载gitblit文件,百度一大堆 开始第一步: 减压gitblit压缩包到某个目录下,比如我在:H: ...
- windows下Anaconda的安装与配置正解
一.下载anaconda 第一步当然是下载anaconda了,官方网站的下载需要用迅雷才能快点,或者直接到清华大学镜像站下载. 清华大学提供了镜像,从这个镜像下载速度很快,地址: https://mi ...
- windows下nodejs express安装及入门网站,视频资料,开源项目介绍
windows下nodejs express安装及入门网站,视频资料,开源项目介绍,pm2,supervisor,npm,Pomelo,Grunt安装使用注意事项等总结 第一步:下载安装文件下载地址: ...
- Windows下的Memcache安装与Java部署
Windows下的Memcache安装: 1. 下载memcached的windows稳定版,解压放某个盘下面,比如在c:\memcached 2. 在终端(也即cmd命令界面)下输入 ‘c:\mem ...
- windows下curl的安装和简单使用
curl是利用URL语法在命令行方式下工作的开源文件传输工具.它支持很多协议:FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP. 一 ...
- windows下的tfjs-node安装异常总结
大约有半年没有写博客了,奔波于上海这座魔都之中.险些忘了自己是个有梦想的全栈工程师 书接上回,由于个人非常厌恶python的语法,半年前发现了tensorflow.js这个宝贝(下简称tfjs),喜出 ...
- Windows下的Memcache安装 linux下的Memcache安装
linux下的Memcache安装: 1. 下载 memcache的linux版本,注意 memcached 用 libevent 来作事件驱动,所以要先安装有 libevent. 官方网址:http ...
随机推荐
- java多线程快速入门(二十)
1.Java.util的线程安全工具类 Vector(线程安全) ArrayList(线程不安全) HashTable(线程安全) HashMap(线程不安全) 2.将线程不安全集合变为线程安全集合 ...
- 第十七单元 Samba服务
Samba的功能 Samba的安装 Samba服务的启动.停止.重启 Samba服务的配置 Samba服务的主配置文件 samba服务器配置实例 Samba客户端设置 windows客户端 Linux ...
- LeetCode(83): 删除排序链表中的重复元素
Easy! 题目描述: 给定一个排序链表,删除所有重复的元素,使得每个元素只出现一次. 示例 1: 输入: 1->1->2 输出: 1->2 示例 2: 输入: 1->1-&g ...
- Python基础之面向对象进阶一
一.isinstance(obj,cls)和issubclass(sub,super) 1.isinstance(obj,cls)检查obj是否是类 cls 的对象 class A: pass obj ...
- bzoj 4011
看了好多篇题解才看懂的题,我实在太菜了... 首先根据一个我不知道的算法,可以证明在没有加入新的边的时候,原图的所有生成树的方案数就是所有点(除1以外)的度之积 那么在新加入这条边之后,我们仍然可以这 ...
- 性能测试四十九:ngrinder压测平台
下载地址:https://sourceforge.net/projects/ngrinder/files/ ngrinder工作原理:这里的controller就是ngrinder平台 部署(以win ...
- 存储区域网络(Storage Area Network,简称SAN)
存储区域网络(Storage Area Network,简称SAN)采用网状通道(Fibre Channel ,简称FC,区别与Fiber Channel光纤通道)技术,通过FC交换机连接存储阵列和服 ...
- C#学习-方法
方法是由方法签名和一系列语句的代码块组成. 其中方法签名包括方法的访问级别(比如public或private).可修饰符(例如abstract关键字).方法名称和参数. C#也支持方法重载.方法重载指 ...
- openresty用naxsi防xss、SQL注入
下载naxsi wget https://github.com/nbs-system/naxsi/archive/untagged-afabfc163946baa8036f.tar.gz tar zx ...
- Multi-Fiber Networks for Video Recognition (MFNet)
Motivation:减少时空网络的计算量,保持视频分类精度的基础上,使速度尽可能接近对应网络的2D版本. 为此提出 Multi-Fiber 网络,将复杂网络拆分成轻量网络的集成,利用 fibers ...