刚用Ambari搭建好Hadoop,就开始写Hello World!

一、背景

1、Hadoop版本

经查看为2.7.1

 
 
 
 
 

Shell

 
1
2
3
4
5
6
7
[root@TJ1-000 ~]# hadoop version
Hadoop 2.7.1.2.4.0.0-169
Subversion git@github.com:hortonworks/hadoop.git -r 26104d8ac833884c8776473823007f176854f2eb
Compiled by jenkins on 2016-02-10T06:18Z
Compiled with protoc 2.5.0
From source with checksum cf48a4c63aaec76a714c1897e2ba8be6
This command was run using /usr/hdp/2.4.0.0-169/hadoop/hadoop-common-2.7.1.2.4.0.0-169.jar

二、基础环境配置

1、jdk环境配置

正常步骤,略

2、eclipse环境配置

正常步骤,略

3、下载hadoop-2.7.1.tar.gz文件

文件名:hadoop-2.7.1.tar.gz

用途:hadoop库,用于支持eclipse编译map/reduce源代码

下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

4、下载hadoop-2.7.1-src.tar.gz文件

文件名:hadoop-2.7.1-src.tar.gz

用途:hadoop源文件,用于寻找wordcount源程序

下载地址:hadoop-2.5.2-src.tar.gz: http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1-src.tar.gz

5、hadoop-eclipse-plugin-2.7.1.jar

文件名:hadoop-eclipse-plugin-2.7.1.jar

用途:eclipse开发hadoop插件

下载地址:http://download.csdn.net/detail/tondayong1981/8889075

6、下载winutils for hadoop-2.7.1组件

文件夹名: winutils-master\hadoop-2.7.1

用途:我也不知道,反正如果没有的话,就不能连接Hadoop跑程序

下载地址:https://github.com/steveloughran/winutils

三、编辑环境变量

1、添加环境变量

1)添加HADOOP_HOME,值为:目录名\hadoop-2.7.1\

PS:hadoop-2.7.1目录为hadoop-2.7.1.tar.gz解压后的文件夹名称。
2)追加环境变量path内容:%HADOOP_HOME%/bin

2、添加eclipse组件

将hadoop-eclipse-plugin-2.7.1.jar复制到eclipse\plugins目录下

四、eclipse配置

1、打开菜单Window–Preference–Hadoop Map/Reduce进行配置,如下图所示:

2、显示Hadoop连接配置窗口:Window–Show View–Other-MapReduce Tools,如下图所示:

3、在打开的Map/Reduce Locations中连接Hadoop

Map/Reduce Master与DFS master的IP、端口信息可以查看Hadoop服务器上的core-site Hadoop配置文件。

PS:博主是通过Ambari安装的Hadoop,所以在Ambari管理面板上直接查看即可。

如果连接成功,则应为:

五、Hadoop集群环境创建wordcount测试文件

1、在HDFS上创建输入文件夹input

2、在本地创建测试输入文件

3、上传测试文件到HDFS

PS:博主的input目录的完整路径为:/user/hadoop/input

六、在eclipse创建Map/Reduce Project

1、新建项目

点击File–New–Other–Map/Reduce Project 命名为HadoopTest

2、新建WordCount.java文件

文件内容从:hadoop-2.7.1-src\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples\WordCount.java

直接复制即可

3、创建log4j.properties文件

在src目录下创建log4j.properties文件,内容如下:

 
 
 
 
 

Shell

 
1
2
3
4
5
6
7
8
9
10
11
log4j.rootLogger=debug,stdout,R
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=mapreduce_test.log
log4j.appender.R.MaxFileSize=1MB
log4j.appender.R.MaxBackupIndex=1
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n
log4j.logger.com.codefutures=DEBUG

七、Windows运行环境配置

从winutils-master\hadoop-2.7.1目录中直接拷贝bin文件夹,覆盖掉hadoop-2.7.1/文件夹中的bin目录即可。

八、运行Project

1、在eclipse中点击WordCount.java,右键,点击Run As—>Run Configurations,配置运行参数,即输入和输出文件夹

 
 
 
 
 

Shell

 
1
hdfs://192.168.2.50:8020/user/hadoop/input hdfs://192.168.2.50:8020/user/hadoop/output44

2、Debug

1)点击Debug进行调试

2)点击Debug标签,打开Debug详情页

3、查看运行结果

九、异常与问题

1、DFS中文件不能打开,提示:Editor could not be initialized

如图:

解决方法:winutils组件版本不对,更新了2.7.1对应版本,问题解决。

2、HDFS权限问题

百度即可

Windows10+eclipse+hadoop2.7.1环境配置+wordcount-折腾笔记的更多相关文章

  1. windows7+eclipse+hadoop2.5.2环境配置

    windows7+eclipse+hadoop2.5.2环境配置    一.hadoop集群环境配置 参考我的前一篇文章(ubuntu + hadoop2.5.2分布式环境配置 http://www. ...

  2. Windows10 + Eclipse C/C++开发环境配置极简教程

    下载安装Eclipse 访问下载Eclipse IDE for C/C++ Developers https://www.eclipse.org/downloads/packages/ 将下载下来的压 ...

  3. Eclipse++Xdebug开发php环境配置

    一.php环境配置: 本次使用了appserv 2.5.10集成安装包.具体版本如下,安装后php版本是5.2.6 vc6,apache版本2.2 安装完成后,php配置文件在c:\windows目录 ...

  4. Windows10下Anaconda+Tensorflow+Keras环境配置

    注意!注意!!注意!!! (重要的事情说三遍) 安装前检查: 1.Tensorflow不支持Anaconda2,Tensorflow也不支持python2.7和python3.7(满满的辛酸泪!) 2 ...

  5. eclipse的安装和环境配置

    一,eclipse下载 地址:https://www.eclipse.org/downloads/ 一般浏览器都有翻译功能 二.有32位和64位的版本根据自己的需求下载,选下载的选下载量最多的下载. ...

  6. eclipse中的web环境配置

    一.tomcat的安装 直接官网下载,选择自动配置安装Exe文件. 测试: 1.启动安装目录下bin文件中的exe文件,观察是否安装完好.若出现打断文字黑框,则说明已经安装完好. 2.输入网址.htt ...

  7. 转 Selenium+Python+Eclipse网页自动化集成环境配置(附简单的测试程序)

    1 JDK.Python环境变量配置  下载JDK http://www.oracle.com/technetwork/java/javase/downloads/index.html,直接双击安装, ...

  8. Selenium+Python+Eclipse网页自动化集成环境配置(附简单的测试程序)

    最近公司在给我们培训,主要是网页自动化测试的,现在的工作每天都是测APP,刚刚入门,不过,当我看了别人写的bug之后,就觉得不会觉得能够发现bug多么多么的厉害了. 前两周的时间一直在搭建自动化测试的 ...

  9. Tomcat+eclipse JSP windows开发环境配置

    一.安装Java SE http://www.oracle.com/technetwork/java/javase/downloads/index.html ,配置JAVA_HOME环境变量 二.安装 ...

随机推荐

  1. C++-HDU1003-Max Sum

    时间复杂度O(n) 空间复杂度O(1) #include <cstdio> int main() { int T;scanf("%d",&T); ,n,a,l, ...

  2. angular项目实现mqtt的订阅与发布 ngx-mqtt

    angular项目实现mqtt的订阅与发布 如果要写一个exe可执行文件,可以使用angular编写,然后使用electron打包成一个exe文件. https://github.com/maxime ...

  3. 转载:HRTF virtaul surround

    https://blog.csdn.net/Filwl_/article/details/50503558 https://blog.csdn.net/lwsas1/article/details/5 ...

  4. python numpy中sum()时出现负值

    import numpy a=numpy.random.randint(1, 4095, (5000,5000)) a.sum() 结果为负值, 这是错误的,a.sum()的类型为 int32,如何做 ...

  5. SpringBoot图文教程4—SpringBoot 实现文件上传下载

    有天上飞的概念,就要有落地的实现 概念+代码实现是本文的特点,教程将涵盖完整的图文教程,代码案例 文章结尾配套自测面试题,学完技术自我测试更扎实 概念十遍不如代码一遍,朋友,希望你把文中所有的代码案例 ...

  6. Tomcat目录说明

    apache-tomcat-x.x.xx bin:保存启动与监控Tomcat的命令文件的文件夹 conf:保存Tomcat配置文件的文件夹,如servlet.xml为服务器的主配置文件,web.xml ...

  7. DP_1d1d诗人小G

    显然:f[i]=min{f[j]+(s[i]-s[j]+i-j-1-l)^p} 此题可以基于决策单调优化 证明,反正我现在不打算学 实际上就是双向队列 不停弹出队头的元素,直到当前位置在队头元素最优的 ...

  8. 吴裕雄 python 机器学习——KNN分类KNeighborsClassifier模型

    import numpy as np import matplotlib.pyplot as plt from sklearn import neighbors, datasets from skle ...

  9. 结构体sizeof()问题与字节对齐

    32位机器上定义如下结构体: struct xx { long long _x1; char _x2; int _x3; char _x4[2]; static int _x5; }; int xx: ...

  10. 避免重复数据查询DISTINCT

    [1]避免重复——DISTINCT SELECT  DISTINCT  job  FROM   t_enployee; #去除job字段的重复项,只显示所有job字段中的非重复项,比如job里有:te ...