Hadoop学习之路(八)在eclispe上搭建Hadoop开发环境
一、添加插件
将hadoop-eclipse-plugin-2.7.5.jar放入eclipse的plugins文件夹中
二、在Windows上安装Hadoop2.7.5
版本最好与Linux集群中的hadoop版本保持一致
1、将hadoop-2.7.5-centos-6.7.tar.gz解压到Windows上的C盘software目录中
2、配置hadoop的环境变量
HADOOP_HOME=C:\software\hadoop-2.7.5
Path=C:\software\hadoop-2.7.5\bin
3、修改Hadoop安装目录C:\software\hadoop-2.7.5\etc\hadoop中hadoop-env.cmd
4、查看Hadoop版本
5、添加Windows支持文件
因为安装的Hadoop编译的版本是CentOS6.7的版本,在Windows上运行需要添加文件
1)winutils.exe 放在windows平台中你安装的hadoop的bin目录下
2) hadoop.dll 放在windows操作系统的 c:/windows/system32目录下
6、重新启动eclipse
三、eclipse中的配置
1、重新启动eclipse,打开windows->Preferences的Hadoop Map/Reduce中设置安装目录
2、打开Windows->Open Perspective中的Map/Reduce,在此perspective下进行hadoop程序开发
3、打开Windows->Show View中的Map/Reduce Locations,如下图右键选择New Hadoop location…新建hadoop连接。
4、配置相关信息
5、配置成功之后再右侧显示如下
四、创建HDFS项目
1、创建一个java project
2、添加jar包这里使用第二种
有三种方式可以往项目中添加jar依赖:
1)直接创建一个lib文件夹,然后放入对应的依赖包,最后add build path
优点:移植方便
缺点:项目臃肿
2)在eclipse中创建user libarary, 然后引入
优点:解决了不同项目中的相同jar的重复依赖问题, 不是直接放入,是引入的方式
缺点:移植不方便
3)最后直接使用maven管理jar依赖
完美解决方案:使用maven 我们在项目中只需要编写好:pom.xml文件即可
目前只是操作HDFS,所以只需要引入common和HDFS相关的jar包即可。
Hadoop的common、hdfs、MapReduce、yarn的相关jar包的位置在安装目录的C:\software\hadoop-2.7.5\share\hadoop文件夹中,各自文件夹下的jar包是核心jar包,lib下的jar包是核心jar包的依赖jar包,都需要引入
hdfs的jar包用相同的方法引入
这样项目就成功引入了common和hdfs相关的jar包
3、创建测试类
package cn.study.hdfs; import java.net.URI; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path; public class TestHdfsDemo1 { public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(new URI("hdfs://hadoop1:9000"),conf,"hadoop");
//System.out.println(fs instanceof DistributedFileSystem);//true fs.copyFromLocalFile(new Path("D:/abc.txt"), new Path("/a/"));
fs.close();
} }
测试之前
测试之后
Hadoop学习之路(八)在eclispe上搭建Hadoop开发环境的更多相关文章
- 如何在Windows上搭建Android开发环境
Android开发越来越火,许多小伙伴们纷纷学习Android开发,学习Android开发首要任务是搭建Android开发环境,由于大家 主要实在Windows 上开发Android,下面就详细给大家 ...
- 在WP8上搭建cocos2d-x开发环境
在WP8上搭建cocos2d-x开发环境 转自:https://github.com/koowolf/cocos-docs/blob/master/manual/framework/native/in ...
- 如何在 macOS 上搭建 PHP 开发环境
如何在 macOS 上搭建 PHP 开发环境 Linux, Nginx, MySQL, PHP $ php --version $ php -v # PHP 7.3.11 (cli) (built: ...
- Windows系统上搭建Clickhouse开发环境
Windows系统上搭建Clickhouse开发环境 总体思路 微软的开发IDE是很棒的,有两种:Visual Studio 和 VS Code,一个重量级,一个轻量级.近年来VS Code越来越受欢 ...
- 在 macOS 上搭建 Flutter 开发环境
下载 Flutter SDK flutter官网下载:https://flutter.io/sdk-archive/#macos 若上述链接无法访问,可通过GitHub下载 https://githu ...
- Scala 学习之路(一)—— Scala简介及开发环境配置
一.Scala简介 1.1 概念 Scala全称为Scalable Language,即“可伸缩的语言”,之所以这样命名,是因为它的设计目标是希望伴随着用户的需求一起成长.Scala是一门综合了面向对 ...
- 树莓派上搭建arduino开发环境
-------------还是博客园上面的格式看这舒服,不去新浪了------------- 为什么要在树莓派上开发arduino呢?总要把树莓派用起来嘛,不然老吃灰. 树莓派使用SSH时没有图形界面 ...
- 在Mac上搭建ReactNative开发环境
1.安装Homebrew, Mac系统的包管理器,用于安装NodeJS和一些其他必需的工具软件. /usr/bin/ruby -e "$(curl -fsSL https://raw.g ...
- ubuntu14.04上搭建android开发环境
这几天心血来潮,想在ubuntu上写写android软件.所以就上网找些资料在ubuntu上搭建android环境.结果要么时不完整的,要么就是过时的. 所以我把我搭建android环境的过程写下了, ...
随机推荐
- Spring 核心组件总结
spring核心组件总结 spring介绍 spring概念 IOC: Inverse Of Control 控制反转 将我们创建对象的方式反转了,以前创建对象是由我们开发人员自己维护,包括依赖注 ...
- ActiveMQ 报错 Temporary Store limit is 51200 mb
ERROR | Temporary Store limit is 51200 mb, whilst the temporary data directory: D:\tool\apache-actil ...
- Spring Boot + MyBatis + Druid + Redis + Thymeleaf 整合小结
Spring Boot + MyBatis + Druid + Redis + Thymeleaf 整合小结 这两天闲着没事想利用**Spring Boot**加上阿里的开源数据连接池**Druid* ...
- IDEA 中edit configurations加号找不到tomcat server
前言:在本机 idea 中搭建 springMVC 项目,正准备配置 Tomcat 时,发现没有 tomcat server 选项,而我的 idea 是有这个插件的,所以解决问题的方案应该是另一个地方 ...
- HDU2612(KB1-N)
Find a way Time Limit: 3000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others)Total ...
- java-接口和抽象类的联系和区别。
接口和抽象类的联系和区别. 一,简单总结 1.抽象类和接口都不能直接实例化,如果要实例化,抽象类变量必须指向实现所有抽象方法的子类对象,接口变量必须指向实现所有接口方法的类对象. 2.抽象类要被子类继 ...
- 个人遗漏知识的回顾-HTML
常用的一些快捷键: Windows + e 我的电脑Ctrl + Tab 网页间不同页面切换F2 重命名Ctrl+Shift+S 另存为 前端的一些常识:前端意义:将效果图生成网页网页组成:文字.图片 ...
- (一)windows下安装MongoDB解压版
windows下安装MongoDB解压版 我安装的是(mongodb-win32-x86_64-2008plus-ssl-4.0.8.zip)版本 亲测可以使用. 连接: Windows下MongoD ...
- html-使用表单标签实现注册页面
案例说明: - 使用表格实现页面效果 - 超链接不想要有效果,使用href="#" - 如果表格里面的单元格没有内容,使用空格作为占位符 - 使用图片标签提交表单 <in ...
- 通过windows powershell 修改 Office 365默认的 35MB 的邮件大小限制
附件下载: 通过windows powershell 修改 Office 365默认的 35MB 的邮件大小限制