package hadoopDemo;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator; public class Aa { public static void main(String[] args) throws Exception{
Aa a=new Aa(); }
public void upload(String src,String dst) throws IOException, InterruptedException, URISyntaxException{
//拿到一个文件系统与客户端一个实例
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),
new Configuration(),"root");
filesys.copyFromLocalFile(new Path(src), new Path(dst));
filesys.close();
}
public void download(String src,String dst) throws IOException, InterruptedException, URISyntaxException{
FileSystem fileSystem = FileSystem.get(new URI("hdfs://linux1:9000"), new Configuration(), "root");
fileSystem.copyToLocalFile(new Path(src), new Path(dst));
fileSystem.close();
} public void getAllFile() throws IOException, InterruptedException, URISyntaxException{
Configuration cfg=new Configuration();
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),cfg,"root");
RemoteIterator<LocatedFileStatus> listFiles=filesys.listFiles(new Path("/"), true); while(listFiles.hasNext()){
LocatedFileStatus next2=listFiles.next();
String name=next2.getPath().getName();
System.out.println(next2.getPath()+" "+name); }
} public void mkdir(String dir) throws IOException, InterruptedException, URISyntaxException{
Configuration cfg=new Configuration();
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),cfg,"root");
filesys.mkdirs(new Path(dir));
filesys.close();
}
public void mv(String src,String dst) throws IOException, InterruptedException, URISyntaxException{
Configuration cfg=new Configuration();
// cfg.set("fs.defaultFs", "hdfs://linux1:9000");
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),cfg,"root");
filesys.moveFromLocalFile(new Path(src), new Path(dst));
filesys.close();
}
public void delete(String path) throws IOException, InterruptedException, URISyntaxException{
Configuration cfg=new Configuration();
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),cfg,"root");
filesys.delete(new Path(path), true);
filesys.close();
}
}

1.解压hadoop-2.6.4.tar.gz

将此bin文件夹与hadoop-2.6.4文件夹中的bin文件夹合并

将此bin文件夹中的hadoop.dll文件拷贝到C:\Windows\System32目录中

配置windows环境变量

控制面板——>系统——>更改设置——>高级——>环境变量

新建变量:HADOOP_HOME,路径:解压文件夹位置

Path后添加:;%HADOOP_HOME%/bin;%HADOOP_HOME%/sbin

测试生效:

cmd输入hadoop

保险起见可以重启电脑

2.创建user library

3.添加jar包

添加完jar包以后进行简单测试:

package hadoopDemo;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator; public class Aa { public static void main(String[] args) throws Exception{
Aa a=new Aa();
a.mv("e:/c.txt", "/aaa");         a.getAllFile();
     
     a.delete("/aaa");
     
     a.delete("/b.txt");    
}
public void upload(String src,String dst) throws IOException, InterruptedException, URISyntaxException{
//拿到一个文件系统与客户端一个实例
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),
new Configuration(),"root");
filesys.copyFromLocalFile(new Path(src), new Path(dst));
filesys.close();
}
public void download(String src,String dst) throws IOException, InterruptedException, URISyntaxException{
FileSystem fileSystem = FileSystem.get(new URI("hdfs://linux1:9000"), new Configuration(), "root");
fileSystem.copyToLocalFile(new Path(src), new Path(dst));
fileSystem.close();
} public void getAllFile() throws IOException, InterruptedException, URISyntaxException{
Configuration cfg=new Configuration();
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),cfg,"root");
RemoteIterator<LocatedFileStatus> listFiles=filesys.listFiles(new Path("/"), true); while(listFiles.hasNext()){
LocatedFileStatus next2=listFiles.next();
String name=next2.getPath().getName();
System.out.println(next2.getPath()+" "+name); }
} public void mkdir(String dir) throws IOException, InterruptedException, URISyntaxException{
Configuration cfg=new Configuration();
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),cfg,"root");
filesys.mkdirs(new Path(dir));
filesys.close();
}
public void mv(String src,String dst) throws IOException, InterruptedException, URISyntaxException{
Configuration cfg=new Configuration();
// cfg.set("fs.defaultFs", "hdfs://linux1:9000");
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),cfg,"root");
filesys.moveFromLocalFile(new Path(src), new Path(dst));
filesys.close();
}
public void delete(String path) throws IOException, InterruptedException, URISyntaxException{
Configuration cfg=new Configuration();
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),cfg,"root");
filesys.delete(new Path(path), true);
filesys.close();
}
}

搭建hadoop java开发环境的更多相关文章

  1. 搭建一个java开发环境的步骤

    首先思考java开发环境需要些什么? 1.适用于我们开发环境的jdk 2.对应开发环境的IDE 3.如果是web应用,还需要web服务器,常用的有Tomcat 1) 下载对应组件 2) 安装 jdk安 ...

  2. 2,搭建一个java开发环境

    (1)java开发需要的条件? 1)适用于环境开发的jdk(里面包括了jre和加热里面包括了jvm) 2)对应开发环境的eclipse 3)如果涉及到web开发,还需要web服务器(Tomcat) ( ...

  3. 电脑小白和ta的小白电脑——JAVA开发环境

    JAVA开发环境的搭建有一点点复杂,不过一步一步来一般不会出错. (一)下载JDK 首先我们需要下载java开发工具包JDK,可以通过官网下载:http://www.oracle.com/techne ...

  4. spark JAVA 开发环境搭建及远程调试

    spark JAVA 开发环境搭建及远程调试 以后要在项目中使用Spark 用户昵称文本做一下聚类分析,找出一些违规的昵称信息.以前折腾过Hadoop,于是看了下Spark官网的文档以及 github ...

  5. 初识Java以及JAVA开发环境搭建

    目录 JAVA帝国的诞生 C&C++ JAVA JAVA特性和优势 JAVA三大版本 JDK.JRE.JVE JAVA开发环境搭建 JDK下载与安装.卸载 安装JDK 卸载JDK JDK目录介 ...

  6. java 基础(四)搭建vim作为java开发环境

    分享在Ubuntu 14.04在Vim上配置Java开发环境的过程步骤,希望对大家有所帮助. A 首先下载javacomplete.zip 到Linux公社资源站下载: --------------- ...

  7. Java开发环境的搭建以及使用eclipse从头一步步创建java项目

    一.java 开发环境的搭建 这里主要说的是在windows 环境下怎么配置环境. 1.首先安装JDK java的sdk简称JDK ,去其官方网站下载最近的JDK即可..http://www.orac ...

  8. 搭建java开发环境、使用eclipse编写第一个java程序

    搭建java开发环境.使用eclipse编写第一个java程序 一.Java 开发环境的搭建 1.首先安装java SDK(简称JDK). 点击可执行文件 jdk-6u24-windows-i586. ...

  9. Mac系统搭建java开发环境

    今天尝试在mac下搭建java开发环境 包括 JDK,Tomcat , eclipse ,mysql ,mysqlGUI

随机推荐

  1. Project Euler 37 Truncatable primes

    题意:3797有着奇特的性质.不仅它本身是一个素数,而且如果从左往右逐一截去数字,剩下的仍然都是素数:3797.797.97和7:同样地,如果从右往左逐一截去数字,剩下的也依然都是素数:3797.37 ...

  2. [luogu4053 JSOI2007] 建筑抢修 (贪心 优先队列)

    传送门 题目描述 小刚在玩JSOI提供的一个称之为"建筑抢修"的电脑游戏:经过了一场激烈的战斗,T部落消灭了所有z部落的入侵者.但是T部落的基地里已经有N个建筑设施受到了严重的损伤 ...

  3. vue项目使用简略总结

    1.利用iView Cli搭建项目结构2.搭建完毕之后将proxy.js和'Server.js'放置到node_modules\webpack-dev-server\lib目录下,以实现跨域访问公司平 ...

  4. 2019-03-28 SQL inner left full

    在使用 join 时,on 和 where 条件的区别如下: 1. on 条件是在生成临时表时使用的条件,它不管 on 中的条件是否为真,都会返回左边表中的记录. 2.where 条件是在临时表生成好 ...

  5. LCA【模板】

    #include <algorithm> #include <cstdio> #include <vector> #define N 10015 using nam ...

  6. 第二篇:SpringBoot配置详解

    SpringBoot 是为了简化 Spring 应用的创建.运行.调试.部署等一系列问题而诞生的产物,自动装配的特性让我们可以更好的关注业务本身而不是外部的XML配置,我们只需遵循规范,引入相关的依赖 ...

  7. [叁]Pomelo游戏server编程分享 之 server结构与配置分析

    网络部署结构 我们先看一下Pomeloserver网络部署情况,直接上图 watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY3RiaW56aQ==/font/ ...

  8. Oracle回滚段的概念,用法和规划及问题的解决

    回滚段概述  回滚段用于存放数据修改之前的值(包括数据修改之前的位置和值).回滚段的头部包含正在使用的该回滚段事务的信息.一个事务只能使用一个回滚段来存放它的回滚信息,而一个回滚段可以存放多个事务的回 ...

  9. 用户命令切换-命令su

    命令su格式为su [-] username su su - su test su root

  10. C# First and FirstOrDefault 方法详解

    在工作中我们经常会遇到有关LINQ 的一些问题.这时我们就用到lambda 表达式. 下面是我在工作遇到的. First  and FirstOrDefault  这两方法.我今天把它记录一下. 需要 ...