Hdfs常用操作

一、linux

rm是删除，不是del

二、常用操作

package hdfs;

import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test;
//那么多test，指向运行一个 那么选种方法明后 在junit

public class HDFSDemo {
	FileSystem fs = null;

	@Before
	public void init() throws Exception {

		URI uri = new URI("hdfs://192.168.58.180:8020/");
		Configuration conf=new Configuration();
		//这个是抽象类
		fs = FileSystem.get(uri, conf, "hxsyl");
	}
	@Test
	public  void downLoadHdfs() throws Exception {
		fs.copyToLocalFile(new Path("/in/1.txt"),new Path("d:/TestHDFS/2.txt"));
	}
	@Test
	public void delHDFS() throws Exception, Throwable {
		//true表示地柜删除
		boolean flag = fs.delete(new Path("/1.txt"), true);
		System.out.println(flag);

	}
	@Test
	public void mkdirHDFS() throws Exception, Throwable {
		boolean flag = fs.mkdirs(new Path("/testHDFS"));
		System.out.println(flag);
	}

	@Test
	public void uploadHDFS() throws Exception {
		//一般来说win下的用户和linux下用户不一样，根据hdfs的权限机智，无法写成功，
		//要么dfs.permissions false  这样一般不行
		//要常穿的hdfs dfs -chmod 777  主要是改了其他用户权限
		//或者伪装成用户
		InputStream is = new FileInputStream("d:/TestHDFS/1.txt");
		//指向hdfs  不用new
		OutputStream os = fs.create(new Path("/1.txt"));
		IOUtils.copyBytes(is, os, 4096,true);
	}
	public static void main(String[] args) throws Exception{

		FileSystem fs = null;
		URI uri = new URI("hdfs://192.168.58.180:8020/");
		Configuration conf=new Configuration();
		//这个是抽象类
		fs = FileSystem.get(uri, conf);

		// TODO Auto-generated method stub

		//没有类似的get方法
		//虽然这个文件存在 也要new
		Path path = new Path("/Movielens1M/movies.dat");
		InputStream is = fs.open(path);
		//必须写到文件 否则
		//java.io.FileNotFoundException: E:\AAA(拒绝访问。)
		OutputStream os = new FileOutputStream("D:\\TestHDFS\\1.txt");
		//拷贝完成关闭   默认的buffer都是4096
		IOUtils.copyBytes(is, os, 4096, true);

	}

}

　　上传下载除了输出输出流意外，然后IOUtils.copyBytes；就是用fs自带的方法。