代码下载地址:点击下载 一:环境介绍 hadoop:2.6 Ubuntu:15.10 eclipse:3.8.1 二:操作包含 推断某个目录是否存在              isExist(folder); 创建目录                                    mkdir(folder); 删除目录                                    rmr(folder); 列出全部目录                 ls(folder); 递归…

HDFS的API操作 URL方式访问 package hdfs; import java.io.IOException; import java.io.InputStream; import java.net.MalformedURLException; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOUtils; public cl…

本文提供几个简单的实例,来说明如何使用hadoop的java API针对HDFS进行文件上传.创建.重命名.删除操作 本文地址:http://www.cnblogs.com/archimedes/p/hdfs-api-operations.html,转载请注明源地址. 1.上传本地文件到HDFS 通过FileSystem.copyFromLocalFile(Path src, Path dst)可将本地文件上传到HDFS指定的位置上,其中src和dst均为文件的完整路径 在<hadoop实战--…

1.为什么使用Curator? Curator本身是Netflix公司开源的zookeeper客户端: Curator  提供了各种应用场景的实现封装: curator-framework  提供了fluent风格api: curator-replice   提供了实现封装: 2.引入依赖: <dependency> <groupId>org.apache.curator</groupId> <artifactId>curator-framework<…

import java.net.URI;import java.util.Iterator;import java.util.Map.Entry; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.a…

1. 文件上传 @Slf4j public class HDFSClient { @Test public void testCopyFromLocalFile() throws Exception{ // 1. 获取fs对象 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://服务器IP地址:9000"), conf, "root"); /…

HBase提供了丰富的API.这使得用Java连接HBase非常方便. 有时候大家会使用HTable table=new HTable(config,tablename);的方式来实例化一个HTable对象,实际上这并不是最好的实例化HTable的办法.最好的办法是使用HTablePool,并且每个线程都使用独立的HTable(参见<HBase The Definitive Guide> 4.4 HtablePool 和3.1 客户端API 概述).因为HTable实例的创建非常耗时,需要扫描…

package com.advance.Redis; import org.apache.log4j.Logger; import org.testng.annotations.Test; import redis.clients.jedis.Jedis; import java.util.*; /** * @Author: 谷天乐 * @Date: 2019/2/25 17:17 * @Gratitude: wudalang_gd * @Description: 根据原生Jedis封装常用工具…

1.引入依赖 <dependency> <groupId>com.101tec</groupId> <artifactId>zkclient</artifactId> <version>0.10</version> </dependency> 2.会话连接 package com.karat.cn.zookeeper.zkclient; import org.I0Itec.zkclient.ZkClient;…

1. 读取HDFS文件 1.1 字符读取HDFS上的文件 Configuration conf = new Configuration(); Path path = new Path(pathstr); FileSystem fs = FileSystem.get(conf); FSDataInputStream fsin= fs.open(path); BufferedReader br =null; String line ; try{ br = new BufferedReader(new…