HBase实验（CRUD和MR入库）

【HBase实验（CRUD和MR入库）】的更多相关文章

HBase实验（CRUD和MR入库）

目录前期准备在HBase shell中实现CRUD操作 1. 启动命令行客户端 2. 创建表 3. 删除.新增列族 4. 删除表teacher 5. 新增数据 6. 查看数据用Java API实现CRUD操作工程结构 1. 导入依赖包 2. 调用Java API 3. 导出hbasedemo.jar包 4. 将HBase依赖包加入到hadoop classpath中 5. 运行注:也可直接在eclipse中运行(跳过3.5步骤),因为要访问zookeeper,所以要修改eclipse所…

Mac 下用IDEA时maven，ant打包（mr 入库hbase）

现在非常喜欢IDEA,之前在mac 上用的eclipse 经常出现无缘无故的错误.所以转为IDEA. 不过新工具需要学习成本,手头上的项目就遇到了很多问题,现列举如下: 背景描述在hadoop 开发时,经常在mr阶段将清洗后的数据入库到Hbase. 在这个过程中,需要编译.打jar包,然后上传到服务器,执行hadoop jar *.jar 命令.每次清洗后需要手动4步操作.农民阿姨天生喜欢取巧,故这几天一直研究如何简化此过程. 思路描述 1.之前项目自动化打包上传都用ant ,不过是在w…

Hbase实验：java创建和删除table

开启zookeeper.hadoop.hbase: 打开eclipse创一个java project,然后导入所需jar包: 写好java代码,运行create,然后去hbase shell里查看: 运行delete: package hh; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.H…

【hbase】——HBase 写优化之 BulkLoad 实现数据快速入库

1.为何要 BulkLoad 导入?传统的 HTableOutputFormat 写 HBase 有什么问题? 我们先看下 HBase 的写流程: 通常 MapReduce 在写HBase时使用的是 TableOutputFormat 方式,在reduce中直接生成put对象写入HBase,该方式在大数据量写入时效率低下(HBase会block写入,频繁进行flush,split,compact等大量IO操作),并对HBase节点的稳定性造成一定的影响(GC时间过长,响应变慢,导致节点超时退出,…

HBase Bulk Loading

将数据导入到HBase有三种方式:(1) Mapreduce,输出为TableOutputFormat.(2) 用HBase API .(3)Bulk Loading.对于大量的数据入库,第三种数据是最为有效的. 下图描述了Bulk Loading的过程:先将数据(MySQL ,Oracle ,文本文件等)加载到HDFS,通过MapReduce 将数据做成HFile (HFileOutPutForm).然后使用HBase提供的CompleteBulkLoad(LoadIncrementalHFi…

HBase RowKey与索引设计

1. HBase的存储形式 hbase的内部使用KeyValue的形式存储,其key时rowKey:family:column:logTime,value是其存储的内容. 其在region内大多以升序的形式排列,唯一的时logTime是以降序的形式进行排列. 所以,rowKey里越靠近左边的信息越容易被检索到.其设计时,要考虑把重要的信息放左边,不重要的信息放到右边.这样可以提高查询数据的速度.最重要的提高索引速度的就是设计合适的rowKey. 在做RowKey设计时,请先考虑业务是读比写多,还…