2.6.与 Hive 的集成2.6.1.HBase 与 Hive 的对比1) Hive(1) 数据仓库Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系,以方 便使用 HQL 去管理查询.(2) 用于数据分析.清洗Hive 适用于离线的数据分析和清洗,延迟较高.(3) 基于 HDFS.MapReduceHive 存储的数据依旧在 DataNode 上,编写的 HQL 语句终将是转换为 MapReduce 代码执行. 2) HBase(1) 数据库是一种面…

spark 支持 shell 操作 shell 主要用于调试,所以简单介绍用法即可 支持多种语言的 shell 包括 scala shell.python shell.R shell.SQL shell 等 spark-shell 用于在 scala 的 shell 模式下操作 spark pyspark 用于在 python 的 shell 模式下操作 spark spark-sql 用于在 spark-sql 模式下运行 sql,后续会讲 sparkSQL 支持 3 种模式的 shell l…

一. 介绍 HBase是一个分布式的.面向列的 开源数据库,源于google的一篇论文<bigtable:一个结构化数据的分布式存储系统>.HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务.  HBase以表的形式存储数据.表有行和列组成.列划分为若干个列族/列簇(column family).       如上图所示,key1, key2,…

HBase Shell $ ./bin/hbase shell # 进入交互界面 DDL操作: create:创建表(默认命名空间为default) # create '表名','列族1','列族2'... hbase(main):005:0> create 'student','info' 0 row(s) in 1.4250 seconds => Hbase::Table - student list:列出所有table hbase(main):005:0> list # 列出所有的…

行(row),列(Column),列蔟(Column Family),列标识符(Column Qualifier)和单元格(Cell) 行:由一个个行键(rowkey)和一个多个列组成.其中rowkey是按照字典顺序排序 列:列由列蔟(Column Family)和列限定符(Column Qualifier)组成   例如:C1:ID 列蔟:创建表时就已经创建,是固定的,所有表中的每一行都有相同的列蔟,列蔟和列标识符通过绑定在一起用:连接 列标识符(列名):为存储的values数据提供索引,不同…

数据类型 MongoDB在保留JSON基本键/值对特性的基础上,添加了其他一些数据类型. null null用于表示空值或者不存在的字段:{“x”:null} 布尔型 布尔类型有两个值true和false {“x”:true} 数值 shell默认使用64位浮点型数值. {“x”:} 对于整型值,可使用NumberInt类(表示4字节带符号整数)或NumberLong类(表示8字符带符号整数) {“x”:NumberInt(””)} {“x”:NumberLong(“3”)} 字符串 utf-8…

创建表 create 'test1', 'lf', 'sf' lf: column family of LONG values (binary value) -- sf: column family of STRING values 导入数据 put 'test1', 'user1|ts1', 'sf:c1', 'sku1' put 'test1', 'user1|ts2', 'sf:c1', 'sku188' put 'test1', 'user1|ts3', 'sf:s1', 'sku123…

1.进入命令行 bin/hbase shell 2.输入help 查看各种命令组. 命令是分组的,可以执行help 'general'查看general组的命令. 3.常用命令 --显示有哪些表 list --显示表的DDL信息 describe '表名' --创建表 create 'table name','family name'... '} --删除表 --先关闭表 disable 'table name' drop 'table name' --判断表是否可用 is_enabled 't…

创建表 create 'test1', 'lf', 'sf' lf: column family of LONG values (binary value) -- sf: column family of STRING values 导入数据 put 'test1', 'user1|ts1', 'sf:c1', 'sku1' put 'test1', 'user1|ts2', 'sf:c1', 'sku188' put 'test1', 'user1|ts3', 'sf:s1', 'sku123…

阅读目录 前言 一.hbase的shell操作 1.1启动hbase shell 1.2执行hbase shell的帮助文档 1.3退出hbase shell 1.4使用status命令查看hbase现在的状态 1.5使用version命令查看hbase的相关的版本 1.6table_help 1.7whoami 二.hbase的DDL相关的操作 2.1使用hbase创建表 2.1.1创建表 2.1.2验证创建 2.2使用hbase禁用表 2.2.1禁用表 2.2.2验证禁用 2.2.3is_d…