hadoop hive组件介绍及常用cli命令

【hadoop hive组件介绍及常用cli命令】的更多相关文章

hadoop hive组件介绍及常用cli命令

Hive架构图 Hive产生原因 1 关系型数据库以产生多年sql成熟 2 简化开发降低成本 3 java成员可编写udf函数 Hive是什么 Hive是基于hadoop的一个数据库工具,使用Hql作为接口,maprduce作为执行层 Hdfs作为储存层.设计的目的是让sql开发人员java技能较弱的人编写并查询海量数据缺点执行效率低 Hive的访问 Hive ----odbc/jdbc----hiveserver2 Hive---hive Compiler 编译器 Optimizer 优化器…

Hadoop以及组件介绍

一.背景介绍在接触过大数据相关项目的时候常常都会听到Hadoop这个东西,简单来说,他是一个用分布式计算来处理大数据的开源软件,下面包含了许多的组件和子项目,这篇文章将会介绍Hadoop的原理以及一些组件的应用. 二.准备工作 1.确认储存规模有很多的大数据项目其实数据量跟本没这么大,跟本不需要到使用Hadoop这类的大数据软件,所以,第一步应该是先确认数据量有多大,真的MySQL跑的太久再去使用Hadoop就好. 2.确认数据类型除了结构化数据以外,现在有些大数据项目需要处理的是一些非结…

HIve常用CLI命令

1. 清楚屏幕:Ctrl+L 或者!Clear 最后加上分号 2. 查看数据仓库中的表:show tables; 3. 查看数据仓库中内置函数:show functions: 4. 查看表结构 :desc; 5. 查看HDDFS上的文件:dfs -ls 目录; dfs -lsr /user; 递归查看目录 6. 执行操作系统上的命令:前面加上!后面跟上系统命令 ,!pwd: 7. 执行HQL语句:select * from test1:不会转成MapReduce任务,只有当select tnam…

hadoop yarn组件介绍

Yarn的产生 mapReduc1.0 1单点故障 2扩展效率低 3资源利用率高降低运维成本方便数据共享多计算框架支持 MapReduce Spark Storm Yarn的架构图 Yarn模块介绍 ResourceManger 负责集群资源的统一管理和调度处理客户端请求启动/监控ApplicationMaster 监控NodeManager 资源的分配与调度 NodeManager 负责单点资源的管理和使用处理来自ResourceManager的命令处理来自Application…

HBase介绍(4)---常用shell命令

进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户 hbase(main)> whoami 表的管理1)查看有哪些表 hbase(main)> list 2)创建表 # 语法:create <table>, {NAME => <family>,…

zookeeper 常用cLi命令

官网:https://zookeeper.apache.org/doc/r3.4.8/zookeeperAdmin.html#sc_zkCommands stat path [watch] set path data [version] ls path [watch] delquota [-n|-b] path ls2 path [watch] setAcl path acl setquota -n|-b val path history redo cmdno printwatches on|o…

hadoop Mapreduce组件介绍

MapReduce原理 MapRedcue采用‘分而治之’的思想,对大规模数据集的操作,分发给一个主节点下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果.Mapreduce就是任务的分解,与结果的汇总 MapReduce任务机器有两个一个是jobTracker,另一个是TaskTracher,JobTracker用于调度的工作,TaskTracher用于执行工作,一个hadoop集群只有一个JobTracker. 在分布式计算中,MapReduce框架负责处理了并行编程中分布…