Hive Cli相关操作

landen@Master:~/UntarFile/hive-0.10.0$ bin/hive --database 'stuchoosecourse' -e 'select * from hiddenipinfo'WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.prop…

HBase Cli相关操作

修改HBase表结构之前首先需要disable表,然后进行更改相关表结构信息,最后enable表,如下 1. 动态添加一个或多个列簇 hbase(main):034:0> describe 'HiddenIPInfo'DESCRIPTION ENABLED 'HiddenIPInfo', {NAM…

Hive（八）Hive的Shell操作与压缩存储

一.Hive的命令行 1.Hive支持的一些命令 Command Description quit Use quit or exit to leave the interactive shell. set key=value Use this to set value of particular configuration variable. One thing to note here is that if you misspell the variable name, cli will no…

hive cli 启动缓慢问题

hive-0.13.1启动缓慢的原因发现时间主要消耗在以下3个地方: 1. hadoopjar的时候要把相关的jar包上传到hdfs中(这里大概消耗5s,hive0.11一样,这个地方不太好优化) 2. 在每次hive cli启动的时候,初始化HiveMetaStore时,在init时,会调用以下3个方法,创建default db,role ,admin. 详细代码: synchronized(HMSHandler.class) { createDefaultDB(); createDefau…

[转帖]我最近研究了hive的相关技术，有点心得，这里和大家分享下。

我最近研究了hive的相关技术,有点心得,这里和大家分享下. https://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3114180.html 首先我们要知道hive到底是做什么的.下面这几段文字很好的描述了hive的特性: 1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行.其优点是学习成本低,可以通过类SQL语句快速实…

Hive cli源码阅读和梳理

对Cli的重新认识*). hive cli有两种模式, 本地模式: 采用持有的driver对象来处理, 远程模式: 通过连接HiveServer来实现, 由此可见之前的架构图中的描述还是模糊且带有误导性*). 支持singal的处理支持, 比如对ctrl+c中断, 需要两次才完全退出交互*). 交互式命令处理模式源码阅读*). Signal类对象的使用,Singal静态函数 Signal.handle(Singal singla, SingalHandler handler);对signal函…

hive 桶相关特性分析

1. hive 桶相关概念桶(bucket)是指将表或分区中指定列的值为key进行hash,hash到指定的桶中,这样可以支持高效采样工作. 抽样( sampling )可以在全体数据上进行采样,这样效率自然就低,它还是要去访问所有数据.而如果一个表已经对某一列制作了bucket,就可以采样所有桶中指定序号的某个桶,这就减少了访问量. 2. 桶作用 1)数据抽样 2)提升某些查询操作效率,如:mapside join 3. 桶的使用 --场景一.场景二使用此表说…

从零自学Hadoop(24)：Impala相关操作上

阅读目录序数据库相关表相关系列索引本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序上一篇,我们介绍Impala的介绍及安装. 下面我们开始继续进一步的了解Impala的相关操作. 数据库相关一:创建在这里,数据库就是一个目录结构,当然对于的元数据还会持久化到关系型数据库. create database dbtest; 二:查看可以查看当前可用的数据库. show da…

【转】Reflector、reflexil、De4Dot、IL相关操作指令合集

PS:CTRL+F 输入你需要的内容,可以快速查找页面上的内容. 名称说明 Add 将两个值相加并将结果推送到计算堆栈上. Add.Ovf 将两个整数相加,执行溢出检查,并且将结果推送到计算堆栈上. Add.Ovf.Un 将两个无符号整数值相加,执行溢出检查,并且将结果推送到计算堆栈上. And 计算两个值的按位“与”并将结果推送到计算堆栈上. Arglist 返回指向当前方法的参数列表的非托管指针. Beq 如果两个值相等,则将控制转移到目标指令. Beq.S 如果两个值相等,则将控制转移到…

nova相关操作的Request_Id的获取

在分析nova的众多log文件时,如nova-api,nova-scheduler,nova-compute等,其中的request id是串联起整个flow的关键词. 而通过nova instance-action-list <server>指令即可获得相关操作的request id的信息: root@controller:~# nova instance-action-list Vm-Test-01 +--------+-----------------------------------…

Hive配置与操作实践

Hive配置与操作实践 @(Hadoop) 安装hive hive的安装十分简单,只需要在一台服务器上部署即可. 上传hive安装包,解压缩,将其配入环境变量. mysql的设置在要作为元数据库的mysql服务器上建立hive数据库: #建立数据库 create database if not exists hive; #设置远程登录的权限 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPT…

Hive Cilent数据操作

Hive运行命令方式有cli,jdbc.hwi.beeline.而我们经常使用的往往是cli shell 操作. cli shell hive -help hive --help 注:命令脚本必须在集群的节点或hiveclient运行. hive -e "select * from testtable" hive -S -e "select * from testtable" hive -S -e "select * from testtable"…

Hive 学习之路（三）—— Hive CLI和Beeline命令行的基本使用

一.Hive CLI 1.1 Help 使用hive -H或者 hive --help命令可以查看所有命令的帮助,显示如下: usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=B --定义用户自定义变量 --database <databasename> Specify the database to use --…

Hive 系列（三）—— Hive CLI 和 Beeline 命令行的基本使用

一.Hive CLI 1.1 Help 使用 hive -H 或者 hive --help 命令可以查看所有命令的帮助,显示如下: usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=B --定义用户自定义变量 --database <databasename> Specify the database to use…

Hive 教程(六)-Hive Cli

hive 有两种启动方式,一种是 bin/hive,一种是 hiveserver2, bin/hive 是 hive 的 shell 模式,所有任务在 shell 中完成,shell 就相当于 hive cli hive 命令行参数 [root@hadoop10 hive2.3.6]# hive --heip -d,--define <key=value> Variable substitution to apply to Hive commands. e.g. -d A=B or --def…

入门大数据---Hive常用DML操作

Hive 常用DML操作一.加载文件数据到表 1.1 语法 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] LOCAL 关键字代表从本地文件系统加载文件,省略则代表从 HDFS 上加载文件: 从本地文件系统加载文件时, filepath 可以是绝对路径也可以是相对路径 (建议使用绝对路径): 从 HDFS 加载文…

Spark-读写HBase，SparkStreaming操作，Spark的HBase相关操作

Spark-读写HBase,SparkStreaming操作,Spark的HBase相关操作 1.sparkstreaming实时写入Hbase(saveAsNewAPIHadoopDataset方法) 2.sparkstreaming整合kafka实现exactly-once语义 3.sparkstreaming同时消费多个topic的数据实现exactly-once的语义 4.spark读取hbase数据(newAPIHadoopRDD方式) 5.spark读取hbase中的数据 6.spa…

Phoenix简介概述，Phoenix的Java API 相关操作优秀案例

Phoenix简介概述,Phoenix的Java API 相关操作优秀案例一.Phoenix概述简介二.Phoenix实例一:Java API操作 2.1 phoenix.properties 2.2 pom.xml 2.3 configutils.java 2.4 PhoenixTest.java 三.Phoenix实例二:Java API操作 3.1 pom.xml中加入依赖 3.2 JDBC 3.3 serviceImpl 三.使用Phoenix通过sql语句更新操作hbase数据 3…

从零自学Hadoop(20)：HBase数据模型相关操作上

阅读目录序介绍命名空间表系列索引本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序上一篇,我们讲述了HBase的介绍及安装,从列图和引用的方式,列举的HBase能做什么及一些特点,也截图了HBase的安装过程. 下面我们开始介绍HBase的数据模型相关操作,该部分内容较多,分成两个部分. 介绍一:Data Model Data Model包括Table(表),Row(行),…

从零自学Hadoop(21)：HBase数据模型相关操作下

阅读目录序变量数据模型操作系列索引本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序上一篇,我们讲述了HBase的数据模型相关操作的上部分. 下面我们开始介绍HBase的数据模型相关操作的下部分. 变量一:定义变量这样我们就可以使用t这个变量来代替table1了. t=get_table 'table1' 二:使用 t.put 'row1','cf1:a','v1' t.g…

理解CSV文件以及ABAP中的相关操作

在很多ABAP开发中,我们使用CSV文件,有时候,关于CSV文件本身的一些问题使人迷惑.它仅仅是一种被逗号分割的文本文档吗? 让我们先来看看接下来可能要处理的几个相关组件的词汇的语义. Separator:两个字段之间的界线,在CSV文件中即是“,”. Delimiter:这种符号的开端和结束,代表了某种东西的界限.举个例子“测试字符串”有两个delimiters,即两个双引号.在文本中包含很多逗号的情形下,CSV文件会使用双引号作为Delimiter. Terminator : 代表片段的结束…

Liunx下的有关于tomcat的相关操作 && Liunx 常用指令

先记录以下liunx下的有关于tomcat的相关操作查看tomcat进程: ps-ef|grep java (回车) 停止tomcat进程: kill -9 PID (进程号如77447) (回车) 查看那些端口号被打开 netstat -anp 转到压缩文件的路径test下:cd /test (回车) 删除文件test下的testPro文件夹:rm -rf testPro (回车) 解压test下的testPro.zip压缩文件:unizip testPro.zip (回车) lsof -i…

pip的相关操作

>Python中的pip是什么?能够做些什么? pip是Python中的一个进行包管理的东西,能够下载包.安装包.卸载包......一些列操作 >怎么查看pip的相关信息在控制台输入: pip >>如果出现下面的问题咋整 >>>解决办法一: 进入到Python安装目录下的scripts文件夹后再执行:pip 原因:在安装Python的时候pip是默认安装在Python安装目录下的scripts文件夹中的 >>>解决办法二设置环境变量:即将sc…

python操作mysql数据库的相关操作实例

python操作mysql数据库的相关操作实例 # -*- coding: utf-8 -*- #python operate mysql database import MySQLdb #数据库名称 DATABASE_NAME = '' #host = 'localhost' or '172.0.0.1' HOST = '' #端口号 PORT = '' #用户名称 USER_NAME = '' #数据库密码 PASSWORD = '' #数据库编码 CHAR_SET = '' #初始化参数…

php对二维数组进行相关操作（排序、转换、去空白等）

php对二维数组进行相关操作(排序.转换.去空白等) 投稿:lijiao 字体:[增加减小] 类型:转载时间:2015-11-04 这篇文章主要介绍了php对二维数组进行相关操作,包括php对二维数组排序.转换.去空白,以及去重复值等,感兴趣的小伙伴们可以参考一下技巧提示: ? 1 2 3 4 5 6 7 8 9 array_keys($array) //返回所有键名 array_values($array) //返回所有键值 $result=array_revers…

SQL语言和DML相关操作以及相应的运算符

SQL 1.结构化查询语言 2.特点 a.第四代编程语言,更接近自然语言 b必须有数据库系统解释执行 c.对象名,关键字不区分大小写 d.字符串必须要用单引号引起来,不能用双引号 e.每条语句最后用分号表示结束 f.已成为标准,但是不同数据库有自己的方言 3.注释 a.行注释 -- b.块注释 /* */ 4.分类 a.DDL数据定义语言:创建(create),修改(alter),删除(drop)数据库的对象 b.DML数据操作语言:添加(insert into),修改(update),删除(d…

beeline vs hive cli

近期,大数据开发环境升级为cloudera 5.3. 配套的hive版本升级为0.13.1.可以使用心仪已久的分析开窗函数了.但在使用的过程中发现一些问题,仅记于此. 1.在使用hive命令的时候,发现自动跳转至beeline客户端,并且提示hive cli已经过期,推荐使用beeline. 然后提示你输入jdbc url. 2.通过hadoop version 找到hive的home,发现有一个hive-old 的文件,通过检查测试发现这就是原来hive cli的文件. 3.简单测试beeli…