一.配置文件 1.重命名配置文件 # 把/opt/modules/hive-0.13.1/conf/hive-log4j.properties.template重命名为hive-log4j.properties #重新进入hive [root@hadoop-senior hive-0.13.1]# bin/hive Logging initialized using configuration in file:/opt/modules/hive-0.13.1/conf/hive-log4j.pr…

在启动hive时设置配置属性信息 $ bin/hive --hiveconf <property=value> 查看当前所有的配置信息 hive > set ; hive (db_hive)> set system:user.name ; system:user.name=root hive (db_hive)> set system:user.name=testUser ; 此种方式,设置属性的值,仅仅在当前会话session生效…

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能. 本质是:将HQL转化成MapReduce程序 1)Hive处理的数据存储在HDFS 2)Hive分析数据底层的实现是MapReduce 3)执行程序运行在Yarn上 1. Hive架构原理 hive的组成: 可以配置Hive运行引擎Tez: https://www.cnblogs.com/shengyang17/p/10527700.html 2. Hive安装及配置 ()把apache-…

hive 常用的几种shell交互方式 查看hive命令帮助:bin/hive -help [hd@hadoop-senior hive]$ bin/hive -help usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=B --database <databasename> Specify the databas…

Hive metastore服务以关系性数据库的方式存储Hive tables和partitions的metadata,并且提供给客户端访问这些数据的metastore service的API.下面介绍一下Metastore部署的三种模式…

基于CDH5.x的Hive权限配置 1.打开权限控制,默认是没有限制的 set hive.security.authorization.enabled=true; 2.配置默认权限 hive.security.authorization.createtable.owner.grants = ALL hive.security.authorization.createtable.role.grants = admin_role:ALL hive.security.authorization.cre…

一:常用版本 1.版本 0.13.1 2014年 1.2.1   2015年 版本之间的区别:支持SQL不同,向关系型数据库靠拢. 目前看到的版本是2.3.2了. 2.官网 二:安装配置hive 1.检测hadoop 2.解压hive 3.修改环境 sudo vi /etc/profile 4.source以下 5.复制hive-env.sh 6.编辑hive-env.sh 设置hadoop的配置环境,因为hive需要hadoop,不然hive和hadoop没有关联. hive的配置文件目录要启…

Mac上Hive安装配置 1.安装 下载hive,地址:http://mirror.bit.edu.cn/apache/hive/ 之前我配置了集群,tjt01.tjt02.tjt03,这里hive安装在tjt01机器上. 我下载的是“apache-hive-3.0.0-bin.tar.gz”,将hive 3.0版本上传到/opt目录,并解压到/usr/local下: [root@tjt01 ~]# cd /opt [root@tjt01 opt]# -bin.tar.gz -C /usr/lo…

Hive的配置详解和日常维护 一.Hive的参数配置详解 1>.mapred.reduce.tasks  默认为-1.指定Hive作业的reduce task个数,如果保留默认值,则Hive 自己决定应该使用多少个task. 2>.hive.mapred.mode  2.x下的默认值为strict,1.x以及之前的版本默认值为nonstrict.如果 设为strict,Hive将禁止一些危险的查询:分区表未用分区字段筛选: order by语句后未跟limit子句:join后没有on语句从而形…

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据.它架构在Hadoop之上,总归为大数据,并使得查询和分析方便.并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行.环境介绍: hadoop:3.2.0 jdk:1.8 Linux:centos7 mysql:5.6 1.mysql安装配置 wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql…

Linux环境Hive安装配置及使用 一.Hive Hive环境前提 二.Hive架构原理解析 三.Hive-1.2.2单机安装流程 (1) 解压apache-hive-1.2.2-bin.tar.gz安装包到目标目录下: (2) 为后续方便,重命名Hive文件夹: (3) 修改配置文件: (4) 配置环境变量: (5) 启动 (6) 退出 (7) 配置MySQL元数据库 四.Hive数据类型 五.Hive-DDL(Data Definition Language) (1) 查看数据库 (2)…

个人主页: http://www.linbingdong.com 本文介绍Hive安装配置的整个过程,包括MySQL.Hive及Metastore的安装配置,并分析了Metastore三种配置方式的区别.网上有很多介绍Hive Metastore三种配置方式的文章,但是理解都不对,给读者造成了很多误导.本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分,并经过实践,终于填好各种坑,安装配置成功,遂记录下本文,供大家参考. 1. 相关概念 Hive Metastore…

在VS里配置及查看IL 来源:网络 编辑:admin 在之前的版本VS2010中,在Tools下有IL Disassembler(IL中间语言查看器),但是我想直接集成在VS2012里使用,方法如下: 1.选择 工具/外部工具,打开外部工具 2.点击右侧的 “添加”按钮,填写相关的参数 标题:ILDASM 命令:就是ildasm.exe的安装路径,根据情况选择自己磁盘上的路径 参数:注意这里需要选目标文件路径 初始目录:目标文件目录 3.添加完之后,可以在工具选项卡下看到 ILDASM 4.点击…

简要:一:集群的启动与关闭 1. rac集群的手动启动[root@node1 bin]# ./crsctl start cluster -all2. 查看rac集群的状态[root@node1 bin]# ./crsctl stat res -t3. rac集群的关闭[root@node1 bin]# ./crscrl stop cluster -all--------------------------------二:集群的各种资源状态的检查 1. 检查集群的运行状况[root@node1 b…

原文来自: http://blog.csdn.net/songchunhong/article/details/51423823 1．下载Hive安装包apache-hive-1.2.1-bin.tar.gz 2.解压安装包,并移动到要安装的路径下 sudo tar -zxvf apache-hive-1.2.1-bin.tar.gz sudo mv -r hive1.2.1 /usr/local/ 3.配置hive环境变量 vi /etc/profile 添加环境变量值  export HIV…

Atitit.Gui控件and面板----数据库区-mssql 2008 权限 配置 报表查看成员 1. 配置server连接权限 1 2. 配置数据库权限 1 3. 设置表格/视图安全性 2 1. 配置server连接权限 配置server登录--数据库级别的[安全性]-[登录名]-[新建登录名] 角色::public 作者:: 老哇的爪子 Attilax 艾龙.  EMAIL:1466519819@qq.com 转载请注明来源: http://blog.csdn.net/attilax 2.…

历史服务配置启动查看 1)配置mapred-site.xml <property> <name>mapreduce.jobhistory.address</name> <value>hadoop-001:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>…

vsftpd日志配置及查看 vsftpd ftp服务器的日志设置,可以通过修改主配置文件/etc/vsftpd.conf实现.主配置文件中与日志设置有关的选项包括xferlog_enable .xferlog_file 和dual_log_enable 等. xferlog_enable 如果启用该选项,系统将会维护记录服务器上传和下载情况的日志文件.默认情况下,该日志文件为 /var/log/vsftpd.log.但也可以通过配置文件中的 vsftpd_log_file 选项来指定其他文件.默…

最近老是需要几个版本的JDK切换工作,于是网上收集资料整理,自己写了一个:自动配置/切换/查看JDK环境变量的批处理脚本.顺带3个JDK版本分别是:jdk1.6.0_43,jdk1.7.0_80,jdk1.8.0_131,大家就不用自己辛辛苦苦的去安装jdk了,直接拿来就能用. 一,JDK环境变量自动配置.bat @echo off set home=%JAVA_HOME% if defined home ( echo 删除现有的JAVA_HOME环境变量 wmic ENVIRONMENT wh…

Hive设置配置参数的方法 Hive提供三种可以改变环境变量的方法,分别是: (1).修改${HIVE_HOME}/conf/hive-site.xml配置文件: (2).命令行参数: (3).在已经进入cli时进行参数声明. 方法一:hive-site.xml配置参数 在Hive中,所有的默认配置都在 "{HIVE_HOME}/conf/hive-default.xml "文件中,如果需要对默认的配置进行修改,可以创建一个 "hive-site.xml" 文件,放…

一:安装配置hive 1.检测hadoop 2.解压hive 3.修改环境 sudo vi /etc/profile 4.source以下 5.复制hive-env.sh 6.编辑hive-env.sh 7.在HDFS上创建文件夹并修改写权限 8.验证hive的安装 二:操作hive 1.显示有哪些数据库 2.创建数据库 3.在新建的数据库中新建表 使用新建的数据库 use hadoop09: 4.加载数据 首先要书写数据: 加载数据: 5.HDFS里文件的分布 6.hive查询语句 三:hiv…

ubuntu安装mysql  http://www.2cto.com/database/201401/273423.html Hive安装: http://www.aboutyun.com/forum.php?mod=viewthread&tid=6902  (aboutyun)http://wangqiaowqo.iteye.com/blog/1618565http://www.it165.net/admin/html/201403/2528.html   (解释详细)http://www.l…

Hive简介 Hive 基本介绍 Hive 实现机制 Hive 数据模型 Hive 如何转换成MapReduce Hive 与其他数据库的区别 以上详见:https://chu888chu888.gitbooks.io/hadoopstudy/content/Content/8/chapter8.html Hive 和 Hbase 的区别 详见:http://www.cnblogs.com/justinzhang/p/4273470.html Hive环境模式 内嵌模式 将元数据保存在本地内嵌的…

1.修改配置hive-site.xml    hadoop core-site.xml限制---参考Hive记录-部署Hive环境 2.启动hadoop #sh /usr/app/hadoop/sbin/start-all.sh 3.jps查看五大进程是否齐全:NameNode  DataNode NodeManager ResourceManager SecondaryNameNode 4.启动hiveserver2服务 #hive --service hiveserver2 #netstat…

HiveServer2(HS2)是一个服务器接口,能使远程客户端执行Hive查询,并且可以检索结果.HiveServer2是HiveServer1的改进版,HiveServer1已经被废弃.HiveServer2可以支持多客户端并发和身份认证.旨在为开放API客户端(如JDBC和ODBC)提供更好的支持. 这篇文章将介绍如何配置服务器端.如何使用客户端与此服务器端交互将在下篇文章中介绍. 备注 Hive 0.11版本引入. See HIVE-2935. 1. 配置 1.1 hive-site.x…

1 驱动拷贝 1．在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包 [root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz 2．拷贝/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connector-java-5.1.27-bin.jar到/op…

Hive从0.14版本开始支持事务和行级更新,但缺省是不支持的,需要一些附加的配置.要想支持行级insert.update.delete,需要配置Hive支持事务. 一.Hive具有ACID语义事务的使用场景1. 流式接收数据.许多用户使用诸如Apache Flume.Apache Storm或Apache Kafka这样的工具将流数据灌入Hadoop集群.当这些工具以每秒数百行的频率写入时,Hive也许只能每15分钟到1小时添加一个分区,因为过于频繁地添加分区很快就会使一个表中的分区数量难以维…

大数据安全系列之hive的kerberos认证配置,其它系列链接如下 https://www.cnblogs.com/bainianminguo/p/12548076.html-----------安装kerberos https://www.cnblogs.com/bainianminguo/p/12548334.html-----------hadoop的kerberos认证 https://www.cnblogs.com/bainianminguo/p/12548175.html-----…

前言 使用Hadoop进行离线分析或者数据挖掘的工程师,经常会需要对Hadoop集群或者mapreduce作业进行性能调优.也许你知道通过浏览器访问http://master:18088/conf来查看配置信息,如下图所示: 但是当Linux工程师们只面对命令行时,如何查看呢?而且如果运维工程师根据集群状况及运行历史使用shell.Python.ruby等脚本写些运维代码,甚至动态调整集群参数时,该怎么办呢?性能调优的前提是需要能准确知道目前针对Hadoop集群或者mapreduce作业配置的参…

原文地址:http://www.myext.cn/other/a_25162.html 在之前的版本VS2010中,在Tools下有IL Disassembler(IL中间语言查看器),但是我想直接集成在VS2012里使用,方法如下: 1.选择 工具/外部工具,打开外部工具 2.点击右侧的 “添加”按钮,填写相关的参数 标题:ILDASM 命令:就是ildasm.exe的安装路径,根据情况选择自己磁盘上的路径 参数:注意这里需要选目标文件路径 初始目录:目标文件目录 3.添加完之后,可以在工具选…