参考这里http://grokbase.com/t/cloudera/scm-users/12aayq5cyh/what-is-gateway-in-cloudera-manager 实际上Gateway就是一个hive客户端节点,会将hadoop/hbase/mapreduce之类的配置文件推送到客户端节点中.  我们可以在配置的客户端节点提交hive程序脚本运行.

搭建了 CDH6.1.0环境 新加入一台机器都hive但是报错 javax.jdo.JDODataStoreException: Required table missing : "`VERSION`" in Catalog "" Schema "". Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient WARN [9a4cc1b4

转自 http://lookqlp.iteye.com/blog/2189119  .   配置起来较复杂,需要在有测试环境之后再进行配置测试.  之后是有上HUE的计划的,所以这个也是一定要做的. 目标: 给各个业务组提供不同用户及用户组,并有限制的访问hdfs路径,及hive数据库. 前提: cloudera cloudera manager kerberos ldap sentry 问题与解决: hive client直走hive的本地模式,没有经过hiveserver2,所以此种方式能访

环境篇:呕心沥血@线上调优 为什么出这篇文章? 近期有很多公司开始引入大数据,由于各方资源有限,并不能合理分配服务器资源,和服务器选型,小叶这里将工作中的总结出来,给新入行的小伙伴带个方向,不敢说一定对,但是本人亲自测试,发现集群使用率稳定提高了3分之1,最高可达到2分之1,有不对的地方欢迎留言指出. 注:可能有些服务没有设计,使用到的小伙伴可以参照这种方式去规划. 0 资源:集群服务安排 服务名称 子服务 CM-64G ZK-Kafka(3台)-12G DataNode(3台)-64G Nam

使用的是cloudera manager管理的集群: hive添加自定义jar包 服务端:高级:Hive 辅助 JAR 目录 设置的的路径是影响所有服务端的设置,比如hue中使用到了hive查询编辑器,在里面写HQL要用到自定义的JAR,那就必须设置这个地方.CM需要重启集群 客户端:高级: hive-env.sh 的 Gateway 客户端环境高级配置代码段(安全阀) 设置的路径是会影响所有要使用HIVE客户端的节点,比如你直接在SHELL控制台上使用HIVE的话,必须配置这个地方.CM需要重

分区表 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict;create table test.test28_partition(id string, name string)PARTITIONED BY (inc_day string)STORED AS PARQUETlocation 'hdfs://xxx/user/hive/warehouse/test/test27_pa

hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行) true hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true,当输入文件大小小于此阈值时可以自动在本地模式运行,默认是 128兆. 134217728L hive.exec.mode.local.auto.tasks.max 如果 hive.exec.mode.

  理论: 什么是hive: 1. Hive旨在实现轻松的数据汇总,即时查询和分析大量数据. 2. 它提供了SQL,使用户可以轻松地进行临时查询,汇总和数据分析. 3. Hive可以使用用户定义函数(UDF). 4. 使用率:实际开发中,80%操作使用Hive完成,20%使用MapReduce. 5. 与MapReduce相比,Hive特点:稳定.代码精简.易于维护. 6. HiveQL:未严格实现SQL-92标准. 7. 本质:将HiveQL转化为一个或多个MapReduce作业并在集群上运行

反垃圾rd那边有一个hql,在执行过程中出现错误退出,报java.io.IOException: Broken pipe异常,hql中使用到了python脚本,hql和python脚本最近没有人改过,在10.1号时还执行正常,可是在10.4号之后执行就老是出现同样的错误,并且错误出如今stage-2的reduce阶段,gateway上面的错误提演示样例如以下: 2014-10-10 15:05:32,724 Stage-2 map = 100%, reduce = 100% Ended Job

杨赟快跑 简书作者 2018-09-24 10:24 打开App 摘要:大数据门槛较高,仅仅环境的搭建可能就要耗费我们大量的精力,本文总结了作者是如何搭建大数据环境的(单机版和集群版),希望能帮助学弟学妹们更快地走上大数据学习之路. 0. 准备安装包 本文所需的系统镜像.大数据软件安装包.开发环境软件安装包等都可以在我的百度云盘中下载.链接:系统镜像和各种大数据软件密码:n2cn 1. Windows下安装Ubuntu双系统 Hadoop等大数据开源框架是不支持Windows系统的,所以需要先安

hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行) true hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true,当输入文件大小小于此阈值时可以自动在本地模式运行,默认是 128兆. 134217728L hive.exec.mode.local.auto.tasks.max 如果 hive.exec.mode.

问题导读: 如何设置reduce的个数? Hive 默认的数据文件存储路径? Hive 默认的输出文件格式? 是否开启 map/reduce job的并发提交? 所允许的最大的动态分区的个数? hive.exec.mode.local.auto   决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行)    默认值:true      hive.exec.mode.local.auto.inputbytes.max   如果hive.exec.mode.local.

背景 项目中需要通过一些自定义的组件来操控hive的元数据,于是使用了remote方式来存储hive元数据,使用一个服务后台作为gateway,由它来控制hive元数据. 现象 在windows上连接hive metastore的时候,无端的会报NullPointerException,非常费解. 分析 看了代码后发现,连接后会获取本地用户所在的用户组信息(org.apache.hadoop.hive.metastore.HiveMetaStoreClient中的open方法): if (isC

环境:centos 6.6 x64 (学习用3节点) 软件:jdk 1.7 + hadoop 2.7.3 + hive 2.1.1 环境准备: 1.安装必要工具 yum -y install openssh wget curl tree screen nano lftp htop mysql-client mysql-server 2.使用163的yum源: cd /etc/yum.repo.d/ wget http://mirrors.163.com/.help/CentOS7-Base-16

1.集群的 hadoop-current hive-current spark-current copy 到 gateway 机器 2.集群的 hadoop-conf       hive-conf spark-conf copy 到 gateway 机器 3.集群的 yarn.sh       hdfs.sh hive.sh spark.sh copy 到 gateway 机器的 /etc/profile.d 目录下,以便用户登入时候配置相关环境变量 主要有:PATH 中增加: /usr/li

过程 启动 hive 之后出现的 CLI 是查询任务的入口,CLI 提交任务给 Driver Driver 接收到任务后调用 Compiler,Executor,Optimizer 将 SQL 语句转化为可以在 Hadoop 集群上执行的 MapReduce 任务 Compiler,Executor 从 metastore 获取所需要的元数据信息 hivesever2 作为 hivesever 的改进版本,最主要的变化在于提供了全新的命令行窗口 BeeLine. gateway CDH中的gat

Hive设置配置参数的方法 Hive提供三种可以改变环境变量的方法,分别是: (1).修改${HIVE_HOME}/conf/hive-site.xml配置文件: (2).命令行参数: (3).在已经进入cli时进行参数声明. 方法一:hive-site.xml配置参数 在Hive中,所有的默认配置都在 "{HIVE_HOME}/conf/hive-default.xml "文件中,如果需要对默认的配置进行修改,可以创建一个 "hive-site.xml" 文件,放

作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/84 本文地址:http://www.showmeai.tech/article-detail/172 声明:版权所有,转载请联系平台与作者并注明出处 1.大数据与数据库 1) 从Hadoop到数据库 大家知道在计算机领域,关系数据库大量用于数据存储和维护的场景.大数据的出现后,很多公司转而选择像 Hadoop/Spark 的大数据解决方案. Hadoop使用分布式文件系统,用于存储大

2016.10.13 20:28 很久没有写随笔了,自打小宝出生后就没有写过新的文章.数次来到博客园,想开始新的学习历程,总是被各种琐事中断.一方面确实是最近的项目工作比较忙,各个集群频繁地上线加多版本的提测,每次到了晚上就感觉很疲惫,另一方面确实是自己对自己最近有些放松,没有持续地学习.很庆幸今天能在一个忙碌的工作日后,开始着手这篇文章. 来到大数据前,我对大数据可以说是一无所知.诸如Hadoop.Hive等名词仅仅处于"听过"的阶段,完全不知道其作用.大数据的概念真的很多,想真正理

个人主页: http://www.linbingdong.com 本文介绍Hive安装配置的整个过程,包括MySQL.Hive及Metastore的安装配置,并分析了Metastore三种配置方式的区别.网上有很多介绍Hive Metastore三种配置方式的文章,但是理解都不对,给读者造成了很多误导.本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分,并经过实践,终于填好各种坑,安装配置成功,遂记录下本文,供大家参考. 1. 相关概念 Hive Metastore