cdh hive 升级3

2024-10-29

cdh集群hive升级，数据不丢失

1.下载hive-1.2.1安装包 http://archive.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz 2.将安装包传到集群所有节点上 3.所有节点root用户下 cd /opt/cloudera/parcels/CDH/lib/hive mkdir lib121 4.所有节点解压 apache-hive-1.2.1-bin.tar.gz 5.所有节点将解压出来hive/lib下所有文件拷贝到lib121 6.C

CDH 元数据库升级

元数据库设计到的服务:scm库:server hive库:hive amon库:cloudera management服务元数据库要从5.7.24升级到5.7.25,为了避免升级失败导致集群不可用,我们计划在另一个节点安装5.7.25数据库,然后导入数据,并完成cm数据库切换. 1.关闭hive.clouderamanagement服务2.关闭主节点server.所有节点agent进程3.备份my.cnf和mysql里面的数据 cp /etc/my.cnf /etc/my.cnf.bak

CDH hive metastore启动报错：Unknown column 'A0.SCHEMA_VERSION_V2' in 'field list'

新集群CDH版本,刚刚搭建起来,5个节点起了1个hive服务,另外5个节点又单独起了1个hive服务,一共2个人hive服务.老哥对其中的一个hive进行了数据迁移,对hive数据库进行了替换,就这样,迁移完成没有问题.但是配置yarn参数时,需要对yarn进行重启,重启中涉及对hive的重启,完蛋,hive metastore 无法启动,报下面的错误:(ps:没有导过数据的那个hive就没有问题) com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxError

CDH hive的安装

tar zxvf 解压包配置环境变量 export HIVE_HOME=/usr/local/soft/hiveexport PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin source生效 yum install -y mysql-server service mysqld start (启动mysql 服务) chkconfig mysqld on yum install -y mysq

hive升级遇到的几个小问题

1.hiveserver2正常启动,但是beeline连不上服务. 我的服务是开在本机的,但是用主机名和127好像都不能访问服务了 jdbc:hive2://172.19.1.11:10000> !connect jdbc:127.0.0.1:10000 scan complete in 0ms scan complete in 1100ms No known driver to handle "jdbc:127.0.0.1:10000" 把127或者主机名改成真实的IP就可以了

CDH升级

升级主要分为两部分1.CM的升级.2.CDH的升级 CM的升级两种升级方法 1.使用package 2.使用Tarballs升级方法,参照官方升级指引,Tarball中包含了Cloudera Manager Server和Cloudera Manager Agent 通常情况下升级CM和升级CDH是两个独立的过程,可以在不关闭CDH服务的情况下升级CM,然后再升级CDH,升级CM主要分为以下几个步骤 1.收集升级信息在升级之前收集与CM相关的信息,包括账户.密码.数据库URLs等. 1.有r

搭建 CDH 版本hive

搭建一个完整的cdh 的版本,由于涉及的产品和步骤太多,在客户那里部署环境时,很容易出现意外,所以如果只是需要部署一个测试环境来进行验证,我们没有必要完完整整的部署整个cdh. 下面是通过命令行的形式搭建一个cdh 的hive 版本首先在网上下载cdh 的文件,地址: http://archive.cloudera.com/cdh5/cdh/5/ [正常] http://archive-primary.cloudera.com/cdh5/cdh/5/

CDH CM版本 6.0.1 升级到 CM 6.2.0 当前最新版本（CentOS 7.x）

CDH 的 6.0.1 是一个尴尬的版本,那时候 cloudera 还没有将 spark 更新到 2.4 还使用的是 spark 2.2版本. 但后来我们发现 2.3 | 2.4 更新了非常多的 feature 和修复了一些 bug 以及更新了很多包括 structed streaming 特性.并且最近最新的 6.2.0 将会在不久之后提供 Apache phoenix 的支持.所以我尝试将目前的 CDH 升级一下并且记录下来. CM 升级: 1. 准备工作: 在进行 CDH minor 版本

hive使用spark引擎的几种情况

使用spark引擎查询hive有以下几种方式:1>使用spark-sql(spark sql cli)2>使用spark-thrift提交查询sql3>使用hive on spark(即hive本身设置执行引擎为spark)针对第一种情况:1>ambari 已经支持,不需要特殊配置:2>cdh不支持spark sql cli,原因是cdh自带的spark,spark-sql和spark-R是阉割版本的,如果需要使用spark sql cli,需要下载原生的编译好的spark包

Mac OS X上搭建伪分布式CDH版本Hadoop开发环境

最近在研究数据挖掘相关的东西,在本地 Mac 环境搭建了一套伪分布式的 hadoop 开发环境,采用CDH发行版本,省时省心. 参考来源 How-to: Install CDH on Mac OSX 10.9 Mavericks 官网这篇文章有的地方格式不对,部分链接也失效,运行时还会有一些问题,所以这里重新记录如下. 安装 JDK JDK 1.8 下载地址安装完成后路径应该是 /Library/Java/JavaVirtualMachines/jdk1.8.x_xx.jdk/Contents

hadoop2升级的那点事情(详解)

前言前阵子,公司的hadoop从hadoop1.02升级到hadoop2.4.1,记录下升级的步骤和遇到的问题,和大家分享,希望别人可以少走一些弯路技术选型当前使用版本: apache hadoop 1.0.2 hive 0.10 升级目标版本 Apache hadoop 2.4.1 Hive 0.13 升级风险点 Hdfs的升级Hadoop升级最主要是hdfs的升级,hdfs的升级是否成功,才是升级的关键,如果升级出现数据丢失,则其他升级就变的毫无意义

CDH5.15.1 hive 连接mongodb配置及增删改查

1. 下载 wget http://repo1.maven.org/maven2/org/mongodb/mongo-hadoop/mongo-hadoop-hive/2.0.2/mongo-hadoop-hive-2.0.2.jar wget http://repo1.maven.org/maven2/org/mongodb/mongo-hadoop/mongo-hadoop-core/2.0.2/mongo-hadoop-core-2.0.2.jar wget http://repo1.ma

【原创】大叔问题定位分享（31）hive metastore报错

hive metastore在建表时报错 [pool-5-thread-2]: MetaException(message:Got exception: java.net.ConnectException Call From server2 to server1:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.

【原创】大叔经验分享（29）cdh5使用已存在的metastore数据库部署hive

cdh5.16.1使用的hive版本是hive-1.1.0+cdh5.16.1+1431,详见:https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball_516.html如果想将直接使用之前已有的hive metastore的数据库,比如hive1.2,要做如下操作: 1)修改元数据的version mysql> update VERSION set sche

Hive 官方手册翻译 -- Hive Transactions (Hive 事务)

由 Alan Gates创建, 最终由 Andrew Sherman修改于2018年8月7日原文链接:https://cwiki.apache.org/confluence/display/Hive/Hive+Transactions 翻译:Google Google翻译,金山软件金山词霸校对:南大通用范振勇 (如有翻译问题,请多指教) 一.Hive 3的警告升级到Hive 3.0时,由之前版本创建的任何事务性表都需要在每个分区上运行Major(主要/深度)级紧缩操作.更确切地说,自上

HIVE出现Read past end of RLE integer from compressed stream Stream for column 1 kind LENGTH position: 359 length: 359 range: 0错误

错误日志 Diagnostic Messages for this Task: Error: java.io.IOException: java.io.IOException: java.io.EOFException: Read past end of RLE integer from compressed stream Stream for column 1 kind LENGTH position: 359 length: 359 range: 0 offset: 212849 limit