创建test_rc; 让后从老数据中插入test_rc中, select test_rc 中插入的数据,报如下错误: Failed with exception java.io.IOException:java.io.IOException: not a gzip file…

环境:centos6.2 Hadoop2.2.0 hive0.12 hbase0.94 1>hadoop配好之后,跑任务老失败,yarn失败,报out of memory错误,然后怎么调整内存大小都不行,后来发现是can’t create new thread. 解决:在vi /etc/security/limits.conf 添加 hadoop - nofile 65535 hadoop - nproc  65535 2>yarn运行错误:mapreduce.shuffle set in y…

在Hadoop1.2.1分布式集群环境下安装hive0.12 ● 前言: 1. 大家最好通读一遍过后,在理解的基础上再按照步骤搭建. 2. 之前写过两篇<<在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境>>.<在Hadoop1.2.1分布式集群环境下安装Mahout0.9框架>都是Hadoop家族一系列的,后续还会有其它内容,敬请期待! 3. 好记性不如烂笔头,最新突然想把自己学习的东西整理出来,然而我也是刚刚学习,而且水平有限,难免会错误,请谅…

先前条件: 要先安装好MYSQL 下载:hive-0.12.0-cdh5.1.0.tar.gz,并解压到安装目录 1. 添加环境变量 修改/etc/profile文件. #vi /etc/profile 增加 export HIVE_HOME=/hadoop/hadoop/hive 修改 exportPATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin 保存退出 #source /etc/profile 2.修改conf目录下的模板文…

安装了0.12之后,听说0.13.1有许多新的特性,包括永久函数,所以想更新成0.13版的(元数据放在mysql中) 2014年8月5日实验成功 hive0.13.1的新特性 新特性详见 http://zh.hortonworks.com/blog/announcing-apache-hive-0-13-completion-stinger-initiative/ 1.下载0.13.1压缩包 地址http://mirrors.hust.edu.cn/apache/hive/ 打开后有 点开hiv…

0 机器说明   IP Role 192.168.1.106 NameNode.DataNode.NodeManager.ResourceManager 192.168.1.107 SecondaryNameNode.NodeManager.DataNode 192.168.1.108 NodeManager.DataNode 192.168.1.106 HiveServer 1 打通无密钥 配置HDFS,首先就得把机器之间的无密钥配置上.我们这里为了方便,把机器之间的双向无密钥都配置上. (1…

本文链接:http://www.aboutyun.com/thread-7881-1-1.html 问题导读:1.hive安装是否需要安装mysql?2.hive是否分为客户端和服务器端?3.hive的元数据库有哪两种?4.hive与hbase整合的关键是什么?5.hive的安装是否必须安装hadoop?6.hive与hbase整合需要做哪些准备工作? 网上有很多资料,看到大部分都是一致的,看到一篇国外的文章,原来都是翻译的,并没有经过实践.这里记录一下实践的过程.本篇是在:hadoop2.2完…

1:Hive安装的过程(Hive启动的时候报的错误),贴一下错误,和为什么错,以及解决方法: [root@master bin]# ./hive // :: INFO Configuration.deprecation: mapred.input.dir.recursive is deprecated. Instead, use mapreduce.input.fileinputformat.input.dir.recursive // :: INFO Configuration.depreca…

版本号:cdh5.0.0+hadoop2.3.0+hive0.12 一.原始数据: 1. 本地数据 [root@node33 data]# ll total 12936 -rw-r--r--. 1 root root 13245467 May 1 17:08 hbase-data.csv [root@node33 data]# head -n 3 hbase-data.csv 1,1.52101,13.64,4.49,1.1,71.78,0.06,8.75,0,0,1 2,1.51761,13.…

使用GZIP进行数据压缩传输实验,服务端是J2EE,使用HTTP的POST方式进行数据请求. 为了方便测试,刚开始在J2EE的环境下写了一个TestCase去调用J2EE写的服务,忘记写GZIP解压代码,数据居然能够正常解压. 好!因为服务是最终提供给android端来调用的,所以改换成android客户端来测试. 刚开始没有显式调用GZIP解压,发现数据死活显示不正确,截获到的数据如下: ��V*J-v�O�T�RR�q��SR�� �l��t���募͛�c�Ӯ�J�@B��2 接下来尝试使用…