把在windows环境下编写的sql使用UTF-8无BOM保存后,再上传执行即可…

Hive报错 Error while compiling statement: FAILED: ParseException line 1:0 character '' not supported here (state=42000,code=40000) 描述:问题发生的很突然,之前还执行的好好的脚本,今天突然就不行了 HUE调度出来的结果都是绿色,未发现任何问题,但是结果数据就是不对细查一下, 在shell脚本里面去掉抽数的脚本信息,重跑后,问题开始浮出水面了... Error while…

安装Hive(独立模式 使用mysql连接) 1.默认安装了java+hadoop 2.下载对应hadoop版本的安装包 3.解压安装包 tar zxvf apache-hive-1.2.1-bin.tar.gz 4.安装mysql yum -y install mysql-server mysql mysqldev //需要以root身份运行 另外可能需要配置yum源 mysql常用命令: service mysqld start/stop chkconfig mysqld on //加入开机…

在成功启动Hive之后感慨这次终于没有出现Bug了,满怀信心地打了长长的创建表格的命令,结果现实再一次给了我一棒,报了以下的错误Error, return code 1 from org.apache.Hadoop.hive.ql.exec.DDLTask. MetaException,看了一下错误之后,先是楞了一下,接着我就发出感慨,自从踏上编程这条不归路之后,就没有一天不是在找Bug的路上就是在处理Bug,给自己贴了个标签:找Bug就跟吃饭一样的男人.抒发心中的感慨之后,该干活还是的干活.…

1. mysql中添加用户名时总出现如下问题:ERROR 1290 (HY000): The MySQL server is running with the --skip-grant-tables option so it cannot execute this statement 解决办法:flush privileges;  //新设置用户或更改密码后需要用该命令刷新mysql的系统权限相关表,否则会出现拒绝访问,还可以重启mysql服务器,是新设置生效. 2. grant all pri…

一.Hive将元数据存储在RDBMS中,有三种模式可以连接到数据: 1.single User Mode:此模式连接到一个In-memory的数据库Derby,一般用于Unit Test. 2.Multi User Mode:通过网络连接到一个数据库中,是最经常使用到的模式. 3.Remote Server Mode:用于非Java客户端访问元数据库,在服务器端启动一个MetaStoreServer,客户端利用Thrift协议通过MetaStoreServer访问元数据库. 二.暂略 三.暂略…

由于MySQL便于管理,在学习过程中,我选择MySQL. 一,配置元数据库. 1.安装MySQL,采用yum方式. ①yum  install  mysql-server,安装mysql服务端,安装服务端的同时,也会把mysql的客户端安装好. ②数据库字符集设置. mysql配置文件/etc/my.cnf中加入default-character-set=utf8 指令如下: vi /etc/my.cnf 加入default-character-set=utf8 ③启动mysql服务和部分指令…

(2015.07.22Hive笔记) 一.Hive的安装 1.1Hive的安装过程 下载hive源文件(apache-hive-0.14.0-bin.tar.gz ) 解压hive文件 进入$HIVE_HOME/conf/修改文件 cp hive-env.sh.template hive-env.sh cp hive-default.xml.template(模板文档,提供了hive很多参数) hive-site.xml 修改$HIVE_HOME/conf的hive-env.sh,增加以下三行…

学习hive 使用mysql作为元数据  hive创建数据库和切换数据库都是可以的 但是创建表就是出问题 百度之后发现 是编码问题 特别记录一下~~~ 1.报错前如图: 2.在mysql数据库中执行如下: ALTER DATABASE hive CHARACTER SET latin1; 3.修改编码后创建数据库成功:…

目录 · 概况 · 手工安装 · 引言 · 创建HDFS目录 · 创建元数据库 · 配置文件 · 测试 · 原理 · 架构 · 与关系型数据库对比 · API · WordCount · 命令 · 数据类型 · 文件存储格式 · 数据格式 · 数据库 · 数据表 · 装载数据 · 插入数据 · 导出数据 · 查询数据 · 函数 · 性能调优 · join调优 · Reduce任务数 · 合并小文件 · multi-group-by insert和multiple insert · union a…