异常:进入Hive View提示user home check fail 详细日志:Service 'userhome' check failed: java.io.FileNotFoundException: File does not exist: /user/admin 处理方式: 查看目录结构 hdfs dfs -ls /user 发现没有admin目录,自己创建一个 hdfs dfs  -mkdir /user/admin hdfs dfs  -chown admin:hdfs /us…

mysql安装,hive环境的搭建 ambari部署hadoop 博客大牛:董的博客 ambari使用 ambari官方文档 hadoop 2.0 详细配置教程 使用Ambari快速部署Hadoop大数据环境 hadoop相关shell命令 Ambari安装指南 Hadoop之hive学习 Hive 安装.配置.建表 hive内部表与外部表区别 Hadoop集群之Hive安装配置 基于Hadoop数据仓库Hive1.2部署及使用 hive元数据库配置.metadata Hadoop+Hive环境…

集群环境 ambari 2.7.3 hdp/hortonwork 2.6.0.3 maven <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>-</version> <classifier>standalone</classifier> </dependenc…

由字符集引起的hive 元数据进程启动失败 解决方法新增 这2句话 reload(sys)sys.setdefaultencoding('utf8')…

EXTERNALkeyword它允许用户创建一个外部表.在表中的同时施工指定的路径中的实际数据(LOCATION).Hive 创建内部表时.会将数据移动到数据仓库指向的路径:若创建外部表,仅记录数据所在的路径,不正确数据的位置做不论什么改变.在删除表的时候,内部表的元数据和数据会被一起删除.而外部表仅仅删除元数据,不删除数据 1.  LIKE 同意用户复制现有的表结构,可是不复制数据 2.  hive中RegexSerDe的使用 RegexSerDe是hive自带的一种序列化/反序列化的方式,主…

环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk8 hadoop-3.1.1 apache-hive-3.1.1 一.Hive Lateral ViewLateral View用于和UDTF函数(explode.split)结合来使用.首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表.主要解决在select使用UDTF做查询过程中,查询只能包含单个UDTF,不能包含其他字段.以及多个UD…

(官方文档翻译整理及总结) 一.优化数据仓库 ① Hive LLAP  是一项接近实时结果查询的技术,可用于BI工具以及网络看板的应用,能够将数据仓库的查询时间缩短到15秒之内,这样的查询称之为Interactive Query. Ambari安装好之后,还需要额外的两个步骤来开启Hive LLAP: 1.在yarn中开启Hive LLAP的优先使用权   2.打开hive中的Interactive Query开发并配置相关参数 ② HiveServer2 高效的连接管理,类似于mysql连接池…

1. 通过Hive view CREATE EXTERNAL TABLE if not exists finance.json_serde_optd_table ( retCode string, retMsg string, data array<struct< secid:string,="" tradedate:date,="" optid:string,="" ticker:string,="" secsh…

一.安装并使用MariaDB作为Ambari.Hive.Hue的存储数据库. yum install mariadb-server mariadb 启动.查看状态,检查mariadb是否成功安装 systemctl start mariadb systemctl status mariadb 二.配置mariadb 1,首先停止MariaDb 服务的运行 systemctl stop mariadb 2,编辑/etc/my.cnf 在[mysqld]段下,添加如下几行行配置: transacti…

不多说,直接上干货! 写在前面的话 (1) 最近一段时间,因担任我团队实验室的大数据环境集群真实物理机器工作,至此,本人秉持负责.认真和细心的态度,先分别在虚拟机上模拟搭建ambari(基于CentOS6.5版本)和cloudermanager(基于CentOS6.5或Ubuntu14.04版本). (2)  大数据集群范围包括3节点和4节点.本人都尝试过. (3)  安装搭建包括离线和在线.本人都尝试过 (4)  版本包括自定义指定和官方最新版本搭建.本人都尝试过. (5) 大数据集群节点的增…

Ambari简介 Ambari概述 Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的创建.管理和监控.Ambari已支持大多数Hadoop组件,包括HDFS.MapReduce.Hive.Pig. Hbase.Zookeeper.Sqoop和Hcatalog等:除此之外,Ambari还支持Spark.Storm等计算框架及资源调度平台YARN. Apache Ambari 从集群节点和服务收集大量信息,并把它们表现为容易使用的,集中化的接口:Ambari W…

前言 分享一下本人工作至今整理的一些好用的资源,这些资源主要是一些工作和生活中用到的文档.软件和网站. 文档主要是面试相关的文档和技术文档,其中面试文档主要是Java这块的,技术文档就有很多,除了Java语言相关的,还有Sql.Linux.JavaScript.Python.分布式.大数据等等相关文档. 软件主要是工作中会经常用到的软件,比如kafka监控管理.redis可视化桌面.接口测试软件.文本对照软件.FTP传输等等软件.也有一些很有趣好用的软件,nyfedit.everything.L…

How did it all start- huge data on the web! Nutch built to crawl this web data Huge data had to saved- HDFS was born! How to use this data? Map reduce framework built for coding and running analytics – java, any language-streaming/pipes How to get in…

1.Apache Kylin是什么? 在现在的大数据时代,越来越多的企业开始使用Hadoop管理数据,但是现有的业务分析工具(如Tableau,Microstrategy等)往往存在很大的局限,如难以水平扩展.无法处理超大规模数据.缺少对Hadoop的支持:而利用Hadoop做数据分析依然存在诸多障碍,例如大多数分析师只习惯使用SQL,Hadoop难以实现快速交互式查询等等.神兽Apache Kylin就是为了解决这些问题而设计的. Apache Kylin,中文名麒(shen)麟(shou)…

来看以下两种情况 1. 如果我们需要对某个模块做权限控制,通常的做法是写一个基类(BaseController),让这个基类继承Controller类,在BaseController的构造方法中进行权限校验的操作,然后让需要进行校验的类继承 BaseController 2. 如果我们需要自定义错误异常处理,固然我们可以对可能出错的地方都写上 try catch ,但是这几乎不可能实现,因为很多错误我们自己也无法预知 在.net MVC中给我们提供了一种解决方案,那就是过滤器 .net fram…

本文主要介绍有赞数据团队为了满足在不同维度查看.分析重点指标的需求而搭建的OLAP分析工具.这个工具对Kylin.Mondrian以及Saiku做了一个整合,主要工作包括一些定制化的修改以及环境的配置. 目前这个系统还处于一个需要优化.完善的过程,这篇博文也会相应地更新. 背景 在有赞发展的初期,数据团队主要的工作之一就是根据运营人员的报表需求,编写sql,从hive中获得数据并写入mysql中存储.最后,前端人员写相应的代码展现mysql中存储的报表数据. 随着公司业务的快速发展,如此长周期的…

本文作者:李栋,来自Kyligence公司,也是Apache Kylin Committer & PMC member,在加入Kyligence之前曾就职于eBay.微软. 1.Apache Kylin是什么? 在现在的大数据时代,越来越多的企业开始使用Hadoop管理数据,但是现有的业务分析工具(如Tableau,Microstrategy等)往往存在很大的局限,如难以水平扩展.无法处理超大规模数据.缺少对Hadoop的支持:而利用Hadoop做数据分析依然存在诸多障碍,例如大多数分析师只习惯…

过滤器的理解 Filter就是过滤器,在WebForm中,各种管道事件就是相当于过滤器,在MVC中,过滤器是单独的一种机制,分为方法过滤器和异常处理过滤器,方法过滤器实现的功能是在执行某一个请求得方法之前,先去执行以下其他的某些操作,当执行完成后再继续去执行要执行的方法.这种执行的机制就是相当于在一个流程中间切了一刀,这种思想就是面想切面编程(AOP). 过滤器可以实现在执行请求方法的时候做权限校验.登录校验等,比如说只有登录的用户才可以访问这个方法,需要进行Session的校验.如果有很多的控…

hadoop综合问题记录 1.hdfs无法启动 错误: 2018-04-25 14:36:09,293 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://master:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. safemode: Call…

不多说,直接上干货! 问题详情 查看/var/log/cloudera-scm-server.log的启动日志 问题来源 我在用cloudermanager安装好之后,然后,在对如下. 配置kerberos后,在web界面重启服务ok. 但有一个警告:Cloudera recommends at least Level 1 TLS when Kerberos is enabled for CDH clusters. 设置好上面之后,我再   vim /etc/cloudera-scm-agent…

什么是过滤器? 过滤器的类型与作用 定义过滤器 授权过滤器 动作过滤器 结果过滤器 异常处理过滤器 过滤器的使用方法 总结 什么是过滤器? 通过上一篇关于Controller控制器的文章我们知道,MVC中的每一个请求,都会分配给相应的控制器(Controller)和对应的行为方法(Action)去处理,那么如果我们想要在Action处理的前后加上一些额外的处理逻辑怎么办呢?这时候就用到了过滤器(Filters). 在ASP.NET MVC的请求处理过程中有19个管道事件,这些事件分布在请求处理的…

1. create table 创建一张目标表,指定分隔符和存储格式: create table tmp_2 (resource_id bigint ,v int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\,' LINES TERMINATED BY '\n' STORED AS TEXTFILE; //ROW FORMAT DELIMITED FIELDS TERMINATED BY '\,'---这里设置字段间以逗号分隔: //LINES TE…

Create/Drop/Alter View Create View Drop View Alter View Properties Alter View As Select Version information Icon View support is only available in Hive 0.6 and later. Create View CREATE VIEW [IF NOT EXISTS] view_name [(column_name [COMMENT column_com…

ref:https://blog.csdn.net/bitcarmanlee/article/details/51926530 1.explode hive wiki对于expolde的解释如下: explode() takes in an array (or a map) as an input and outputs the elements of the array (map) as separate rows. UDTFs can be used in the SELECT expres…

hive> create table arrays (x array<string>) > row format delimited fields terminated by '\001' > collection items terminated by '\002' > ; OK Time taken: 0.574 seconds hive> show tables; OK arrays jigou Time taken: 0.15 seconds, Fetch…

出现警告的过程是: 1.搭建ambari集群成功后,添加了hdfs和zk组件,然后启用了kerberos: 2.kerberos启用完毕后添加hbase和yarn.MapReduce.hive都没有出现警告 3.添加kafka之后,在ambari的kerberos处更新了票据,这时候发现hive和yarn出现了警告,前台是403错误,通过查看后台日志发现,报了这样一个警告: Failure unspecified at GSS-API level (Mechanism level: Checks…

当使用UDTF函数的时候,hive只允许对拆分字段进行访问的 例如: select id,explode(arry1) from table; —错误 会报错FAILED: SemanticException 1:40 Only a single expression in the SELECT clause is supported with UDTF's. select explode(array1) from table; —正确 但是实际中经常要拆某个字段,然后一起与别的字段一起出.例如…

不多说,直接上干货! Impala和Hive的关系(详解) 扩展博客 给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解) 参考 hortonworks ambari集成impala ambari hdp 集成 impala 欢迎大家,加入我的微信公众号:大数据躺过的坑        人工智能躺过的坑       同时,大家可以关注我的个人博客:    http://www.cnblogs.com/zlslch/   和     http…

Lateral View和UDTF类功能函数一起使用,表中的每一行和UDTF函数输出的每一行进行连接,生成一张新的虚拟表,可以对UDTF产生的记录设置字段名称,新加的字段可以使用在sort by,group by等语句中,不需要再套一层子查询.Lateral View的作用是可以扩展原来的表数据. Lateral View Syntax: lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' colum…

1. create table 创建一张目标表,指定分隔符和存储格式: create table tmp_2 (resource_id bigint ,v int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\,' LINES TERMINATED BY '\n' STORED AS TEXTFILE  TBLPROPERTIES ('serialization.null.format' = ''); //ROW FORMAT DELIMITED FI…