全程实操cdh5.14.4中集成安装kylin2.4.1与使用测试
在cdh5.14.4安装完成并排错完成的情况下,进行如下kylin安装操作:
1、实验环境
三台CentOS 7主机,IP地址
- 192.168.43.129 cm1
- 192.168.43.130 cm2
- 192.168.43.131 cm3
JDK版本:1.8.0_151
CDH版本:5.14.4
Kylin版本:2.4.1
Mysql版本:5.6.34
mysql-connector版本:mysql-connector-java-5.1.40
2、kylin下载
https://archive.apache.org/dist/kylin/
从这里下载需要的kylin版本
3. 创建目录
mkdir /usr/local/apps
cd /usr/local/apps
4. 上传并解压/usr/local/apps目录:
[root@cm1 apps]# tar -zxf apache-kylin-2.4.1-cdh57-bin.tar.gz
5. 建立软连接
[root@cm1 apps]# ln -s apache-kylin-2.4.1-cdh57-bin kylin
6. 添加环境变量
vim /etc/profile
添加 :export KYLIN_HOME=/usr/local/apps/kylin
7. 环境变量生效
[root@cm1 apps]# source /etc/profile
8. 修改kylin.properties配置文件
cd /usr/local/apps/kylin/conf
vim kylin.properties
修改:
kylin.server.cluster-servers=192.168.43.129:7070
添加配置:
kylin.job.jar=/usr/local/apps/kylin/lib/kylin-job-2.4.1.jar
kylin.coprocessor.local.jar=/usr/local/apps/kylin/lib/kylin-coprocessor-2.4.1.jar
kylin.job.yarn.app.rest.check.status.url=http://192.168.43.129:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
9、修改权限
su hdfs(切换到hdfs用户)
hadoop fs -chmod 777 / (修改权限)
su (切换回root)
10、kylin环境检查
[root@cm1 bin]# cd /usr/local/apps/kylin/bin
[root@cm1 bin]# ./check-env.sh
Retrieving hadoop conf dir...
KYLIN_HOME is set to /usr/local/apps/kylin
[root@cm1 bin]# hdfs dfs -ls / (检查权限,可以看到下面这行)
drwxr-xr-x - root supergroup 0 2017-09-01 10:23 /kylin
[root@cm1 bin]# ./find-hbase-dependency.sh
Retrieving hbase dependency...
[root@cm1 bin]# ./find-hive-dependency.sh
Retrieving hive dependency...
11、启动kylin
cd .. 回到kylin目录,然后执行下面命令
[root@cm1 kylin]# bin/kylin.sh start
关闭执行:
bin/kylin.sh stop
12、访问kylin日志
[root@cm1 kylin]# tail 200 -f logs/kylin.out
13、访问kylin
http://192.168.43.129:7070/kylin/
User: ADMIN
Pass: KYLIN
登录成功:
至此kylin安装完成。
14、导入官方测试数据进行测试
执行命令
/usr/local/apps/kylin/bin
[root@cdh01 bin]# ./sample.sh
日志倒数两行
Sample cube is created successfully in project 'learn_kylin'.
Restart Kylin Server or click Web UI => System Tab => Reload Metadata to take effect
#这句话的意思是 例子cube已成成功创建在了 工程名称叫'learn_kylin'里面了
#重启kylin或者通过webUI => System选项卡=> 重新导入元数据信息
查看Hive default库中的表,多了五张表
hive> show tables;
OK
kylin_account
kylin_cal_dt
kylin_category_groupings
kylin_country
kylin_sales
t1
Time taken: 0.015 seconds, Fetched: 6 row(s)
hive>
15、加载样例数据
在System中点击Reload Metadata重新加载元数据或者重启kylin,如下图:
导入成功之后,点击Model出现下图:
表示导入成功。
16、Cube 构建
点击Cube的Actions现象---->再点击Build
查看正在构建的cube任务,点击monitor:
[root@cm1 ~]# hbase shell
Java HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS is deprecated and will likely be removed in a future release
19/05/24 15:51:13 INFO Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 1.2.0-cdh5.14.4, rUnknown, Tue Jun 12 04:00:36 PDT 2018 hbase(main):001:0> list
TABLE
KYLIN_IVLJD570IG
KYLIN_IYHQO0FLT5
kylin_metadata
3 row(s) in 0.4620 seconds
kylin构建自动转化成mapreduce任务进行了:
17、查询构建好的Cube
select sum(KYLIN_SALES.PRICE)
as price_sum,KYLIN_CATEGORY_GROUPINGS.META_CATEG_NAME,KYLIN_CATEGORY_GROUPINGS.CATEG_LVL2_NAME
from KYLIN_SALES inner join KYLIN_CATEGORY_GROUPINGS
on KYLIN_SALES.LEAF_CATEG_ID = KYLIN_CATEGORY_GROUPINGS.LEAF_CATEG_ID and
KYLIN_SALES.LSTG_SITE_ID = KYLIN_CATEGORY_GROUPINGS.SITE_ID
group by KYLIN_CATEGORY_GROUPINGS.META_CATEG_NAME,KYLIN_CATEGORY_GROUPINGS.CATEG_LVL2_NAME
order by KYLIN_CATEGORY_GROUPINGS.META_CATEG_NAME asc,KYLIN_CATEGORY_GROUPINGS.CATEG_LVL2_NAME desc
后续kylin学习参考:
https://blog.csdn.net/a_drjiaoda/article/details/86530332#commentBox
http://www.mamicode.com/info-detail-2332910.html
https://www.cnblogs.com/sh425/p/5778992.html
全程实操cdh5.14.4中集成安装kylin2.4.1与使用测试的更多相关文章
- 【强烈推荐,超详细,实操零失误】node.js安装 + npm安装教程 + Vue开发环境搭建
node.js安装 + npm安装教程 + Vue开发环境搭建 [强烈推荐,超详细,实操零失误] 原博客园地址:https://www.cnblogs.com/goldlong/p/8027997.h ...
- CDH5.14.4中的Hue集成HBase
1.进入CDH中的给HBase添加Thrift Server角色实例, 为了方便, 将Thrift Server添加到Hue同一主机 2.HBase Thrift Server中选择主机cm1: 3. ...
- Python魔术世界 1 如何使用Visual Studio在WIN10中一键安装Python3入门编程环境并测试Django
本文通过VS安装Python和Django的环境,创建了一个Web程序,前后5分钟的操作,让你快速入门Python的编程世界,各种Python和Django的概念会在实战中给你娓娓道来. Django ...
- 如何在 ASP.NET MVC 中集成 AngularJS(1)
介绍 当涉及到计算机软件的开发时,我想运用所有的最新技术.例如,前端使用最新的 JavaScript 技术,服务器端使用最新的基于 REST 的 Web API 服务.另外,还有最新的数据库技术.最新 ...
- Linux基础实操五
实操一:nginx服务 二进制安装nginx包1) 1)#yum clean all 2)#yum install epel-release -y 3)#yum install nginx -y 1) ...
- Linux+Nginx+Supervisor部署ASP.NET Core实操手册
一.课程介绍 在上一节课程<ASP.NET Core托管和部署Linux实操演练手册>中我们学过net core的部署方式多样性和灵活性.我们通过远程工具输入dotnet 程序集名称.dl ...
- 如何在Ubuntu 14.04中安装最新版Eclipse
想必很多开发人员都知道,Ubuntu 软件源中提供的并不是最新版本的 Eclipse,本教程就教大家如何在 Ubuntu 14.04 中快速安装 Eclipse 官方发布的最新版本. 到目前为止,Ec ...
- 转:如何在Ubuntu 14.04中安装最新版Eclipse
想必很多开发人员都知道,Ubuntu 软件源中提供的并不是最新版本的 Eclipse,本教程就教大家如何在 Ubuntu 14.04 中快速安装 Eclipse 官方发布的最新版本. 到目前为止,Ec ...
- Java Web学习系列——Maven Web项目中集成使用Spring、MyBatis实现对MySQL的数据访问
本篇内容还是建立在上一篇Java Web学习系列——Maven Web项目中集成使用Spring基础之上,对之前的Maven Web项目进行升级改造,实现对MySQL的数据访问. 添加依赖Jar包 这 ...
随机推荐
- Google Chrome 解决 “您的连接不是私密连接” 和被毒霸劫持
一.解决 “您的连接不是私密连接” 前一段时间,Chrome 突然显示出了“您的连接不是私密连接”,这下可难受了,大部分的网站打开都有问题. 找了各种方法,各种设置都是不行. 一.暴力.费力的方法直接 ...
- android 8.0 悬浮窗 最简demo
MainActivity.java文件 package com.example.performance; import android.app.Activity; import android.con ...
- 微信公众平台iPhone版内测开始了
5月9日晚些时候自媒体人收到了微信公众平台iPhone版的内测邀请,微信公众平台iPhone版可在手机上写图文,快速查看并回复粉丝消息.留言和赞赏,新建群发.查看群发历史和今日数据,这些功能很实用了, ...
- .Net反射-基础2-BindingFlags参数
BindingFlags参数用于指定反射查找的范围在调用下列方法时会用到BindingFlags参数 // 调用方法. InvokeMethod // 创建实例. CreateInstance // ...
- C# XML封装
/************************************************* * 描述: * * Author:yuanshuo@healthcare.cn * Date:20 ...
- 第02组 Alpha冲刺(2/4)
队名:十一个憨批 组长博客 作业博客 组长黄智 过去两天完成的任务:写博客,复习C语言 GitHub签入记录 接下来的计划:构思游戏实现 还剩下哪些任务:敲代码 燃尽图 遇到的困难:Alpha冲刺时间 ...
- jupyterlab数据处理
目录 jupyterlab: jupyterlab简介: jupyterlab特点: jupyterlab安装,启动 使用jupyterlab: 设置jupyterlab jupyterlab: ju ...
- Ubuntu下安装配置SQLSERVER2017
摘要自微软官网: https://docs.microsoft.com/zh-cn/sql/linux/quickstart-install-connect-ubuntu 安装步骤: 1. 导入公共秘 ...
- mongo 复制一个表的数据到另一个表中
club表: { "_id" : ObjectId("592e94fee820cc1813f0b9a2"), "id":1, "n ...
- JavaScript如何实现日期的前一天后一天转变
1.生成时间 var data =new Date(); 2.获得时间戳 什么是时间戳? 时间戳是指格林威治时间自1970年1月1日(00:00:00 GTM)至当前时间的总秒数.它也被称为U ...