1.原先使用版本:apache-kylin-2.5.1-bin-hbase1x 原生版本 启动报错出现异常: Failed to find metadata store by url: kylin_metadata@hbase Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)L…

在cdh5.14.4安装完成并排错完成的情况下,进行如下kylin安装操作: 1.实验环境 三台CentOS 7主机,IP地址 192.168.43.129 cm1 192.168.43.130 cm2 192.168.43.131 cm3 JDK版本:1.8.0_151CDH版本:5.14.4Kylin版本:2.4.1 Mysql版本:5.6.34 mysql-connector版本:mysql-connector-java-5.1.40 2.kylin下载 https://archive.a…

Tags: Hadoop Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive(CDH5.14.2离线安装tar包) Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive(CDH5.14.2离线安装tar包) 主机环境 软件环境 主机规划 主机安装前准备 安装jdk1.8 安装zookeeper 安装hadoop 配置HDFS 配置YARN 集群初始化 启动HDFS 启动YARN 整个集群启动顺序 启动 停止 Hbase安装 Hive安装 主机环境 基本配…

CDH5.14.0版本说明 CDH最早版本只包含hadoop.hive.hbase等基础组件,CDH5.14.0版本目前已经封装了spark.impala.kudu(CDH 5.13.x开始)等众多组件,但是目前kafka和CDH还是分离的,如果需要cdh离线安装kafka,需要单独下载kafka的parcel,具体请参考:kafka的cdh安装指导 服务器规划 主机名 IP地址 CM角色 配置 cm-1 192.168.25.130 server 内存2G处理器4核物理空间40G cm-2 1…

转自:http://www.php-note.com/article/detail/854 IntelliJ IDEA 14.x 与 Tomcat 集成,创建并运行Java Web项目 作者:php-note.com  发布于:2015-01-17 09:40:06  分类:电脑/软件使用  浏览(42190) 创建Web项目 1.File -> New Project ,进入创建项目窗口 2.在 WEB-INF 目录下点击右键,New -> Directory,创建 classes 和 li…

Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了.      准备文件 从 http://archive.cloudera.com/cdh5/parcels/中下载CDH5.14.0的相关文件 把CDH5需要的安装文件放到主节点上,新建目录为 /opt/cloudera/parcel-repo 把我们之前下载的三个文件放到这个目录下 CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel CDH-5.14.0-1.cdh…

CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-总目录: 0.Windows 10本机下载Xshell,以方便往Linux主机上上传大文件 1.CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-1虚拟机安装及环境初始化 2.CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-2设置SSH免密登录 3.CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-3禁止交换和禁用大页面 4.CentOS7+CDH5.14.0安装全流程记录…

一.安装cloudera manager(下文简称cm) (一).环境及软件准备: 1.环境:Ubuntu16.04 desktop x 3 台 ip分别为:10.132.226.121,10.132.226.122,10.132.226.123 用户统一使用root用户 2.需下载安装的软件: cm压缩包:cloudera-manager-xenial-cm5.14.2_amd64.tar.gz CDH离线资源包(parcels): CDH-5.14.2-1.cdh5.14.2.p0.3-xe…

1.进入CDH中的给HBase添加Thrift Server角色实例, 为了方便, 将Thrift Server添加到Hue同一主机 2.HBase Thrift Server中选择主机cm1: 3.添加成功之后 HBase状态摘要中多了一个HBase Thrift Server: 4.HBase配置中查找thrift 5.在Hue的配置中往下翻,找到HBase Thrift Server选项,从默认none改为选中即可: 6.重启HBase.Hue服务 7.在Hue中查看HBase 参考文章:…

错误:HBase服务出现 该运行状况测试不良,因为 Service Monitor 未找到活动 Master 如果重启服务之后无法排除该问题,请执行如下操作(CM换成自己的版本号): rm -f /opt/cloudera-manager/cm-5.10.1/lib/cloudera-scm-agent/cm_guid 每台机器都执行一遍,然后重启客户端代理,执行如下代码: /opt/cm-5.10.1/etc/init.d/cloudera-scm-agent start…

最近在做纹理压缩工具, 以及数据包的生成. shader编译已经在vs工程里面了, 使用custom build tool, build命令是调用BladeShaderComplier, 并且每个文件对应一个输出, vs会自动检查工程里面文件的依赖, 这样很方便. 纹理压缩如果也要放在visual studio里面, 可以用build event或者custom build step来做, 但是build dependency很难处理, 比如每个原始贴图对应一张目标贴图, 如果像编译shader…

在web项目开发中,一个系统应该要考虑到异常情况的处理,并且应该当异常发生时应该需要记录相应的异常日志,对于用户而言则不能直接抛出异常,需要考虑到用户的体验: 以下就介绍基于spring框架的基础上的异常处理: 1:如何将异常优雅地显示给用户? 如果将一连串的java报错展示给用户,对用户而言是没有意义的,并且也是危险的: 1)定义错误代码:这里以一个枚举类来封装用户错误代码:ErrorCode: public enum ErrorCode { NULL_OBJ("LUO001",&q…

序言 最近公司一个汽车项目想用hbase做存储,然后就有了这篇文字,来,来,来, 带你一起征服hbase,并推荐一本书<hbase权威指南> 这是一本极好的hbase入门书籍,我花了一个晚上看完觉得这书蛮好的!  本文分上下两篇,上篇是hbase+hadoop+hdfs+zookeeper集群环境的安装,下篇讲解hbase如何集成spring来使用.hbase是个什么鬼?不知道不要紧,本文是我三天的成果,拿去,不谢! Hbase+hadoop+hdfs+zookeeper集群环境的安装 had…

1.Cdh 5.14介绍 2.版本发布概要 3.安装要求 4.Cloudera Manager介绍 5.Cloudera 安装 6.Cloudera 管理 7.Cloudera Navigator Cloudera Navigator使用 审计 8.Cloudera 操作 9.Cloudera 安全 10.文件格式和压缩 11.Flume指南 12.Hbase指南 Hbase使用 Hbase高可用 Hbase灾备 Hbase调优 13.Hive指南 Hive使用 Hive高可用 Hive灾备 H…

1.概念 Spring是一个开源框架,Spring是于2003 年兴起的一个轻量级的Java 开发框架,Spring致力于J2EE应用的各层的解决方案,Spring是企业应用开发的“一站式”选择,并贯穿表现层.业务层及持久层.简单来说,Spring是一个轻量级的控制反转(IoC)和面向切面(AOP)的容器框架. MVC——Spring的作用是整合,但不仅仅限于整合,Spring 框架可以被看做是一个企业解决方案级别的框架. 客户端发送请求,服务器控制器(由DispatcherServlet实现的…

当发生异常时,把异常信息记录到日志文件中: <?php header('content-type:text/html; charset=utf-8'); class LogException extends Exception{ public function __construct($message = null, $code = 0){ parent::__construct($message, $code); error_log($this->getMessage().PHP_EOL,…

主机错误: 该主机与 Cloudera Manager Server 失去联系的时间过长. 该主机未与 Host Monitor 建立联系 解决办法: 首先查看该主机NTP服务是否启动:https://www.cnblogs.com/sisimi/p/7698452.html 如果已经启动,请查看客户端服务是否启动:/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start 启动之后主机一切正常.…

主节点安装cloudera manager 准备工作:下载CM和mysql连接驱动包: CM各版本下载地址:http://archive.cloudera.com/cm5/cm/5/ 从里面选择:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz 下载即可. Mysql JDBC下载地址:http://download.softagency.net/MySQL/Downloads…

1.安装JDK 可以不用卸载自带的openjdk,配好环境变量即可. 下载文件:jdk-8u151-linux-x64.tar.gz 附:JDK各版本下载地址:https://www.oracle.com/technetwork/java/javase/archive-139210.html 在里面找相应版本即可. 使用xshell上传到每台机器上面,并直接解压到usr/java目录下 详细步骤如下: 1.1.把jdk文件保存至Linux下目录:通过控制台,使用mkdir命令生成usr/java…

核心知识点: 1.用None这个返回值来表示特殊意义的函数,很容易使调用者犯错,因为None和0以及空字符串之类的值,在条件表达式里都会评估为False. 2.两种方法:二元法:将异常抛给上一级直接报错. 编写工具函数(utility function)时,我们有时候喜欢给None这个返回值赋予特殊意义,有时候这么做是合理地,有时候就会出错. 例如要编写辅助函数,计算两数相除的商,在除数为0的情况下,计算结果是没有明确含义的,所以似乎应该返回None,就像下面这样: In [1]: def di…

在程序员生涯当中,提到最多的应该就是SSH三大框架了.作为第一大框架的Spring框架,我们经常使用. 然而在使用过程中,遇到过很多的常见异常,我在这里总结一下,大家共勉. 一.找不到配置文件的异常 [plain] view plaincopy org.springframework.beans.factory.BeanDefinitionStoreException: IOException parsing XML document from class path resource [com/…

一.简要介绍 在以前的文章里面,我们介绍了 ABP vNext 在 DDD 模块定义了仓储的接口定义和基本实现.本章将会介绍,ABP vNext 是如何将 EntityFramework Core 框架跟仓储进行深度集成. ABP vNext 在集成 EF Core 的时候,不只是简单地实现了仓储模式,除开仓储以外,还提供了一系列的基础设施,如领域事件的发布,数据过滤器的实现. 二.源码分析 EntityFrameworkCore 相关的模块基本就下面几个,除了第一个是核心 EntityFram…

错误提示: HiveServer2 该角色的进程已退出.该角色的预期状态为已启动 解决办法:出现此问题应该是内存不足造成的,重启相应的组件即可.比如Hive报错,重启Hive,YARN报错,重启YARN. 还有这个错误:当前运行状况不良. 以下运行状况测试不良: 进程状态. 也是重启组件就好了.…

Hue错误: Load Balancer 该角色的进程启动失败 解决办法:主机能够联网情况下,直接运行如下命令即可在线安装openssl.httpd 需要提前安装环境  httpd, mod_ssl yum install httpd yum install mod_ssl 安装好之后, 重启就好了 如果不能联网解决此错误需要离线安装:httpd.openssl.pcre离线安装 离线安装httpd是个比较曲折的过程. 安装包准备: httpd安装包下载: 各历史版本下载地址:http://ht…

检查环境 在正式开始安装CDH之前最好先检查一下能不能相互免密ssh,以及防火墙是否关闭,集群中的时间是否统一,java版本是否是oracle的版本,主节点mysql是否安装正确等. ssh测试 例如在cm0中ssh cm1exitssh cm2exit例如在cm1中ssh cm0exitssh cm2exit例如在cm2中ssh cm0exitssh cm1exit 时间是否统一 每台机子中使用date 命令查看当前时间,最好是完全一样或者差距不大即可. 或者在cm0中使用命令 date;ss…

配置NTP服务.标准的做法是配置NTP服务器,但是这里为了方便就用简化的方式配置了. 这个在安装初期,不是必须的,只要保证各机器的时间同步就行,使用如下命令可以查看时间是否同步: [root@cdh1 ~]# date;ssh cdh2 date; 2019年 04月 12日 星期五 16:19:58 CST 2019年 04月 12日 星期五 16:19:59 CST 时间差1-2秒钟就没事. 确保每台机器的ntpd服务都是启动状态,否则后面CDH安装完成后,主机状态会是错误状态. syste…

1.禁止交换(每台机器都要做): 执行命令:vim /etc/sysctl.conf 增加一行:vm.swappiness=0 执行命令:sudo sysctl vm.swappiness=0 2.禁用大页面(每台机器都要做): 执行命令: echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled 执行命令,修改配置:vim /…

1.软件准备: VMware-workstation-full-14.1.2-8497320.exe CentOS-7-x86_64-DVD-1804.iso 2.VMare激活码: AU5WA-0EF9M-0811P-REP5X-ZFK9A ZV382-6VX96-H81LP-1ZZG9-PVKF4 GU34A-41G4Q-H88CY-3WPNT-XUK8F 3.安装CentOS 机器名 IP 内存 硬盘 CPU cdh1 192.168.43.101 8 40 1cpu,2内核 cdh2 1…

因为hadoop集群在安装的时候需要集群中所有机器的权限. 所以我们需要打通所有节点的ssh无密码登陆,思路是生成每台机子的密钥,集中在一个文件中,再分发到每台机子上. 为了确保下面的命令能顺利执行,请先重启所有节点并且保证所有节点能够通过主机名ping通. 配置免密登录有两种方式,一种简单的: 1.执行命令,生成秘钥: ssh-keygen -t rsa 2.进入.ssh目录: cd ~/.ssh 3.拷贝到要免密码登陆的机器,要免密登陆那个机器,就写该机器的ip.3台机器的话两两之间都要做了…

1.Apache Kylin是什么? 在现在的大数据时代,越来越多的企业开始使用Hadoop管理数据,但是现有的业务分析工具(如Tableau,Microstrategy等)往往存在很大的局限,如难以水平扩展.无法处理超大规模数据.缺少对Hadoop的支持:而利用Hadoop做数据分析依然存在诸多障碍,例如大多数分析师只习惯使用SQL,Hadoop难以实现快速交互式查询等等.神兽Apache Kylin就是为了解决这些问题而设计的. Apache Kylin,中文名麒(shen)麟(shou)…