之前对azkaban的研究比较多,现在开个新坑,对Oozie开始深入了解 Traceback (most recent call last): File "/var/lib/ambari-agent/cache/common-services/OOZIE/4.0.0.2.0/package/scripts/oozie_server.py", line 222, in <module> OozieServer().execute() File "/usr/lib/p…

目录 简单介绍 概述 架构 安装部署 1.修改core-site.xml 2.上传oozie的安装包并解压 3.解压hadooplibs到与oozie平行的目录 4.创建libext目录,并拷贝依赖包到libext目录 5.拷贝mysql的驱动包到libext目录下 6.上传ext-2.2.zip压缩包到libext目录下 7.修改oozie-site.xml 8.创建mysql数据库 9.上传oozie依赖的jar包到hdfs上面去 10.创建oozie的数据库表 11.打包项目,生成war包…

最近在CDH5.X 安装oozie 服务,服务安装完毕,访问oozie server ui,报如下错误: 页面提示: Oozie web console is disabled.To enable Oozie web console install the Ext JS library.Refer to Oozie Quick Start documentation for details. 缺少Ext JS library点击Quick Start documentation 网页中部找到Ex…

安装和配置Oozie Oozie用于Hadoop的工作流配置: 参考链接: <Install and Configure Apache Oozie Workflow Scheduler for CDH 4.X on RHEL/CentOS 6/5> http://www.tecmint.com/install-apache-oozie-for-cdh-in-centos/  (亲测可用) <How to Install Latest MySQL 5.7.9 on RHEL/CentOS…

依赖CDH5,JDK和关系数据库 集群规划 主机名   IP                      Ooize节点 CHD1    XX.XX.XX.XX  oozie server,oozie client CHD1    XX.XX.XX.XX  oozie server,oozie client CHD1    XX.XX.XX.XX  oozie server,oozie client 安装后的目录结构              安装位置 binaries              …

 概述 当前开源的hadoop任务工作流管理主要有oozie和Azkaban,本文先介绍oozie的配置安装与基本运行原理. 配置安装 (参考https://segmentfault.com/a/1190000002738484) 1. 首先要自己下载代码编译. git clone https://github.com/apache/oozie.git 2. 修改pom文件,修改scala和hadoop版本. <spark.scala.binary.version>2.11</spark…

Apache Ambari是对Hadoop进行监控.管理和生命周期管理的基于网页的开源项目.它也是一个为Hortonworks数据平台选择管理组建的项目.Ambari支持管理的服务有: Apache HBaseApache HCatalogApache Hadoop HDFSApache HiveApache Hadoop MapReduceApache OozieApache PigApache SqoopApache TempletonApache Zookeeper ambari可以使安装…

前期博客 Ambari安装之部署单节点集群 其实,按照这个步骤是一样的.只是按照好3个节点后,再做下HA即可. 部署3个节点的HA分布式集群 (1)添加机器 和添加服务的操作类似,如下图 之后的添加ambari03.ambari04操作就和部署ambari02类似,可以参照前面的步骤.这里不多赘述. Ambari安装之部署单节点集群 -----BEGIN RSA PRIVATE KEY----- MIIEogIBAAKCAQEAvLAEPDRhnQUq4+6IRYTF6YKmMfvfGKKbkg…

不多说,直接上干货! 写在前面的话 (1) 最近一段时间,因担任我团队实验室的大数据环境集群真实物理机器工作,至此,本人秉持负责.认真和细心的态度,先分别在虚拟机上模拟搭建ambari(基于CentOS6.5版本)和cloudermanager(基于CentOS6.5或Ubuntu14.04版本). (2)  大数据集群范围包括3节点和4节点.本人都尝试过. (3)  安装搭建包括离线和在线.本人都尝试过 (4)  版本包括自定义指定和官方最新版本搭建.本人都尝试过. (5) 大数据集群节点的增…

部署本地库(镜像服务器) (1)下载HortWorks官网上的3个库到本地(也可以在线下载,但是速度会很慢) 我们先把hortworks官网上需要下载的3个库下载到本地(这个还是需要很长时间的,当然你也可以在线下载,通过wget但是由于文件比较大,所以下载会非常慢)然后把他上传到我们的镜像服务器上. 一个是 Ambari Repositories    两个是 HDP 2.4 Repositories http://docs.hortonworks.com/index.html http://d…

ambari安装第一步是输入集群name,点击next时页面卡住不动,如下图: 注意到其中一个接口请求结果异常,http://ambari.server:8080/api/v1/version_definitions 重现如下: curl -u admin:admin "http://ambari.server:8080/api/v1/version_definitions?fields=VersionDefinition/stack_default,VersionDefinition/stac…

本文针对redhat或者centos 对于测试集群,如果通过ambari安装Hadoop集群后,想重新再来一次的话,需要清理集群. 对于安装了很多hadoop组件的话,这个工作很繁琐.接下来是我整理的清理过程. 1,通过ambari将集群中的所用组件都关闭,如果关闭不了,直接kill -9 XXX 2,关闭ambari-server,ambari-agent ambari-server stop ambari-agent stop 3,卸载安装的软件 yum remove hadoop_2* h…

之前一直用的开源社区的版本,最近突然想到找一个好的商业版本用着,然后一直使用,然后就定上了hdp和cdh,都装上去了,但是cdh使用难度太大了,和开源版本的差距比较大,api不会使用,需要学它的cdk.hdp和开源版差不多,也是经过了优化了的,也是开源的,有一个管理界面,比社区版要好,这个安装过程废了很大的劲儿才搞成功的,发出来跟大家分享一下. hdp的安装折腾了好久,它的下载地址网址不像CDH那么难找,不过它的设置相对CDH简单很多,一键式安装,而且都是免费的软件. 1.首先要下载它们的安装包…

转载:http://www.cnblogs.com/cenyuhai/p/3295635.html 整个过程走完,问题不大,不过有一个事情要注意的是就算创建数据库的,使用localhost会报错,要使用集群所在的域名,局部DNS所指定的域名,比如master.example.com 这个问题要注意一下,不过遇到问题了,看日志文件就可以,从日志文件中可以看出大概问题出在什么地方. 之前一直用的开源社区的版本,最近突然想到找一个好的商业版本用着,然后一直使用,然后就定上了hdp和cdh,都装上去了,…

前期博客 大数据领域两大最主流集群管理工具Ambari和Cloudera Manger Ambari架构原理 Ambari安装之Ambari安装前准备(CentOS6.5)(一) Ambari安装之部署本地库(镜像服务器)(二) 部署hdp单节点集群 (1)部署Agent 1) 注册并安装agent http://192.168.80.144:8080/views/ADMIN_VIEW/2.2.1.0/INSTANCE/#/ 2)为集群取个名字,我这里,就直接取为hdpCluster,然后点击n…

第1章 Oozie 的简介第2章 Oozie 的功能模块介绍2.1 模块2.2 常用节点第3章 Oozie 的部署3.1 部署 Hadoop(CDH版本的)3.1.1 解压缩 CDH 版本的 hadoop3.1.2 修改 CDH 版本的 Hadoop 配置3.1.3 格式化 CDH 版的 Hadoop 集群3.1.4 启动 CDH 版的 Hadoop 集群3.2 部署 Oozie3.2.1 解压 Oozie3.2.2 在 oozie 根目录下解压 oozie-hadooplibs-4.0.0-c…

ambari 1.2.4 下载地址:http://www.apache.org/dist/incubator/ambari/ambari-1.2.4/ambari-1.2.4-incubating.tar.gz 官方手册:http://incubator.apache.org/ambari/1.2.4/installing-hadoop-using-ambari/content/index.html 安装过程 一.准备 1.安装包 2.集群中ambari-serveer(管理节点)到客户端配置无…

ambari 1.2.4 下载地址:http://www.apache.org/dist/incubator/ambari/ambari-1.2.4/ambari-1.2.4-incubating.tar.gz 官方手册:http://incubator.apache.org/ambari/1.2.4/installing-hadoop-using-ambari/content/index.html 安装过程 一.准备 1.安装包 2.集群中ambari-serveer(管理节点)到客户端配置无…

ambari是apache基金会的开源项目,它的优势在于巧妙溶合已有的开源软件,提供集群自动化安装.中心化管理.集群监控.报警等功能.据Hortonwork官方资料介绍,不同的HDP版本,对ambari的版本也有不同的要求(如下图,来源于hortonwork官网),在安装HDP2.4的过程中,选择的ambari版本为2.2.2.0 安装过程: 软件包下载   (ambari-2.2.2.0-centos7.tar.gz) 本地源制作   (ambari.repo) ambari安装 数据库配置…

给hadoop用户sudo权限 hadoop ALL=(ALL) NOPASSWD:ALL 建立SSH互信,参考Hadoop HA的搭建中的互信建立 建立相应的下载脚本down.sh nohup wget -c http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.0/ambari-2.2.1.0-centos6.tar.gz > 1.log 2>&1 & nohup wget -c http…

我今天安装SQL2008的一些问题经历SQL2008安装重启失败大致出错信息如下:RebootRequiredCheck 检查是否需要挂起计算机重新启动.挂起重新启动会导致安装程序失败. 失败 需要重新启动计算机.必须重新启动计算机才能安装 SQL Server.解决步骤:a .重启机器,再进行安装,如果发现还有该错误,请按下面步骤b.在开始->运行中输入regeditc.到HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Session M…

参考:http://blog.sina.com.cn/s/blog_62ef2f140101j6q2.html 安装任意第三方的一个apk,恢复出厂设置,再次安装相同的apk,提示安装失败,通过打印LOG发现,安装失败的错误反回值是24,public static final int INSTALL_FAILED_UID_CHANGED = -24 ; 进一步跟踪发现,在恢复出厂设置后/data/data目录下的第三方应用的文件夹还在,手动删除此文件后再次安装就会成功,按正常逻辑恢复出厂设置后应…

问题 Mac 下通过 pip 安装 icu 失败. 解决办法及原因 问题的原因是因为icu库中的某一行代码找不到一个文件,获取不到ICU_VERSION的值. # Install icu brew install icu4c # check newest version ls /usr/local/Cellar/icu4c/ # Edit pyicu installer to work git clone https://github.com/ovalhub/pyicu.git # edit s…

优秀博客 <Ambari--大数据平台的搭建利器> Ambari安装前准备 (一)机器准备 192.168.80.144   ambari01 (部署Ambari-server和Mirror server) (分配1G,我这里只是体验过程,当然你可以分配更多或更小) 192.168.80.145   ambari02 (部署Agent) (分配1G,我这里只是体验过程,当然你可以分配更多或更小) 192.168.80.146   ambari03 (部署Agent) (分配1G,我这里只是体验…

前期博客  Ambari安装之部署本地库(镜像服务器)(二) 安装并配置Ambari-server (1)检查仓库是否可用 [hadoop@ambari01 yum.repos.d]$ pwd /etc/yum.repos.d [hadoop@ambari01 yum.repos.d]$ yum repolist Loaded plugins: fastestmirror, refresh-packagekit, security Loading mirror speeds from cache…

Ambari安装 1 Ambari简介 Apache Ambari项目的目的是通过开发软件来配置.监控和管理hadoop集群,以使hadoop的管理更加简单.同时,ambari也提供了一个基于它自身RESTful接口实现的直观.简单易用的web管理界面. Ambari允许系统管理员进行以下操作: 1.提供安装管理hadoop集群; 2.监控一个hadoop集群; 3.扩展ambari管理自定义服务功能. 2 集群所需基础条件 2.1 操作系统的需求 •Red Hat Enterprise Lin…

在开发者选项里面,拉到底,把miui优化选项去掉就好了. 参考资料 [问题反馈] Android Studio 2.3 在红米note3手机中 调试安装Apk失败…

npm 安装 chromedriver 失败的解决办法npm 安装 chromedriver 时,偶尔会出错,错误提示类似于:npm ERR! chromedriver@2.35.0 install: `node install.js` 经分析发现,某些版本下,chromedriver 的 zip 文件 url 的响应是 302 跳转,而在 install.js 里使用的是 Node.js 内置的 http 对象的 get 方法无法处理 302 跳转的情况:而在另外一些情况下,则是因为 goog…

通过ambari安装hadoop集群,ZT http://www.cnblogs.com/cenyuhai/p/3295635.html http://www.cnblogs.com/cenyuhai/p/3295644.html 批量设置ssh无密码登陆脚本 http://www.cnblogs.com/cenyuhai/p/3280668.html 使用Ambari快速部署Hadoop大数据环境 http://www.cnblogs.com/scotoma/archive/2012/09/1…

指令运行报错: Windows 10安装DockerToolBox失败处理方法:升级Windows 10. (注意:只有Windows10 专业版才支持升级,Server和企业版无效)…