ambari是apache基金会的开源项目,它的优势在于巧妙溶合已有的开源软件,提供集群自动化安装.中心化管理.集群监控.报警等功能.据Hortonwork官方资料介绍,不同的HDP版本,对ambari的版本也有不同的要求(如下图,来源于hortonwork官网),在安装HDP2.4的过程中,选择的ambari版本为2.2.2.0 安装过程: 软件包下载   (ambari-2.2.2.0-centos7.tar.gz) 本地源制作   (ambari.repo) ambari安装 数据库配置…

给hadoop用户sudo权限 hadoop ALL=(ALL) NOPASSWD:ALL 建立SSH互信,参考Hadoop HA的搭建中的互信建立 建立相应的下载脚本down.sh nohup wget -c http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.0/ambari-2.2.1.0-centos6.tar.gz > 1.log 2>&1 & nohup wget -c http…

Apache Ambari是对Hadoop进行监控.管理和生命周期管理的基于网页的开源项目.它也是一个为Hortonworks数据平台选择管理组建的项目.Ambari支持管理的服务有: Apache HBaseApache HCatalogApache Hadoop HDFSApache HiveApache Hadoop MapReduceApache OozieApache PigApache SqoopApache TempletonApache Zookeeper ambari可以使安装…

优秀博客 <Ambari--大数据平台的搭建利器> Ambari安装前准备 (一)机器准备 192.168.80.144   ambari01 (部署Ambari-server和Mirror server) (分配1G,我这里只是体验过程,当然你可以分配更多或更小) 192.168.80.145   ambari02 (部署Agent) (分配1G,我这里只是体验过程,当然你可以分配更多或更小) 192.168.80.146   ambari03 (部署Agent) (分配1G,我这里只是体验…

部署本地库(镜像服务器) (1)下载HortWorks官网上的3个库到本地(也可以在线下载,但是速度会很慢) 我们先把hortworks官网上需要下载的3个库下载到本地(这个还是需要很长时间的,当然你也可以在线下载,通过wget但是由于文件比较大,所以下载会非常慢)然后把他上传到我们的镜像服务器上. 一个是 Ambari Repositories    两个是 HDP 2.4 Repositories http://docs.hortonworks.com/index.html http://d…

前期博客  Ambari安装之部署本地库(镜像服务器)(二) 安装并配置Ambari-server (1)检查仓库是否可用 [hadoop@ambari01 yum.repos.d]$ pwd /etc/yum.repos.d [hadoop@ambari01 yum.repos.d]$ yum repolist Loaded plugins: fastestmirror, refresh-packagekit, security Loading mirror speeds from cache…

前期博客 大数据领域两大最主流集群管理工具Ambari和Cloudera Manger Ambari架构原理 Ambari安装之Ambari安装前准备(CentOS6.5)(一) Ambari安装之部署本地库(镜像服务器)(二) 部署hdp单节点集群 (1)部署Agent 1) 注册并安装agent http://192.168.80.144:8080/views/ADMIN_VIEW/2.2.1.0/INSTANCE/#/ 2)为集群取个名字,我这里,就直接取为hdpCluster,然后点击n…

前期博客 Ambari安装之部署单节点集群 其实,按照这个步骤是一样的.只是按照好3个节点后,再做下HA即可. 部署3个节点的HA分布式集群 (1)添加机器 和添加服务的操作类似,如下图 之后的添加ambari03.ambari04操作就和部署ambari02类似,可以参照前面的步骤.这里不多赘述. Ambari安装之部署单节点集群 -----BEGIN RSA PRIVATE KEY----- MIIEogIBAAKCAQEAvLAEPDRhnQUq4+6IRYTF6YKmMfvfGKKbkg…

Ambari安装 1 Ambari简介 Apache Ambari项目的目的是通过开发软件来配置.监控和管理hadoop集群,以使hadoop的管理更加简单.同时,ambari也提供了一个基于它自身RESTful接口实现的直观.简单易用的web管理界面. Ambari允许系统管理员进行以下操作: 1.提供安装管理hadoop集群; 2.监控一个hadoop集群; 3.扩展ambari管理自定义服务功能. 2 集群所需基础条件 2.1 操作系统的需求 •Red Hat Enterprise Lin…

ambari安装第一步是输入集群name,点击next时页面卡住不动,如下图: 注意到其中一个接口请求结果异常,http://ambari.server:8080/api/v1/version_definitions 重现如下: curl -u admin:admin "http://ambari.server:8080/api/v1/version_definitions?fields=VersionDefinition/stack_default,VersionDefinition/stac…

本文针对redhat或者centos 对于测试集群,如果通过ambari安装Hadoop集群后,想重新再来一次的话,需要清理集群. 对于安装了很多hadoop组件的话,这个工作很繁琐.接下来是我整理的清理过程. 1,通过ambari将集群中的所用组件都关闭,如果关闭不了,直接kill -9 XXX 2,关闭ambari-server,ambari-agent ambari-server stop ambari-agent stop 3,卸载安装的软件 yum remove hadoop_2* h…

通过ambari安装hadoop集群,ZT http://www.cnblogs.com/cenyuhai/p/3295635.html http://www.cnblogs.com/cenyuhai/p/3295644.html 批量设置ssh无密码登陆脚本 http://www.cnblogs.com/cenyuhai/p/3280668.html 使用Ambari快速部署Hadoop大数据环境 http://www.cnblogs.com/scotoma/archive/2012/09/1…

之前一直用的开源社区的版本,最近突然想到找一个好的商业版本用着,然后一直使用,然后就定上了hdp和cdh,都装上去了,但是cdh使用难度太大了,和开源版本的差距比较大,api不会使用,需要学它的cdk.hdp和开源版差不多,也是经过了优化了的,也是开源的,有一个管理界面,比社区版要好,这个安装过程废了很大的劲儿才搞成功的,发出来跟大家分享一下. hdp的安装折腾了好久,它的下载地址网址不像CDH那么难找,不过它的设置相对CDH简单很多,一键式安装,而且都是免费的软件. 1.首先要下载它们的安装包…

第一步: Ambari安装之Ambari安装前准备(CentOS6.5)(一) 第二步: Ambari安装之部署本地库(镜像服务器)(二) 第三步: Ambari安装之安装并配置Ambari-server(三) 第四步: Ambari安装之部署hdp单节点集群 第五步: Ambari安装之部署3个节点的HA分布式hdp集群 成功! 欢迎大家,加入我的微信公众号:大数据躺过的坑        人工智能躺过的坑       同时,大家可以关注我的个人博客:    http://www.cnblogs…

ambari 1.2.4 下载地址:http://www.apache.org/dist/incubator/ambari/ambari-1.2.4/ambari-1.2.4-incubating.tar.gz 官方手册:http://incubator.apache.org/ambari/1.2.4/installing-hadoop-using-ambari/content/index.html 安装过程 一.准备 1.安装包 2.集群中ambari-serveer(管理节点)到客户端配置无…

不多说,直接上干货! 写在前面的话 (1) 最近一段时间,因担任我团队实验室的大数据环境集群真实物理机器工作,至此,本人秉持负责.认真和细心的态度,先分别在虚拟机上模拟搭建ambari(基于CentOS6.5版本)和cloudermanager(基于CentOS6.5或Ubuntu14.04版本). (2)  大数据集群范围包括3节点和4节点.本人都尝试过. (3)  安装搭建包括离线和在线.本人都尝试过 (4)  版本包括自定义指定和官方最新版本搭建.本人都尝试过. (5) 大数据集群节点的增…

之前对azkaban的研究比较多,现在开个新坑,对Oozie开始深入了解 Traceback (most recent call last): File "/var/lib/ambari-agent/cache/common-services/OOZIE/4.0.0.2.0/package/scripts/oozie_server.py", line 222, in <module> OozieServer().execute() File "/usr/lib/p…

简介: python连接hbase是需要通过thrift连进行连接的,ambari安装的服务中貌似没有自带安装hbase的thrift,我是看配置hbase的配置名称里面没有thrift,cdh版本的就有,所以我就自己安装了thrift. 一.thrift安装: 1.下载thrift依赖的东西 yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python…

ambari 1.2.4 下载地址:http://www.apache.org/dist/incubator/ambari/ambari-1.2.4/ambari-1.2.4-incubating.tar.gz 官方手册:http://incubator.apache.org/ambari/1.2.4/installing-hadoop-using-ambari/content/index.html 安装过程 一.准备 1.安装包 2.集群中ambari-serveer(管理节点)到客户端配置无…

转载:http://www.cnblogs.com/cenyuhai/p/3295635.html 整个过程走完,问题不大,不过有一个事情要注意的是就算创建数据库的,使用localhost会报错,要使用集群所在的域名,局部DNS所指定的域名,比如master.example.com 这个问题要注意一下,不过遇到问题了,看日志文件就可以,从日志文件中可以看出大概问题出在什么地方. 之前一直用的开源社区的版本,最近突然想到找一个好的商业版本用着,然后一直使用,然后就定上了hdp和cdh,都装上去了,…

前言 hadoop除了社区版之外,还有两个主流的分支,一个是cdh版本,一个是hdp版本,其中ambari是hdp版本的部署工具 1.ambari安装准备 https://docs.hortonworks.com/ ambari版块,找到installation ip role os java 10.110.92.148 ambari-master centos-7.2 1.8 10.110.92.161 ambari-agent centos-7.2 1.8 10.110.92.162 amb…

最近需要做些spark的工作,所以弄了几台dell7500就这么准备开始搭建集群,之前用过几台更破的台式机搭建过一次,折腾了半个月之久,终于成功搭建,这次不想走老路,所以网上查了一下,发现一个神器AMBARI,可以部署.管理集群,果然是个好东西,所以就拿来用,但是在安装的过程中碰到了许许多多的问题,所以现在把安装过程总结一下,放到这里,以方便下次安装或者其他有对ambari感兴趣的同学可以参考之. 安装过程大量查阅了网上的相关资料,主要是https://cwiki.apache.org/conf…

今天重新安装ambari过程中,遇到了几个问题,耗费了我很长时间,在此记录一下 ambari重新安装可参考我之前的一篇随笔 http://www.cnblogs.com/6tian/p/4097401.html 遇到的问题一: 此问题是在安装第二步,注册主机时遇到的('ERROR 2015-02-06 20:09:43,441 NetUtil.py:56 - [Errno 1] _ssl.c:492: error:100AE081:elliptic curve routines:EC_GROUP…

Caught an exception while executing custom service command: <class 'ambari_agent.AgentException.AgentException'>: 'Script /var/lib/ambari-agent/cache/stacks/HDP/2.3/services/DOCK/package/scripts/master.py does not exist'; 'Script /var/lib/ambari-age…

问题的由来 我这里,是因为,拿这个Ambari Metrics服务在做试验!所以先删除它,再添加它,出现了安装被挂起的问题.... Am bari里如何删除某指定的服务(图文详解) 问题详细描述如下:  Metrics Collector的解决办法 正在重新安装 Metrics  Monitor的解决办法 Metrics Collector和 Metrics Monitor 的Install Pending ...问题成功解决!…

简介: 不想通过kafka shell来管理kafka已创建的topic信息,想通过管理页面来统一管理和查看kafka集群.所以选择了大部分人使用的kafka manager,我一共有一台主机master和三台节点slave1,slave2,slave3,一共有三个zookeeper server和三个kafka broker,分别在master,slave1,slave2.所以我把kafka manager安装在了slave3的服务器上面. 一.启动kafka的JMX端口的访问 至于JMX是什…

环境介绍:操作系统为Centos7.1:测试设备全部为内网设备,不通公网,所以需要配置本地yum源: 首先安装ansible工具,用来批量安装ambari.java以及基础的一些配置: 一. 免密钥登录: 接口机创建密钥文件 *注:所有的设备均可以通过root直连 ssh-keygen -t rsa 相关命令: scp /root/.ssh/id_rsa.pub root@0.0.0.0:/root/.ssh/authorized_keys 二. ansible配置详解: config_host…

一.准备环境 1.host 本人准备了三台服务器, vim /etc/hosts 192.168.1.131 dk11 192.168.1.132 dk21 192.168.1.133 dk31 2.免密 SSH cd ~ ssh-keygen 一直按回车 配置本地的免登录 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 配置其他节点 scp ~/.ssh/authorized_keys dk11:/root/.ssh/ scp ~/.ssh/a…

HDP的ambari集成安装工具真的是比ClouderaManager差上那么一点儿,不说安装的时候就麻烦,即使软件安装包已成功安装,也不意味着可以正常使用了,启动HDP集群过程中还会有不少的错误! 一.启动服务时,出现若干循环符号链接错误,比如下面是启动ranger时发生的其中一个错误信息: setup_tagsync(upgrade_type=upgrade_type) File , in setup_tagsync create_parents = True File , in __ini…

1.在安装时 出现Public key for ambari-server-2.4.2.0-136.x86_64.rpm is not installed 安装ambari报错 在安装HST服务时也报一个类似的错,解决办法都是先执行 rpm --import http://server1/soft/AMBARI-2.4.2.0/centos7/2.4.2.0-136/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins 这个是使用本地仓库中ambari自带的 key,这个是我遇到的,看…