开始使用Ambari吧

Ambari组件黄色预警

Ambari组件黄色预警组件上为黄色问号,代表心跳丢失,解决如下: 1. 查看个节点之间是否可以相互通信,若ssh连接不上,有可能是该节点关机了,没有打开,手动开启该节点,再次验证是否可互通. 2. 在主节点启动ambari-server restart和ambari-agent restart,为了保证其它节点也成功启动,在其它从节点也要进行:ambari-agent restart操作. 3. 遇到问题 3.1 mysql server start失败在启动过程中,经常出现mys…

Ambari server:无法显示内存，CPU等使用率

Ambari server安装完毕后,都能正确显示各种信息.运行了几天后,发现无法显示内存,CPU等信息. 查找日志发现有错误,日志路径:/var/log/ambari-server/ambari-server.log 日志一直在打印这样的错误.从日志来看,无法连接collector.试着重启,如下: 重启之后,就能正常显示了.…

从零自学Hadoop(05)：Ambari

阅读目录序引入背景 Ambari介绍在线安装系列索引本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序这里我们选择Ambari作为HDP的生产管理工具,如果我们一个个去配置HDP,很浪费时间,也很没有效率,成功率.生产环境也得尽量的自动化,让工具帮我们做大部分重复的工作,解放双手,解放时间,解放效率. 下面我们就Ambari的在线安装展开叙述,如果大家对离线安装感兴趣,到时候再加篇…

Ambari——大数据平台的搭建利器

转载自http://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/ 扩展 Ambari 管理一个自定义的 Service 首先,我们需要规划自定义的 Service 属于哪个 Stack(当然 Stack 也是可以自定义的).这里为了快速创建一个新的 Service,而且我们已经安装了 HDP 2.2 的 Stack,所以就将自定义的 Service 放在 HDP 2.2 之下. 第一步,首先在 Ambari Serv…

使用Apache Ambari管理Hadoop

随着Hadoop越来越普及,对合适的管理平台的需求成为当前亟待解决的问题.已经有几个商业性的Hadoop管理平台,如Cloudera Enterprise Manager,但Apache Ambari是第一个开源实现.Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应.管理和监控.Ambari目前已支持大多数Hadoop组件,包括HDFS.MapReduce.Hive.Pig.Hbase.Zookeper.Sqoop和Hcatalog等. Shaun Co…

Ambari 不能配置 Kafka 监听host的问题

问题:Ambari下Kafka多IP监听配置环境:Ambari 1.7.0 , Hadoop 2.2 Kafka 0.8.1.2.2.0.0 现象: Ambari 中是不能配置Kafka的host.name配置项的,Ambari配置时,使用Ambar中为节点指定的hostname值,比如node1.google (Kafka自身的默认值是localhost) 一般在内网配置Ambari,用的hostname都是内网的IP,如 192.168.1.1 node1.google 192.168.1…

Ambari自动化卸载shell脚本

#!/bin/bash # Program: # uninstall ambari automatic # History: # 2014/01/13 - Ivan - 2862099249@qq.com - First release PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin export PATH #取得集群的所有主机名,这里需要注意:/etc/hosts配置的IP和主机名只能用一个空格分割…

使用Ambari安装hadoop集群

最近需要做些spark的工作,所以弄了几台dell7500就这么准备开始搭建集群,之前用过几台更破的台式机搭建过一次,折腾了半个月之久,终于成功搭建,这次不想走老路,所以网上查了一下,发现一个神器AMBARI,可以部署.管理集群,果然是个好东西,所以就拿来用,但是在安装的过程中碰到了许许多多的问题,所以现在把安装过程总结一下,放到这里,以方便下次安装或者其他有对ambari感兴趣的同学可以参考之. 安装过程大量查阅了网上的相关资料,主要是https://cwiki.apache.org/conf…

Ambari工具之认识学习01

随着大数据的越发流行,大大小小的互联网公司都开始参与一些大数据相关的业务,都想从中分一杯羹.Hadoop是大数据的典型代表,也可以说现在的领头大哥,很多互联网巨头都在使用hadoop,包括BAT等大公司.但是由于hadoop对于管理维护的人员要求比较高,企业需要对其投入大量的人力.财力.这里介绍个工具ambari,是apache开源社区的顶级子项目,由hortonworks公司开发维护的,并作为apache的一个子项目,hortonworks公司可以说是apache的新贵公司,实力相当雄厚.am…

CentOS7安装Ambari

环境: CentOS7安装两个节点:master.slave1.并配置ssh无密码登录. 步骤: 获取 Ambari 的公共库文件(public repository): wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.1/ambari.repo 将下载的 ambari.repo 文件拷贝到 Linux 的系统目录/etc/yum.repos.d/.拷贝完后,我们需要获取该公共库的所有的源文件列表.…

ambari无法登陆设备空间不足

1.ambari无法登陆,Unable to connect to Ambari Server ? ——>原因:端口8080被spark占用.修改${SPARK_HOME}/sbin/start-master.sh 脚本中SPARK_MASTER_WEBUI_PORT的端口为8090. 2.java.io.exception:设备空间不足,spark无法跑.rstudio初始化失败 ? ——>释放空间.将${SPARK-HOME}/work 下的不需要的运行结果删除.…

Ambari是什么?

Ambari目标解决Hadoop生态系统部署部署:hadoop组件间有依赖,包括配置.版本.启动顺序.权限配置等. 部署过程跟踪.能够展示出部署过程中每个步骤的状态及相关信息. 多机部署问题,当集群规模增加后,机器出问题机率增加,在部署或更新中可能会出现机器故障组件本身设计:hadoop及其组件需要容忍机器的故障,同时需要防止不兼容版本组件给系统带来的影响部署服务:需要能够容忍某些组件启动.更新失败配置管理可以将默认配置写入stack中(stack后续介绍),在开启时ambari将s…

Hadoop - Ambari集群管理剖析

1.Overview Ambari是Apache推出的一个集中管理Hadoop的集群的一个平台,可以快速帮助搭建Hadoop及相关以来组件的平台,管理集群方便.这篇博客记录Ambari的相关问题和注意事项.方便为初学者省去搭配各个社区版的烦恼. 2.How to works 在Ambari的官方WIKI上介绍了如何去使用Ambari,［官方文档］.官方说法比较简要,下面我补充相关注意事项,并给大家罗列一个详细的步骤. 2.1 Env 首先,节点(物理机)需要实现准备好,这里笔者准备了5台节点,大…

[实践] ubuntu下编译安装ambari

ambari是一个Hadoop套件的管理工具,可以方便部署.管理及监控.最初开发时使用的就是RH系的Linux,只支持RHEL.CentOS5/6.OEL.SLES,暂不支持Ubuntu:可我的需求就是在ubuntu系统中使用,我认为在ambari完全使用开源软件堆积,想兼容Debian系的系统不会太难,而且看了一下文档,大概了解了编译时会生成rpm包,而ubuntu又是有办法解压rpm的,理论上说没有问题,于是决定自己实践一把. 后记:在追查代码的过程中发现,目前在开发的ambari版本已经开…

HDP2.4安装(四)：ambari安装

ambari是apache基金会的开源项目,它的优势在于巧妙溶合已有的开源软件,提供集群自动化安装.中心化管理.集群监控.报警等功能.据Hortonwork官方资料介绍,不同的HDP版本,对ambari的版本也有不同的要求(如下图,来源于hortonwork官网),在安装HDP2.4的过程中,选择的ambari版本为2.2.2.0 安装过程: 软件包下载 (ambari-2.2.2.0-centos7.tar.gz) 本地源制作 (ambari.repo) ambari安装数据库配置…

最开始接触Hadoop是研究生入学后,帮师姐装装集群什么的.过程很繁琐,很重复,很是让人抓狂.当时装一个三台机器的集群需要两天左右,这还是装的很熟练的时间花费,刚入手的时候简直是惨不忍睹,三台机器装了将近一个星期.手动安装集群需要一定的Linux操作基础,一般采用Ubuntu或者是CentOs来安装.当时我们选择了Ubuntu,界面较为绚丽,并且有丰富的软件支持以及一键安装软件,这些都是我这个菜鸟需要的. Hadoop生态圈安装完成后属于全命令行操作,集群管理与查看也仅仅是使用自带的简陋的Web…

使用Ambari部署hadoop集群

准备工作 1. 设置sudo免密码登陆由于CentOS安装之后,普通用户无sudo权限,故应该设置sudo权限. 参考文章:http://www.cnblogs.com/maybob/p/3298846.html 2. 设置SSH无密码登陆远程主机参考文章:http://www.cnblogs.com/maybob/p/3298903.html 3. 集群时间同步(Enable NTP on the Cluster and on the Browser Host) The clocks of…

Ambari源代码分析之总览

一.基本概念: Resource:Ambari把能够被管理的资源的抽象为一个Resource实例,资源能够包括服务.组件.主机节点等,一个resource实例中包括了一系列该资源的属性: Property:服务组件的指标名称: ResourceProvider和PropertyProvider分别相应Resource和Property的提供方,获取指标须要先获取Resource,然后获取Property相应的metric: Query:Query是Resource的内部对象,代表了对该资源的操作…

使用ambari搭建Hadoop平台

1.操作系统 CentoOS Server with GUI(有GUI,有浏览器*ambari基于浏览器*推荐latest stable version)2.分区默认 + /hadoop3.网络设置:内网IP,外网IP,自动网络连接4.hostname设置: /etc/sysconfig/network: NETWORKING=yes HOSTNAME=master/slave /etc/hosts:192.168.200.10 master10 …

apache ambari web页面无法访问解决办法

ambari-server启动成功,但是页面无法访问作者:Bo liang链接:http://www.zhihu.com/question/34405898/answer/115001510来源:知乎著作权归作者所有,转载请联系作者获得授权. 1.先在命令行输入nproc命令.[root@Slave3 var]# nproc64得到这个数字后再打开ambari.properties文件.[root@Slave3 var]# sudo vi /etc/ambari-server/conf/amb…

ambari安装过程中的问题汇总

今天重新安装ambari过程中,遇到了几个问题,耗费了我很长时间,在此记录一下 ambari重新安装可参考我之前的一篇随笔 http://www.cnblogs.com/6tian/p/4097401.html 遇到的问题一: 此问题是在安装第二步,注册主机时遇到的('ERROR 2015-02-06 20:09:43,441 NetUtil.py:56 - [Errno 1] _ssl.c:492: error:100AE081:elliptic curve routines:EC_GROUP…

删除旧Ambari集群

年少无知,安装了1.2.0版本.开源社区动力太强,更新的吼吼的跟不上啊,升级发生错误,于是就想重装了.在网上找到了一个很好的删除脚本,分享一下.原文链接 http://www.cnblogs.com/cenyuhai/p/3287855.html #1.删除hdp.repo和hdp-util.repo cd /etc/yum.repos.d/ rm -rf hdp* rm -rf HDP* rm -rf ambari* #2.删除安装包 #用yum list installed | grep H…

安装Ambari

1.yum install pdsh 这玩意一般系统都没带 2.检查下umask码,022是需要的 3.获取ambari的官方repo文件,并安装repo文件 wget http://public-repo-1.hortonworks.com/ambari/centos6/1.x/updates/1.2.4.9/ambari.repo cp ambari.repo /etc/yum.repos.d yum install epel-release 4.检查repo是否正确安装 yum re…

ambari的重新安装

ambari是什么呢? 这里我简单说一下ambari的目的,他的目的就是简化hadoop集群的安装和管理.对于安装简化到什么地步呢?只需要几个命令,在页面上配置几个参数,几百几千个节点的集群就能安装成功. 第一次安装可以参考官方的指导,很简单. https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+1.6.1+from+Public+Repositories 问题是如果失败了想重新安装该怎么办呢??? 其实也很简单,重…

Ambari安装

给hadoop用户sudo权限 hadoop ALL=(ALL) NOPASSWD:ALL 建立SSH互信,参考Hadoop HA的搭建中的互信建立建立相应的下载脚本down.sh nohup wget -c http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.0/ambari-2.2.1.0-centos6.tar.gz > 1.log 2>&1 & nohup wget -c http…

HADOOP集群监控工具AMBARI

HADOOP集群监控工具AMBARI安装 Apache Ambari是对Hadoop进行监控.管理和生命周期管理的开源项目.它也是一个为Hortonworks数据平台选择管理组建的项目.Ambari向Hadoop MapReduce.HDFS. HBase.Pig, Hive.HCatalog以及Zookeeper提供服务.最近准备装ambari,在网上找了许久,没找到比较系统的ambari安装过程,于是,就根据官网进行了安装,下面是我推荐的正确的较完善的安装方式,希望对大家有所帮助. 一.准备…

hadoop集群监控工具ambari安装

Apache Ambari是对Hadoop进行监控.管理和生命周期管理的基于网页的开源项目.它也是一个为Hortonworks数据平台选择管理组建的项目.Ambari支持管理的服务有: Apache HBaseApache HCatalogApache Hadoop HDFSApache HiveApache Hadoop MapReduceApache OozieApache PigApache SqoopApache TempletonApache Zookeeper ambari可以使安装…