环境: CentOS7安装两个节点:master.slave1.并配置ssh无密码登录. 步骤: 获取 Ambari 的公共库文件(public repository): wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.1/ambari.repo 将下载的 ambari.repo 文件拷贝到 Linux 的系统目录/etc/yum.repos.d/.拷贝完后,我们需要获取该公共库的所有的源文件列表.…

1.yum install pdsh    这玩意一般系统都没带 2.检查下umask码,022是需要的 3.获取ambari的官方repo文件,并安装repo文件 wget http://public-repo-1.hortonworks.com/ambari/centos6/1.x/updates/1.2.4.9/ambari.repo cp ambari.repo /etc/yum.repos.d yum install epel-release 4.检查repo是否正确安装 yum re…

一.通过yum安装ambari-server 由于上一步我们搭建了本地源,实际上yum是通过本地源安装的ambari-server,虽然也可以直接通过官方源在线安装,不过体积巨大比较费时. 这里我选择头结点1作为安装ambari的服务器. yum install -y ambari-server 二.设置ambari-server ambari-server setup 安装过程大致需要4个步骤 1.选择是否自定义守护用户账号,选否 2.选择JDK版本,选哪个应该问题不大,选1(会自动下载安装包…

概念了解 Ambair介绍 Apache Ambari是一个用于支持大数据软件供应 管理与监控软件.它也是一个分布式软件,分为Ambair-Server与Ambari-Client两个部分.在生产环境下一般单独用一台服务器安装ambari-server来确保服务的稳定性.然后需要安装大数据服务组件的服务器上均安装ambari-client组件,server发送命令与client进行交互完成任务. HDP介绍 HDP是hortonworks公司的Hadoop发行版,其中包括大多数Hadoop生态下…

一.集群软硬件环境准备: 操作系统:  centos 7 x86_64.1804 Ambari版本:2.7.0 HDP版本:3.0.0 HAWQ版本:2.3.05台PC作为工作站: ep-bd01 ep-bd02 ep-bd03 ep-bd04 ep-bd05 其中ep-bd01作为主节点,用于安装ambari-server. 二.配置操作系统,安装必备软件 1,安装CentOS 7操作系统:环境配置,安装必备软件. 2,安装配置NTP服务,保证集群时间保持同步,以防止由于时间不同而造成掉线故障…

安装ambari有两种方式,一是自己下载源码编译,另外一个是使用公共仓库 1 使用Public Respositories Step1: Download the Ambari repository on the Ambari Server host For Redhat/CentOS/Oracle:   cd /etc/yum.repos.d/   wget <ambari-repo-url>   For SUSE:   cd /etc/zypp/repos.d   wget <amb…

在编译安装Ambari时候遇到了很多问题,现在记录一下 1 got error npm ERR! phantomjs@1.9.12 install while building ambari-web [ install: `node install.js` [ [exec] npm ERR! [ install script. [exec] npm ERR! This is most likely a problem with the phantomjs package, [exec] npm…

一.准备工作: 基本工具 yumrpmscpcurlwgetpdsh前几个一般系统都自带了,pdsh需要自己装 yum install pdsh 2.配置hosts vim /etc/hosts 10.*.*.120  master master.hadoop.test 10.*.*.121  dn1 dn1.hadoop.test 10.*.*.122  dn2 dn2.hadoop.test 10.*.*.123  dn3 dn3.hadoop.test 3.配置ssh免登录 选定maste…

安装步骤总体说明 1.安装以前需要先规划服务器,一台主机多台从机.主从需要设置时间同步和免密. 2.建立离线源,因在线安装速度很慢,所以需要建立离线源. 3.在主机上安装Ambari,进入系统后,挂接从机安装软件. 可以先在主机上建立离线源,安装ambari后,再配置从机也可以.但是域名最好先规划好. 规划服务器(这里用四台服务器来进行配置) 在每台服务器上配置域名访问 vi /etc/hosts    添加以下内容 172.18.100.71 master1 172.18.100.70 age…

1.首先要下载它们的安装包,别尝试着在yum来下,特别慢,最好的方式是通过建立本地资源的方式来安装. http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos6-rpm.tar.gz http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.ta…

制作本地yum源 安装步骤: 先建立本地yum源(Ambari和HDP的) 1. 先安装 ambari 然后http://localhost:8080 登录进去,设置 hdp的源链接. 2. 安装HDP 注意一定要对应好版本 以下是 tar.gz的下载地址. ambari安装包 Ambari Repositories http://docs.hortonworks.com/HDPDocuments/Ambari-2.1.0.0/bk_Installing_HDP_AMB/content/_hdp…

1. 打开 http://192.168.242.181:8080  登陆的用户名/密码是 : admin/admin 2. 点击 “LAUNCH INSTALL WIZARD”,开始创建一个集群 3. 为集群取一个名字 4. 前面我们建了本地的资源库,这里选择 “Use Local Repository”.删除其它的 OS,只留 redhat7 那一行.并且在 Base URL 那一列里填入前面搭建的 web 服务对应的地址. 5. 在 “Target Hosts” 里填入 hadoop 集群…

安装 Ambari,最后是为了用它部署 hadoop 集群.安装时默认使用的是 hortonworks 远程的资源,用它部署集群时,需要下载 Hadoop.Hive.HBase 的安装包,速度很慢.我部署时,老是失败.所以按照官方文档,建一个本地资源库.预先下载好包,放在一台电脑上,然后把这台电脑配置成 repository. 1. 下载下面的包 wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.…

ambari是一个Hadoop套件的管理工具,可以方便部署.管理及监控.最初开发时使用的就是RH系的Linux,只支持RHEL.CentOS5/6.OEL.SLES,暂不支持Ubuntu:可我的需求就是在ubuntu系统中使用,我认为在ambari完全使用开源软件堆积,想兼容Debian系的系统不会太难,而且看了一下文档,大概了解了编译时会生成rpm包,而ubuntu又是有办法解压rpm的,理论上说没有问题,于是决定自己实践一把. 后记:在追查代码的过程中发现,目前在开发的ambari版本已经开…

前言: Ambari是apache下面的开源项目,主要通过web UI方式对Hadoop集群进行统一创建和管理,以节省Hadoop集群的运维成本.本文通过安装过程中的截图简要介绍一下相关步骤供需要的朋友参考. 系统环境说明: centos6 安装用户: root # 查询当前系统信息 $ uname -a Linux dev7 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Li…

5.在安装的时候遇到的问题 5.1使用ambari-server start的时候出现ERROR: Exiting with exit code -1. 5.1.1REASON: Ambari Server java process died with exitcode 255. Check /var/log/ambari-server/ambari-server.out for more information 解决: 由于是重新安装,所以在使用/etc/init.d/postgresql …

#!/bin/sh #配置用户sudo权限(参考/etc/sudoers文件,在/etc/sudoers.d/新建一个用户配置文件,注意要注销) #需要在/etc/sudoers末尾追加:sfapp ALL=(ALL) NOPASSWD:ALL #JDK配置,三台机器已配置,略 #修改hostname和加入主机映射(/etc/hosts) #配置网络/etc/sysconfig/network #配置无密登录 #ssh免秘钥登录需在sfapp用户下完成: #在10.202.107.27 cnsz…

提示;# rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release 就是导入这个安装包的key 可以使用http的协议 比如我用的就是 rpm --import http://server1/soft/AMBARI-2.4.2.0/centos7/2.4.2.0-136/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins 然后再次执行安装命令 yum install -y ambari-server 06 Oct 2017 16…

1.安装环境说明 安装前先安装好 Centos 7.2, jdk-8u91, mysql5.7.13 一共有3台机器,一个是主节点192.168.111.10,两个是从:192.168.111.11,192.168.111.12 2.操作系统环境准备 2.1 配置SSH免密码登录 主节点里root用户登录执行如下步骤 ssh-keygen cd ~/.ssh/ cat id_rsa.pub >>authorized_keys ~/.ssh ~/.ssh/authorized_keys 先在从节…

一.Ambari简介 The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing, and monitoring Apache Hadoop clusters. Ambari provides an intuitive, easy-to-use Hadoop management web UI backed by i…

准备工作: 新下载的centos7 安装 createrepo,用于制作源 yum install createrepo 安装java (推荐 java 1.7以上版本,如果有,则跳过此步骤) yum install java 安装高版本的openssl(各个host都需要安装,否则在ambari中安装服务的时候,会注册失败) yum install openssl 安装nc和redhat-lsb(hadoop和hbase都有依赖) yum install nc yum install redh…

ambari版本 :2.4.2 (不过各版本安装过程没啥差异) 目录: 为什么要用Ambari 概念概述 版本信息 原理简介 安装 创建集群 创建集群 手动修改配置 NameNode HA 安装SmartSense 二次开发 Ambari的升级 相关错误 为什么要用Ambari Ambari 是 Apache Software Foundation 中的一个顶级项目.就 Ambari 的作用来说,就是创建.管理.监视 Hadoop 的整个生态圈产品(例如 Hive,Hbase,Sqoop,Zoo…

1. 安装 yum -y install ambari-server 2. ambari server 需要一个数据库存储元数据,默认使用的 Postgres 数据库.默认的用户名和密码是: ambari/bigdata .但是一般情况下,后面还要安装 hive 和 Ranger,也需要一个存元数据的数据库,所以使用一个mysql 做为数据库.需要为 ambari 创建相应的数据库和用户 create database ambari default character set='utf8'; '…

Ambari 没有简单的 .tar.gz 结尾的包(反正我找到).apache 官网提供的安装方法,是要下载源码,自己编译成安装包安装.说明文档还不够细.编译的时候是用 maven,照理来说不应该会失败的.但是我总是失败,报找不到类的错误.maven 的仓库中明明是有的.遇到各种奇葩问题.实际生产环境,也不会是编译成安装包再安装的.还好, hortonworks 提供了 ambari 的安装方法,而且还很详细.以下是在 centos7 上的安装步骤. 在安装之前,按照官方文档,需要做如下配置(我…

RHEL/CentOS/Oracle Linux 6 On a server host that has Internet access, use a command line editor to perform the following: Steps Log in to your host as root. Download the Ambari repository file to a directory on your installation host. wget -nv http:/…

最近需要做些spark的工作,所以弄了几台dell7500就这么准备开始搭建集群,之前用过几台更破的台式机搭建过一次,折腾了半个月之久,终于成功搭建,这次不想走老路,所以网上查了一下,发现一个神器AMBARI,可以部署.管理集群,果然是个好东西,所以就拿来用,但是在安装的过程中碰到了许许多多的问题,所以现在把安装过程总结一下,放到这里,以方便下次安装或者其他有对ambari感兴趣的同学可以参考之. 安装过程大量查阅了网上的相关资料,主要是https://cwiki.apache.org/conf…

ambari是apache基金会的开源项目,它的优势在于巧妙溶合已有的开源软件,提供集群自动化安装.中心化管理.集群监控.报警等功能.据Hortonwork官方资料介绍,不同的HDP版本,对ambari的版本也有不同的要求(如下图,来源于hortonwork官网),在安装HDP2.4的过程中,选择的ambari版本为2.2.2.0 安装过程: 软件包下载   (ambari-2.2.2.0-centos7.tar.gz) 本地源制作   (ambari.repo) ambari安装 数据库配置…

Apache Ambari是对Hadoop进行监控.管理和生命周期管理的基于网页的开源项目.它也是一个为Hortonworks数据平台选择管理组建的项目.Ambari支持管理的服务有: Apache HBaseApache HCatalogApache Hadoop HDFSApache HiveApache Hadoop MapReduceApache OozieApache PigApache SqoopApache TempletonApache Zookeeper ambari可以使安装…

准备主机 准备3台主机,名称作用如下: 昵称 Fully Qualified Domain Name IP 作用 Ubuntu-Parrot head1.parrot 192.168.9.126 Ambari控制中心,头结点(辅助) Ubuntu-Laiothrix head0.parrot 192.168.9.127 头节点(主) Ubuntu-Siskin data0.parrot 192.168.9.128 数据节点 使用hostname <fully.qualified.domain.n…

前期博客 大数据领域两大最主流集群管理工具Ambari和Cloudera Manger Ambari架构原理 Ambari安装之Ambari安装前准备(CentOS6.5)(一) Ambari安装之部署本地库(镜像服务器)(二) 部署hdp单节点集群 (1)部署Agent 1) 注册并安装agent http://192.168.80.144:8080/views/ADMIN_VIEW/2.2.1.0/INSTANCE/#/ 2)为集群取个名字,我这里,就直接取为hdpCluster,然后点击n…