自动部署?Ambari

Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等)。它帮助我们更好的去管理Hadoop集群相关的服务,也支持一些扩展,可以让我们去定制一些服务。
你是不是为了配置hadoop集群伤透了脑筋?为了集群添加机器而头痛。如果你遇到了Ambari你就会发现,原来他就是你的救世主。
Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件;Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI,方便用户了解到集群的各种状态,并进行相应的维护。
Ambari的详细介绍及相关信息可以浏览下面的网址,虽然他很NB,但是不是我们今天的重点!
Ambari——大数据平台的搭建利器

自动部署脚本

为什么Ambari那么NB却不用呢,其实很想用,毕竟这已经是一个很成熟的软件了,但是不能用或者说是不方便用。
我司项目都是直接下载的apache开源的hadoop相关源码,部分软件进行了自己的修改重新编译的。这是其一。其二就是ambari需要从repo源。但是某些情况下无外网,无内网源自己去部署程序还得先搭建cdh相关的repo源是一件非常麻烦的事情。。。而且,基本的配置现在基本都定下来了,基本就是更改一下相关软件的hostname或者ip就可以搞定的事情,没必要上ambari的大杀器。所以还是自己搞了一坨脚本,其目的就是将各个软件的tar包ssh到各个服务器节点,然后根据配置进行解压,复制对应的配置文件到对应的目录。也能实现集群的部署操作,后面还可以继续修改,支持主机的添加等功能。
主体逻辑:读取集群配置,ssh传输软件包到各个服务器,根据配置生成对的配置文件,ssh传输到各个服务器各个软件对应的目录。齐活了。
下面还是简单看一下代码吧,实现相对比较简单:
集群配置:

    {
        "clusterName":"hadoopy",
        "namenode":"namenode-1",
        "datanode": [
        "datanode-1",
        "datanode-2"
        ],
        "regionservers": [
        "datanode-1",
        "datanode-2"
        ],
        "hmaster":"namenode-1",
        "metastore": [
        "namenode-1",
        "datanode-1"
        ],
        "mysql":"datanode-1",
        "azkaban":"datanode-1",
        "ldap":"datanode-1",
        "redis":"datanode-1",
        "coordinator":"namenode-1",
        "workers": [
        "datanode-1",
        "datanode-2"
        ],
        "spark": [
        "datanode-1",
        "datanode-2"
        ],
        "zookeeper": [
        "namenode-1",
        "datanode-1",
        "datanode-2"
        ],
        "hosts": [
        {
        "hostname":"namenode-1",
        "ip":"192.168.0.100",
        "password":"51Weather",
        "port":22
        },
        {
        "hostname":"datanode-1",
        "ip":"192.168.0.101",
         "password":"51Weather",
        "port":22
        },
        {
        "hostname":"datanode-2",
        "ip":"192.168.0.102",
        "password":"51Weather",
        "port":22
        }
        ]
    }

由以上配置可见,我们有三台机器,然后将hadoop,hbase,hive metastore,presto,zookeeper等分别装到我们配置的机器上去。那我们脚本所做的工作其实跟上篇文章所做的工作差不多,首先需要配置免密,安装JDK,安装程序,配置等等。
举一下hadoop安装的例子,脚本首先会根据上面的集群配置生成对应的配置文件:

    def set_hdfs_site():
        hdfs_site = os.path.join(TMP_DIR,"hdfs-site.xml")
        with open(hdfs_site,"w") as f:
            f.write(HDFS_SITE.replace("KEYTAB_PATH", KEYTAB_PATH))
    def set_core_site(ldap, namenode):
        core_site = os.path.join(TMP_DIR,"core-site.xml")
        with open(core_site,"w") as f:
            f.write(CORE_SITE.replace("NAMENODE", namenode)
            .replace("TMP_DIR", HADOOP_TMP_DIR)
            .replace("LDAP_URI","ldap://{0}".format(ldap)).replace("LDAP_PWD", LDAP_PWD))

然后按照hadoop:

    def hadoop(ssh_client):
        hadoop_path = os.path.join(RESOURCES_DIR,'hadoop-2.7.3.tar.gz')
        remote_path ="/home/{0}/{1}".format(USER,'hadoop-2.7.3.tar.gz')
        ssh_client.transport_file(hadoop_path, remote_path)
        ssh_client.exec_shell_command("tar zxf {0}".format(remote_path))
        ssh_client.exec_shell_command("mkdir {0}".format(HADOOP_TMP_DIR))
       ssh_client.exec_shell_command("mkdir /data1",use_root=True)
        ssh_client.exec_shell_command("mkdir /name1",use_root=True)
        src_path = (
        os.path.join(TMP_DIR,"hdfs-site.xml"),
        os.path.join(TMP_DIR,"core-site.xml"),
        os.path.join(TMP_DIR,"mapred-site.xml"),
    os.path.join(TMP_DIR,"yarn-site.xml"),
    os.path.join(TMP_DIR,"hadoop-slaves")
    )
    dist_path = (
    os.path.join(HADOOP_DEFAULT_CONF_PATH,"hdfs-site.xml"),
    os.path.join(HADOOP_DEFAULT_CONF_PATH,"core-site.xml"),
    os.path.join(HADOOP_DEFAULT_CONF_PATH,"mapred-site.xml"),
    os.path.join(HADOOP_DEFAULT_CONF_PATH,"yarn-site.xml"),
    os.path.join(HADOOP_DEFAULT_CONF_PATH,"slaves")
    )
    map(ssh_client.transport_file, src_path, dist_path)
    print("install hadoop seccuss")
全部代码可以在hadoop_install_github看到,就不赘述了,没什么技术含量。如果配置已定或者网络不太方便,我觉得自己写脚本比用ambari要来的快一些,但是还是要称赞一下ambari。

Ambari?自动部署Hadoop集群的更多相关文章

  1. AMBARI部署HADOOP集群(4)

    通过 Ambari 部署 hadoop 集群 1. 打开 http://192.168.242.181:8080  登陆的用户名/密码是 : admin/admin 2. 点击 “LAUNCH INS ...

  2. ambari部署Hadoop集群(2)

    准备本地 repository 1. 下载下面的包 wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3 ...

  3. 基于Ambari Server部署HDP集群实战案例

    基于Ambari Server部署HDP集群实战案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.部署Ambari Server端 博主推荐阅读: https://www.c ...

  4. 阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建

    准备: 两台配置CentOS 7.3的阿里云ECS服务器: hadoop-2.7.3.tar.gz安装包: jdk-8u77-linux-x64.tar.gz安装包: hostname及IP的配置: ...

  5. 阿里云ECS服务器部署HADOOP集群(二):HBase完全分布式集群搭建(使用外置ZooKeeper)

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

  6. Docker部署Hadoop集群

    Docker部署Hadoop集群 2016-09-27 杜亦舒 前几天写了文章"Hadoop 集群搭建"之后,一个朋友留言说希望介绍下如何使用Docker部署,这个建议很好,Doc ...

  7. 如何部署hadoop集群

    假设我们有三台服务器,他们的角色我们做如下划分: 10.96.21.120 master 10.96.21.119 slave1 10.96.21.121 slave2 接下来我们按照这个配置来部署h ...

  8. 批量部署Hadoop集群环境(1)

    批量部署Hadoop集群环境(1) 1. 项目简介: 前言:云火的一塌糊涂,加上自大二就跟随一位教授做大数据项目,所以很早就产生了兴趣,随着知识的积累,虚拟机已经不能满足了,这次在服务器上以生产环境来 ...

  9. 阿里云ECS服务器部署HADOOP集群(三):ZooKeeper 完全分布式集群搭建

    本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...

随机推荐

  1. 【02】json语法

    [02] JSON 语法是 JavaScript 语法的子集. JSON 语法规则 JSON 语法是 JavaScript 对象表示法语法的子集. 数据在名称/值对中 数据由逗号分隔 花括号保存对象 ...

  2. 【Codeforces 364A】Matrix

    [链接] 我是链接,点我呀:) [题意] 让你求出b[i][j]=s[i]*s[j]规则构成的矩阵 的所有子矩阵中子矩阵的和为a的子矩阵的个数 [题解] (x,y,z,t) 会发现它的和就是sum(x ...

  3. Cow Sorting POJ 3270 & HDU 2838

    题目网址:http://poj.org/problem?id=3270 题目大意是:一串无序的数字,要排成增序的数列,可以交换不相邻的数,每交换两个数,sum+这两个数,使得sum最小,求最小的sum ...

  4. hammerjs & Swiper & touch & gesture

    hammerjs https://hammerjs.github.io/getting-started/ http://hammerjs.github.io/recognizer-swipe/ Swi ...

  5. 洛谷 P1877 BZOJ 2748 cogs 791 [HAOI2012]音量调节

    题目描述 一个吉他手准备参加一场演出.他不喜欢在演出时始终使用同一个音量,所以他决定每一首歌之前他都需要改变一次音量.在演出开始之前,他已经做好一个列表,里面写着每首歌开始之前他想要改变的音量是多少. ...

  6. [luoguP1474] 货币系统 Money Systems(背包)

    传送门 背包 ——代码 #include <cstdio> #include <iostream> #define LL long long int v, n; LL f[10 ...

  7. BAT、网易、京东等如何做大数据风控的?

    大数据风控目前应该是前沿技术在金融领域的最成熟应用,相对于智能投顾.区块链等还在初期的金融科技应用,大数据风控目前已经在业界逐步普及,从BATJ这样的大企业,到交易规模比较大的网贷平台,再到做现金贷. ...

  8. - > 动规讲解基础讲解八——正整数分组

    将一堆正整数分为2组,要求2组的和相差最小.例如:1 2 3 4 5,将1 2 4分为1组,3 5分为1组,两组和相差1,是所有方案中相差最少的. 整数个数n<=100,所有整数的和<=1 ...

  9. Effictive Java学习笔记1:创建和销毁对象

    建议1:考虑用静态工厂方法代替构造器 理由:1)静态方法有名字啊,更容易懂和理解.构造方法重载容易让人混淆,并不是好主意 2)静态工厂方法可以不必每次调用时都创建一个新对象,而公共构造函数每次调用都会 ...

  10. JavaScript使用正則表達式

    2.0 简单介绍 正則表達式是能够用来查找与给定模式匹配的文本的搜索模式.比如,在上一章中,我们在一个较长的字符串中查找子字符串Cookbook: var testValue = "This ...