1 ambari + bigtop 构建大数据基础平台

1.1 参考:

1.2 参考

amabri

bigtop

打包部署

2 ambari+bigtop编译、打包、部署

操作步骤

  • 时间:2024-07-18
  • 环境准备:
    • 系统centos7
    • yum源
    • 系统基础组件
    • 防火墙、selinux设置、句柄数,时区
    • java、scala、maven、gradle、ant、nodejs、环境配置
  • 编译步骤:
    • 编译ambari:最新分支branch-2.8
    • 编译ambari-metrics:最新分支branch-3.0
    • 编译bigtop:最新分支barnch-3.3,此处采用branch-3.2
    • 打包:将以下文件copy到目标目录
      • ambari-server(ambari)
      • ambari-agent(ambari)
      • ambari-metrics-collector(ambari-metrics)
      • ambari-metrics-grafana(ambari-metrics)
      • ambari-metrics-hadoop-sink(ambari-metrics)
      • ambari-metrics-monitor(ambari-metrics)
      • bigtop打包出来的大数据组件(bigtop)
    • ambari+bigtop部署
      • 服务器准备:4c-16G-60G三台
      • 环境检查:操作系统、默认语言、时区、机器名、域名解析、网络、防火墙关闭、selinux关闭、limits句柄数、禁用交换分区、unmask设置、磁盘挂载
      • 基础设置:免密、基础软件、ntp服务、离线镜像源+httpd服务,
      • 数据库安装、ambari元数据库配置
      • 创建并配置bigtop的yum源
      • 安装启动ambari-server,初始化(生成表)

2.0 基础环境准备

2.1 ambari编译

2.2 ambari-metrics编译

2.3 bigtop编译

2.4 制作发版镜像

#创建bdp3.2文件夹-所有rpm包将都拷贝到这个文件夹
mkdir -p bdp3.2 #将ambari包拷贝
mkdir -p bdp3.2/ambari # 存放ambari项目打包出来的rpm包
cp ambari/ambari-server/target/rpm/ambari-server/RPMS/x86_64/ambari-server-2.8.0.0-0.x86_64.rpm bdp3.2/ambari/
cp ambari/ambari-agent/target/rpm/ambari-agent/RPMS/x86_64/ambari-agent-2.8.0.0-0.x86_64.rpm bdp3.2/ambari/ #将ambari-metrics包拷贝,# 存放ambari-metrics项目打包出来的rpm包
mkdir -p bdp3.2/ambari-metrics
cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-collector/RPMS/x86_64/ambari-metrics-collector-3.0.1-1.x86_64.rpm bdp3.2/ambari-metrics/
cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-grafana/RPMS/x86_64/ambari-metrics-grafana-3.0.1-1.x86_64.rpm bdp3.2/ambari-metrics/
cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-hadoop-sink/RPMS/x86_64/ambari-metrics-hadoop-sink-3.0.1-1.x86_64.rpm bdp3.2/ambari-metrics/
cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-monitor/RPMS/x86_64/ambari-metrics-monitor-3.0.1-1.x86_64.rpm bdp3.2/ambari-metrics/ #将bigtop包拷贝
mkdir -p bdp3.2/bigtop-3.2.1 # 存放bigtop项目打包出来的rpm包
cp -r bigtop/output/* bdp3.2/bigtop-3.2.1 # 制作镜像源,在bdp3.2 目录下生成repodata(也可以将文件拷贝到安装位置后,再制作镜像源)
createrepo bdp3.2/
# bdp3.2.tar.gz,将是最终发版的包
tar zcvf bdp3.2.tar.gz bdp3.2 # yum源模板
vim ambari.repo #必须是此文件名,安装ambari-agent时,界面有检查项
# BIGOP-3.2.1 必须是固定字符串,大写。ambari安装大数据组件时,有检查项,否则找不到数据源,3.2.1 是bigtop.bom 中的base_version
# http://172.16.76.107/chdp3.2 替换成自己的地址,确保访问地址后,能看到上边ambari,ambari-metrics,bigtop-3.2.1 这三个目录
[BIGOP-3.2.1]
name=BIGOP-3.2.1
baseurl=http://172.16.76.107/bdp3.2
failovermethod=priority
enabled=1
gpgcheck=0

2.5 使用镜像|镜像测试

搭建yum源服务器

#将bdp3.2.tar.gz 复制到目标服务器
tar zxfv bdp3.2.tar.gz
ln -s /to/your/path/bdp3.2 /var/wwww/html
systemctl restart httpd # 重启httpd服务
systemctl enable httpd.service # 开机自启
访问:http://${yum_hosts}/bdp3.2, 查看根目录下是否有ambari,ambari-metrics,bigtop-3.2.1,repodata四个文件夹

客户机访问bdp3.2的yum源

1)客户机添加yum源
vim /etc/init.d/ambari.repo # 内容参考上边的yum源模板
[BIGOP-3.2.1]
name=BIGOP-3.2.1
baseurl=http://172.16.76.107/bdp3.2 ## 请替换此处IP
failovermethod=priority
enabled=1
gpgcheck=0
2)客户机刷新yum缓存(务必执行此操作,否则安装时不会报错,也安装不上)
yum clean all
yum makecache
3)查看是否能够访问bdp3.2上的安装包,
yum search ambari-server
4)查看bigtop源下的包有哪些(注意,若是只有两三个,可以去掉wc -l,看一下是具体那几个)
/usr/bin/yum list available --showduplicates --disablerepo=* --enablerepo=BIGTOP-3.2.0 |wc -l
/usr/bin/yum list available --showduplicates --disablerepo=* --enablerepo=BIGTOP-3.2.1 |wc -l

bdp3.2 压缩包文件结构预览

bdp3.2/
├── ambari
│ └── x86_64
│ ├── ambari-agent-2.8.0.0-0.x86_64.rpm
│ └── ambari-server-2.8.0.0-0.x86_64.rpm
├── ambari-metrics
│ └── x86_64
│ ├── ambari-metrics-collector-3.0.1-1.x86_64.rpm
│ ├── ambari-metrics-grafana-3.0.1-1.x86_64.rpm
│ ├── ambari-metrics-hadoop-sink-3.0.1-1.x86_64.rpm
│ └── ambari-metrics-monitor-3.0.1-1.x86_64.rpm
├── bigtop3.2.1
│ ├── bigtop-ambari-mpack
│ │ ├── bigtop-ambari-mpack-2.7.5.0-1.el7.src.rpm
│ │ └── noarch
│ │ └── bigtop-ambari-mpack-2.7.5.0-1.el7.noarch.rpm
│ ├── bigtop-groovy
│ │ ├── bigtop-groovy-2.5.4-1.el7.src.rpm
│ │ └── noarch
│ │ └── bigtop-groovy-2.5.4-1.el7.noarch.rpm
│ ├── bigtop-jsvc
│ │ ├── bigtop-jsvc-1.2.4-1.el7.src.rpm
│ │ └── x86_64
│ │ ├── bigtop-jsvc-1.2.4-1.el7.x86_64.rpm
│ │ └── bigtop-jsvc-debuginfo-1.2.4-1.el7.x86_64.rpm
│ ├── bigtop-select
│ │ ├── bigtop-select-3.2.1-1.el7.src.rpm
│ │ └── noarch
│ │ └── bigtop-select-3.2.1-1.el7.noarch.rpm
│ ├── bigtop-utils
│ │ ├── bigtop-utils-3.2.1-1.el7.src.rpm
│ │ └── noarch
│ │ └── bigtop-utils-3.2.1-1.el7.noarch.rpm
│ ├── flink
│ │ ├── flink_3_2_1-1.15.3-1.el7.src.rpm
│ │ └── noarch
│ │ ├── flink_3_2_1-1.15.3-1.el7.noarch.rpm
│ │ ├── flink_3_2_1-jobmanager-1.15.3-1.el7.noarch.rpm
│ │ └── flink_3_2_1-taskmanager-1.15.3-1.el7.noarch.rpm
│ ├── hadoop
│ │ ├── hadoop_3_2_1-3.3.6-1.el7.src.rpm
│ │ └── x86_64
│ │ ├── hadoop_3_2_1-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-client-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-conf-pseudo-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-debuginfo-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-doc-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-hdfs-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-hdfs-datanode-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-hdfs-dfsrouter-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-hdfs-fuse-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-hdfs-journalnode-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-hdfs-namenode-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-hdfs-secondarynamenode-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-hdfs-zkfc-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-httpfs-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-kms-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-libhdfs-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-libhdfs-devel-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-libhdfspp-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-libhdfspp-devel-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-mapreduce-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-mapreduce-historyserver-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-yarn-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-yarn-nodemanager-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-yarn-proxyserver-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-yarn-resourcemanager-3.3.6-1.el7.x86_64.rpm
│ │ ├── hadoop_3_2_1-yarn-router-3.3.6-1.el7.x86_64.rpm
│ │ └── hadoop_3_2_1-yarn-timelineserver-3.3.6-1.el7.x86_64.rpm
│ ├── hbase
│ │ ├── hbase_3_2_1-2.4.17-1.el7.src.rpm
│ │ ├── noarch
│ │ │ └── hbase_3_2_1-doc-2.4.17-1.el7.noarch.rpm
│ │ └── x86_64
│ │ ├── hbase_3_2_1-2.4.17-1.el7.x86_64.rpm
│ │ ├── hbase_3_2_1-master-2.4.17-1.el7.x86_64.rpm
│ │ ├── hbase_3_2_1-regionserver-2.4.17-1.el7.x86_64.rpm
│ │ ├── hbase_3_2_1-rest-2.4.17-1.el7.x86_64.rpm
│ │ ├── hbase_3_2_1-thrift2-2.4.17-1.el7.x86_64.rpm
│ │ └── hbase_3_2_1-thrift-2.4.17-1.el7.x86_64.rpm
│ ├── hive
│ │ ├── hive_3_2_1-3.1.3-1.el7.src.rpm
│ │ └── noarch
│ │ ├── hive_3_2_1-3.1.3-1.el7.noarch.rpm
│ │ ├── hive_3_2_1-hbase-3.1.3-1.el7.noarch.rpm
│ │ ├── hive_3_2_1-hcatalog-3.1.3-1.el7.noarch.rpm
│ │ ├── hive_3_2_1-hcatalog-server-3.1.3-1.el7.noarch.rpm
│ │ ├── hive_3_2_1-jdbc-3.1.3-1.el7.noarch.rpm
│ │ ├── hive_3_2_1-metastore-3.1.3-1.el7.noarch.rpm
│ │ ├── hive_3_2_1-server2-3.1.3-1.el7.noarch.rpm
│ │ ├── hive_3_2_1-webhcat-3.1.3-1.el7.noarch.rpm
│ │ └── hive_3_2_1-webhcat-server-3.1.3-1.el7.noarch.rpm
│ ├── kafka
│ │ ├── kafka_3_2_1-2.8.2-1.el7.src.rpm
│ │ └── noarch
│ │ ├── kafka_3_2_1-2.8.2-1.el7.noarch.rpm
│ │ └── kafka_3_2_1-server-2.8.2-1.el7.noarch.rpm
│ ├── phoenix
│ │ ├── noarch
│ │ │ └── phoenix-5.1.3-1.el7.noarch.rpm
│ │ └── phoenix-5.1.3-1.el7.src.rpm
│ ├── solr
│ │ ├── noarch
│ │ │ ├── solr_3_2_1-8.11.2-1.el7.noarch.rpm
│ │ │ ├── solr_3_2_1-doc-8.11.2-1.el7.noarch.rpm
│ │ │ └── solr_3_2_1-server-8.11.2-1.el7.noarch.rpm
│ │ └── solr_3_2_1-8.11.2-1.el7.src.rpm
│ ├── spark
│ │ ├── noarch
│ │ │ ├── spark_3_2_1-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-core-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-datanucleus-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-external-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-history-server-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-master-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-python-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-sparkr-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-thriftserver-3.2.3-1.el7.noarch.rpm
│ │ │ ├── spark_3_2_1-worker-3.2.3-1.el7.noarch.rpm
│ │ │ └── spark_3_2_1-yarn-shuffle-3.2.3-1.el7.noarch.rpm
│ │ └── spark_3_2_1-3.2.3-1.el7.src.rpm
│ ├── tez
│ │ ├── noarch
│ │ │ └── tez_3_2_1-0.10.2-1.el7.noarch.rpm
│ │ └── tez_3_2_1-0.10.2-1.el7.src.rpm
│ └── zookeeper
│ ├── x86_64
│ │ ├── zookeeper_3_2_1-3.6.4-1.el7.x86_64.rpm
│ │ ├── zookeeper_3_2_1-debuginfo-3.6.4-1.el7.x86_64.rpm
│ │ ├── zookeeper_3_2_1-native-3.6.4-1.el7.x86_64.rpm
│ │ ├── zookeeper_3_2_1-rest-3.6.4-1.el7.x86_64.rpm
│ │ └── zookeeper_3_2_1-server-3.6.4-1.el7.x86_64.rpm
│ └── zookeeper_3_2_1-3.6.4-1.el7.src.rpm
└── repodata
├── 15cc6a5320a9f6e38cda7b8ec54e7e28ed527df25ee6f56c1bf20cfa421dfe73-other.sqlite.bz2
├── 1a5c0f03d6edae3170255a282d113afe9b22f654f246ea308f162e14234cf5f8-filelists.sqlite.bz2
├── 28cb1ff79328b8ebeaa55021078984e8da908081b0b389e4037d9b1e5854ae22-primary.xml.gz
├── 5066ad167311131c46e983c0d66c4901b92a4e862b11aff3492f02f90ec2eb36-other.xml.gz
├── 617177ba2b017e6e6b4a62b157fe3441ea97b74455d60792e78471f938b86cb8-filelists.xml.gz
├── 7ea377d3a0b59ffaaef9661cb7dd3f2144bd7bc27da1a11070b6d78d5116dddd-primary.sqlite.bz2
└── repomd.xml
37 directories, 103 files

2.6 ambari 安装

安装中可能出现的问题及解决方案

  • 问题1:yum install ambari-server后出现以下日志,软件没有安装成功,也没有任何反应

    • 解决方案:yum clean all && yum makecache
Loaded plugins:aliases,changelog,fastestmirror, kabi, langpacks, tmprepo, verify, versionlock
Loading support for RedHat kernel ABI
  • 问题2:yum源配置

    /etc/yum.repos.d/ambari.repo (必须为此名称,安装过程有校验)
[BIGTOP-3.2.1]   # 必须为此名称,和ambari-server中的配置一致,包含大小写,下一行同理
name=BIGTOP-3.2.1
baseurl=http://192.168.76.107/chdp3.2
failovermethod=priority
enabled=1
gpgcheck=0

ambari+ bigtop 编译、打包、部署步骤总览的更多相关文章

  1. kibana7.6.2内网windows系统下编译打包部署

    1.在kibana根目录下执行命令: yarn build  --skip-os-packages 2.报错无法下载node:将node相关文件下载放到kibana/.node_binaries/10 ...

  2. 二:【nopcommerce系列】Nop的文件结构,引用关系。如何编译打包部署等

    如果,你还没先看第一篇,先看看 一:[nopcommerce系列]Nop整体架构的简单介绍,在看nop代码之前,你需要懂哪些东西 如果你确定你已经看完了第一篇,并且真的理解 mvc.和autofac, ...

  3. 编译打包部署 Dubbo Admin

    1.下载,Dubbo地址: https://github.com/alibaba/dubbo/tree/2.5.x ,直接ZIP下载 2.解压并打开项目,mvn package 得到war包,如下图: ...

  4. Windows Phone 8初学者开发—第8部分:理解编译和部署

    原文 Windows Phone 8初学者开发—第8部分:理解编译和部署 第8部分:理解编译和部署 原文地址: http://channel9.msdn.com/Series/Windows-Phon ...

  5. 走进JavaWeb技术世界12:从手动编译打包到项目构建工具Maven

    小李的Build之路(上) 转自: 刘欣 码农翻身 2016-07-10 摘要:手工Build的烦恼要不是为了和女朋友留在一个城市,小李肯定去北上广奋斗去了.现在他只能留在这个2.5线城市,进入这家软 ...

  6. VS打包部署图文具体步骤及程序防卸载的制作(password验证卸载)

    1.  在vs2010 选择"新建项目->"其它项目类型"->" Visual StudioInstallerà "安装项目": ...

  7. 在windows下导入react项目并且打包编译后部署到nginx上

    在windows下导入react项目并且打包编译后部署到nginx上 一.安装npm 二.创建react项目 三.安装nginx 四.总结 最近接手了公司的一个django项目,这是应该前后端分离的项 ...

  8. Spark入门实战系列--2.Spark编译与部署(上)--基础环境搭建

    [注] 1.该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取: 2.Spark编译与部署将以CentOS 64位操作系统为基础,主要是考虑到实际应用 ...

  9. Spark入门实战系列--2.Spark编译与部署(中)--Hadoop编译安装

    [注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .编译Hadooop 1.1 搭建环境 1.1.1 安装并设置maven 1. 下载mave ...

  10. 【转】VS2012程序打包部署详解

    上篇博客把收费系统的总体设计进行了一遍讲解,讲解的同时掺杂了些有关.NET编译机制的总结.程序编写测试完成后接下来我们要做的是打包部署程序,但VS2012让人心痛的是没有了打包工具.不知道出于什么原因 ...

随机推荐

  1. MySQL学习笔记-多表查询(上)

    多表查询(上) 一. 多表关系 在实际应用中,根据需求,设计的表结构之间存在联系,联系一般分为以下三种 一对多(多对一) 多对多 一对一 1. 一对多(多对一) 案例:部门与员工的关系,一个部门对应多 ...

  2. 2023 Hive 面试宝典

    先说一些废话 总结一下Hive面试宝典,方便读者快速过一遍Hive面试所需要的知识点 Hive的介绍 Hive和Hadoop的关系 Hive利用hdfs存储数据,利用MapReduce查询数据 Hiv ...

  3. Ubuntu 更改鼠标滚轮速度

    1.安装imwheel sudo apt-get install imwheel 2.更改配置 sudo gedit ~/.imwheelrc 输入以下内容: ".*"None,  ...

  4. Next.js 13 如何使用loading.js

    要在next.js 13中使用loading.js,我们需要先在对应的文件目录下创建loading.js文件 文件结构如下: app test1 loading.tsx page.tsx 如上面的目录 ...

  5. Mysql联合索引生效、失效条件

    引言 联合索引又叫复合索引.两个或更多个列上的索引被称作复合索引. 对于复合索引:Mysql从左到右的使用索引中的字段,一个查询可以只使用索引中的一部份,但只能是最左侧部分.例如索引是key inde ...

  6. 讯飞有一个可以根据描述文本自动生成PPT的AI接口,有趣

    文档:https://www.xfyun.cn/doc/spark/PPTGeneration.html 价格方面提供了免费1000点的额度,生成一次是10点,正好100次,如果要购买的话最低要购买1 ...

  7. Vector | Graph:蚂蚁首个开源Graph RAG框架设计解读

    检索增强生成(RAG:Retrieval Augmented Generation)技术旨在把信息检索与大模型结合,以缓解大模型推理"幻觉"的问题.近来关于RAG的研究如火如荼,支 ...

  8. 数据库学习(一)——DDL数据库定义语句

    定义数据库 创建数据库 使用CRETE DATABASE关键字,指定编码和排序格式 CREATE DATABASE mysqldb DEFAULT CHARACTER SET utf-8 DEFAUL ...

  9. Nginx SSL证书更新及密码套件更新

    一.域名更换证书 ssl证书一般包括证书文件crt.cer.pem.pfx和私钥文件key. CER.CRT.PEM 和 PFX 是不同的证书文件格式,它们之间存在一些区别: CER (DER 编码) ...

  10. SpringMVC-01-回顾MVC架构

    1.什么是MVC MVC是模型(Model).视图(View).控制器(Controller)的简写,是一种软件架构模式. 它通过将业务逻辑.页面控制.显示视图分离的方法来组织代码. 主要作用是降低了 ...