centos7 ambari安装HDP
环境介绍:操作系统为Centos7.1;测试设备全部为内网设备,不通公网,所以需要配置本地yum源;
首先安装ansible工具,用来批量安装ambari、java以及基础的一些配置;
一、 免密钥登录:
- 接口机创建密钥文件
*注:所有的设备均可以通过root直连
ssh-keygen -t rsa
相关命令:
scp /root/.ssh/id_rsa.pub root@0.0.0.0:/root/.ssh/authorized_keys
二、 ansible配置详解:
config_hosts目录:配置主机名,hosts文件,配置免密钥登录;
install_java目录:安装配置jdk
master目录:配置主节点的本地yum源,安装主节点的ambari-server和ambari-agent
slave目录:安装配置其他节点的ambari-agent
1.roles/config_hosts
在files目录下放着准备好的文件,change_hostname.sh文件用来修改主机名,hosts文件用来替换设备的hosts文件;
在tasks文件下放着需要执行的playbook,用于修改主机名、配置免密钥登录:
2.roles/install_java
在files目录下准备好jdk的包;
安装jdk的playbook:
3.roles/master
在files目录下准备好安装ambari的包和HDP的包,用于制作本地yum源;
在tasks目录下按照实际需求写好playbook:
create_yum.yml:用于创建本地yum源;
install_ambari_agent.yml:用于安装ambari-agent;
install_ambari.yml:用于安装ambari-server;
install_httpd.yml:用于安装httpd服务,共享本地yum源;
4.roles/slave
在files目录下准备好配置好的yum源文件;
在tasks目录下按照实际需求写好playbook;
create_yum.yml:用于创建本地yum源;
install_ambari_agent.yml:用于安装ambari-agent;
三、 ambari-server配置
(1.1) 第一步默认回车
(1.2) 第二步输入 3 然后 回车
(1.3) 输入 /usr/share/jdk1.8.0_73
(1.4) 回车
(1.5) 成功
四、 登录ambari-server安装HDP
浏览器访问:IP:8080 账号密码:admin/admin
*注:提前启动ntp服务,否则会有警告(虽然可以忽略,但是原谅我是个强迫症患者);
1.创建集群
2.输入集群名,点击下一步
3.选择需要安装的HDP版本,以及配置的yum源,点击下一步
4.填写在/etc/hosts下配置的主机解析,提前做好免密钥,点击下一步
5.安装前检查,有问题解决,没问题直接点下一步
6.选择需要安装的服务,点击下一步
7.资源分配
8.分配从属和客户端
9.自定义服务,有两个位置需要配置,否则不能进行下一步,hive的mysql账号密码,和grafana的账号密码;其余配置根据需求来更改;
10.检查资源分配情况,没有问题点击下一步;
11.安装部署集群
安装过程拍错:
- snappy版本问题;
解决:
方法一:rpm -e `rpm -qa|grep snappy`
手动yum install snappy-devel -y
方法二:在部署集群前yum install snappy-devel -y
2.安装pig
ambari会给设备配置mysql的yum源,设备不通公网会出问题;
解决方法:rm -rf /etc/yum.repos.d/mysql-community*
注:如果此方法过不去,需手动安装:yum install pig_2_3_*
3.有时会有警告的情况,直接下一步,进入集群解决;
12.安装情况,点击完成,进入集群
13.集群内的问题
hive数据库授权
进入mysql,执行如下sql语句
grant all privileges on *.* to hive@localhost identified by '123456';
*注:以上步骤亲测无安装问题,同时,可以应用于其他版本的安装;例如:ambari2.6安装HDP2.6;
centos7 ambari安装HDP的更多相关文章
- Ambari安装HDP问题:User root is not allowed to impersonate anonymous.User: hcat is not allowed to impersonate ambari-qa
User root is not allowed to impersonate anonymous 修改hadoop 配置文件 etc/hadoop/core-site.xml,加入如下配置项 < ...
- 基于【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ数据仓库02 ——使用ambari-server安装HDP
本文记录使用ambari-server安装HDP的过程,对比于使用cloudera-manager安装CDH,不得不说ambari的易用性差的比较多~_~,需要用户介入的过程较多,或者说可定制性更高. ...
- 基于【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ数据仓库01 —— 准备环境,搭建本地仓库,安装ambari
一.集群软硬件环境准备: 操作系统: centos 7 x86_64.1804 Ambari版本:2.7.0 HDP版本:3.0.0 HAWQ版本:2.3.05台PC作为工作站: ep-bd01 e ...
- 基于【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ数据仓库——操作系统配置,安装必备软件
注意未经说明,所有本文中所有操作都默认需要作为root用户进行操作. 一.安装zmodem,用于远程上传下载文件,安装gedit,方便重定向到远程windows上编辑文件(通过xlanuch) [ro ...
- CentOS7离线安装Ambari与HDP
安装步骤总体说明 1.安装以前需要先规划服务器,一台主机多台从机.主从需要设置时间同步和免密. 2.建立离线源,因在线安装速度很慢,所以需要建立离线源. 3.在主机上安装Ambari,进入系统后,挂接 ...
- HDP2.4安装(四):ambari安装
ambari是apache基金会的开源项目,它的优势在于巧妙溶合已有的开源软件,提供集群自动化安装.中心化管理.集群监控.报警等功能.据Hortonwork官方资料介绍,不同的HDP版本,对ambar ...
- CentOS-7.2安装Ambari-2.4.2
一,Ambari 是什么? Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目.目前最新的发布版本是 2.4.2. ...
- 【原创】大叔问题定位分享(23)Ambari安装向导点击下一步卡住
ambari安装第一步是输入集群name,点击next时页面卡住不动,如下图: 注意到其中一个接口请求结果异常,http://ambari.server:8080/api/v1/version_def ...
- CentOS-7.2安装Ambari-2.6.1
CentOS-7.2安装Ambari-2.6.1 一.Ambari 是什么? Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目, ...
随机推荐
- js创建数组
var a1 = new Array(); var a2 = new Array(7); var a3 = new Array(100,"0",true); var a4 = ...
- java反射获取类的类名、属性名、属性类型、方法、执行方法、构造函数
public class Demo02 { @SuppressWarnings("all") public static void main(String[] args) thro ...
- springboot之启动原理解析
前言 SpringBoot为我们做的自动配置,确实方便快捷,但是对于新手来说,如果不大懂SpringBoot内部启动原理,以后难免会吃亏.所以这次博主就跟你们一起一步步揭开SpringBoot的神秘面 ...
- mysql 从一个表中查数据,插入另一个表
其实很简单,只是为了忘记,做个记录,用的时候方便. 不管是在网站开发还是在应用程序开发中,我们经常会碰到需要将MySQL或MS SQLServer某个表的数据批量导入到另一个表的情况,甚至有时还需要指 ...
- 执行指定iframe页面的脚本
mark一下,通过jQuery执行指定iframe页面里面的脚本,当前仅知道页面名称. $(window.top.document).find('iframe[src="pagesrc&qu ...
- 使用单进程、strace、gdb调试PHP错误
使用单进程.strace.gdb调试PHP错误 PHP一般是在FPM的呵护下运行的,但是某些情况下进程异常崩溃会导致502.下面是解决思想: 1. 单进程运行: php -d display_erro ...
- 论文阅读 | CrystalBall: A Visual Analytic System for Future Event Discovery and Analysis from Social Media Data
CrystalBall: A Visual Analytic System for Future Event Discovery and Analysis from Social Media Data ...
- hackathon活动复盘
复盘: hackathon技术创新型.理念创新落地型评委的一个评估点:在公司怎么落地的问题5分钟的demonstration,要进行测试,5分钟很快的:表达方式:common language,让人能 ...
- JS 总结
加var与不加var的区别: 简单来说就是加了var是局部变量 不加是全局变量.只有加了var的情况下就能限定该变量的使用范围 这样在别的方法里面也可以命名同样的变量了
- 1. 开篇-springboot环境搭建
最初学习strurs2时,虽然觉得也挺好用的,但也有一些不便的地方:1. 模型绑定必须要在Action中声明对应模型的成员变量:2. Action中对外提供调用的接口必须明确注明:3. 要声明一大堆的 ...