ambari安装hadoop
前言
hadoop除了社区版之外,还有两个主流的分支,一个是cdh版本,一个是hdp版本,其中ambari是hdp版本的部署工具
1.ambari安装准备
https://docs.hortonworks.com/ ambari版块,找到installation
ip | role | os | java |
---|---|---|---|
10.110.92.148 | ambari-master | centos-7.2 | 1.8 |
10.110.92.161 | ambari-agent | centos-7.2 | 1.8 |
10.110.92.162 | ambari-agent | centos-7.2 | 1.8 |
master到agent端的ssh免密通信
master与agent时间同步
iptables off 与selinux off
各node中
/etc/hosts
中ip对hostname的对应[root@10-110-92-148 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.110.92.162 10-110-92-162
10.110.92.161 10-110-92-161
10.110.92.148 10-110-92-148
数据库准备工作
数据库,因为os为centos7.2,所以直接通过yum源安装了mariadb
[root@10-110-92-1648 ~]# yum -y install mariadb-server.x86_64 mariadb-devel.x86_64 mariadb-libs.x86_64
数据库授权
可以后续
ambari-server setup
的时候再依实际情况设置,如果ambari-server setup
未作更改,可以进行以下的授权
MariaDB [(none)]> grant all on ambari.* to ambari@'%' identified by "bigdata";
- mysql驱动安装
[root@10-110-92-148 resources] # yum install mysql-connector-odbc.x86_64 mysql-connector-java.noarch
- 手动链接mysql驱动java库至ambari安装目录(重要)
[root@10-110-92-148 resources]# ln -svnf /usr/share/java/mysql-connector-java.jar /var/lib/ambari-server/resources/mysql-connector-java.jar
如果未出现链接,后续web安装时在agent端可能出现无法安装hive等组件的问题,具体表示为以下类似情况
Failed to download file from http://10-110-92-148:8080/resources/mysql-connector-java.jar due to HTTP error: HTTP Error 404: Not Found
2.本地仓库准备
1.安装文件的下载
ambari中安装组件很多,所以最好先自行下载,完成本地仓库的安装
找到Apache Ambari installation
中Obtaining Public Repositories
下面的Ambari Repositories
,下载其中的Tarball
链接文件,三个均要下载,然后解压
[root@10-110-92-148 ambarirepo]# cd /data/ambarirepo/
[root@10-110-92-148 ambarirepo]# ll
total 8722480
drwxr-xr-x 3 zabbix users 28 Jul 13 07:53 HDP
-rw-r--r-- 1 root root 8841048054 Jul 13 08:15 HDP-3.0.0.0-centos7-rpm.tar.gz
drwxr-xr-x 3 zabbix users 28 Jul 13 16:15 HDP-GPL
-rw-r--r-- 1 root root 162239 Jul 13 16:15 HDP-GPL-3.0.0.0-centos7-gpl.tar.gz
drwxr-xr-x 3 zabbix users 28 Aug 13 18:28 HDP-UTILS
-rw-r--r-- 1 root root 90606616 Aug 13 18:28 HDP-UTILS-1.1.0.22-centos7.tar.gz
2.仓库文件的http访问
安装nginx,然后更改nginx的配置文件,使得其可以通过web访问到文件
server {
listen 80 default_server;
server_name _;
root /data/ambarirepo; ##更改目录
location / {
autoindex on; ##加入此项
}
###下略
}
将/data/ambarirepo/HDP/centos7/3.0.0.0-1634
目录之下的index.html
重命名为index.html.bak
,在web访问http://10.110.92.148/HDP/centos7/3.0.0.0-1634/
可以看到文件与目录列表,即表示ok
3.安装ambari
1.下载ambari repo文件
在Apache Ambari installation
中Installing Ambari
下面Download the Ambari Reposioty
中
比如本文中的为2.7.1,repo链接为
[root@10-110-92-148 ~]# wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.1.0/ambari.repo -O /etc/yum.repos.d/ambari.repo
2.安装ambari并启动
[root@10-110-92-148 ~]# yum install ambari-server
[root@10-110-92-148 ~]# ambari set-up
3.ambari-setup设定
设定mysql使用,java环境等,自行选择java环境时,需要指定java环境路径
设定完成之后,初始化ambari数据库
MariaDB [(none)]> create database ambari;
MariaDB [(none)]> use ambari;
MariaDB [(none)]> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
4.启动ambari
[root@10-110-92-148 ~]# ambari-server setup
4.ambari web安装
访问master的web端
http://10.110.92.148:8080
默认用户密码为admin/adminlaunch cluster,取一cluster名称
get started中,添加agent三个主机的hostname,并非ip,然后将master的私钥文件导入,即
id_rsa
,并非id_rsa.pub
文件选择使用本地仓库,将刚才nginx可访问的文件链接依次贴入,本文例
hdp http://10.110.92.148/HDP/centos7/3.0.0.0-1634/ gpl http://10.110.92.148/HDP-GPL/centos7/3.0.0.0-1634/ utils http://10.110.92.148/HDP-UTILS/centos7/1.1.0.22/ 选择下一步,选择自行安装的组件
密码统一设定即可,需要大于8位,同时为字母数字组合,部分密码需要那样的格式
将namenode的jvm调整至4G大小
确保在custionzie services无提醒
ambari安装hadoop的更多相关文章
- 通过ambari安装hadoop集群,ZT
通过ambari安装hadoop集群,ZT http://www.cnblogs.com/cenyuhai/p/3295635.html http://www.cnblogs.com/cenyuhai ...
- 通过ambari安装hadoop集群(一)
之前一直用的开源社区的版本,最近突然想到找一个好的商业版本用着,然后一直使用,然后就定上了hdp和cdh,都装上去了,但是cdh使用难度太大了,和开源版本的差距比较大,api不会使用,需要学它的cdk ...
- 通过ambari安装hadoop集群
转载:http://www.cnblogs.com/cenyuhai/p/3295635.html 整个过程走完,问题不大,不过有一个事情要注意的是就算创建数据库的,使用localhost会报错,要使 ...
- Ambari安装Hadoop集群
* System Environment:centOS6.7 1.Prepare the Environment 1)Set Up Password-less SSH : (Generate publ ...
- 使用Ambari安装hadoop集群
最近需要做些spark的工作,所以弄了几台dell7500就这么准备开始搭建集群,之前用过几台更破的台式机搭建过一次,折腾了半个月之久,终于成功搭建,这次不想走老路,所以网上查了一下,发现一个神器AM ...
- 通过ambari安装hadoop集群(二)
开始安装,输入主机名字,然后选择私钥 注意java_home那里需要改为/usr/jdk64/jdk1.6.0_31,然后点击确认,它会出一个警告提示,别管他就行. 等待安装完毕之后,就会出现成功的提 ...
- [转]清理ambari安装的hadoop集群
本文针对redhat或者centos 对于测试集群,如果通过ambari安装Hadoop集群后,想重新再来一次的话,需要清理集群. 对于安装了很多hadoop组件的话,这个工作很繁琐.接下来是我整理的 ...
- 安装Hadoop集群的最快的软件
Quick Hadoop是一款安装Hadoop集群的桌面软件,只需要点两下鼠标,一分钟之内安装Hadoop到集群上,超快! 还在每台主机的Shell里一行一行地敲安装Hadoop的命令?别苦逼了! 用 ...
- CentOS7 搭建Ambari-Server,安装Hadoop集群(一)
2017-07-05:修正几处拼写错误,之前没发现,抱歉! 第一次在cnblogs上发表文章,效果肯定不会好,希望各位多包涵. 编写这个文档的背景是月中的时候,部门老大希望我们能够抽时间学习一下Had ...
随机推荐
- golang接口
接口是方法的集合,接口不需要考虑类型的属性是否一致,只需要考虑类型是否实现了接口的方法. 比如接口不需要考虑例二中的类型student和employee的属性,都可以传入接口,只需要他们实现了接口中的 ...
- nyoj 471:好多的树(容斥原理)
题目链接: http://acm.nyist.net/JudgeOnline/problem.php?pid=471 还是直接上代码.. #include<bits/stdc++.h> u ...
- [USACO10FEB] 吃巧克力Chocolate Eating (二分答案)
题目链接 Solution 先直接二分答案,然后贪心判断,一旦少于答案就吃一块. 思路很简单,有一点细节. 一天内可以不吃巧克力. 注意处理最后时没吃完的全部在最后一天吃完. Code #includ ...
- FS,FT,DFS,DTFT,DFT,FFT的联系和区别 数字信号处理
DCT变换的原理及算法 文库介绍 对于初学数字信号处理(DSP)的人来说,这几种变换是最为头疼的,它们是数字信号处理的理论基础,贯穿整个信号的处理. 学习过<高等数学>和<信号与系统 ...
- paper 159:文章解读:From Facial Parts Responses to Face Detection: A Deep Learning Approach--2015ICCV
文章链接:https://arxiv.org/pdf/1509.06451.pdf 1.关于人脸检测的一些小小总结(Face Detection by Literature) (1)Multi-vie ...
- Appium运行报错:No Chromedriver found that can automate Chrome '39.0.0'
运行appium切换webview时候遇到报错:’No Chromedriver found that can automate Chrome 'xx.xx.xx' 此报错是因为Appium在运行过程 ...
- CSS基础知识复习
1. CSS优先级 标签内部属性 style定义的CSS > 文档内定义的css > 引用外部CSS文件 2. CSS选择器类型 . 标签选择器 . 类选择器(使用.做标识) . ID选择 ...
- python练习题自己实现一个字符串的find函数
# 第五题:自己实现一个字符串的find函数 # 1.在一个字符串中查找另一个字符串 # 2.找到了返回第一次出现的位置 # 3.没找到返回-1 # 4.参数s1为源字符串,参数s2为要查找的字符串 ...
- 建站手册-浏览器信息:Google Chrome 浏览器
ylbtech-建站手册-浏览器信息:Google Chrome 浏览器 1.返回顶部 1. http://www.w3school.com.cn/browsers/browsers_chrome.a ...
- Linux vsftpd服务配置以及三种验证方式以及常见错误解决办法
文件传输协议(FTP): 文件传输协议(FTP,File Transfer Protocol),即能够让用户在互联网中上传.下载文件的文件协议,而FTP服务器就是支持FTP传输协议的主机,要想完成文件 ...