ambari快速安装hadoop
资源下载http://www.cnblogs.com/bfmq/p/6027202.html
大家都知道hadoop包含很多的组件，虽然很多都是下载后解压简单配置下就可以用的，但是还是耐不住我是一个懒癌晚期患者，最重要的是，没有页面，不够酷炫啊，不酷炫怎么装X？so，apache官方也是很体谅我们这些装X达人，并且提供了一个十分简单的安装hadoop的工具，叫做ambari，官方出品必属精品，那么我们就拿来用吧。
ambari可以让你快速部署一套hadoop环境，不论你是要测试练习还是生产使用都ok，官网http://ambari.apache.org/。
ambari自身是一个分布式架构，主要由两部分组成：Ambari Server 和 Ambari Agent；显而易见由server控制agent来安装对应软件就好了，不过有一个更好的好处就是连安装agent都可以由server来指定自动安装，实在是杀人越货必备良药啊。
所有机器之间的ssh免密认证，这个大家自己做下
[root@linux-node1 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
:: localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.56.11 linux-node1.example.com www.a.com linux-node1
192.168.56.12 linux-node2.example.com linux-node2
192.168.56.13 linux-node3.example.com linux-node3
[root@linux-node1 ~]# ssh 192.168.56.11
Last login: Wed Jan :: from 192.168.56.1
[root@linux-node1 ~]# logout
Connection to 192.168.56.11 closed.
[root@linux-node1 ~]# ssh 192.168.56.12
Last login: Wed Jan :: from 192.168.56.13
[root@linux-node2 ~]# logout
Connection to 192.168.56.12 closed.
[root@linux-node1 ~]# ssh 192.168.56.13
Last login: Wed Jan :: from 192.168.56.13
[root@linux-node3 ~]# logout
Connection to 192.168.56.13 closed.
所有机器安装jdk，为了方便就安装自带的openjdk，生产环境要换成自己的jdk并设置环境变量哦
[root@linux-node1 ~]# yum install java-1.8.-openjdk -y
[root@linux-node3 ~]# java -version
openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK -Bit Server VM (build 25.161-b14, mixed mode)
选择一台主机作为server端并安装，这里我萌用192.168.56.11，上吧！皮卡丘！
[root@linux-node1 yum.repos.d]# cd /etc/yum.repos.d/
[root@linux-node1 yum.repos.d]# vim ambari.repo
[root@linux-node1 yum.repos.d]# cat ambari.repo
[Updates-ambari-2.2.0.0]
name=ambari-2.2.0.0 - Updates
baseurl=http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.0.0
gpgcheck=
enabled=
[root@linux-node1 yum.repos.d]# yum install -y ambari-server # 安装时间稍长请耐心等待，这个包有400M，姆Q
[root@linux-node1 ~]# ambari-server setup # 开始安装
Using python /usr/bin/python2
Setup ambari-server
Checking SELinux... # 检测SELinux状态
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? # 是否自定义用户，不需要
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Redirecting to /bin/systemctl status iptables.service Checking JDK...
[] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files
[] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files
[] Custom JDK
==============================================================================
Enter choice (): # 选择jdk版本，这里我们选3使用自己的jdk，不然他回去下载jdk很慢
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/lib/jvm/java-1.8.-openjdk-1.8.0.161-.b14.el7_4.x86_64/jre/ # 我们选择的jdk位置，openjdk在/usr/lib/jvm/下，你要找你的版本然后这么填写就可以了
Validating JDK on Ambari Server...done.
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? # 是否打开高级的数据库配置
Configuring database...
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Running initdb: This may take upto a minute.
Initializing database ... OK About to start PostgreSQL
Configuring local database...
Connecting to local database...done.
Configuring PostgreSQL...
Restarting PostgreSQL
Extracting system views...
ambari-admin-2.2.0.0..jar
......
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.
所以其实我们有在jdk的选择那里需要配置下，剩下的都使用默认就可以了，现在我们可以启动他了
所以其实我们有在jdk的选择那里需要配置下，剩下的都使用默认就可以了，现在我们可以启动他了
[root@linux-node1 ~]# ambari-server start
Using python /usr/bin/python2
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
WARNING: setpgid(, ) failed - [Errno ] Permission denied
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start....................
Ambari Server 'start' completed successfully.
[root@linux-node1 ~]# ss -tln
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN ::: :::*
LISTEN ::: :::* # 这里，如果没有请等待一会
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
看到了8080端口，有经验的小伙伴已经感觉到了，又到了我们去页面上装X的时刻了！默认账号密码都是admin
给新集群起一个名字
默认使用最新版本的Stack
集群内受操作的主机列表，需要主机名并可以解析，还有你server端私钥，如果不是root用户也需要更改
它会在受控机器上安装agent包，之后我们也可以在这两个页面来增加删除集群机器
这时候已经没有问题了，但是可以看看他的警告信息，他说我得ntp没开，因为7的系统使用chronyd，还有他说我的服务器上有一些不应该安装的包是因为我的机器还测试了很多其他东西，如果是一个很干净的机器就不会有这个警告，但是不重要都可以忽略，因为我们只是测试
选择你要安装的组件，有很多，我选几个基本的
选择各个组件安装的所处机器，这个就是分的比较精细了，生产环境要好好规划哦
一个总结表
一些设置，这里要注意，有一些组件是需要你设置帐号密码的，这个你得给人家都填写了才能继续，当然，填写的帐号密码你得记下，别闹
再次验证下
开始安装，你可以看到安装进度
经过一个相当长的时间与无数次的失败后重试，因为要连国外的源，我萌终于成功了
任务结果汇总，有一个警告，没关系
然后就出现了总控制台，逼格满满
从这里可以回退到总页面上
然后可以对平台进行总设置，新加一些用户设定一些权限
三台机器出现对应服务的端口号
[root@linux-node1 ~]# ss -tln
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN *: *:*
LISTEN 192.168.56.11: *:*
LISTEN 192.168.56.11: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN 127.0.0.1: *:*
LISTEN *: *:*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.11: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.11: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.11: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
[root@linux-node2 ~]# ss -tln
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN 127.0.0.1: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN 192.168.56.12: *:*
LISTEN *: *:*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.12: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.12: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
[root@linux-node3 rpm]# ss -tln
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN *: *:*
LISTEN 127.0.0.1: *:*
LISTEN *: *:*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.13: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.13: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::: :::*
LISTEN ::ffff:192.168.56.13: :::*
LISTEN ::: :::*
最后还有一个小Bug，那就是如果你是直接yum没有ambari.repo文件在ssh的时候是验证通不过的哦，所以你需要在server端的/etc/yum.repos.d/下有一个ambari.repo
ambari快速安装hadoop的更多相关文章
- 使用Ambari快速部署Hadoop大数据环境
使用Ambari快速部署Hadoop大数据环境 发布于2013-5-24 前言 做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文着重来讲解下Amb ...
- ambari 快速安装部署
OS:Linux CPU消耗大,要准备5G以上,不然集群启动不了(我自己给它配了8G,启动整个集群是没问题,要用的话估计不够) 一.准备工作: 1.关闭防火墙:sudo ufw disable/ 2. ...
- 通过ambari安装hadoop集群,ZT
通过ambari安装hadoop集群,ZT http://www.cnblogs.com/cenyuhai/p/3295635.html http://www.cnblogs.com/cenyuhai ...
- 利用Ambari平台安装与部署Hadoop
* 本篇是利用Ambari平台安装与部署Hadoop,如果需要原生部署Hadoop,请点击以下地址: https://www.cnblogs.com/live41/p/15467263.html 一. ...
- ambari安装hadoop
前言 hadoop除了社区版之外,还有两个主流的分支,一个是cdh版本,一个是hdp版本,其中ambari是hdp版本的部署工具 1.ambari安装准备 https://docs.hortonwor ...
- 快速搭建Hadoop及HBase分布式环境
本文旨在快速搭建一套Hadoop及HBase的分布式环境,自己测试玩玩的话ok,如果真的要搭一套集群建议还是参考下ambari吧,目前正在摸索该项目中.下面先来看看怎么快速搭建一套分布式环境. 准备 ...
- Hortonworks，快速上手 Hadoop 的套件
最近我在思考的一件事情:如何帮助团队 SQL 开发快速掌握大数据相关技术呢?面对疯狂暴涨的数据,SQL Server 存储成本越来越高了,日志的增长量也极大超过预期,隔三差五总有空间不足导致的应用异常 ...
- 从零开始安装Hadoop视频教程
从零开始安装Hadoop视频教程 Hadoop 是一个能够对大量数据进行分布式处理的软件框架,用这种技术使得普通的PC服务器甚至一些近过时的服务器也能够发挥余热,组成大型集群系统,由于它的可伸缩性能够 ...
- 安装Hadoop集群的最快的软件
Quick Hadoop是一款安装Hadoop集群的桌面软件,只需要点两下鼠标,一分钟之内安装Hadoop到集群上,超快! 还在每台主机的Shell里一行一行地敲安装Hadoop的命令?别苦逼了! 用 ...
随机推荐
- iptables简易使用教程
iptables是linux里比较常用的防火墙,也是centos7.0之前的版本默认自带的防火墙. 配置防火墙需特别注意一件事情:如果服务器在异地机房,需要谨慎配置端口,以免造成新配置生效后无法远程登 ...
- BillBoardView自己定义控件广告板轮播
BillBoardView自己定义控件广告板轮播 GitHub地址 compile 'com.march.billboardview:billboardview:2.0.6-beta4' BillBo ...
- ASP.NET动态网站制作（5）-- 标签语义化及知识补充
前言:这节课主要是讲标签语义化及一些知识点的补充 内容:参考老师的博文:http://www.cnblogs.com/ruanmou/p/4821894.html
- Mac 下 Git 的基础命令行操作
Mac 下 Git 的基础命令行操作 sudo apt-get install git-core //安装Git 用户配置 git config --global user.name "Yo ...
- 【BZOJ4569】[Scoi2016]萌萌哒 倍增+并查集
[BZOJ4569][Scoi2016]萌萌哒 Description 一个长度为n的大数,用S1S2S3...Sn表示,其中Si表示数的第i位,S1是数的最高位,告诉你一些限制条件,每个条件表示为四 ...
- EasyNVR RTSP转RTMP-HLS流媒体服务器前端构建之：内部搜索功能的实现
上一篇介绍了处理接口获取的数据,本篇将介绍如何在接收到的数据中搜索出自己符合条件的数据: 为了页面的美观,我们往往会以分页的形式来进行数据的展示.但是,当需要展示出来的数据太多的时候,我们很难迅速的找 ...
- POJ3984 迷宫问题【水BFS】
版权声明:本文为博主原创文章,未经博主同意不得转载. https://blog.csdn.net/u011775691/article/details/28050277 #include <cs ...
- 链表的C++实现
有的时候,处于内存中的数据并非连续的.那么这时候.我们就须要在数据结构中加入一个属性.这个属性会记录以下一个数据的地址.有了这个地址之后.全部的数据就像一条链子一样串起来了,那么这个地址属性就起到 ...
- 负载均衡，会话保持，session同步(转)
一,什么负载均衡一个新网站是不要做负载均衡的,因为访问量不大,流量也不大,所以没有必要搞这些东西.但是随着网站访问量和流量的快速增长,单台服务器受自身硬件条件的限制,很难承受这么大的访问量.在这种情况 ...
- spring-boot2代码
App.java package com.kfit; import org.springframework.boot.SpringApplication; import org.springframe ...