不多说,直接上干货!

写在前面的话

  (1) 最近一段时间,因担任我团队实验室的大数据环境集群真实物理机器工作,至此,本人秉持负责、认真和细心的态度,先分别在虚拟机上模拟搭建ambari(基于CentOS6.5版本)和cloudermanager(基于CentOS6.5或Ubuntu14.04版本)。

  (2)  大数据集群范围包括3节点和4节点。本人都尝试过。

  (3)  安装搭建包括离线和在线。本人都尝试过

  (4)  版本包括自定义指定和官方最新版本搭建。本人都尝试过。

  (5) 大数据集群节点的增加和删减。本人都尝试过。

  (6) 虚拟机和真实物理机上搭建。本人都尝试过。

关于在真实物理机器上用cloudermanger或ambari搭建大数据集群注意事项总结、经验和感悟心得(图文详解)

  我的机器情况是

  nssa-sensor1 (192.168.30.1)      (既做ambari-server,也做ambari-agent)

  nssa-sensor2 (192.168.30.2)      (只做ambari-agent)

  nssa-sensor3 (192.168.30.3)      (只做ambari-agent)

  nssa-sensor4 (192.168.30.4)      (只做ambari-agent)

  我这里是,参考

CentOS6.5下Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

第一步: 关于Ubuntu14.04下安装Ambari的准备

  这里,与CentOS6.5下相同,我这里不多说

Ambari安装之Ambari安装前准备(CentOS6.5)(一)

  大家,自行去安装,凡是能来看我这篇博客的朋友,想必肯定是有一定的基础了。

第二步:关于ubuntu14.04下部署本地库,镜像服务器

   这里,大家可以参考如下。

Ambari安装之部署本地库(镜像服务器)(二)

   我这里,考虑到ubuntu14.04,所以
 

  进行,下载好

 
 
  得到

 

  得到

  参考官网

https://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.0/bk_Installing_HDP_AMB/content/_getting_started_setting_up_a_local_repository.html

  以及,这第二步里,要注意的是,

  centos系统里,是

sudo yum install yum-utils createrepo 

  

  ubuntu系统里,是

sudo apt-get  install yum-utils createrepo 

  

  centos系统里,是

sudo yum install httpd

  ubuntu系统里,是

sudo apt-get install httpd

  

  然后,
  部署,跟上述博客一样,放在/var/www/html下。我这里不多赘述。

      或者放在//usr/local/apache/htdocs下,都是可以的。

  参考我下面的博客,

Ubuntu14.04下编译安装或apt-get方式安装搭建Apache或Httpd服务(图文详解)

  总结:就是,这里我们自定义构建局域网源,一种是放在/var/www/html下,一种是放在/usr/local/apache/htdocs下。都是可以的

  最后,我将截图如下

  /usr/loca/apache/htdocs

  /var/www/html

  然后,大家,可以将官方的,改成自己本地局域创建的本地源。用来安装ambari。

sudo wget http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0/ambari.list

  

  这是官网的。里面的内容如下

#VERSION_NUMBER=2.2.1.0-
deb http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0 Ambari main

  我们要改成自己的。

#VERSION_NUMBER=2.2.1.0-
deb http://192.168.30.1/hdp2.4/ubuntu14

  或者

#VERSION_NUMBER=2.2.1.0-
deb http://192.168.30.1/hdp2.4/ubuntu14  Ambari main

  贴图如下

  即,是如下。说明自定义局域网搭建的本地源,成功!

  这里是,官网

  我这里,是采取离线方式的安装,即先下载好,再来安装。

   若大家,想在线安装的话,自行结合官网,然后和这篇博客来吧

       ubuntu14.04安装ambari

  在ubuntu14.04上使用ambari搭建hadoop集群

 

  

第三步:Ubuntu14.04下,安装并配置Ambaro-server

   这里,可以参考

Ambari安装之安装并配置Ambari-server(三)

  注意这里,用到的源还是官网的

  sudo vim /etc/apt/sources.list.d
#VERSION_NUMBER=2.2.1.0-
deb http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0 Ambari main

sudo   apt-get install ambari-server

  正在安装中....

  至此,ambari-server安装完成!

  

  

  接下来,就是对ambari-server进行设置

  

  这是我的jdk安装路径

  这里为什么要回车,因为提示必须安装MySQL JDBC,回车结束ambari配置。

  怎么来解决呢?需要将Ambari数据库脚本导入到数据库。

  用Ambari用户(上面设置的用户)登录mysql

  我是这么先设置好的

mysql> create database ambari DEFAULT CHARACTER SET utf8;
Ignoring query to other database
mysql> grant all on ambari.* TO 'hive'@'localhost' IDENTIFIED BY 'ambari_password';
Ignoring query to other database
mysql> grant all on *.* TO 'ambari'@'nssa-sensor1' IDENTIFIED BY 'ambari_password';
Ignoring query to other database
mysql> grant all on ambari.* TO 'ambari'@'%' IDENTIFIED BY 'ambari_password';
Ignoring query to other database
mysql> flush privileges;
mysql> exit;

  或者

mysql> create database ambari DEFAULT CHARACTER SET utf8;
Ignoring query to other database Ignoring query to other database
mysql> grant all on *.* TO 'ambari'@'nssa-sensor1' IDENTIFIED BY 'ambari_password'; mysql> flush privileges;
mysql> exit;

  

  然后,将Ambari数据库脚本导入到数据库

mysql -uambari -pambari_password -hnssa-sensor1
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

  注意:这里密码和主机名,要根据你自己的机器去做。

  至此,ambari-server的安装和设置都做完成了。

  接下来,就是启动ambari-server了。

sudo  service ambari-server   status

sudo  service ambari-server   start

第四步:  搭建单节点集群

  这里,可以参考

Ambari安装之部署单节点集群

  这里,单节点的安装,我就不多赘述了。因为,我这里是搭建的真实物理机器,4台。

第五步:  搭建3或4节点集群

  这里,可以参考

Ambari安装之部署3个节点的HA分布式集群

  在这一步,安装过程中,大家也许会出现问题。

  大家,可以去看我的博客

Ambari安装之部署单节点集群

  里面有讲到如何去解决

  

  同时,我这里,还遇到一个问题。在安装的过程中,没有权限去读取/var/lib/ambari-agent的data目录,这个很好解决,去放开权限,等安装完成后,改回755就是了。

  我这里,是所有的组件,我都全部安装了。

  这里大家,要去对hive、oozie设置下

mysql> create database hive DEFAULT CHARACTER SET utf8;

mysql> grant all on *.* TO 'hive'@'nssa-sensor1' IDENTIFIED BY 'hive_password';

mysql> flush privileges;
mysql> exit;
mysql> create database oozie DEFAULT CHARACTER SET utf8;

mysql> grant all on *.* TO 'oozie'@'nssa-sensor1' IDENTIFIED BY 'oozie_password';

mysql> flush privileges;
mysql> exit;

  其实啊,这些步骤,大家完全可以去看的这篇博客

Ambari安装之部署3个节点的HA分布式集群

  这些都是浏览信息,大家看看就好

 

  在这一步分发过程中,非常重要。大家会根据自己的网速和安装,会出现一些问题。

  大家,可以去看这篇博客

安装ambari的时候遇到的ambari和hadoop问题集

ambari-server启动出现Caused by: java.lang.RuntimeException:java.lang.ClassNotFoundEception:com.mysql.jdbc.Driver问题解决办法(图文详解)

ambari-server启动出现ERROR main] DBAccessorImpl:106 - Error while creating database accessor java.lang.ClassNotFoundException:com.mysql.jdbc.Driver问题解决办法(图文详解)

  当然,我这里作为补充

  其实,这样的,如oozie client insatll 或者 hadoop client install 或者 zookeeper  client install安装失败的原因。

   归结为就是第一次安装时,网速不稳定,导致,大家在反复安装,造成了软连接死锁的问题。

  这个问题的解决,其实很简单。

  第一:大家可以去看这篇博客

安装ambari的时候遇到的ambari和hadoop问题集

  这是一种解决方案的思路。

  第二:也是我自己摸索出来的

  我这里,是nssa-sensor2这台机器,已经安装好了,而其他的nssa-sensor1、nssa-sensor3和nssa-sensor4机器出现了上述问题。

  这样,大家,就把这台已经正常安装好了的机器的对应目录(哪个组件出错了),拷贝过去就行了。

  具体见我下面的贴图。

   这是/etc/zookeeper/2.4.0.0-169/0目录结构

 

   这是/usr/hdp/2.4.0.0-169/zookeeper目录结构

 

   这是/usr/hdp/2.4.0.0-169/zookeeper目录结构

 

   这是/usr/hdp/current/oozie-client目录结构

 

   这是/usr/hdp/current/oozie-server的目录结构

 

  至此,上述问题得以解决。

  然后,大家还会出现,这个在oozie安装的过程中,会出现mysql-connect-java的jar包放置问题。

  这里,大家,可以去看我下面写的博客

Oozie安装时放置Mysql驱动包的总结(网上最全)

  同时,要注意,/usr/share/java目录结构,是如下(大家也可以使用我刚说的技巧,就是已经成功了的机器,将其ooize的目录结构和这个/usr/share/java拷贝过来就可以了)(别说自己没U盘,我这里是在真实物理机器上搭建的,我都可以拷贝做到,或者你也可以使用scp -r命令)

  关于更多详情和疑问,见我写的博客

http://www.cnblogs.com/zlslch/category/916378.html

参考

ubuntu14.04安装ambari

在ubuntu14.04上使用ambari搭建hadoop集群

欢迎大家,加入我的微信公众号:大数据躺过的坑        人工智能躺过的坑
 
 
 

同时,大家可以关注我的个人博客

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   详情请见:http://www.cnblogs.com/zlslch/p/7473861.html

  人生苦短,我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网。
  目前研究领域:大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及:Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里,每天必须有收获

对应本平台的讨论和答疑QQ群:大数据和人工智能躺过的坑(总群)(161156071) 

Ubuntu14.04下Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)的更多相关文章

  1. Ubuntu14.04下Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)(在线或离线)

    第一步: Cloudera Manager安装之Cloudera Manager安装前准备(Ubuntu14.04)(一) 第二步: Cloudera Manager安装之时间服务器和时间客户端(Ub ...

  2. CentOS6.5下Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

    第一步: Ambari安装之Ambari安装前准备(CentOS6.5)(一) 第二步: Ambari安装之部署本地库(镜像服务器)(二) 第三步: Ambari安装之安装并配置Ambari-serv ...

  3. CentOS6.5下Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

     不多说,直接上干货! 第一步: Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一) 第二步: Cloudera Manager安装之时间服务 ...

  4. Ubuntu14.04下完美安装cloudermanage多种方式(图文详解)(博主推荐)

    说在前面的话 我的机器是总共4台,分别为ubuntucmbigdata1.ubuntucmbigdata2.ubuntucmbigdata3和ubuntucmbigdata4. ClouderaMan ...

  5. ubuntu14.04下编译安装ambari-2.4.2.0

    ubuntu14.04下编译安装ambari-2.4.2.0 编译前的准备工作 准备工作有: 系统参数 系统依赖(编译环境) 离线安装包 java环境 maven环境 Nodejs环境 git环境 a ...

  6. ubuntu14.04下手动安装eclipse

    ubuntu14.04下手动安装eclipse 第一步: 安装jdk 第二步: 下载eclipse,假设下载的文件文件名为eclipse.tar.gz 第三步: 解压 sudo -zxvf ./ecl ...

  7. ubuntu14.04 下手动安装java jdk

    ubuntu14.04 下手动安装java jdk 第一步: 下载jdk.tar.gz (这里假设下载的文件名为jdk.tar.gz) 第二步: 解压 sudo tar -zxvf ./jdk.tar ...

  8. ubuntu14.04下手动安装JDK + eclipse + Pydev

    说明:本文在root用户下进行,如不是root用户命令前加sodu 一.手动安装JDK 1.下载JDK 从官网http://www.oracle.com/technetwork/java/javase ...

  9. docker在ubuntu14.04下的安装笔记

    本文主要是参考官网教程进行ubuntu14.04的安装. 下面是我的安装笔记. 笔记原件完整下载: 链接: https://pan.baidu.com/s/1dEPQ8mP 密码: gq2p

随机推荐

  1. python int函数转换浮点型字符串的坑???

    python中的int函数可以将数字或字符串转换为整型数字类型,具体功能就不提了 最近发现一个问题,对于字符串'1.1'之类的,int转换的时候会报异常,这是为什么,个人感觉直接转换成1不就行了,干嘛 ...

  2. java并发编程实战:第十二章---并发程序的测试

    并发程序中潜在错误的发生并不具有确定性,而是随机的. 安全性测试:通常会采用测试不变性条件的形式,即判断某个类的行为是否与其规范保持一致 活跃性测试:进展测试和无进展测试两方面,这些都是很难量化的(性 ...

  3. 深海划水队项目----七天冲刺之day3

    上完选修后的站立式会议: 工作进度 昨天已完成的工作: 推进开发进度,进一步理清开发思路. 今天计划完成的工作: 生成游戏块的类,其中包括7种不同的游戏块,每个游戏块又可以通过旋转得到另外一种形态. ...

  4. python面试题之如何计算一个字符串的长度

    在我们想计算长度的字符串上调用函数len()即可 >>> len('hhhhhhhhjg') 10 所属网站分类: 面试经典 > python 作者:外星人入侵 链接:http ...

  5. 创建TFS团队项目时自动建立代码库的文件夹结构

    很多客户都跟我提过一个这样的需求,即需要在创建团队TFS项目时,自动创建起源代码库的文档结构,例如类似下列结构的文件夹: <teamProject>   |- DEVELOPMENT   ...

  6. ie11下ajax用escape发送中文参数失败

    一个项目中,登录请求是ajax,get模式.登录名无中文可以正常登录:登录名是中文则偶尔可以登录,大部分情况下无法登录,ajax请求无法发送成功. 登录名是用js的escape函数转码. 经过多次测试 ...

  7. ASP.NET Core IdentityServer4 新手上路

    OAuth2.0资料 今天看到一篇博主写了该系列文章,贴图和过程都比较详细,俗话说实践是检验真理的唯一标准(如果是按照参考文章复制粘贴,应该不会出现踩坑,但是我喜欢自己手动敲一遍),发现几个坑,因而总 ...

  8. netcore中使用bower还原出错的解决方法

    近期BitAdminCore框架在创建时,还原bower包出现502错 打开地址,发现原为是因为bower服务调整导致的. 果断处理: 1.通过管理员模式,启动命令行 2.进入npm所在目录 3.执行 ...

  9. SharePoint Adventures : Using Claims with Reporting Services

    Cannot convert claims identity to a windows token.  This may be due to user not logging in using win ...

  10. 「BZOJ4318」OSU!

    题目链接 戳我 \(Solution\) 我们考虑每增加一个\(1\)会对答案有什么影响: \[E((x+1)^3)-E(x^3)=E(3x^2+3x+1)=3E(x^2)+3E(x)+1\] 所以我 ...