集群重启后启动ambari-server访问Web页面无法启动集群解决 使用ambari部署的集群重新启动后,必须手动重启ambari-server和所有集群主机上的ambari-agent. ambari-server服务器上执行: $ sudo ambari-server start 所有集群节点主机上执行: $ sudo ambari-agent start

通过 Ambari 部署 hadoop 集群 1. 打开 http://192.168.242.181:8080  登陆的用户名/密码是 : admin/admin 2. 点击 “LAUNCH INSTALL WIZARD”,开始创建一个集群 3. 为集群取一个名字 4. 前面我们建了本地的资源库,这里选择 “Use Local Repository”.删除其它的 OS,只留 redhat7 那一行.并且在 Base URL 那一列里填入前面搭建的 web 服务对应的地址. 5. 在 “Targ

手把手教你通过Ambari新建Hadoop集群图解案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 登陆系统之后,会看到Ambari空空如也的欢迎界面,接下来我们就需要介绍如何通过Ambari新建Hadoop集群.关于如何部署Ambari是很简单的,我这里就不啰嗦了,感兴趣的小伙伴可以参考我之前的笔记:离线方式部署Ambari2.6.0.0. 1>.登陆Ambari的界面 2>.点击“Launc Install Wizard”按钮进入新建集群向导 3>.自定义集群名

这是因为格式化namenode之后,namenode节点中VERSION的ClusterID会改变!!! 解决办法: 1.打开namenode节点的hdfs-site.xml文件,查看你的namenode的元数据存储位置和datanode数据存储位置: 2.然后到对应的的目录下找到VERSION文件: 3.打开namenode的VERSION文件,复制其中的ClusterID,粘贴到所有datanode节点VERSION文件的ClusterID后,再次启动集群即可!

通过ambari安装hadoop集群,ZT http://www.cnblogs.com/cenyuhai/p/3295635.html http://www.cnblogs.com/cenyuhai/p/3295644.html 批量设置ssh无密码登陆脚本 http://www.cnblogs.com/cenyuhai/p/3280668.html 使用Ambari快速部署Hadoop大数据环境 http://www.cnblogs.com/scotoma/archive/2012/09/1

准备本地 repository 1. 下载下面的包 wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari.repo wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari-2.7.3.0-centos7.tar.gz wget http://public-repo-1.ho

最近需要做些spark的工作,所以弄了几台dell7500就这么准备开始搭建集群,之前用过几台更破的台式机搭建过一次,折腾了半个月之久,终于成功搭建,这次不想走老路,所以网上查了一下,发现一个神器AMBARI,可以部署.管理集群,果然是个好东西,所以就拿来用,但是在安装的过程中碰到了许许多多的问题,所以现在把安装过程总结一下,放到这里,以方便下次安装或者其他有对ambari感兴趣的同学可以参考之. 安装过程大量查阅了网上的相关资料,主要是https://cwiki.apache.org/conf

准备工作 1. 设置sudo免密码登陆 由于CentOS安装之后,普通用户无sudo权限,故应该设置sudo权限. 参考文章:http://www.cnblogs.com/maybob/p/3298846.html 2. 设置SSH无密码登陆远程主机 参考文章:http://www.cnblogs.com/maybob/p/3298903.html 3. 集群时间同步(Enable NTP on the Cluster and on the Browser Host) The clocks of

之前一直用的开源社区的版本,最近突然想到找一个好的商业版本用着,然后一直使用,然后就定上了hdp和cdh,都装上去了,但是cdh使用难度太大了,和开源版本的差距比较大,api不会使用,需要学它的cdk.hdp和开源版差不多,也是经过了优化了的,也是开源的,有一个管理界面,比社区版要好,这个安装过程废了很大的劲儿才搞成功的,发出来跟大家分享一下. hdp的安装折腾了好久,它的下载地址网址不像CDH那么难找,不过它的设置相对CDH简单很多,一键式安装,而且都是免费的软件. 1.首先要下载它们的安装包

一.平台环境 操作系统:CentOS release 6.5 (Final) Java版本:jdk1.8.0_60 Ambari版本:2.2.1.0 HDP版本:2.4.0 MySQL版本:MySQL-5.6.25-1 用户权限:cent,sudo无密码 主机IP:192.168.234.145 安装包路径:~/packages 二.环境准备1. 增加系统打开文件数和进程数 在每台服务器命令行执行: 2.永久关闭linux swap 执行:cat /proc/sys/vm/swappiness

1. 打开 http://192.168.242.181:8080  登陆的用户名/密码是 : admin/admin 2. 点击 “LAUNCH INSTALL WIZARD”,开始创建一个集群 3. 为集群取一个名字 4. 前面我们建了本地的资源库,这里选择 “Use Local Repository”.删除其它的 OS,只留 redhat7 那一行.并且在 Base URL 那一列里填入前面搭建的 web 服务对应的地址. 5. 在 “Target Hosts” 里填入 hadoop 集群

配置2台机器,发别为ambari01.ambari03.ambari01上部署Ambari-server和Mirror server,另一台机器上部署agent. 一.配置静态IP 运行命令,让配置生效 完成后,测试能否ping通外网 二.配置永久的hostname root用户下执行 $>> /etc/sysconfig/nework 永久生效配置的hostname $>> hostname ambari03 其余三台机进行相同的配置,唯一不同的是主机名 三.为enmoedu用户

转载:http://www.cnblogs.com/cenyuhai/p/3295635.html 整个过程走完,问题不大,不过有一个事情要注意的是就算创建数据库的,使用localhost会报错,要使用集群所在的域名,局部DNS所指定的域名,比如master.example.com 这个问题要注意一下,不过遇到问题了,看日志文件就可以,从日志文件中可以看出大概问题出在什么地方. 之前一直用的开源社区的版本,最近突然想到找一个好的商业版本用着,然后一直使用,然后就定上了hdp和cdh,都装上去了,

使用spark-shell  启动spark集群时的流程简析: spark-shell->spark-submit->spark-class 在sprk-class中根据条件会从不同的入口启动application. 从SparkSubmitDriverBootstrapper启动时 conf/spark-defaults.conf文件必须存在,通过修改SPARK_PRINT_LAUNCH_COMMAND的值可以查看详细的Spark Command SparkSubmitDriverBoots

debug模式启动-支持sa 集群内(pod访问api)使用443加密 no1 no2 安装flanneld kubelet/kube-proxy m1 安装etcd/ api/contruller/scheduler flanneld -etcd-endpoints=http://192.168.x.x:2379 -iface=eth0 -etcd-prefix=/kubernetes/network flanneld -etcd-endpoints=http://192.168.x.x:23

本例使用hortonworks 提供了 ambari 的安装方法,而且还很详细.以下是在 centos7 上的安装步骤. 基础配置: 1. 修改电脑的主机名 hostnamectl set-hostname xxx或者vi /etc/hostname 修改 2. 编辑文件 /etc/sysconfig/network,添加下面的两行 NETWORKING=yes HOSTNAME=xxx 3. 编辑文件 /etc/sysconfig/network-scripts/ifcfg-ens33 (en

java.lang.NumberFormatException: For input string: "7003@17003" at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) at java.lang.Integer.parseInt(Integer.java:580) at java.lang.Integer.valueOf(Integer.java:766) at re

开始安装,输入主机名字,然后选择私钥 注意java_home那里需要改为/usr/jdk64/jdk1.6.0_31,然后点击确认,它会出一个警告提示,别管他就行. 等待安装完毕之后,就会出现成功的提示,下面出现黄字的,查看一下warning,除了有mysql账户的问题之外,别的都要处理掉,否则安装过程会出问题的.搞定了,要再检查一遍! 关闭它,然后进入下一步. 全选吧,都要,然后进入下一步,哈哈! 因为是小集群,所以我就随便弄了,实际上不能这么搞的,然后点下一步. 在HDFS这一页的高级设置里

1. 安装ambari-server yum -y install ambari-server 2. ambari server 需要一个数据库存储元数据,默认使用的 Postgres 数据库.默认的用户名和密码是: ambari/bigdata .但是一般情况下,后面还要安装 hive 和 Ranger,也需要一个存元数据的数据库,所以使用一个mysql 做为数据库.需要为 ambari 创建相应的数据库和用户.安装MySQL及配置 (1) 下载并安装MySQL官方的 Yum Reposito

1.start-all.sh脚本分析 图1 start-all.sh部分内容 我们可以从start-all.sh脚本源文件中看到它其实是start-master.sh和start-slaves.sh两个脚本的组合. 图2 start-master.sh部分内容 由图2可见,start-master.sh最终是通过类org.apache.spark.deploy.master.Master来完成的,待会儿我们分析. 图3 start-slaves.sh部分内容 由图3可见,start-slaves