前置条件 各软件版本:hadoop-2.7.7.hbase-2.1.5 .jdk1.8.0_211.zookeeper-3.4.10.apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz 至少 3 台 Centos 服务器,主机名分别为:hadoop0001.hadoop0002.hadoop0003 这里所有的软件将安装在 hadoop 用户的 /home/hadoop/app 目录下 在每台服务器设置 hosts [hadoop@hadoop0001 ~]$ v…

本文环境例如以下: 操作系统:CentOS 6 32位 ZooKeeper版本号:3.4.8 Storm版本号:1.0.0 JDK版本号:1.8.0_77 32位 python版本号:2.6.6 集群情况:一个主控节点(Master)和两个工作节点(Slave1,Slave2) 1. 搭建Zookeeper集群 安装參考:CentOS下ZooKeeper单机模式.集群模式安装 2. 在Nimbus和worker机器上安装依赖包 Java 6 Python 2.6.6 以上的版本号是官方说已经有測…

菜鸟玩云计算之十八:Hadoop 2.5.0 HA 集群安装第1章 cheungmine, 2014-10-25 0 引言 在生产环境上安装Hadoop高可用集群一直是一个需要极度耐心和体力的细致工作.尽管有很多文档教会大家怎么一步一步去完成这样的工作,但是百密也有一疏.现成的工具不是没有,但是对于我这个喜欢了解细节的人来说,用别人的东西,写的好还可以,写的不好,出了问题,查找错误难之又难.手工安装Hadoop集群需要对Linux有一定的使用经验.对于完全没有接触Linux的人来说,肯定是望而生…

菜鸟玩云计算之十九:Hadoop 2.5.0 HA 集群安装第2章 cheungmine, 2014-10-26 在上一章中,我们准备好了计算机和软件.本章开始部署hadoop 高可用集群. 2 部署Hadoop HA 集群 2.1 节点计算机预处理 2.2 ssh免密码登录 2.3 安装jdk…

Redis Cluster 4.0.9集群搭建步骤:yum install -y gcc g++ gcc-c++ make openssl cd redis-4.0.9 make mkdir -p /usr/local/redis-4.0.9 make install PREFIX=/usr/local/redis-4.0.9 mkdir -p /usr/local/ruby-2.4.0 cd ruby-2.4.0 ./configure -prefix=/usr/local/ruby-2.4.…

1.角色分配 IP Role Hostname 192.168.18.37 Master/NameNode/JobTracker HDP1 192.168.18.35 Slave/DataNode/TaskTracker HDP2 192.168.18.36 Slave/DataNode/TaskTracker HDP3 2. 分别安装JDK mkdir -p /usr/local/setup   #安装JDK  cd /usr/lib tar -xvzf /usr/local/setup/jd…

集群节点数量3 个 192.168.1.170 cdh-master 192.168.1.171 cdh-slave-1 192.168.1.171 cdh-slave-2 一.安装CentOS6.5 (64位)并搭建基本环境,包括: (1)添加sudo 权限 (2)修改主机名.网关.静态IP地址.DNS (3)关闭SELINUX.防火墙 可参考文章 (4)修改系统时区.配置ntp服务(首先可选宿主机器配置ntp server,参考文章) 二.克隆为三台机器,分别修改静态IP 地址.MAC.主机…

一.依赖文件安装 1.1 JDK 参见博文:http://www.cnblogs.com/liugh/p/6623530.html 1.2 Hadoop 参见博文:http://www.cnblogs.com/liugh/p/6624872.html 1.3 Scala 参见博文:http://www.cnblogs.com/liugh/p/6624491.html 二.文件准备 2.1 文件名称 spark-2.1.0-bin-hadoop2.7.tgz 2.2 下载地址 http://spa…

一.依赖文件安装 1.1 JDK 参见博文:http://www.cnblogs.com/liugh/p/6623530.html 1.2 Scala 参见博文:http://www.cnblogs.com/liugh/p/6624491.html 1.3 Zookeeper 参见博文:http://www.cnblogs.com/liugh/p/6671460.html 二.文件准备 2.1 文件名称 kafka_2.11-0.10.2.0.tgz 2.2 下载地址 http://kafka.…

安装环境 序号 项目 值 1 OS版本 Red Hat Enterprise Linux Server release 7.1 (Maipo) 2 内核版本 3.10.0-229.el7.x86_64 3 Redis redis-4.0.1 4 Ruby ruby 2.3.4p301 (2017-03-30 revision 58214) [x86_64-linux] 节点信息规划 本来只准备部署7001-7004 4个实例,但是redis集群提示最少需要3个主节点,6个节点才能完成启动,所以后…