网上查看了很多人关于hadoop,zookeeper的文章,大多都把关闭防火墙作为首要前提,个人觉得这大可不必. 首先你需要知道你部署的是什么东西,它需要哪些端口即可.把相关端口打开就可以了啊.然后把相关配置文件同步到其他服务器,其实这一步很容易的啊,为什么一定要关闭防火墙呢. 就拿zookeeper来说,其实它只需要3个端口,那你添加该3个端口进防火墙配置就可以了嘛. 个人以为防火墙开着更,避免其他为知应用与外联系,即使你的系统被安装了未知应用,由于有防火墙的存在,外面也是无法联进来的.…
1.Zookeeper的安装部署 7.1 Zookeeper工作机制 7.1.1.Zookeeper集群角色 Zookeeper集群的角色:  Leader 和  follower (Observer) zk集群最好配成奇数个节点 只要集群中有半数以上节点存活,集群就能提供服务 7.2 Zookeeper部署 7.2.1 机器准备 1/ 安装到3台虚拟机上,准备的三台服务器地址是: C:\Windows\System32\drivers\etc\hosts中配置的内容如下: 192.168.10…
实验名称:Hadoop安装部署 一.实验环境: 虚拟机数量:3个 (1个master,2个slave:slave01,slave02) 主节点master信息: 操作系统:CentOS7.5 软件包位置:/home/zkpk/tgz 数据包位置:/home/zkpk/experiment 已安装软件:无 从节点slave01信息: 操作系统:CentOS7.5 软件包位置:/home/zkpk/tgz 数据包位置:/home/zkpk/experiment 已安装软件:无 从节点slave02信…
网上类似的文章很多,本文只是记录下来备忘.本文分四大步骤: 准备工作.安装zookeeper.安装hadoop.安装hbase,下面分别详细介绍: 一 准备工作 1. 下载 zookeeper.hadoop.hbase三个压缩包并放入/home/servers目录并解压 2. 安装JDK (略) 3. 统一集群计算机名 本次用于测试一共5台,分别命名为release-master,slave1,slave2,slave3,slave4(可使用hostname slave1类似的命令临时修改) 4…
一:准备Linux环境[安装略]        a.修改主机名                vim /etc/sysconfig/network                NETWORKING=yes                HOSTNAME=kevin1         b.修改IP(通过修改配置文件)                 vim /etc/sysconfig/network-scripts/ifcfg-eth0                             …
Hadoop伪分布式搭建 1.准备Linux环境 ①开启网络,ifconfig指令查看ip ②修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop ③修改主机名和IP的映射关系 vim /etc/hosts 192.168.182.128 hadoop ④关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #关闭防…
在上篇博客中简单介绍了Zookeeper的特点和应用场景,详情可参考:<Zookeeper简介(一)>,那么这篇博客我们介绍一下关于Zookeeper的单机模式安装步骤与配置. 环境准备 (1)操作系统 笔者的操作环境基于CentOS系统来进行操作,Linux环境是在VMware Workstation中搭建的虚拟机系统. (2)Java环境 Zookeeper是在Java运行环境下运行,确保在JDK1.6及以上版本,笔者使用JDK1.7. JDK安装 由于笔者完全从一个新的虚拟机开始搭建环境…
1. 解压安装 1.1 解压Zookeeper安装包到/opt/module/目录下 tar -zxvf /opt/software/apache-zookeeper-3.6.2-bin.tar.gz  -C /opt/module/并重命名为 zookeeper 2.配置服务器编号 2.1 在/opt/module/zookeeper/这个目录下创建zkData mkdir -p zkData 2.2 在zkData目录下创建一个myid的文件 vim myid在文件中添加与server对应的…
Hadoop安装部署基本步骤: 1.安装jdk,配置环境变量. jdk可以去网上自行下载,环境变量如下: 编辑  vim  /etc/profile 文件,添加如下内容: export JAVA_HOME=/opt/java_environment/jdk1.7.0_80(填写自己的jdk安装路径)       export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar …
本节内容: Hadoop版本 安装部署Hadoop 一.Hadoop版本 1. Hadoop版本种类 目前Hadoop发行版非常多,有华为发行版.Intel发行版.Cloudera发行版(CDH)等,所有这些发行版均是基于Apache Hadoop衍生出来的,之所以有这么多的版本,完全是由Apache Hadoop的开源协议(http://www.apache.org/licenses/LICENSE-2.0)决定的:任何人可以对其进行修改,并作为开源或商业产品发布/销售. 国内绝大多数公司发行…