2019/03/09 21:46 准备4台服务器或者虚拟机[centos7],分别设置好静态ip[之所以设置静态ip主要就是为了省心!!!][ centos7下面配置静态IP  参考地址: https://www.linuxidc.com/Linux/2017-10/147449.htm cd /etc/sysconfig/network-scripts ls 这里说一下需要修改的位置: #修改 BOOTPROTO=static #这里讲dhcp换成ststic ONBOOT=yes #将no换…

Linux环境下Hadoop集群搭建 前言: 最近来到了武汉大学,在这里开始了我的研究生生涯.昨天通过学长们的耐心培训,了解了Hadoop,Hdfs,Hive,Hbase,MangoDB等等相关的知识.虽然只是简单的介绍了相关的概念,但对于我来说像是打开了一个新的大门.当然,巧妇难为无米之炊,要想能够使用这些技术,首先要能够把相应的环境搭建起来.因此,在这里我将自己搭建Hadoop集群环境的步骤记录下来,以防止自己以后会忘记. 搭建前所需要的准备: 1.JDK(在这里我使用的是jdk1.8.0_…

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 这一篇接着记录集群搭建,开始安装配置zookeeper,它的作用是做集群的信息同步,zookeeper配置时本身就是一个独立的小集群,集群机器一般为奇数个,只要机器过半正常工作那么这个zookeeper集群就能正常工作,工作时自动选举一个leader其余为follower…

继上篇关闭防火墙之后,因为后面我们会管理一个集群,在VMware中不断切换不同节点,为了管理方便我选择xshell这个连接工具,大家也可以选择SecureCRT等工具. 本篇记录一下3台机器集群的搭建. (一)克隆虚拟机 1,VMware界面,我的计算机master,右键,管理,克隆 2,下一步,选择虚拟机的当前状态,下一步 3,创建完整克隆 4,修改虚拟机的名称及存储路径 5,完成,同样的方法,在克隆一台slave2 (二)修改克隆机器的配置 1,改计算机名.vi /etc/sysconfig…

一.前言 -- 基础环境准备 节点名称 IP NN DN JNN ZKFC ZK RM NM Master Worker master1 192.168.8.106 * * * * * * master2 192.168.8.236 * * * * * * worker1 192.168.8.107 * * * * * worker2 192.168.8.108 * * * worker3 192.168.8.109 * * * worker4 192.168.8.110 * * * worke…

Hadoop集群搭建(完全分布式版本) VMWARE虚拟机 一.准备工作 三台虚拟机:master.node1.node2 时间同步 ntpdate ntp.aliyun.com 调整时区 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime jdk1.8(以1.8为例,目前大多数企业都是使用1.8版本,最稳定) java -version 修改主机名 三台分别执行 vim /etc/hostname 并将内容指定为对应的主机名 关闭防火墙:sy…

Hadoop集群搭建 一.准备 三台虚拟机:master01,node1,node2 时间同步 1.date命令查看三台虚拟机时间是否一致 2.不一致时间同步:ntpdate ntp.aliyun.com 调整时区 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 查看jdk java-version 修改主机名 三台分别执行vim /etc/hostname 修改为指定的主机名 关闭防火墙 systemctl stop firewalld…

Hadoop 集群搭建 2016-09-24 杜亦舒 目标 在3台服务器上搭建 Hadoop2.7.3 集群,然后测试验证,要能够向 HDFS 上传文件,并成功运行 mapreduce 示例程序 搭建思路 (1)准备基础设施准备3台服务器,分别命名为 master.slave1.slave2互相配置为 SSH 免密码登录,并都安装好 JAVA 环境(2)安装配置 hadoop在 master 上下载解压 hadoop,修改相应配置文件,包括:core-site.xml.hdfs-site.xml…

Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!) 一.JDK的安装 安装位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安装在克隆三台机器的时候可以提前安装,通过scp使安装文件和环境配置(/etc/profile)都拷贝过去,并使三台机 器都通过(source /etc/profile)命令使之生效 下载JDK(本次安装使用的版本是jdk1.8.0_73) 解压JDK : tar -zxvf /usr/tools/jdk-7u72-linux-x64…

Hadoop集群搭建安装过程(二)(配置SSH免密登录)(图文详解---尽情点击!!!) 一.配置ssh无密码访问 ®生成公钥密钥对 1.在每个节点上分别执行: ssh-keygen -t rsa(一直按回车直到生成结束) 执行结束之后每个节点上的/root/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub 其中前者为私钥,后者为公钥 2.在主节点上执行: cp id_rsa.pub authorized_keys ®将子节点的公钥拷贝到主节点并添加进authorized_…