1. 安装JDK JDK安装包复制到/opt文件夹 cd /opt rpm -ivh jdk-8u121-linux-x64.rpm vim /etc/profile 增加 JAVA_HOME=/usr/java/default PATH=$JAVA_HOME/bin:$PATH source /etc/profile 验证 echo $JAVA_HOME java -version 2. 配置SSH(免密码登录),Hadoop集群间登录使用. a> 在客户端进行如下操作: ssh-keygen…

搭建过程中配置免密钥登录为了以后方便使用 [提醒]安装Hadoop中会遇到新建文件夹,配置路径等问题,这个不能生搬硬套,要使用自己配置的路径,灵活使用. Hadoop的部署配置文件在http://blog.csdn.net/beeman_xia/article/details/53391479 当初我练习这个不下十遍,熟能生巧,各位加油! 1新建master和slave两台虚拟机 2测试能否上网(浏览器登录) 3修改主机名,原始名都为localhost,为了方便区分,改名为master和slav…

1.关于虚拟机的复制 新建一台虚拟机,系统为CentOS7,再克隆两台,组成一个三台机器的小集群.正常情况下一般需要五台机器(一个Name节点,一个SecondName节点,三个Data节点.) 此外,为了使网络生效,需要注意以下几点: 1>  编辑网络配置文件 /etc/sysconfig/network-scripts/ifcfg-eno16777736 先前的版本需要删除mac地址行,注意不是uuid,而是hwaddr,这一点新的CentOS不再需要 2> 删除网卡和mac地址绑定文件…

安装hadoop+zookeeper ha 前期工作配置好网络和主机名和关闭防火墙 chkconfig iptables off //关闭防火墙 1.安装好java并配置好相关变量 (/etc/profile) #java export JAVA_HOME=/usr/java/jdk1.8.0_65 export JRE_HOME=$JAVA_HOME/jre export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/jre/l…

开篇:Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率.但是,它也有一些缺点,如编码.调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高,开发难度大.因此,Hadop的开发者为了降低Hadoop的难度,开发出了Hadoop Eclipse插件,它可以直接嵌入到Hadoop开发环境中,从而实现了开发环境的图形界面化,降低了编程的难度. 一.天降神器插件-Hadoop Eclipse Hadoop Eclipse是Hadoop开发环境的…

Ubuntu15.10中安装hadoop2.7.2安装手册 太初 目录 1.      Hadoop单点模式... 2 1.1        安装步骤... 2 0.环境和版本... 2 1.在ubuntu中创建hadoop用户... 2 2.安装ssh. 3 3.安装java环境... 3 4.安装hadoop. 4 5.测试... 5 2.      Hadoop伪分布式... 5 2.1        安装步骤... 5 0.环境和版本... 6 1.      配置core-site.x…

前言 经过前三篇文章的介绍,已经通过VMware安装了Hadoop的集群环境,当然,我相信安装的过程肯定遇到或多或少的问题,这些都需要自己解决,解决的过程就是学习的过程,本篇的来介绍几个Hadoop环境中需要用到的软件,确切的说是两款:VSFTP和SecureCRT. 闲言少叙,进入本篇的正题. 背景 这里简要说明下这两款软件的作用. 1.VSFTP这个从字面就能理解就是搭建FTP服务器用的,为什么要搭建FTP服务呢? 我相信,如果按部就班的按照我之前的文章全装Hadoop的童鞋会发现一个很繁琐…

最近要写一个数据量较大的程序,所以想搭建一个hbase平台试试.搭建hbase伪分布式平台,需要先搭建hadoop平台.本文主要介绍伪分布式平台搭建过程. 目录: 一.前言 二.环境搭建 三.命令测试 四.启动YARN 五.web查看 一.前言 1.开始搭建前上官网看了一下,发现最新版本是3.0,但一想到跨版本而且又是最新版本的一般都会出现各种不一样的问题,所以决定使用了2.7.3,hadoop2的最新版本,至于跟后面搭建hbase的版本兼不兼容的情况等遇到再看怎么处理(实验证明最新版本的hba…

首先弄出来装有hadoop.java.ssh.vim的镜像起名badboyf/hadoop.做镜像有两种方法,一种是用Dockerfile来生成一个镜像,一种是基于ubuntu14.04的基础镜像生成容器后进入容器设置完成后,根据容器打成新的镜像.这是第一次弄,各种不会的地方,所以用第二种方法,弄出来后会如果有时间在写Dockerfile来生成镜像.(为什么尽量用Dockerfile生成镜像,由容器生成的镜像特别大,比想象中的大,而且Dockerfile容易传输) 开始 首先需要ubuntu14…

一.系统及软件环境 1.操作系统 CentOS release 6.5 (Final) 内核版本:2.6.32-431.el6.x86_64 master.fansik.com:192.168.83.118 node1.fansik.com:192.168.83.119 node2.fansik.com:192.168.83.120 2.jdk版本:1.7.0_75 3.Hadoop版本:2.7.2 二.安装前准备 1.关闭防火墙和selinux # setenforce 0 # service…