一.环境配置 安装虚拟机vmware,并在该虚拟机机中安装CentOS 6.4: 修改hostname(修改配置文件/etc/sysconfig/network中的HOSTNAME=hadoop),修改IP到主机名的映射(vi /etc/hosts ,添加 127.0.0.1   hadoop); 按照JDK,下载jdk1.7.0_60并解压到/soft目录中,然后在/etc/profile中添加  export JAVA_HOME=/soft/jdk1.7.0_60 和 export PATH…

1.安装JDK1.8,下载安装包解压至 /usr/lib/jdk vim /etc/profile #配置路径 export JAVA_HOME= /usr/lib/jdk export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH 2.之前已经安装好SSH,现在设置免密码登录 ssh-keygen -t rsa ca…

修改主机名和IP的映射关系 vi /etc/hosts 192.168.61.134 hadoop 关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off 重启Linux reboot 安装JDK 上传JDK文件到linux中 解压jdk 创建文件夹 mkdir /usr/…

环境是centos6.4-32,hadoop2.2.0 伪分布式文档:http://pan.baidu.com/s/1kTrAcWB 完全分布式文档:http://pan.baidu.com/s/1sjK4gkl 和1.x.0.x有些不同,特别是yarn. 这里面有个小插曲,在完全分布式模式配置yarn的时候必须指定ResourceManager的地址 这个地址在伪分布式模式上不用指定,因为默认地址是0.0.0.0,也就是本地 但是完全分布式模式必须指定,因为不指定slave就不知道哪台是Res…

hadoop-2.6.0为分布式安装 伪分布模式集群规划(单节点)------------------------------------------------------------------------------------------------------------------------------------------------------------------------    host        -    ip                -    soft …

本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoop用户 使用root账户创建hadoop用户,为了在实验环境下便于操作,赋予hadoop用户sudo权限.具体操作代码如下: useradd hadoop # 添加hadoop用户 passwd hadoop # 设置密码 visudo hadoop ALL=(root)NOPASSWD:ALL 二…

近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop2.6.0伪分布式环境. 1. 所需要的软件 使用Vmware 11.0搭建虚拟机,安装Ubuntu 14.04.2系统. Jdk 1.7.0_80 Hadoop 2.6.0 2. 安装vmware和ubuntu 略 3. 在ubuntu中安装JDK 将jdk解压缩到目录:/home/vm/tool…

本文地址:http://www.cnblogs.com/myresearch/p/hadoop-full-distributed-operation.html,转载请注明源地址. 我这边是使用了两台主机搭建集群,主机名与IP地址对应如下: master            192.168.111.131 slave1             192.168.111.135 然后在该主机的 /etc/hostname 中,修改机器名为master,将其他主机命令为slave1.slave2等.接…

今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和測试弄得烦躁的一逗比了~ 先上一张成功的图片,hadoop的伪分布式安装配置,仅仅要依照步骤来,有点基础的 基本没什么问题的..eclipse的配置 弄了非常长一段时间才弄好的,中间出现各种意外的错误..下篇博客将重点讲述这个艰难的过程... 今天来说说hadoop2.4的安装和配置吧~ 1.环境的准备: 系统:CentOS JDK版本号:jdk7 系统须要包括ssh…

Ubuntu用的是Ubuntu15.10Beta2版本,正式的版本好像要到这个月的22号才发布.参考的资料主要是http://www.powerxing.com/install-hadoop-cluster/和<Hadoop基础教程>这本书.我的用户名是wuyouwulv,所以在接下来的代码中如果出现wuyouwulv的地方只要更改一下用户名就可以了.搭建hadoop伪分布式环境并不需要为此创建一个新的group和user,所以我这里用的一直都是wuyouwulv这个用户.我所需的文件都放在我…

集群环境搭建请见:http://blog.csdn.net/jediael_lu/article/details/45145767 一.环境准备 1.安装linux.jdk 2.下载hadoop2.6.0,并解压 3.配置免密码ssh (1)检查是否可以免密码:   $ ssh localhost (2)若否: $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys…

集群环境搭建请见:http://blog.csdn.net/jediael_lu/article/details/45145767 一.环境准备 1.安装linux.jdk 2.下载hadoop2.6.0,并解压 3.配置免密码ssh (1)检查是否可以免密码:   $ ssh localhost (2)若否: $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys…

首先先不看理论,搭建起环境之后再看: 搭建伪分布式是为了模拟环境,调试方便. 电脑是win10,用的虚拟机VMware Workstation 12 Pro,跑的Linux系统是centos6.5 ,装的hadoop2.6.0,jdk1.8: 1.准备工作 准备工作:把JDK和Hadoop安装包上传到linux系统(hadoop用户的根目录) 系统环境:IP:192.168.80.99, linux用户: root/123456,hadoop/123456 主机名:node 把防火墙关闭,roo…

本教程的前提是已经在VMware虚拟机上安装了centos6.5,centos的安装过程这里不再赘述 一.准备Linux环境 1.点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok        回到windows --> 打开网络和共享中心 -> 更改适配器设置…

1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.8.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP:1…

本文主要参考 给力星的博文——Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 一些准备工作的基本步骤和步骤具体说明本文不再列出,文章中提到的“见参考”均指以上这篇博文,如有其他参考,会另外给出链接 一.创建Hadoop用户 见参考 二.更新apt 见参考 三.安装配置SSH 见参考 四.搭建Java环境 本人采用的是通过ppa源安装的方式,具体操作见:http://www.cnblogs.com/a2211009/p/4265225.html 采用这种方…

一.ssh免密登录 1.命令ssh-keygen. overwrite输入y一路回车 2.将生成的密钥发送到本机 ssh-copy-id localhost中间会询问是否继续输入“yes” 3.测试免密登录是否成功 ssh localhost 二.Java配置 新建一个文件夹存放java和hadoop这里我在~目录下新建了一个app文件夹下面. 命令行移动文件到新建的app文件夹下. 解压jdk压缩包. 创建软连接或重命名已解压文件夹. 配置jdk环境变量.切换到root用户(输入su命令 切换…

1.准备Linux环境     1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.68.0 子网掩码:255.255.255.0 -> apply -> ok          回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 ->…

环境: 1.Ubuntu14.04 首先要在linux系统上新建一个账户,比如就叫做hadoop,用于专门运行hadoop. 2.配置jdk 我是使用的版本是jdk1.8. 解压:创建/usr/java目录,把下载好了的linux版本的jdk解压到次目录下. 环境变量配置: 命令sudo vim /etc/profile 在文件末端添加如下内容 保存退出后执行 source /etc/profile更新配置.然后执行java -version如果有如下信息就表示jdk配置成功. 3 配置ssh免…

3.1上传hadoop安装包 3.2解压hadoop安装包 mkdir /cloud #解压到/cloud/目录下 tar -zxvf hadoop-2.2.0.tar.gz -C /cloud/ 3.3修改配置文件(5个) 第一个:hadoop-env.sh #在27行修改 export JAVA_HOME=/usr/java/jdk1.7.0_55 第二个:core-site.xml <configuration> <!-- 指定HDFS老大(namenode)的通信地址 -->…

一.windows环境下安装 根据博主写的一次性安装成功了: http://blog.csdn.net/antgan/article/details/52067441 二.linux环境下(centos6.5,JDK1.7) 1.主机名与IP的映射 2.关闭防火墙 3.vi hadoop2.5/etc/hadoop/hadoop-env.sh 配置JDK路径 4.core-site.xml <configuration> <property> <name>fs.defa…

分三步: 1. 添加环境变量 2.编辑hbase-env.sh文件 3.编辑hbase-site.xml 文件 前提条件是安装好hadoop,下面展开说明 1. 添加环境变量 export HBASE_HOME=/usr/local/cdh/hbase export PATH=$PATH:$PIG_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$ 2.编辑hbase-env.sh文件,添加: export JAVA_HOME=/usr/local/java/…

1.0修改网关 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP:192.168.…

2.1上传FileZilla 上传 https://filezilla-project.org/ 2.2解压jdk #创建文件夹 mkdir /usr/java #解压 tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/ 2.3将java添加到环境变量中 vim /etc/profile #在文件最后添加 export JAVA_HOME=/usr/java/jdk1.7.0_55 export PATH=$PATH:$JAVA_HOME/bin…

hadoop+hive-0.10.0完全分布式安装方法 1.jdk版本:jdk-7u60-linux-x64.tar.gz http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260.html 2.hive版本:hive-0.10.0.tar.gz https://archive.apache.org/dist/hive/hive-0.10.0/ 3.hadoop版本:hadoop-2.2.0…

hadoop2.2.0伪分布模式64位安装用到的软件:jdk-6u45-linux-x64.bin,hadoop-2.2.0.x86_64.tar.gz 修改主机名vim /etc/sysconfig/networkHOSTNAME=h1 修改主机名和ip的映射关系192.168.1.1 h1 关闭防火墙chkconfig --list | grep iptablesservice iptables stopchkconfig iptables offchkconfig --list | gre…

adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式. 完全分布式至少有3个节点,其中一个做master,运行名称节点(namenode).作业跟踪器(jobtracker)等主要进程,另外两个做datanode,运行tasktracker,最好有两个,否则没有冗余,谈不上集群. 下载hadoop 0.20.2安装包: http://archive.apache.org/dist/hadoop/core/ha…

用到的软件: 一.安装jdk: 1.要安装的jdk,我把它拷在了共享文件夹里面.   (用优盘拷也可以) 2.我把jdk拷在了用户文件夹下面. (其他地方也可以,不过路径要相应改变) 3.执行复制安装解压命令: 解压完毕: 查看解压的文件夹: 4.配置 环境变量: 写入如下5行代码: 使配置生效: 5.查看安装的jdk: java -version java javac 二.SSH免密码登陆: 1.安装SSH: 2.是否生成 .ssh 目录: 3.如果没有生成,自己手动创建一个 .ssh 目录:…

在 <Docker中搭建Hadoop-2.6单机伪分布式集群>中在容器中操作来搭建伪分布式的Hadoop集群,这一节中将主要通过Dokcerfile 来完成这项工作. 1 获取一个简单的Docker系统镜像,并建立一个容器. 这里我选择下载CentOS镜像 docker pull centos 通过docker tag命令将下载的CentOS镜像名称换成centos,并删除老标签 docker tag docker.io/centos centosdocker rmr docker.io/ce…

本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit   本机名称 hadoop001   本机IP 192.168.3.128   JDK jdk-8u40-linux-x64.rpm 点此下载 Hadoop 2.7.3 点此下载 Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列,比较老的教材上用的可能是 0.20 这样的版本.Hadoop 2.x 版本在…