Hadoop1.2.1安装——单节点方式和单机伪分布方式 一.   需求部分 在Linux上安装Hadoop之前,需要先安装两个程序: 1)JDK 1.6(或更高版本).Hadoop是用Java编写的程序,Hadoop的编译及MapReduce的运行都需要使用JDK.因此在安装Hadoop前,必须安装JDK 1.6或更高版本. 2)SSH(安全外壳协议),推荐安装OpenSSH.Hadoop需要通过SSH来启动Slave列表中各台主机的守护进程,因此SSH也是必须 安装的,即使是安装伪分布式版本…

实验环境:VMware 10.0.1+CentOS-6.6-i386 +jdk-6u24-linux-i586+hadoop-1.1.2.tar.gz 普通用户:michael 集群规划:1台master+3台slave 主机名 IP地址 master01          192.168.31.11 slave01              192.168.31.21 slave02              192.168.31.22 slave03              192.168…

1.准备三台节点 hnd1  hnd2  hnd3 下载 hadoop 下载地址:http://apache.fayea.com/hadoop/common/ API文档:http://hadoop.apache.org/docs/r1.0.4/cn/index.html 2.解压:tar -zxvf hadoop-1.2.1.tar.gz 添加软连接:ln -sf /home/hadoop/package/hadoop-1.2.1 /home/hadoop-1.2 3.更改配置:进入/home…

1.安装ubuntu系统 如果不使用云服务器,可以使用虚拟机WmWare安装,具体安装步骤这里就不讲了,ubuntu系统下载地址:http://www.ubuntu.com/download/desktop 2.修改源列表(非必要步骤) ubuntu的源列表默认是欧洲服务器,下载JDK之类的开源工具比较慢,建议大家修改下: 备份源列表,并修改文件: sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup gedit /etc/apt/…

0x00 大数据平台相关链接 官网:http://hadoop.apache.org/ 主要参考教程:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 0x01 hadoop平台环境 操作系统:CentOS-6.5-x86_64 Java版本:jdk_1.8.0_111 Hadoop版本:hadoop-1.0.3 0x02 安装操作系统(简要) 2.1 准备安装镜像 CentOS-6.5-x86_64-bin-DVD1…

(1)我的电脑环境 CentOS6.5,64位,在虚拟机下实现. (2)jdk1.6的安装 jdk我用的是1.6.0_27,自己在网上下载jdk-6u27-linux-x64.zip 先在/usr/local/下新建名为java的文件夹 下载链接:http://download.csdn.net/detail/tiney/3678995 下载好了之后,将该文件先通过u盘拷贝到桌面,然后从桌面复制到java中 命令:cp  /home/桌面/Jdk-6u27-linux-x64.bin /usr/…

环境:ubuntu13 使用的用户为普通用户.如:用户ru jdk安装略 1.安装ssh (1) sudo apt-get install openssh-server (2)配置ssh面密码登录 $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 2.下载安装Hadoop (1)下载hadoop-1.2.1-bin.tar.gz (2)修改权限 如果拥有者不是…

前段时间去培训,按照教程装了一遍Hadoop.回来又重新装一次,捋下思路,加深理解. 基本配置如下,三个节点,一个namenode,两个datanode. Namenode 192.168.59.144 Datanode1 192.168.59.145 Datanode2 192.168.59.146 在虚拟机上做实验,暂且就使用nat和dhcp吧. (一)把网卡设置成开机自启动: # vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=et…

原文地址 环境:ubuntu13 使用的用户为普通用户.如:用户ru jdk安装略 1.安装ssh (1) sudo apt-get install openssh-server (2)配置ssh面密码登录 $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 注释:如果当前用户下没有.ssh目录,则手动创建.ssh目录. 2.下载安装hadoop (1)下载ha…

一.添加用户(各机器均一致)     添加组: sudo addgroup hadoop     添加用户并到组:sudo adduser -ingroup hadoop hadoop 二.ssh无验证登陆     1.用hadoop登陆,执行:     ssh-keygen -t rsa -P ""     cat .ssh/id_rsa.pub >> .ssh/authorized_keys     完成后,用ssh localhost测试.     2.将服务器的au…