CentOS 6.5 伪分布安装

软件准备  jdk-6u24-linux-i586.bin 、hadoop-1.2.1.tar.gz、hadoop-eclipse-plugin-1.2.1.jar 、

Eclipse-jee-indigo-SR2-linux-gtk.tar.gz

假设:  所有软件压缩包都放在  /home/hadoop 文件夹下。

1、JDK安装

1.1           root用户登录,使用命令 mkdir  /usr/local/program 新建目录program,用来存放jdk,本教材采用jdk版本 jdk-6u24-linux-i586.bin。

1.2 (如事先jdk在hadoop目录下,则可以采用命令 cp /home/hadoop/ jdk-6u24-linux-i586.bin /usr/local/program/  进行复制)。

1.3 对jdk进行解压

进入 /usr/local/program/ 目录下,使用命令 ./jdk-6u24-linux-i586.bin进行解压。

解压成功:

会出现注册界面,可以直接跳过:

1.4 可以选择删除 jdk的bin包,命令如下:

rm  -rf jdk-6u24-linux-i586.bin.

1.5 配置jdk

Root 用户登录,执行命令  vim  /etc/profile    (/etc/profile这个文件很重要,后面hadoop配置也会用到)。  按键盘i键,进行插入。

在后面添加如下:

#set javaenvironment

exportJAVA_HOME=/usr/local/program/jdk1.6.0_24

exportJRE_HOME=/usr/local/program/jdk1.6.0_24/jre

exportCLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

按 Esc+(shift+;)+wq  保存退出。

退出后输入 source  /etc/profile   是配置生效。

配置完成后,在命令行中输入java  -version 查看是否配置成功。

2、SSH无密码验证

2.1       root权限下,输入rpm –qa | grep openssh 命令看看 ssh和rsync是否安装。

2.2       生成无密码密钥对

使用ssh-kaygen –t rsa –P ‘ ‘ 命令

第一次验证不是这样,我这是第二次了,所以有overwrite,不过没关系,我只是演示一下。

2.3       把 id_rsa.pub追加到授权key里面去

命令  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

2.4  验证是否配置成功

输入 ssh 
localhost 命令,看是否可以无密码进行登录。

不需要输入密码,只需要输入 yes 即配置成功。

3、hadoop安装

3.1 把hadoop拷到 opt 目录下,如果之前hadoop在hadoop目录下,执行命令进行拷贝   
cp /home/hadoop/hadoop-1.2.1.tar.gz  /usr/local/

3.2 进入 hadoop目录,对hadoop进行解压。

cd  /usr/local/                 tar -zxvf hadoop-1.2.1.tar.gz

解压完毕:

3.3 配置环境变量

命令  vim  /etc/profile

输入   #set hadoop

export HADOOP_HOME=/usr/local/hadoop-1.2.1

export PATH=$PATH:$HADOOP_HOME/bin

退出  输入 source /etc/profile 使配置文件生效。

3.4 配置hadoop 配置文件

命令  cd /usr/local/hadoop-1.2.1/conf   进入conf目录

3.4.1 配置 hadoop-env.sh 文件

打开文件命令   vim  hadoop-env.sh

添加           #setjava environment

export JAVA_HOME=/usr/local/program/jdk1.6.0_24

编辑后保存退出。

下面三个文件配置非常重要!!!

3.4.2       配置core-site.xml  文件

<?xmlversion="1.0"?>

<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>

<!--Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000/</value>注:9000后面的“/”不能少

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop-1.2.1/hadooptmp</value>

</property>

</configuration>

3.4.3       配置 hdfs-site.xml  文件

<?xmlversion="1.0"?>

<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>

<!--Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

3.4.4       配置 mapred-site.xml   文件

<?xmlversion="1.0"?>

<?xml-stylesheettype="text/xsl" href="configuration.xsl"?>

<!--Put site-specific property overrides in this file. -->

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

配置以上三个文件一定要注意,千万不能写错了!!!

3.4.5 配置 masters文件和slaves文件

[root@masterconf]# vim masters

localhost

[root@masterconf]# vim slaves

localhost

注:因为在伪分布模式下,作为 master 的 namenode 与作为 slave 的 datanode 是同一台

服务器,所以配置文件中的 ip 是一样的。

3.4.6  主机名和IP 解析设置 (这一步非常重要)

命令   vim  /etc/hosts

3.4.7 编辑主机名

命令  vim  /etc/hostname

vim  /etc/sysconfig/network

4、启动 hadoop

命令  cd  /usr/local/hadoop-1.2.1/bin   进入bin目录

先格式化  命令  hadoop namenode  -format

启动     命令   start-all.sh

查看   jps

5、安装 eclipse

5.1 把eclipse 拷到opt文件夹下

命令 cp /home/hadoop/ecipse-jee-indigo-SR2-linux-gtk.tar.gz  /opt

5.2 对eclipse 进行解压

解压成功

5.3  插入插件hadoop-eclipse-plugin-1.2.1.jar

命令 cp  /home/hadoop/hadoop-eclipse-plugin-1.2.1.jar  /opt/eclipse/plugins

5.4 启动eclipse

配置eclipse

创建 DFS Location

查看配置是否有错

创建工程

运行代码

CentOS 6.5 伪分布安装的更多相关文章

  1. Hadoop学习记录(1)|伪分布安装

    本文转载自向着梦想奋斗博客 Hadoop是什么? 适合大数据的分布式存储于计算平台 不适用小规模数据 作者:Doug Cutting 受Google三篇论文的启发 Hadoop核心项目 HDFS(Ha ...

  2. 2015.07.12hadoop伪分布安装

    hadoop伪分布安装   Hadoop2的伪分布安装步骤[使用root用户用户登陆]other进去超级用户拥有最高的权限 1.1(桥接模式)设置静态IP ,,修改配置文件,虚拟机IP192.168. ...

  3. 【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

    今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和測试弄得烦躁的一逗比了~ 先上一张成功的图片,hadoop的伪分布式安 ...

  4. hadoop 2.6伪分布安装

    hadoop 2.6的“伪”分式安装与“全”分式安装相比,大部分操作是相同的,主要区别在于不用配置slaves文件,而且其它xxx-core.xml里的参数很多也可以省略,下面是几个关键的配置: (安 ...

  5. hadoop伪分布安装

    解压 将安装包hadoop-2.2.0.tar.gz存放到/home/haozhulin/install/目录下,并解压 #将hadoop解压到/home/haozhulin/install路径下,定 ...

  6. Hadoop伪分布安装详解(五)

    目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ...

  7. hadoop: hbase1.0.1.1 伪分布安装

    环境:hadoop 2.6.0 + hbase 1.0.1.1 + mac OS X yosemite 10.10.3 安装步骤: 一.下载解压 到官网 http://hbase.apache.org ...

  8. Hadoop-1.0.4伪分布安装与配置

    1.采用伪分布模式安装      将hadoop-****.tar.gz复制到linux的/usr/local目录下. 2.解压,重命名      #tar -xzvf hadoop-1.0.4.ta ...

  9. hbase伪分布安装配置

    hbase1.2.4 伪分布式安装   注意:在安装hbase或者hadoop的时候,要注意hadoop和hbase的对应关系.如果版本不对应可能造成系统的不稳定和一些其他的问题.在hbase的lib ...

随机推荐

  1. PAT 1016 部分A+B(15)(C++&JAVA&&Python)

    1016 部分A+B(15 分) 正整数 A 的"D​A​​(为 1 位整数)部分"定义为由 A 中所有 D​A​​ 组成的新整数 P​A​​.例如:给定 A=3862767,D​ ...

  2. dataTables的学习笔记 -- 未开启服务器数据模式

    官方网站:http://www.datatables.net/ (1)未开启服务器数据模式(即"bServerSide" : false),数据会从后台直接全部获取,然后在前台全部 ...

  3. Git 分支 主干

    ~/Desktop/work/movies/movie(apps) $ git status  //先查看是否有需要提交的东西# On branch appsnothing to commit (wo ...

  4. linux shell 重定向中的 & 符号

    写一个简单的 demo 示例 #include <stdio.h> int main() { fprintf(stdout, "stdout output\n"); f ...

  5. JSR 规范目录

    JSR 规范目录 一.Servlet 规范 1.1 Servlet 2.x 规范 1.2 Servlet 3.x 规范 - 注解和异步请求规范 每天用心记录一点点.内容也许不重要,但习惯很重要!

  6. mybatis3.2初学感悟

    新手,学了mybatis框架一周,写点感悟下来. mybatis,是操作数据库,持久层的一个框架,它是对JDBC的封装.看到了这个框架,我突然感受到封装与抽象的力量.也明白了些为什么要分层的原因. 记 ...

  7. jquery动态出操作select

    var citys = {1:'北京',2:'上海',3:'广州',4:'深圳'}; $("#city option:gt(0)").remove(); for(var k in ...

  8. JNI,RegisterNative参数解析

    Register native method - 数据类型和method descriptor 使用JNI时,为了使得虚拟机可以找到在C/C++ code中定义的native方法,有两种机制可以用,一 ...

  9. Python之字符串基本操作

    #!/usr/bin/env python#-*-coding utf8-*-#Author:caojininfo = { 'stu1001': 'caojin', 'stu1002': 'zhaom ...

  10. 开发简单的JavaWeb项目

    一.配置相关环境 下载配置JDK,eclipse,Tomcat服务器,Mysql数据库,Navicat for MySQL(数据库可视化工具) 如果你已经做好各个环境的配置,eclipse与Tomca ...