准备工具:

虚拟机:VMware

Linux系统:CentOS

hadoop-1.1.2.tar.gz

jdk-7u75-linux-x64.gz

CentOS的网络配置

1、设置主机中VMware Network Adapter VMnet1的IPv4协议如下:

2、修改虚拟机虚拟网络的VMnet1的ip

3、CentOS中网络配置:

3、重启网卡: net service restart

伪分布模式安装步骤

1.1 设置ip地址

执行命令 service network restart

验证: ifconfig

1.2 关闭防火墙

执行命令 service iptables stop

验证: service iptables status

1.3 关闭防火墙的自动运行

执行命令 chkconfig iptables off

验证: chkconfig --list | grep iptables

扩展:

[root@localhost ~]# service   iptables status

停止防火墙:

[root@localhost ~]# service   iptables stop

启动防火墙:

[root@localhost ~]# service   iptables start

重启防火墙:

[root@localhost ~]# service   iptables restart

永久关闭防火墙:

[root@localhost ~]# chkconfig   iptables off

永久关闭后启用:

[root@localhost ~]# chkconfig   iptables on

以上两步,我的操作老是显示服务不存在,也许是我主机中防火墙被关闭了吧!

1.4 设置主机名

执行命令 (1)hostname staven

(2)vi /etc/sysconfig/network

1.5 ip与hostname绑定

执行命令 vi /etc/hosts

验证: ping staven

1.6 设置ssh免密码登陆

执行命令 (1)ssh-keygen -t rsa

(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

验证: ssh staven

扩展:

ssh配置

主机A:10.0.5.199

主机B:10.0.5.198

需要配置主机A无密码登录主机A,主机B

先确保所有主机的防火墙处于关闭状态。

在主机A上执行如下:

1. cd ~/.ssh

2. ssh-keygen -t rsa  --------------------然后一直按回车键,就会按照默认的选项将生成的密钥保存在.ssh/id_rsa文件中。(linux下可以用用ssh-keygen生成公钥/私钥对)

3. cp id_rsa.pub authorized_keys

这步完成后,正常情况下就可以无密码登录本机了,即ssh localhost,无需输入密码。

4. scp authorized_keys summer@10.0.5.198:/home/summer/.ssh   ------把刚刚产生的authorized_keys文件拷一份到主机B上.

5. chmod 600 authorized_keys

进入主机B的.ssh目录,改变authorized_keys文件的许可权限。

(4和5可以合成一步,执行:  ssh-copy-id -i summer@10.0.5.198 )

可能遇到的问题:

1.ssh连接The authenticity of host can't be established

解决办法:

mv  /home/staven/.ssh/known_hosts known_hosts.bak

再连:ssh  -o StrictHostKeyChecking=no  192.168.56.100

或者修改/etc/ssh/ssh_config文件的配置,以后则不会再出现此问题

最后面添加:

StrictHostKeyChecking no

UserKnownHostsFile /dev/null

2.进行ssh登录时,出现:”Agent admitted failure to sign using the key“ .

解决办法:

ssh-add

强行将私钥 加进来。

3.如果无任何错误提示,可以输密码登录,但就是不能无密码登录,在被连接的主机上(如A向B发起ssh连接,则在B上)执行以下几步:

chmod o-w ~/

chmod 700 ~/.ssh

chmod 600 ~/.ssh/authorized_keys
4.如果执行了第2步,还是不能无密码登录,再试试下面几个

ps -Af | grep agent

检查ssh代理是否开启,如果有开启的话,kill掉该代理,然后执行下面,重新打开一个ssh代理,如果没有开启,直接执行下面:

ssh-agent

还是不行的话,执行下面,重启一下ssh服务

sudo service sshd restart

5. 执行ssh-add时提示“Could not open a connection to your authenticationh agent”而失败

解决办法:执行: ssh-agent bash

1.7 安装jdk

执行命令 (1)cd /usr/local

(2)chmod u+xjdk-7u75-linux-x64.gz

(3)tar -zxvf jdk-7u75-linux-x64.gz

(4)mv jdk1.7.0_75  jdk

(5)vi /etc/profile 增加内容如下:

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

(6)source /etc/profile

验证: java -version

1.8 安装hadoop

执行命令 (1)tar -zxvf hadoop-1.1.2.tar.gz

(2)mv hadoop-1.1.2 hadoop

(3)vi /etc/profile 增加内容如下:

export JAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

(4)source /etc/profile

(5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml

1.hadoop-env.sh

export JAVA_HOME=/usr/local/jdk/

注意:hadoop-env.sh中export JAVA_HOME=/cygdrive/d/JDK 注意:export前面符号“#”是注释,要去掉;JAVA_HOME值一定要设置成你的JDK的安装路径。

2.core-site.xml


<configuration>


<property>


<name>fs.default.name</name>


<value>hdfs://staven:9000</value>


</property>


<property>


<name>hadoop.tmp.dir</name>


<value>/usr/local/hadoop/tmp</value>


</property>


</configuration>

 

3.hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

4.mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>staven:9001</value>

</property>

</configuration>

(6)hadoop namenode -format

(7)start-all.sh

验证: (1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker

(2)在浏览器查看,http://staven:50070  http://staven:50030

1.9 启动时没有NameNode的可能原因:

(1)没有格式化

(2)环境变量设置错误

(3)ip与hostname绑定失败

伪分布模式安装hadoop的更多相关文章

  1. Hadoop学习笔记(3)hadoop伪分布模式安装

    为了学习这部分的功能,我们这里的linux都是使用root用户登录的.所以每个命令的前面都有一个#符号. 伪分布模式安装步骤: 关闭防火墙 修改ip地址 修改hostname 设置ssh自动登录 安装 ...

  2. Spark新手入门——2.Hadoop集群(伪分布模式)安装

    主要包括以下三部分,本文为第二部分: 一. Scala环境准备 查看 二. Hadoop集群(伪分布模式)安装 三. Spark集群(standalone模式)安装 查看 Hadoop集群(伪分布模式 ...

  3. Hadoop单点伪分布模式安装

    Hadoop单点伪分布模式安装 概述 单点 single-node,单节点,即一台计算机. 伪分布式模式 pseudo-distributed mode 所谓集群,表面上看是多台计算机联合完成任务:但 ...

  4. Hadoop 伪分布模式安装

    ( 温馨提示:图片中有id有姓名,不要盗用哦,可参考流程,有问题评论区留言哦 ) 一.任务目标 1.了解Hadoop的3种运行模式 2.熟练掌握Hadoop伪分布模式安装流程 3.培养独立完成Hado ...

  5. 指导手册02:伪分布式安装Hadoop(ubuntuLinux)

    指导手册02:伪分布式安装Hadoop(ubuntuLinux)   Part 1:安装及配置虚拟机 1.安装Linux. 1.安装Ubuntu1604 64位系统 2.设置语言,能输入中文 3.创建 ...

  6. 第二章 伪分布式安装hadoop hbase

    安装单机模式的hadoop无须配置,在这种方式下,hadoop被认为是一个单独的java进程,这种方式经常用来调试.所以我们讲下伪分布式安装hadoop. 我们继续上一章继续讲解,安装完先试试SSH装 ...

  7. hadoop伪分布模式安装

    软件环境 操作系统 :  OracleLinux-R6-U6 主机名: hadoop java: jdk1.7.0_75 hadoop: hadoop-2.4.1 环境搭建 1.软件安装 由于所需的软 ...

  8. linux环境tomcat配置及hadoop 2.6伪分布模式安装配置

    一.ubuntu 15.04.openjdk1.7.tomcat7环境配置 1. 配置openjdk1.7,输入命令: -jdk 2. 查看java是否安装成功,输入命令: envjava -vers ...

  9. 伪分布式安装Hadoop

    Hadoop简单介绍 Hadoop:适合大数据分布式存储与计算的平台. Hadoop两大核心项目: 1.HDFS:Hadoop分布式文件系统 HDFS的架构: 主从结构: 主节点,只有一个:namen ...

随机推荐

  1. 洛谷——P1630 求和

    P1630 求和 题目描述 求1^b+2^b+……+a^b的和除以10000的余数. 输入输出格式 输入格式: 第一行包含一个正整数N,表示共有N组测试数据: 接下来N行,每行包含两个正整数a和b. ...

  2. 33、Flask实战第33天:sweetalert提示框

    这节我们继续优化,接收到返回值,我们在前端做一些处理,如:密码修改成功,弹出一个成功的提示框.这个提示框我们采用sweetalert 其中xtalert.js是对上面两个文件的一个封装,使得我们用sw ...

  3. shell 执行结果赋给变量

    #将pwd的执行结果放到变量value中保存, value=$(pwd) 另一种方法: value=`pwd`

  4. 分享Kali Linux 2017年第31周镜像文件

     分享Kali Linux 2017年第31周镜像文件  Kali Linux官方于7月30日发布2017年的第31周镜像.这次维持了11个镜像文件的规模.默认的Gnome桌面的4个镜像,E17.KD ...

  5. java环境搭建的一些小知识

    1.Path配置的是可执行程序的路径,例如(java.exe.javac.exe),这些可执行程序一般在bin目录下,所以path一般配置的是在程序包的bin目录下,实现帮助操作系统操作java的目的 ...

  6. 【UOJ #179】线性规划 单纯形模板

    http://uoj.ac/problem/179 终于写出来了单纯性算法的板子,抄的网上大爷的qwq 辅助线性规划找非基变量时要加个随机化才能A,我也不知道为什么,卡精度吗? 2017-3-6UPD ...

  7. [UOJ62]怎样跑得更快

    以下用等号代替同余 这个式子是$\sum\limits_{j=1}^n(i,j)^{c-d}i^dj^dx_j=b_i$ 令$g(n)=\sum\limits_{e|n}\mu\left(\frac ...

  8. [CODECHEF]LUCASTH

    题意:设$f(n,k)=\sum\limits_{\substack{S\subseteq\{1,\cdots,n\}\\|S|=k}}\prod\limits_{x\in S}x$,问$f(n,0\ ...

  9. 输入sql语句,将结果写入到xml文件

    import java.io.FileOutputStream; import java.sql.Connection; import java.sql.DriverManager; import j ...

  10. Problem Z: 百鸡问题

    #include <stdio.h> int main() { int i, j, k; ; i <= ; i++ ) ; j <= ; j++ ) ; k <= ; k ...