Hadoop1.1.2伪分布式安装笔记
一、设置Linux的静态IP
修改桌面图标修改,或者修改配置文件修改
1、先执行ifconfig,得到网络设备的名称eth0
2、编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件
设置静态ip、dns、ip地址、子网掩码、网关等信息
3、重启网卡:service
network restart
最后执行ifconfig命令查看是否修改成功
该步骤需保证虚拟机中的Linux能与客户机在同一网段并且ping通
二、修改主机名
修改当前会话主机名(当前会话生效):hostname
主机名
修改配置文件主机名(永久生效):vi
/etc/sysconfig/network
重启机器查看是否修改成功:
其中hadoop为主机名
三、把hostname和ip绑定
修改hosts文件:vi
/etc/hosts文件,增加一行
192.168.1.214 hadoop
验证:ping hadoop
四、关闭防火墙:service
iptables stop
1、 查看防火墙状态:service iptables status
2、 关闭防火墙:service iptables stop
3、 关闭防火墙的自运行:
a) 查看自运行状态:chkconfig --list |
grep 'iptables'
[root@hadoop
sysconfig]# chkconfig --list | grep 'iptables'
iptables 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭
b) 关闭:chkconfig iptables off
[root@hadoop
sysconfig]# chkconfig iptables off
c) 再次查看自运行状态:chkconfig --list |
grep 'iptables'
[root@
hadoop sysconfig]# chkconfig --list | grep 'iptables'
iptables 0:关闭 1:关闭 2:关闭 3:关闭 4:关闭 5:关闭 6:关
这样下次开机的时候就会不开启防火墙了
五、ssh免密码登陆
1、生成秘钥文件
进入~/.ssh文件夹
注意:
1.如果没有.ssh文件夹,就使用ssh协议登录一次试试
2.如果还是没有.ssh文件夹,就自己创建一个。修改文件夹权限为700
cd ~
cd .ssh
生成秘钥:ssh-keygen
-t rsa
查看.ssh文件夹中已经多出了两个文件id_rsa和 id_rsa.pub
[root@hadoop .ssh]# ls
id_rsa
id_rsa.pub
2、查看秘钥文件是否生成成功
查看id_rsa.pub中的秘钥文件,反正我是看不懂
3、将id_rsa.pub文件内容放入到authorized_keys中
[root@hadoop .ssh]# cp id_rsa.pub
authorized_keys
[root@hadoop .ssh]# ls
authorized_keys id_rsa id_rsa.pub
为什么要复制出一份authorized_keys文件?
答:因为SSH在运行的时候会读取authorized_keys文件
4、验证是否免密码登陆:ssh localhost
使用localhost,不输密码登陆:ssh localhost
[root@hadoop .ssh]# ssh localhost
The authenticity of host 'localhost (127.0.0.1)'
can't be established.
RSA key fingerprint is
8c:f4:bf:b5:c4:95:30:7b:1c:d7:cc:f8:69:15:e1:ab.
Are you sure you want to continue connecting
(yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to
the list of known hosts.
Last login: Sun Apr 5 17:45:25 2015
验证:退出登陆
[root@hadoop ~]#exit
[root@hadoop ~]#exit
再次输入exit的时候将会退出终端
六、安装JDK
1、授予执行权限:
chmod u+x jdk-6u24-linux-i586.bin
2、解压缩:./jdk-6u24-linux-i586.bin
[root@hadoop local]# ./jdk-6u24-linux-i586.bin
3、回车,查看jdk1.6.0.24文件夹
4、将jdk1.6.0_24重命名为jdk:mv jdk1.6.0_24/ jdk
5、配置环境变量:
编辑/etc/profile文件,增加如下代码
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
6、使设置立即生效:
source /etc/profile,再输入java –version时已经可以看到java版本了
七、伪分布安装hadoop
1、解压缩hadoop-1.1.2.tar.gz
tar –zxvf hadoop-1.1.2.tar.gz
为了方便重命名为hadoop:mv
hadoop-1.1.2 hadoop
2、添加到环境变量中
编辑/etc/profile文件,增加红色字体文件
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
3、使设置立即生效:
source /etc/profile
4、修改hadoop的配置文件
$HADOOP_HOME/conf目录下的配置文件
修改以下4个配置文件
hadoop-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
修改内容如下:
1.hadoop-env.sh修改内容如下:
export JAVA_HOME=/usr/local/jdk/
2.core-site.xml修改内容如下:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
3.hdfs-site.xml修改内容如下:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
4.mapred-site.xml修改内容如下:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop0:9001</value>
<description>change your own hostname</description>
</property>
</configuration>
4.1修改hadoop-env.sh(第9行)
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
取消#号注释
注意:jdk的安装路径
4.2修改core-site.xml
注意:主机名称(这里是hadoop)
源文件内容
将需要修改的configuration中内容复制进去
4.3 修改hdfs-site.xml
源文件内容
复制修改
4.4修改mapred-site.xml
源内容
同样复制内容。注意修改主机名
注意:主机名称(这里是hadoop)
5、对hadoop进行格式化
命令:hadoop namenode -format
如果格式化过程中出现错误,则删除hadoop/tmp文件夹。重新格式化即可
6、启动hadoop
命令:start-all.sh
停止hadoop:stop-all.sh
共启动5个java进程
7、验证是否启动hadoop:
7.1通过jps验证是否共5个java进程
(jps命令在windows中也有)
7.2 通过浏览器端口验证
注意:如果想在windows下访问。需要修改windows/system32/dirves/etc/host文件
增加如下映射
192.168.1.214 hadoop
浏览器地址输入: http://hadoop:50070/
出现如下界面说明hadoop的NameNode正在运行,启动成功。
出现如下界面,说明Hadoop的Map/Reduce正在运行,启动成功。
8、消除start-all.sh时候的警告信息
出现上面警告信息的原因为:hadoop-config.sh文件中的如下代码
主要是:$HADOOP_HOME_WARN_SUPPRESS变量内容为空
解决办法是设置该变量不为空即可!
修改/etc/profile文件,增加如下代码
export
HADOOP_HOME_WARN_SUPPRESS=1
然后使设置生效:source /etc/profile
Hadoop1.1.2伪分布式安装笔记的更多相关文章
- Hadoop1.1.2伪分布式安装
一.安装前准备设置Linux的静态IP修改VirtualBox的虚拟网卡地址修改主机名把hostname和ip绑定关闭防火墙:service iptables stop二.SSH免密码登陆生成秘钥文件 ...
- Hadoop1.2.1 伪分布式安装
Hadoop1.2.1 单机模式安装 Hadoop组件依赖图(从下往上看) 安装步骤: 详细步骤: 设置ssh自动登录(如下图): 1.输入命令 [ssh-keygen -t rsa],然后一直按回车 ...
- Hadoop1.0.4伪分布式安装
前言: 目前,学习hadoop的目的是想配合其它两个开源软件Hbase(一种NoSQL数据库)和Nutch(开源版的搜索引擎)来搭建一个知识问答系统,Nutch从指定网站爬取数据存储在Hbase数据库 ...
- redhat 安装hadoop1.2.1伪分布式
完整安装过程参考:http://www.cnblogs.com/shishanyuan/p/4147580.html 一.环境准备 1.安装linux.jdk 2.下载hadoop2. ...
- Hadoop单机和伪分布式安装
本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit 本机名称 hadoop001 本机IP ...
- hadoop伪分布式安装之Linux环境准备
Hadoop伪分布式安装之Linux环境准备 一.软件版本 VMare Workstation Pro 14 CentOS 7 32/64位 二.实现Linux服务器联网功能 网络适配器双击选择VMn ...
- Hadoop开发第3期---Hadoop的伪分布式安装
一.准备工作 1. 远程连接工具的安装 PieTTY 是在PuTTY 基础上开发的,改进了Putty 的用户界面,提供了多语种支持.Putty 作为远程连接linux 的工具,支持SSH 和telne ...
- 第二章 伪分布式安装hadoop hbase
安装单机模式的hadoop无须配置,在这种方式下,hadoop被认为是一个单独的java进程,这种方式经常用来调试.所以我们讲下伪分布式安装hadoop. 我们继续上一章继续讲解,安装完先试试SSH装 ...
- HBase基础和伪分布式安装配置
一.HBase(NoSQL)的数据模型 1.1 表(table),是存储管理数据的. 1.2 行键(row key),类似于MySQL中的主键,行键是HBase表天然自带的,创建表时不需要指定 1.3 ...
随机推荐
- 解析Java中静态变量与实例变量的区别
java类的成员变量有俩种:一种是被static关键字修饰的变量,叫类变量或者静态变量:另一种没有static修饰,为实例变量. 在语法定义上的区别:静态变量前要加static关键字,而实例 ...
- Lua的require和module小结
Lua的require和module小结 module特性是lua5.1中新增的,用于设置Lua文件自己的模块,最常用的方式是module(name,package.seeall),有时候lua文件 ...
- web工程导入MyEclipse 就变成Java工程 ———— 解决方案
Web 工程 导入到 MyEclipse 中后就变成 Java工程了 折腾大大半天,最后才发现是 .settings 里面文件的配置问题.. .settings 文件夹里面的 org.eclipse. ...
- 关于yum仓库的中的软件包下载
在Linux系统下,很多软件的安装我们都会选择使用yum的方式安装,因为简单方便,易于管理. 有时我们可能会有这样的一个需求:即喜欢上yum仓库中的一个软件了,想要下载到本地.该怎么办呢? 实现方法不 ...
- border-radius几种写法的原理剖析
border-radius:40px; border-radius:40px/20px; border-radius:40px 20px; border-radius:40px 20px 10px 5 ...
- CoreData的简单使用(一)数据库的创建
iOS有多种数据持久化得方式 plist文件(属性列表) preference(偏好设置,NSUserDefaults) NSKeyedArchiver(归档,用的不多) SQLite 3 (需要导入 ...
- PHP:错误 Deprecated: Function split() is deprecated in ... 解决办法
PHP:错误 Deprecated: Function split() is deprecated in ... 解决办法 PHP5.3 split() 不建议使用的原因:PHP 5.3.0 之后的r ...
- MSChart 控件
微软发布了.NET 3.5框架下的图表控件,功能很强劲,基本上能想到的图表都可以使用它绘制出来,给图形统计和报表图形显示提供了很好的解决办法,同时支持Web和WinForm两种方式,不过缺点也比较明显 ...
- CentOS下的账户管理
在Linux中,每个文件都分3类权限:账户本身的权限,账户所在群组的权限和其它权限.账户和群组是多对多的关系,即一个账户可以属于多个群组,一个群组可以包含多个账户.但是,对于每一个已登录的账户,只能存 ...
- struts2与struts1整合,java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory
原因:我往项目的WEB-INF/lib中导入了struts2基本的包,还有struts1的core包,以及struts2-strut1-plugin的包,但是没有导入commons-loggin-1. ...