redhat 安装hadoop1.2.1伪分布式
完整安装过程参考:http://www.cnblogs.com/shishanyuan/p/4147580.html
一、环境准备
1、安装linux、jdk
2、下载hadoop2.6.0,并解压
二、安装
1、安装jdk
下载jdk,最好使用较新版本,最低不能低于jdk1.6
解压 :tar -zxvf jdk-7u40-linux-i586.tar.gz
配置环境:
添加JAVA_HOME,CLASSPATH环境变量:
使用vi /etc/profile命令编辑profile文件,在文件末尾加上以下内容:
export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_74 {jdk安装目录}
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:JAVA_HOME/jre/bin:$PATH
然后保存退出,运行 source /etc/profile 使配置生效
最后测试 java -version
出现上图情况,配置成功
三丶hadoop的有关配置
修改hadoop文件权限
chown -hR +普通用户名 /usr/hadoop
配置环境:
使用vi /etc/profile命令编辑profile文件,在文件末尾加上以下内容:
export HADOOP_PREFIX=/opt/hadoop-1.2.1
export PATH=$PATH:$HADOOP_PREFIX/bin
export HADOOP_HOME_WARN_SUPPRESS=0(如果没有这一行,会出现警告,如下:
Warning: $HADOOP_HOME is deprecated
)
配置文件
进入hadoop1.2.1/conf文件夹中
hadoop-env.sh文件:
将jdk写入hadoop-env.sh文件中,找到JAVA_HOME将前面的#去掉,并在后面加上jdk安装目录
conf/core-site.xml文件:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>localhost切换成本地的机器名</description>
<name>hadoop.tmp.dir</name>
<value>/home/node/hadoop</value>
</property>
</configuration>
conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
<!—用来设置文件系统冗余备份数量,因为只有一个节点,所有设置为1,系统默认数量为3-->
conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
四配置ssh环境:
查询是否安装已经安装了ssh和sync 会有如下显示:
如果没有请安装
使用以下命令设置ssh无密码连接:
ssh-keygen -t dsa -P "" -f ~/.ssh/id_dsa
(解释一下上面这条命令, ssh-keygen 代表生成密钥; -t 表示指定生成的密钥 类型; dsa 是 dsa 密钥认证的意思; -P 用于提供密语(接着后面是两个单引号, 不要打错); -f 表示指定生成密钥文件)
这条命令完成后,会在当前文件夹下面的 .ssh 文件夹下创建 id_dsa 和 id_dsa.pub 两个文件,这是 SSH 的一对私钥和公钥,把 id_dsa.pub (公钥)追加到授权的 key 中去,输入如下命令:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
出现下面命令
username@localhost ~ $ ssh localhost
The authenticity of host 'localhost
(::1)' can't be established.
RSA key fingerprint is 6e:6b:0f:2a:b8:91:3f:c8:f0:39:e4:df:b4:d8:16:6b.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '
' (RSA) to the list of known hosts.localhost
(::1)
username@localhost's password:
仍然让我输入密码,这时应该修改一下.ssh的用户和权限
chmod 700 /home/node(以下node为usrname)
chmod 700 /home/node/.ssh
chmod 600 /home/node/.ssh/authorized_keys
测试ssh配置是否成功:
ssh localhost
可以看到配置成功了,连接无需使用密码了;
配置ssh无密码访问有很多种方法,以上只是其中一种,以下是另外一种方法:
cd ~
ssh-keygen -t rsa
cd .ssh
cp id_rsa.pub authorized_keys
ssh hostname //测试连接hostname是否成功
五丶执行:
格式化一个新的分布式文件系统:
$ bin/hadoop namenode -format
启动hadoop进程:
$ bin/start-all.sh (hadoop2.x 命令在sbin文件夹下 所以: sbin/start-all.sh)
hadoop进程的日志输出目录是: ${HADOOP_LOG_DIR} directory (defaults to ${HADOOP_HOME}/logs).
通过网页来浏览Namenode和Jobtracker状态, 默认情况下它们的访问地址是:
NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/
7.4测试hadoop:
把input中的文件拷贝到分布式系统:
$ bin/hadoop fs -put conf input
运行提供一些示例:
$ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'
检查输出:
从分布式系统中拷贝output中的文件到本地目录,并进行检测它们:
$ bin/hadoop fs -get output output
$ cat output/*
or
查看output下的分布式目录:
$ bin/hadoop fs -cat output/*
停止进程:
$ bin/stop-all.sh
至此,伪分布式安装hadoop完成。
redhat 安装hadoop1.2.1伪分布式的更多相关文章
- Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境)
一.准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo pass ...
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0 环境 本教程使用 CentOS 6.4 32位 作为系统环境,请自行安装系统.如果用的是 Ubuntu 系统,请查 ...
- Hadoop1.1.2伪分布式安装
一.安装前准备设置Linux的静态IP修改VirtualBox的虚拟网卡地址修改主机名把hostname和ip绑定关闭防火墙:service iptables stop二.SSH免密码登陆生成秘钥文件 ...
- Hadoop1.2.1 伪分布式安装
Hadoop1.2.1 单机模式安装 Hadoop组件依赖图(从下往上看) 安装步骤: 详细步骤: 设置ssh自动登录(如下图): 1.输入命令 [ssh-keygen -t rsa],然后一直按回车 ...
- Hadoop1.0.4伪分布式安装
前言: 目前,学习hadoop的目的是想配合其它两个开源软件Hbase(一种NoSQL数据库)和Nutch(开源版的搜索引擎)来搭建一个知识问答系统,Nutch从指定网站爬取数据存储在Hbase数据库 ...
- 转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到, ...
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
摘自: http://www.cnblogs.com/kinglau/p/3796164.html http://www.powerxing.com/install-hadoop/ 当开始着手实践 H ...
- 新手推荐:Hadoop安装教程_单机/伪分布式配置_Hadoop-2.7.1/Ubuntu14.04
下述教程本人在最新版的-jre openjdk-7-jdk OpenJDK 默认的安装位置为: /usr/lib/jvm/java-7-openjdk-amd64 (32位系统则是 /usr/lib/ ...
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04(转)
http://www.powerxing.com/install-hadoop/ http://blog.csdn.net/beginner_lee/article/details/6429146 h ...
随机推荐
- python 如何读取大文件
一般的读取文件的方法: with open(file_path, "r") as f: print f.read() 或者 with open(file_path,"r& ...
- mysql安装和基本配置-redhat
1.redhat yum替换参考 url:http://blog.csdn.net/zcyhappy1314/article/details/17580943 2.yum卸载mysql rpm -qa ...
- 初学laravel框架,解决访问路由404的问题
运行环境:windows+phpstorm+Nginx 第一步:添加 PHP Built-in Web Server 第二步:配置路径和端口(路径是你的laravel中的pubilc,端口是你没有占用 ...
- MFC 控件用法
1:IP Control 变量CIPAddressCtrl m_iAddr 关联DDX_Control(pDX,IDC_IPADDRESS1,m_iAddr); 设置地址:m_iAddr.SetAdd ...
- scala集合和高级函数操作
scala常用函数操作 reduceLeft 是将集合的元素从左向右进行所需要的相应操作,图以减法为例展示,表达的算法是 : 1-2-3-4-5 例: (1 to 5).reduceLeft(_ ...
- ServiceContract,OperationContract
代码如下 [ServiceContract] //服务协定定义 using System.ServiceModel; public interface IInterface1 { [Operation ...
- 第一百零四节,JavaScript时间与日期
JavaScript时间与日期 学习要点: 1.Date类型 2.通用的方法 3.格式化方法 4.组件方法 ECMAScript提供了Date类型来处理时间和日期.Date类型内置一系列获取和设置日期 ...
- [JS思路]运动框架思路
匀速运动的思路一: 1.先清除动画,再加载动画 2.方向dir有正值和负值,可以通过 目标值 > 当前值 往右移动,即正数 目标值 < 当前值 往右移动,即负数 来进行判断:dir = ...
- PAT 团体程序设计天梯赛-练习集L1-011. A-B
本题要求你计算A-B.不过麻烦的是,A和B都是字符串 —— 即从字符串A中把字符串B所包含的字符全删掉,剩下的字符组成的就是字符串A-B. 输入格式: 输入在2行中先后给出字符串A和B.两字符串的长度 ...
- 关于 plsql连接oracle数据库的问题
因电脑没有 安装oracle服务器端,所以安装plsql后还是不能连接oracle数据库,网上下载一个oracle客户端工具,是绿色免安装的,解压就好.我放我云盘了. instantclient_11 ...