Ubuntu12.04安装hadoop
1. 创建hadoop用户组和用户
a. 创建hadoop用户组
sudo addgroup hadoop
b. 创建hadoop用户
sudo adduser –ingroup hadoop hadoop
c. 编辑/etc/sudoers文件,为hadoop用户添加权限
sudo vim /etc/sudoers
给hadoop用户赋予root相同的权限
hadoop ALL=(ALL:ALL) ALL
注意:/etc/sudoers文件可能为readonly文件,修改后使用“:wq!”保存
2. 安装JDK
安装JDK的教程网上资料非常多,故省略
注意:不要安装OpenJDK,在Oracle官网上下载JDK(Oracle JDK不能使用apt-get install安装)
3. 安装ssh服务
sudo apt-get install openssh-server
4. 设置ssh无密码登录
执行su –命令切换到hadoop用户
su – hadoop
ssh生成密钥有rsa和dsa两种,默认采用rsa方式
a. 创建ssh-key(采用rsa方式)
ssh-keygen -t rsa -P ""
b. 进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
c. 无密码登录localhost
ssh localhost
d. 退出ssh连接
exit
5. 安装hadoop
a. 复制hadoop文件至/usr/local
sudo cp sf_share/HadoopDatabase/hadoop-1.1.2.tar.gz/usr/local/
b. 解压.tar.gz文件
cd /usr/local/
sudo tar -zxvf hadoop-1.1.2.tar.gz
c. 修改文件名为hadoop
sudo mv hadoop-1.1.2 hadoop
d. 将hadoop文件夹的属主用户设为hadoop
sudo chown -R hadoop:hadoop hadoop
e. 修改配置文件conf/hadoop-env.sh的JDK路径
sudo vim hadoop/conf/hadoop-env.sh
export JAVA_HOME=/usr/local/jvm/jdk1.6.0_45
f. 修改conf/core-site.xml文件
sudo vimhadoop/conf/core-site.xml
配置文件如下所示:
<?xml version="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overridesin this file. --> <configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
g. 修改conf/mapred-site.xml文件
sudo vimhadoop/conf/mapred-site.xml
配置文件如下所示:
<?xml version="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overridesin this file. --> <configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
h. 修改conf/hdfs-site.xml文件
sudo vimhadoop/conf/hdfs-site.xml
配置文件如下所示:
<?xml version="1.0"?>
<?xml-stylesheettype="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overridesin this file. --> <configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
i. 编辑配置文件conf/masters,添加作为secondarynamenode的主机名(单机版仅localhost即可)
sudo vimhadoop/conf/masters
j. 编辑配置文件conf/slaves,添加作为slave的主机名(单机版仅localhost即可)
sudo vimhadoop/conf/slaves
6. 运行单机版hadoop
a. 进入hadoop目录,格式化hdfs文件系统(初次运行必做操作)
bin/hadoop namenode –format
b. 启动hadoop
bin/start-all.sh
c. 查看hadoop是否运行成功
浏览器中输入http://localhost:50070/查看NameNode
浏览器中输入http://localhost:50030/查看JobTracker
d. 停止hadoop
bin/stop-all.sh
参考链接:hadoop在ubuntu下的安装配置
Ubuntu12.04安装hadoop的更多相关文章
- Ubuntu12.04安装64位系统出现编译错误error while loading shared libraries: libz.so.1: cannot open shared object file: No such file or dir
问题: Ubuntu12.04安装64位系统出现编译错误error while loading shared libraries: libz.so.1: cannot open shared obje ...
- ubuntu12.04安装svn 1.7(转载)
ubuntu12.04安装svn 1.7 分类: ubuntu2013-10-22 16:03 239人阅读 评论(0) 收藏 举报 svnubuntu 目录(?)[+] 1.问题 在 ...
- ubuntu12.04 安装 php5.4/php5.5
1:修改源(我使用163的源)直接修改/etc/apt/sources.list deb http://mirrors.163.com/ubuntu/ precise main universe re ...
- Ubuntu12.04 安装Samba
Ubuntu12.04 安装Samba Ubuntu12.04 安装Samba 本教程介绍了在Ubuntu12.04安装Samba文件服务器,以及如何配置它通过SMB协议共享文件,以及如何将用户添加. ...
- Ubuntu12.04安装java6
按照android官方文档 http://source.android.com 下载编译android源代码,jdk安装失败,尝试一下方法成功(2013-11-20) 下面我就把在Ubuntu12.0 ...
- [分享]Ubuntu12.04安装基础教程(图文)
[分享]Ubuntu12.04安装基础教程(图文) 原文地址: http://teliute.org/linux/Ubsetup/lesson21/lesson21.html 1.进入 live cd ...
- ubuntu12.04 安装nginx+php+mysql (lnmp)的web服务器环境
1.Ubuntu12.04 安装nginx+php+mysql (lnmp)的web服务器环境 http://blog.db89.org/ubuntu12-04-install-nginx-php-m ...
- ubuntu12.04 安装CS:APP Y86模拟器
下的第一UBUNTU12.04下Y86模拟器的安装:(參考http://archive.cnblogs.com/a/1865627/ 作适当改动) 1.安装bison和flex词法分析工具 sudo ...
- Ubuntu12.04安装vscode i386
最近在Ubuntu12.04的32位版本上安装vscode,我下载的是32位deb包, vscode官网 安装命令 sudo dpkg -i vscode-i386.deb 安装完成没有报错,但是点 ...
随机推荐
- SGU 138.Games of Chess
时间限制:0.25s 空间限制:4M 题目: n个朋友在一起按照下面的规则依次下棋:在第一局游戏,n个人中的两个开始下棋.在第二局,第一局胜利的人将跟其他人下棋(也可能还是输了第一局人), 在第三局第 ...
- C#DataTable操作
] 在DataSet中添加DataTable DataSet.Tables.Add(DataTable) 实例: DataSet ds=new DataSet(); DataTable table=n ...
- PHP之验证码识别
首先推荐几篇有关验证码识别的文章,觉得不错 php实现验证码的识别(初级篇) 关于bp神经网格识别验证码 一.思路 碰见一个验证码,如果我们想要识别它,我们需要的是做什么呢? 我们先观察几个验证码.. ...
- TatukGIS - GisDefs - DateTimeToXMLString 函数
函数名称 DateTimeToXMLString 所在单元 GisDefs 函数原型 function DateTimeToXMLString(_dtm: TDateTime; ...
- python【第八篇】socket网络编程
内容大纲 1.socke基础 两个程序通过一个双向的通信连接实现数据的交换,这个连接的一端称为一个socket. 建 立网络通信连接至少要一对端口号(socket).socket本质是编程接口(API ...
- Vim及VimScript资料总结《转载》
版权声明:本文为博主原创文章,未经博主允许不得转载. 目录(?)[+] Vim教程 入门 Vim 实用技术 Learning the vi and Vim Editors A Byte of ...
- Spark的RDD编程(二)公众号undefined110
创建RDD有两种方式:①读取外部数据集,lines=sc.textFile("README.md").②对一个集合进行并行化,lines=sc.parallelize([" ...
- sql语句中出现笛卡尔乘积
没有join条件导致笛卡尔乘积 学过线性代数的人都知道,笛卡尔乘积通俗的说,就是两个集合中的每一个成员,都与对方集合中的任意一个成员有关联.可以想象,在SQL查询中,如果对两张表join查询而没有jo ...
- iOS - Blocks
iOS中Blocks的介绍 1. 什么是Blocks Blocks是C语言的扩充功能.就是:带有自动变量的匿名函数. 类似C语言的函数指针.但Blocks不是一个指针,而是一个不带名字的函数, ...
- BZOJ 1014 火星人prefix
Description 火星人最近研究了一种操作:求一个字串两个后缀的公共前缀.比方说,有这样一个字符串:madamimadam,我们将这个字符串的各个字符予以标号:序号: 1 2 3 4 5 6 7 ...