Ubuntu下hadoop环境的搭建(伪分布模式)
Ubuntu下hadoop环境的搭建(伪分布模式)
一、必要资源的下载
1、Java jdk(jdk-8u25-linux-x64.tar.gz)的下载
具体链接为:
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2、Hadoop(我们在这里选用hadoop0.20.2.tar.gz)的下载
具体链接为:
http://vdisk.weibo.com/s/zNZl3
二、软件的安装(将下载好的文件放在home文件夹下)
1、Java的安装(解压)
在命令行下输入
sudo tar xzvf jdk-8u25-linux-x64.tar.gz
注意:可能会提示你输入用户密码
解压完毕,Java安装完成
2、hadoop的安装(解压)
在命令行输入
sudo tar xzvf hadoop0.20.2.tar.gz
注意:可能会提示你输入用户密码
解压完毕,hadoop0.20.2安装完成
3、ssh的安装
在系统联网的情况下,在命令行输入
sudo apt-get install ssh
注意:可能提示输入用户密码
4、rsync的安装
在系统联网的情况下,在命令行输入
sudo apt-get install rsync
三、环境的配置
1、ssh的配置
ssh需要配置成为免密码登录状态
在命令行输入两句话:
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
配置完毕,验证ssh是否需要密码,在命令行输入:
ssh localhost
以下操作在hadoop-0.20.2文件夹中的conf下进行,在命令行输入 cd Hadoop-0.20.2/conf
如果不能修改下面的文件的话,在home目录下命令行输入:
sudo chmod 777 * -R
以下的文件修改还可以用vi修改不熟悉vi的同学,请先学一下vi操作
以下的文件修改也可以在文件目录直接用gedit打开修改
2、修改hadoop-env.sh中的配置
先找到Java安装目录
将JAVA_HOME改成你安装Java JDK的绝对路径
gedit hadoop-env.sh
3、修改hadoop核心配置文件core-site.xml
gedit core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
4、修改hadoop中HDFS的配置,修改replication
gedit hdfs-site.xml
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/home/mrchor/hadoop-0.20.2/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
5、修改hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
gedit mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
四、hadoop的启动
以下操作在hadoop-0.20.2文件夹下进行,在命令行输入:cd hadoop-0.20.2
1、格式化hadoop中的文件系统HDFS
bin/hadoop namenode –format
2、启动hadoop环境
bin/start-all.sh
五、验证
需要在浏览器中输入localhost:50030和localhost:50070验证hadoop是否安装完成
至此,hadoop的环境搭建完毕。
Ubuntu下hadoop环境的搭建(伪分布模式)的更多相关文章
- Ubuntu下 hadoop2.5.1 (伪分布模式) 配置工作
一:安装JDK hadoop 是以java语言写的,因此需要在本地计算机上预先安装JDK,安装JDK的方法这里不再详述. 二:创建hadoop用户 为hadoop创建一个专门的用户,将所有的hadoo ...
- Ubuntu下java环境的搭建
喜欢捣鼓计算机相关的,然后大二的时候就想着用linux,于是当时就装了个ubuntu,还想着把java环境搭建进去,但当时由于"意志不坚定"后来就没用linux了,知道最近突然想在 ...
- ubuntu下hadoop环境配置
软件环境: 虚拟机:VMware Workstation 10 操作系统:ubuntu-12.04-desktop-amd64 JAVA版本:jdk-7u55-linux-x64 Hadoop版本:h ...
- Ubuntu下hadoop集群搭建
--修改IP地址(克隆镜像后可修改可不修改) http://jingyan.baidu.com/article/e5c39bf5bbe0e739d7603396.html -------------- ...
- ubuntu 下交叉编译环境的搭建
1. 安装标准的C开发环境,由于Linux安装默认是不安装的,所以需要先安装一下(如果已经安装好的话,就可以免去这一步了): #sudo apt-get install gcc g++ libgcc1 ...
- ubuntu下android环境的搭建
---------省略1000字 https://dl-ssl.google.com/android/eclipse/ 如果该方法被墙,直接下载最新ADT,在我的博客里有介绍,或者我已经上传百度网盘 ...
- Ubuntu下用hadoop2.4搭建集群(伪分布式)
要真正的学习hadoop,就必需要使用集群,可是对于普通开发人员来说,没有大规模的集群用来測试,所以仅仅能使用伪分布式了.以下介绍怎样搭建一个伪分布式集群. 为了节省时间和篇幅,前面一些步骤不再叙述. ...
- Ubuntu中Hadoop环境搭建
Ubuntu中Hadoop环境搭建 JDK安装 方法一:通过命令行直接安装(不建议) 有两种java可以安装oracle-java8-installer以及openjdk (1)安装oracle-ja ...
- Linux环境下Hadoop集群搭建
Linux环境下Hadoop集群搭建 前言: 最近来到了武汉大学,在这里开始了我的研究生生涯.昨天通过学长们的耐心培训,了解了Hadoop,Hdfs,Hive,Hbase,MangoDB等等相关的知识 ...
随机推荐
- HDU 2109 Fighting for HDU
http://acm.hdu.edu.cn/showproblem.php?pid=2109 Problem Description 在上一回,我们让你猜测海东集团用地的形状,你猜对了吗?不管结果如何 ...
- Window下JDK安装教程
1.准备 win10系统,其他windows系统安装过程大同小异官网下载jdk1.8下载地址:https://www.oracle.com/technetwork/java/javase/downlo ...
- IPV6 简单验证
1. 网络路由器的分类 .通常将网络中直接面向用户连接或访问网络的部分称为接入层,接入层目的是允许终端用户连接到网络,因此接入层交换机具有低成本和高端口密度特性: .将位于接入层和核心层之间的部分称为 ...
- 内网内使用https 和 使用http 建立连接的速度对比
文字版 使用https httpstat https://10.24.101.14/cwbase/web/Login.aspx --insecure Connected to HTTP/ OK Ser ...
- Spring4+Spring MVC+MyBatis整合思路
1.Spring框架的搭建 这个很简单,只需要web容器中注册org.springframework.web.context.ContextLoaderListener,并指定spring加载配置文件 ...
- c语言基本数据类型(short、int、long、char、float、double)
一 C 语言包含的数据类型 short.int.long.char.float.double 这六个关键字代表C 语言里的六种基本数据类型. 在不同的系统上,这些类型占据的字节长度是不同的: 在32 ...
- Latex编译过程中遇到的奇奇怪怪的问题及解决方案
标签(空格分隔): 杂七杂八的问题 有必要写一个博文记录自己在Latex编译时遇到的各种问题,希望可以帮到遇到同样错误的亲故.讲真,一直没有系统的学习Latex,都是投哪个会直接拿那个会的模板来套,然 ...
- MySQL/Oracle/SQL Server默认端口、JDBCdriver、Url
sqlserver默认端口号为:1433URL:"jdbc:microsoft:sqlserver://localhost:1433;DatabaseName=dbname"DRI ...
- hbase 过滤器属性及其兼容性
内容来自于<HBASE权威指南>,留存备查,由于版本的原因,可能已经有变化,在应用前兼容性需要测试.
- Android ListView 几个重要属性
Android ListView 几个重要属性http://blog.csdn.net/avenleft/article/details/7334060 android:transcriptMode= ...