第二篇:Hadoop 在Ubuntu Kylin系统上的搭建[图解]
前言
本文介绍如何在Ubuntu Kylin操作系统上搭建Hadoop平台。
配置
1. 操作系统: Ubuntu Kylin 14.04
2. 编程语言: JDK 1.8
3. 通信协议: SSH
4. 云计算项目版本: Hadoop 1.2.1
第一步:安装最新版本的JDK (若已经安装过请忽略这一步)
1. 去官网下载JDK1.8并解压 (当前安装包为:jdk-8u25-linux-x64.gz)
2. 将解压后的安装包复制到 /usr/lib/jvm 目录下 (jvm目录需要自行创建)
3. 以管理员方式打开 /etc/profile 文件并在文件底部添加以下代码:
#set Java Environment
export JAVA_HOME=/usr/lib/jvm/jdk1..0_25
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/bin:$PATH"
4. 执行以下命令使配置文件立即生效:
source /etc/profile
5. 执行以下命令验证JDK是否安装成功:
java -version
若显示以下信息表示安装完成:
第二步:配置SSH免密码登陆
1. 执行以下命令安装SSH:
sudo app-get install ssh
2. 检查用户目录下是不是有个名为.ssh的隐藏文件夹,没有的话就自己创建一个。
3. 执行以下命令配置SSH无密码登陆 (这几行代码的功能请参考SSH使用文档):
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
4. 执行以下命令验证SSH是否安装配置成功:
ssh localhost
出现提示输入yes,若终端显示以下信息,表示SSH配置成功:
第三步:安装并运行Hadoop
说明:Hadoop有三种运行方式 - 单机模式,伪分布式和完全分布式。
其中,前两者主要用于程序的测试和调试,这里要讲的是伪分布式的配置,配置完全分布式的方法将在以后讲解。
1. 下载并解压最新版本的Hadoop到当前目录下 (当前安装包为:hadoop-1.2.1.tar.gz)
2. 进入conf子目录中,修改如下配置文件:
a. hadoop-env.sh (设置JAVA路径)
在末尾添加:
export JAVA_HOME=/usr/lib/jvm/jdk1..0_25
b. core-site.xml (配置HDFS地址及端口号)
配置为:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
c. hdfs-site.xml (修改备份方式,单机版本需要将其改为1)
配置为:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
d. mapred-site.xml (设置JobTracker地址及端口)
配置为:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
3. 进入Hadoop文件夹执行以下命令以格式化Hadoop文件系统HDFS:
bin/hadoop namenode -format
4. 执行以下命令以启动所有Hadoop进程:
bin/start-all.sh
5. 验证Hadoop是否安装成功
a. 打开浏览器,输入网址 http://localhost:50030 以查看MapReduce的Web页面:
b. 打开浏览器,输入网址 http://localhost:50070 以查看HDFS的Web页面:
如果显示正常,那么Hadoop环境便搭建好了。
小结
1. 伪分布式的架构,机制和真实分布式其实是一样的,不过伪分布式中,Master和Slave都是一台机器。
2. 关于真实分布式环境的搭建,将在以后介绍。到时会在虚拟机上组建一个虚拟网络,跑真·分布式程序。
第二篇:Hadoop 在Ubuntu Kylin系统上的搭建[图解]的更多相关文章
- Hadoop 在ubuntu系统上的搭建[图解]
前言 本文介绍如何在Ubuntu Kylin操作系统上搭建Hadoop平台. 配置 1. 操作系统: Ubuntu Kylin 14.04 2. 编程语言: JDK 1.8 3. 通信协议: SSH ...
- [证书服务器 第二篇] 基于OpenSSL 在 CentOS6 系统上 搭建自签证书服务,并应用于Web容器
第一部分:概述 .. 第二部分:环境准备 1 操作系统 CentOS 6.x 2 安装openssl yum install -y openssl 3 安装jdk 从官网下载JDK http://ww ...
- 孤荷凌寒自学python第六十一天在Fedora28版的linux系统上找搭建本地Mongodb数据服务
孤荷凌寒自学python第六十一天在Fedora28版的linux系统上找搭建本地Mongodb数据服务 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第七天.成功在本地搭建 ...
- Ubuntu/CentOS 系统上安装与配置Nginx
一.在线安装: Ubuntu:sudo apt-get install nginx CentOS: sudo yum install nginx 二.安装后的位置: 1.服务地址:/etc/init. ...
- Ubuntu/Centos 系统上安装与配置Apache
一.在线安装: Ubuntu:sudo apt-get install apache2 Centos: sudo yum install apache2 二.安装后的位置: 1.服务地址:/etc/i ...
- Ubuntu kylin系统改中文系统文件名为英文
刚装好系统,将使用语言改成了中文,结果重启后,提示是否将文件系统的名字改为新的,我一不注意,点了是...这样,在以后使用终端的时候,会有中文来干扰,所以需要改回英文. 方法如下: 输入两个命令即可: ...
- 在Ubuntu系统上搭建Hadoop 2.x(2.6.2)
官方的中文版的Hadoop快速入门教程已经是很老的版本了,新版的Hadoop目录结构发生了变化,因此一些配置文件的位置也略微调整了,例如新版的hadoop中找不到快速入门中提到的conf目录,另外,网 ...
- Ubuntu kylin 有可能成为未来中国的主流系统吗?
编前语: 无意间开始研究起linux,因为目前互联网很多人,包括我都隐约感觉到,windows系统在中国乃至世界在今后的流行度会逐步降低,不为什么,其中最主要的是安全问题,Microsoft 微软公司 ...
- Ubuntu下用hadoop2.4搭建集群(伪分布式)
要真正的学习hadoop,就必需要使用集群,可是对于普通开发人员来说,没有大规模的集群用来測试,所以仅仅能使用伪分布式了.以下介绍怎样搭建一个伪分布式集群. 为了节省时间和篇幅,前面一些步骤不再叙述. ...
随机推荐
- 链接克隆、完整克隆 vmware 快照和克隆
多重快照功能简介: 快照的含义:对某一个特定文件系统在某一个特定时间内的一个具有只读属性的镜像.当你需要重复的返回到某一系统状态,又不想创建多个虚拟机的时候,就可以使用快照功能.其实,快照并不是VMw ...
- Axiom3D写游戏:用Overlay实现Mesh浏览.
从网上找了些资源,大多搜Ogre,Mesh资源,然后为了方便查看各个Mesh,以及对应骨骼动画.为了实用性,考虑放在原游戏窗口里实现.最开始打算窗口新建viewport来实现,后发现这种方式的局限性, ...
- IDEA MAVEN Failed to create a Maven project 'C:/gitProjects/mayProj/pom.xml' already exists in VFS
When adding the module to an existing module that already has a POM, it is necessary to manually spe ...
- 【Centos】【Python3】yum install 报错
运行yum install 安装时报错 File "/usr/libexec/urlgrabber-ext-down", line 28 except OSError, e: Sy ...
- vb.net与c#相互转换工具
vb.net与c#相互转换工具: http://www.developerfusion.co.uk/utilities/convertvbtocsharp.aspx http://www.dotne ...
- Rethinking the inception architecture for computer vision的 paper 相关知识
这一篇论文很不错,也很有价值;它重新思考了googLeNet的网络结构--Inception architecture,在此基础上提出了新的改进方法; 文章的一个主导目的就是:充分有效地利用compu ...
- MyBatis环境配置及入门
Mybatis 开发环境搭建,选择: MyEclipse8.5 版本,mysql 5.5, jdk 1.8, mybatis3.2.3.jar 包.这些软件工具均可以到各自的官方网站上下载. 整个过程 ...
- django学习1
参考资料:http://www.cnblogs.com/feixuelove1009/p/5910384.html#top 本学习只在记录过程,需要更全面的资料,可直接上参考资料细看. django版 ...
- doctest初次体验
测试代码放在两个地方才有效果,一个是模块开头,一个是函数声明语句的下一行 doctest 的概念模型 在python的官方文档中,对doctest是这样介绍的: doctest模块会搜索那些看起来像是 ...
- ZooKeeper系列之二:Zookeeper常用命令
https://my.oschina.net/u/347386/blog/313037