hadoop最简伪分布式安装
本次安装运行过程使用的是Ubuntu16.04 64位+Hadoop2.5.2+jdk1.7.0_75
Notice:
Hadoop2.5.2版本默认只支持64位系统
使用的jdk可以为1.7和1.8版本的
安装过程:
1. 下载安装jdk1.7.0_75
jourluohua@jourluohua-m:~/tools$ tar -xzvf jdk-7u75-linux-x64.tar.gz
2. 设置PATH等环境变量
jourluohua@jourluohua-m:~/tools$ sudo vi /etc/profile
在该文件下添加如下信息:
#set java environment
JAVA_HOME=/home/jourluohua/tools/jdk1.7.0_75
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
添加完成后,使环境变量生效
jourluohua@jourluohua-m:~/tools$ source /etc/profile
使用命令查看是否安装成功jdk
jourluohua@jourluohua-m:~/tools$ java –version
3. 下载安装hadoop-2.5.2.tar.gz
jourluohua@jourluohua-m:~/tools$ tar -xzvf hadoop-2.5.2.tar.gz
jourluohua@jourluohua-m:~/tools$ cd ./hadoop-2.5.2/
Notice:之后所有的运行操作都是在这个目录下完成的
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$
4. 格式化文件系统:
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ bin/hadoop namenode -format
5. 修改配置文件:
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ vi ./etc/hadoop/hadoop-env.sh
将export JAVA_HOME修改成(相对路径会报错)
export JAVA_HOME=/home/jourluohua/tools/jdk1.7.0_75
6. 确保你的sshd服务已经启动:
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ sudo /etc/init.d/ssh start
在这一步之后可以gen-key,作为一个安全通信协议(ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式),使用时需要密码,因此我们要设置成免密码登录,生成私钥和公钥,但是该步骤不是必须的,可以多输入几次密码,因此,没有添加到该教程中。
6.5 gen-key
切换到~目录
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ cd ~
生成key
jourluohua@jourluohua-m:~$ ssh-keygen -t rsa
输入密码确认
切换到默认生成的ssh文件夹下
jourluohua@jourluohua-m:~/$ cd ./.ssh
生成相应的authorized文件
jourluohua@jourluohua-m:~/.ssh$ cp id_rsa.pub authorized_keys
切换回Hadoop目录
7. 开启dfs进程:
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ sbin/start-dfs.sh
这一步后,可以看到几个进程已经启动,如果出现connection refused错误,请回到第六步
8. 创建输入文件夹
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ mkdir input
9. 创建输入文件(这里将conf文件作为输入):
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ cp ./etc/hadoop/* ./input/
10. 运行官方的测试例子WordCount程序,并将结果保存到output中:
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount input output
11. 查看运行结果
jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ cat output/*
hadoop最简伪分布式安装的更多相关文章
- Hadoop单机和伪分布式安装
本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit 本机名称 hadoop001 本机IP ...
- hadoop+zookeeper+hbase伪分布式安装
基本安装步骤 安装包下载 从大数据组件下载地址下载以下组件安装包 hadoop-2.6.0-cdh5.6.0.tar.gz hbase-1.0.0-cdh5.6.0.tar.gz zookeeper- ...
- 指导手册02:伪分布式安装Hadoop(ubuntuLinux)
指导手册02:伪分布式安装Hadoop(ubuntuLinux) Part 1:安装及配置虚拟机 1.安装Linux. 1.安装Ubuntu1604 64位系统 2.设置语言,能输入中文 3.创建 ...
- hadoop伪分布式安装之Linux环境准备
Hadoop伪分布式安装之Linux环境准备 一.软件版本 VMare Workstation Pro 14 CentOS 7 32/64位 二.实现Linux服务器联网功能 网络适配器双击选择VMn ...
- hadoop 0.20.2伪分布式安装详解
adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式. 完全分布式至少有3个节点,其中一个做master,运行名 ...
- Hadoop大数据初入门----haddop伪分布式安装
一.hadoop解决了什么问题 hdfs 解决了海量数据的分布式存储,高可靠,易扩展,高吞吐量mapreduce 解决了海量数据的分析处理,通用性强,易开发,健壮性 yarn 解决了资源管理调度 二. ...
- Hadoop开发第3期---Hadoop的伪分布式安装
一.准备工作 1. 远程连接工具的安装 PieTTY 是在PuTTY 基础上开发的,改进了Putty 的用户界面,提供了多语种支持.Putty 作为远程连接linux 的工具,支持SSH 和telne ...
- Hadoop生态圈-hbase介绍-伪分布式安装
Hadoop生态圈-hbase介绍-伪分布式安装 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HBase简介 HBase是一个分布式的,持久的,强一致性的存储系统,具有近似最 ...
- hadoop 2.7.3伪分布式安装
hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...
随机推荐
- weblogic域,管理服务器,受管服务器,集群和机器的基本知识
1.域(Domain) •它是什么? –是一个逻辑上管理的WebLogic Server组,这些组从管理上当作一个整体来操作 •域里面有什么? –服务器 –服务器集群 –机器 •规则: –同一个域中的 ...
- 新建一个浏览器APP
安卓开发环境准备好了,试试新建一个浏览器程序吧 1.Start a new Android Studio Project 2.选这个像微信一样的样式 3.选择语言和版本 4.等待创建完成,拖一个Web ...
- 远程连接mysql要点 虚拟主机定义与分类
远程连接mysql:通过主机地址与端口号连接 1. 主机地址:找到主机电脑 2. 端口号:找到对应mysql软件 mysql客户端访问服务端需要进行寻找匹配:连接认证-h 主机地址 例如 -hloca ...
- 系统分析与设计HW9
使用 ECB 实现 make reservation 用例的详细设计(包含用例简介,顺序图,类图) 用例简介: 搜索酒店 1.1 选择城市 1.2 选择日期 生成订单 2.1 选择酒店 2.2 选择日 ...
- MJRefresh实现请求数据列表不满一页,或者请求数据为空时,不显示footer文字
最近自己负责的项目测试要求: 列表的数据不满一页的话就自动隐藏下面的“上拉加载更多”或是“到底了,没有更多数据”. 百度了一下,看了一篇博客的介绍实现: http://blog.csdn.net/gx ...
- python安装mongodb
提前把mongodb-linux-x86_64-rhel70-3.2.4.tgz放到和脚本相同目录下,然后把下复制到脚本里面,开始执行 #!/usr/bin/python #-*- codinig: ...
- 使用SpringWebFlow
使用SpringWebFlow 本章主要内容: · 创建会话式的Web应用程序 · 定义流程状态和行为 Spring Web Flow 是Spring MVC 的扩展,它支持开发基于流程的应用程序.它 ...
- 【react】input输入框可输入的最好实现方式
使用的是refs.react中输入框不能直接定义value.输入框是可变的,react会提示报错.需要使用的inChange事件(输入框内容被改变时触发). 要定义输入框初始值,需要在componen ...
- 【Python开发】【神经网络与深度学习】网络爬虫之python实现
一.网络爬虫的定义 网络爬虫,即Web Spider,是一个很形象的名字. 把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛. 网络蜘蛛是通过网页的链接地址来寻找网页的. 从网站某一 ...
- 【VS开发】【智能语音处理】VS中声音的采集实现
vc中声音的采集是用api函数来实现的. 一.数字音频基础知识 Fourier级数: 任何周期的波形可以分解成多个正弦波,这些正弦波的频率都是整数倍.级数中其他正线波的频率是基础频率的整数倍.基础 ...