Hadoop部署方式-本地模式(Local (Standalone) Mode)

                                        作者:尹正杰

版权声明:原创作品,谢绝转载!否则将追究法律责任。

  Hadoop总共有三种运行方式。本地模式(Local (Standalone) Mode),伪分布式(Pseudo-Distributed Mode),分布式(Fully-Distributed Mode)。本篇博客主要讲解第一种运行方式,即本地运行方式,想要查看伪分布式的小伙伴请参考:https://www.cnblogs.com/yinzhengjie/p/9058415.html,想要查看完全分布式的小伙伴请参考:https://www.cnblogs.com/yinzhengjie/p/9065191.html

  需要注意的是,本地运行模式,实际上就是用Linux操作系统,会直接把文件存储在Linux路径上,我们在上传文件的时候要注意权限哟,比如你在搭建好Hadoop本地模式后,直接就提交一个文件到根下的话,可能会报权限错误哟,但是,如果你是root用户的话就另当别论了。

一.下载相应的jdk和Hadoop安装包

    jdk:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

  Hadoop:http://hadoop.apache.org/releases.html

  注意,Hadoop官方虽然没有windows版本,但是可用通过“visual studio”编译工具将Linux的运行伪分布式迁移到windows中,建议安装2015版本,网上的教程有很多。遗憾的是,这个工具的使用并不是本篇博客的重点。

二.安装Java环境

1>.创建软件解压目录并授权给普通用户

[yinzhengjie@yinzhengjie ~]$ ll
total
-rw-rw-r--. yinzhengjie yinzhengjie Aug hadoop-2.7..tar.gz
-rw-rw-r--. yinzhengjie yinzhengjie May jdk-8u131-linux-x64.tar.gz
[yinzhengjie@yinzhengjie ~]$ sudo mkdir /soft
[sudo] password for yinzhengjie:
[yinzhengjie@yinzhengjie ~]$ sudo chown yinzhengjie:yinzhengjie /soft/
[yinzhengjie@yinzhengjie ~]$ ll /soft/ -d
drwxr-xr-x. yinzhengjie yinzhengjie May : /soft/
[yinzhengjie@yinzhengjie ~]$

2>.解压jdk并配置软连接路径

[yinzhengjie@yinzhengjie ~]$ tar zxf jdk-8u131-linux-x64.tar.gz -C /soft/
[yinzhengjie@yinzhengjie ~]$ cd /soft/
[yinzhengjie@yinzhengjie soft]$ ll
total
drwxr-xr-x. yinzhengjie yinzhengjie Mar jdk1..0_131
[yinzhengjie@yinzhengjie soft]$ ln -s jdk1..0_131/ jdk
[yinzhengjie@yinzhengjie soft]$ ll
total
lrwxrwxrwx. yinzhengjie yinzhengjie May : jdk -> jdk1..0_131/
drwxr-xr-x. yinzhengjie yinzhengjie Mar jdk1..0_131
[yinzhengjie@yinzhengjie soft]$

3>.设置Java环境变量

[yinzhengjie@yinzhengjie soft]$ sudo vi /etc/profile
[yinzhengjie@yinzhengjie soft]$ tail - /etc/profile
#Add by yinzhengjie
JAVA_HOME=/soft/jdk/
PATH=$PATH:$JAVA_HOME/bin
[yinzhengjie@yinzhengjie soft]$ . /etc/profile
[yinzhengjie@yinzhengjie soft]$
[yinzhengjie@yinzhengjie soft]$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) -Bit Server VM (build 25.131-b11, mixed mode)
[yinzhengjie@yinzhengjie soft]$

三.安装Hadoop

1>.解压jdk并配置软连接路径

[yinzhengjie@yinzhengjie ~]$ ll
total
-rw-rw-r--. yinzhengjie yinzhengjie Aug hadoop-2.7..tar.gz
-rw-rw-r--. yinzhengjie yinzhengjie May jdk-8u131-linux-x64.tar.gz
[yinzhengjie@yinzhengjie ~]$ tar zxf hadoop-2.7..tar.gz -C /soft/
[yinzhengjie@yinzhengjie ~]$ ln -s /soft/hadoop-2.7./ /soft/hadoop
[yinzhengjie@yinzhengjie ~]$ ll /soft/
total
lrwxrwxrwx. yinzhengjie yinzhengjie May : hadoop -> /soft/hadoop-2.7./
drwxr-xr-x. yinzhengjie yinzhengjie Aug hadoop-2.7.
lrwxrwxrwx. yinzhengjie yinzhengjie May : jdk -> jdk1..0_131/
drwxr-xr-x. yinzhengjie yinzhengjie Mar jdk1..0_131
[yinzhengjie@yinzhengjie ~]$

2>.设置Hadoop的环境变量

[yinzhengjie@yinzhengjie ~]$ sudo vi /etc/profile
[sudo] password for yinzhengjie:
[yinzhengjie@yinzhengjie ~]$ tail - /etc/profile
#Add by yinzhengjie
JAVA_HOME=/soft/jdk/
PATH=$PATH:$JAVA_HOME/bin #Add HADOOP_HOME
HADOOP_HOME=/soft/hadoop/
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[yinzhengjie@yinzhengjie ~]$
[yinzhengjie@yinzhengjie ~]$ source /etc/profile
[yinzhengjie@yinzhengjie ~]$ grep JAVA_HOME /soft/hadoop/etc/hadoop/hadoop-env.sh | grep -v ^#
export JAVA_HOME=/soft/jdk/
[yinzhengjie@yinzhengjie ~]$

3>.验证是否安装完毕(注意,提交的目录当前用户需要有权限,因为本地部署不需要启动服务,它用的就是Linux操作系统,如果普通用户把文件直接提交到根的话肯定会报异常的哟!)

[yinzhengjie@yinzhengjie ~]$ ll
total
-rw-rw-r--. yinzhengjie yinzhengjie Aug hadoop-2.7..tar.gz
-rw-rw-r--. yinzhengjie yinzhengjie May jdk-8u131-linux-x64.tar.gz
-rw-r--r--. yinzhengjie yinzhengjie May : test
[yinzhengjie@yinzhengjie ~]$ rm -rf test
[yinzhengjie@yinzhengjie ~]$
[yinzhengjie@yinzhengjie ~]$
[yinzhengjie@yinzhengjie ~]$ ll
total
-rw-rw-r--. yinzhengjie yinzhengjie Aug hadoop-2.7..tar.gz
-rw-rw-r--. yinzhengjie yinzhengjie May jdk-8u131-linux-x64.tar.gz
[yinzhengjie@yinzhengjie ~]$
[yinzhengjie@yinzhengjie ~]$ hdfs dfs -put hadoop-2.7..tar.gz /home/yinzhengjie/test
[yinzhengjie@yinzhengjie ~]$ tar zxf test
[yinzhengjie@yinzhengjie ~]$ ll
total
drwxr-xr-x. yinzhengjie yinzhengjie Aug hadoop-2.7.
-rw-rw-r--. yinzhengjie yinzhengjie Aug hadoop-2.7..tar.gz
-rw-rw-r--. yinzhengjie yinzhengjie May jdk-8u131-linux-x64.tar.gz
-rw-r--r--. yinzhengjie yinzhengjie May : test
[yinzhengjie@yinzhengjie ~]$

Hadoop部署方式-本地模式(Local (Standalone) Mode)的更多相关文章

  1. Hadoop部署方式-完全分布式(Fully-Distributed Mode)

    Hadoop部署方式-完全分布式(Fully-Distributed Mode) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本博客搭建的虚拟机是伪分布式环境(https://w ...

  2. Hadoop部署方式-伪分布式(Pseudo-Distributed Mode)

    Hadoop部署方式-伪分布式(Pseudo-Distributed Mode) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.下载相应的jdk和Hadoop安装包 JDK:h ...

  3. 2.hadoop基本配置,本地模式,伪分布式搭建

    2. Hadoop三种集群方式 1. 三种集群方式 本地模式 hdfs dfs -ls / 不需要启动任何进程 伪分布式 所有进程跑在一个机器上 完全分布式 每个机器运行不同的进程 2. 服务器基本配 ...

  4. Linux下的Hadoop安装(本地模式)

    系统为CentOS 6.9,Hadoop版本2.8.3,虚拟机VMware Workstation 主要介绍Linux虚拟机安装.环境配置和Hadoop本地模式的安装.伪分布式和Windows下的安装 ...

  5. Hadoop部署方式-高可用集群部署(High Availability)

    版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客的高可用集群是建立在完全分布式基础之上的,详情请参考:https://www.cnblogs.com/yinzhengjie/p/90651 ...

  6. Windows下的Hadoop安装(本地模式)

    时隔许久的博客.. 系统为Windows 10,Hadoop版本2.8.3. 虽然之前已经在Linux虚拟机上成功运行了Hadoop,但我还是在Windows上编码更加习惯,所以尝试了在Window上 ...

  7. hadoop程序在本地模式调试作业

    1.首先下载cygwin,例如安装在该目录下,D:\Program Files\cygwin\ 2.copy linux上的jar包到D:\Program Files\cygwin\home\lib ...

  8. Scala进阶之路-Spark本地模式搭建

    Scala进阶之路-Spark本地模式搭建 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Spark简介 1>.Spark的产生背景 传统式的Hadoop缺点主要有以下两 ...

  9. Apache Spark探秘:三种分布式部署方式比较

    转自:链接地址: http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/     目 ...

随机推荐

  1. TeamWork#2,Week 2,We are sixsix!

    We are sixsix! (从左至右依次是:郝倩.张志浩.高雅智[高哥].牛强.张明培育.彭林江.王卓) 郝倩,来自120617班,我们组7个成员中唯一一个6行政班以外的成员.为了达成组队条件,彭 ...

  2. vim相关命令单独记载

    1. 无敌的可扩展性 1.1 可扩展性给了软件强大的生命 曾几何时,Windows用户对软件的可扩展性没有概念,他们只能对他们使用的软件进行非常有限的定制.扩展软件的权利保留在软件开发者手中.软件的使 ...

  3. 灵悟礼品网上专卖店——画出E-R图

    一.小组成员: 洪雪意(产品负责人) 陈淑筠(Master) 二.组内人员任务情况 计划完成的任务的第三个模块:分析并建立数据库 已完成的任务: 任务的第三个模块: 陈淑筠(完成任务1):画出商品资料 ...

  4. python learning OOP1.py

    class Student(object): # 构造函数 # 第一个参数永远是 self 表示一个实例本身,但是传参的时候不需要传 # 在Python中,实例的变量名如果以__开头,就变成了一个私有 ...

  5. 404 Note Found 团队会议纪要

    目录 团队会议 会议纪要1 会议纪要2 会议纪要3 会议纪要4 会议纪要5 会议纪要6 团队会议 会议纪要1 会议纪要2 会议纪要3 会议纪要4 会议纪要5 会议纪要6

  6. SQL SERVER安装(2008)

    首先需要下载SQL SERVER2008安装程序:为省的麻烦给出网盘地址自行下载,百度网盘:密码:hslb 1.下载到你所选定文件夹中,我下载在E:\SQL SERVER中 2.选择第一个.exe文件 ...

  7. keil51下使用sprintf问题

    测试环境:keil c51 + STC89C52说明: 1.keil的不定参数只有15个字节也就是说sizeof(...) 加起来总共不能超过15字节,否则会出错 2.当不定参数中有常数时,你也会得不 ...

  8. PAT 1053 住房空置率

    https://pintia.cn/problem-sets/994805260223102976/problems/994805273284165632 在不打扰居民的前提下,统计住房空置率的一种方 ...

  9. git常用命令复习及其基本使用示例

    年后回来新上到项目,对于git的一些操作命令记得有点混乱了,所以特整理笔记如下: 一.git常用命令复习 查看当前分支:git branch (显示结果中带有*号的是当前分支)查看所有分支: git ...

  10. ORA-06530: 引用未初始化的组合 ;

    select * FROM TABLE(fun_test_1) : ORA-06530: 引用未初始化的组合ORA-06512: 在 "PCISS.FUN_TEST_1", lin ...