官方有详细文档:https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-common/SingleCluster.html

我整个配置用的是ubuntu18.04 + java8 + hadoop3.1.2

首先我们可以创建一个hadoop用户,使用bash作为shell

sudo useradd -m hadoop -s /bin/bash

更改密码

sudo passwd hadoop

给hadoop管理员权限

sudo adduser hadoop sudo

接下来就登录在hadoop用户中操作吧 su hadoop

然后我们配置一下ssh

安装ssh

sudo apt install openssh-server

用 ssh localhost 试试能不能ssh登录本机,让后用 exit 登出

如果成攻了,就设置一下免密登录

cd ~/.ssh/ 移动到.ssh目录,如果显示不存在就ssh登录本机再试下

ssh-keygen -t rsa 一直按回车就行

cat ./id_rsa.pub >> ./authorized_keys 把id_rsa.pub复制到authorized_keys,加入授权

然后就可以ssh登录本机测试一下能不能免密登录

接下来安装jdk,我选择的是java8

jdk有3种装法,我就介绍最简单的一种

直接用apt安装就好

sudo apt-get install openjdk--jdk -C /usr/lib

然后我们配置一下环境变量

在linux中既可以在.bashrc中也可以在profile中配置

我们选择在 /etc/profile 中配置,在这里配置会在一开机就对全部用户生效,如果选择在 ~/.bashrc 配置,就是当前用户开启bash后生效

linux中的路径用 : 隔开

在文件末尾添加

export JAVA_HOME=/usr/lib/jvm/java--openjdk-amd64
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

记得用 source 命令更新一下

接下来就是安装Hadoop了

由于apt没有自带hadoop,我们只能用 wget url 命令来下载在当前目录

官方url:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz

清华镜像站:http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz

选择一个就好,推荐清华镜像站,官方的国内下载很慢

解压

tar -zxvf hadoop-3.1..tar.gz -C ~/

我们配置一下hadoop环境在hadoop-3.1.2目录下的 /etc/hadoop/hadoop-env.sh

按文件里说的,在JAVA_HOME哪里添加你的JAVA目录

我们进入hadoop目录下检查一下安装成功了没

cd ~/hadoop-3.1. 进入目录

./bin/hadoop version 检查版本

如上界面就是成功了

接下来就可以正式开始配置单机模式,伪分布式,或者完全分布式了

单机模式:在一台机上,没有用到分布式系统,多用于测试

伪分布式:在一台机上,用多个java程序模拟分布式的过程,也就是你在一个机器上配置了hadoop的所有节点

完全分布式:就是最常用的真正的分布式了

Hadoop 3.1.2 下载安装和分布式搭建的准备的更多相关文章

  1. Python 3 下载安装和环境搭建

    Python3 下载 由于博主使用的平台是Windows10,以下方法仅限win10系统 Python 官网:https://www.python.org/ 找到跟系统相应的版本瞎子: Python ...

  2. Django web框架 下载安装 简单项目搭建

    什么是web应用? Web应用程序是一种可以通过Web访问的应用程序,程序的最大好处是用户很容易访问应用程序,用户只需要有浏览器即可,不需要再安装其他软件 应用程序有两种模式C/S.B/S.C/S是客 ...

  3. Hadoop入门进阶课程1--Hadoop1.X伪分布式安装

    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,博主为石山园,博客地址为 http://www.cnblogs.com/shishanyuan  ...

  4. Hadoop介绍及最新稳定版Hadoop 2.4.1下载地址及单节点安装

     Hadoop介绍 Hadoop是一个能对大量数据进行分布式处理的软件框架.其基本的组成包括hdfs分布式文件系统和可以运行在hdfs文件系统上的MapReduce编程模型,以及基于hdfs和MapR ...

  5. hadoop入门篇-hadoop下载安装教程(附图文步骤)

    在前几篇的文章中分别就虚拟系统安装.LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤. 在此之前有必要做一个简单的说明:分享的所有内容 ...

  6. ubuntu 下安装伪分布式 hadoop

    安装准备: (1)hadoop安装包:hadoop-1.2.1.tar.gz (2)jdk安装包:jdk-7u60-linux-i586.gz (3)要是须要eclipse开发的话 还须要eclips ...

  7. hadoop安装教程,分布式配置 CentOS7 Hadoop3.1.2

    安装前的准备 1. 准备4台机器.或虚拟机 4台机器的名称和IP对应如下 master:192.168.199.128 slave1:192.168.199.129 slave2:192.168.19 ...

  8. 一步步教你Hadoop多节点集群安装配置

    1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesys ...

  9. Ubuntu 14.04 (32位)上搭建Hadoop 2.5.1单机和伪分布式环境

    引言 一直用的Ubuntu 32位系统(准备下次用Fedora,Ubuntu越来越不适合学习了),今天准备学习一下Hadoop,结果下载Apache官网上发布的最新的封装好的2.5.1版,配置完了根本 ...

随机推荐

  1. nodejs顺序执行shell

    最近工作中需要用到nodejs编写脚本来顺序执行自动化测试用例,编写代码如下: var runCommand = function (command){ child_process.exec(comm ...

  2. Python之模块和包学习

    模块简介 python是由一系列的模块组成的,每个模块就是一个py为后缀的文件,同时模块也是一个命名空间,从而避免了变量名称冲突的问题.模块我们就可以理解为lib库,如果需要使用某个模块中的函数或对象 ...

  3. NLog日志框架简写用法

    本文转载:http://www.blogjava.net/qiyadeng/archive/2013/02/27/395799.html 在.net中也有非常多的日志工具,今天介绍下NLog.NLog ...

  4. ZOJ 3702 Gibonacci number 2017-04-06 23:28 28人阅读 评论(0) 收藏

    Gibonacci number Time Limit: 2 Seconds      Memory Limit: 65536 KB In mathematical terms, the normal ...

  5. ASP.NET Core2基于RabbitMQ对Web前端实现推送功能

    在我们很多的Web应用中会遇到需要从后端将指定的数据或消息实时推送到前端,通常的做法是前端写个脚本定时到后端获取,或者借助WebSocket技术实现前后端实时通讯.因定时刷新的方法弊端很多(已不再采用 ...

  6. [Erlang29]进程收到不是期望的消息时怎么办?

    最近在项目中升级了第三方库,导致本应用gen_server中A进程中: handle_info({add,X},Sum) -> {noreply,Sum+X}; 结果这么简单的一个工作居然不工作 ...

  7. [C#学习笔记]C#中的decimal类型——《CLR via C#》

    System.Decimal是非常特殊的类型.在CLR中,Decimal类型不是基元类型.这就意味着CLR没有知道如何处理Decimal的IL指令. 在文档中查看Decimal类型,可以看到它提供了一 ...

  8. Android学习之Adapter(数据适配器)

    1.定义     数据适配器是AdapterView视图(如ListView - 列表视图控件.Gallery - 缩略图浏览器控件.GridView - 网格控件.Spinner - 下拉列表控件. ...

  9. iOS 获取 UITabViewController 和 UINavigationController 的图标位置

    这些图标是放在 UITabBar 和 UINavigationBar 里的.所以只要遍历它们的 subViews,找到类型是 UIButton 的就可以了. 所有想获取它们的相对位置很容易. 获取到相 ...

  10. CSRF漏洞原理说明与利用方法

    翻译者:Fireweed 原文链接:http://seclab.stanford.edu/websec/ 一 .什么是CSRF Cross-Site Request Forgery(CSRF),中文一 ...