Hadoop 3.1.2 下载安装和分布式搭建的准备
官方有详细文档:https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-common/SingleCluster.html
我整个配置用的是ubuntu18.04 + java8 + hadoop3.1.2
首先我们可以创建一个hadoop用户,使用bash作为shell
sudo useradd -m hadoop -s /bin/bash
更改密码
sudo passwd hadoop
给hadoop管理员权限
sudo adduser hadoop sudo
接下来就登录在hadoop用户中操作吧 su hadoop
然后我们配置一下ssh
安装ssh
sudo apt install openssh-server
用 ssh localhost 试试能不能ssh登录本机,让后用 exit 登出
如果成攻了,就设置一下免密登录
cd ~/.ssh/ 移动到.ssh目录,如果显示不存在就ssh登录本机再试下
ssh-keygen -t rsa 一直按回车就行
cat ./id_rsa.pub >> ./authorized_keys 把id_rsa.pub复制到authorized_keys,加入授权
然后就可以ssh登录本机测试一下能不能免密登录
接下来安装jdk,我选择的是java8
jdk有3种装法,我就介绍最简单的一种
直接用apt安装就好
sudo apt-get install openjdk--jdk -C /usr/lib
然后我们配置一下环境变量
在linux中既可以在.bashrc中也可以在profile中配置
我们选择在 /etc/profile 中配置,在这里配置会在一开机就对全部用户生效,如果选择在 ~/.bashrc 配置,就是当前用户开启bash后生效
linux中的路径用 : 隔开
在文件末尾添加
export JAVA_HOME=/usr/lib/jvm/java--openjdk-amd64
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
记得用 source 命令更新一下
接下来就是安装Hadoop了
由于apt没有自带hadoop,我们只能用 wget url 命令来下载在当前目录
官方url:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz
清华镜像站:http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz
选择一个就好,推荐清华镜像站,官方的国内下载很慢
解压
tar -zxvf hadoop-3.1..tar.gz -C ~/
我们配置一下hadoop环境在hadoop-3.1.2目录下的 /etc/hadoop/hadoop-env.sh
按文件里说的,在JAVA_HOME哪里添加你的JAVA目录
我们进入hadoop目录下检查一下安装成功了没
cd ~/hadoop-3.1. 进入目录
./bin/hadoop version 检查版本
如上界面就是成功了
接下来就可以正式开始配置单机模式,伪分布式,或者完全分布式了
单机模式:在一台机上,没有用到分布式系统,多用于测试
伪分布式:在一台机上,用多个java程序模拟分布式的过程,也就是你在一个机器上配置了hadoop的所有节点
完全分布式:就是最常用的真正的分布式了
Hadoop 3.1.2 下载安装和分布式搭建的准备的更多相关文章
- Python 3 下载安装和环境搭建
Python3 下载 由于博主使用的平台是Windows10,以下方法仅限win10系统 Python 官网:https://www.python.org/ 找到跟系统相应的版本瞎子: Python ...
- Django web框架 下载安装 简单项目搭建
什么是web应用? Web应用程序是一种可以通过Web访问的应用程序,程序的最大好处是用户很容易访问应用程序,用户只需要有浏览器即可,不需要再安装其他软件 应用程序有两种模式C/S.B/S.C/S是客 ...
- Hadoop入门进阶课程1--Hadoop1.X伪分布式安装
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,博主为石山园,博客地址为 http://www.cnblogs.com/shishanyuan ...
- Hadoop介绍及最新稳定版Hadoop 2.4.1下载地址及单节点安装
Hadoop介绍 Hadoop是一个能对大量数据进行分布式处理的软件框架.其基本的组成包括hdfs分布式文件系统和可以运行在hdfs文件系统上的MapReduce编程模型,以及基于hdfs和MapR ...
- hadoop入门篇-hadoop下载安装教程(附图文步骤)
在前几篇的文章中分别就虚拟系统安装.LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤. 在此之前有必要做一个简单的说明:分享的所有内容 ...
- ubuntu 下安装伪分布式 hadoop
安装准备: (1)hadoop安装包:hadoop-1.2.1.tar.gz (2)jdk安装包:jdk-7u60-linux-i586.gz (3)要是须要eclipse开发的话 还须要eclips ...
- hadoop安装教程,分布式配置 CentOS7 Hadoop3.1.2
安装前的准备 1. 准备4台机器.或虚拟机 4台机器的名称和IP对应如下 master:192.168.199.128 slave1:192.168.199.129 slave2:192.168.19 ...
- 一步步教你Hadoop多节点集群安装配置
1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesys ...
- Ubuntu 14.04 (32位)上搭建Hadoop 2.5.1单机和伪分布式环境
引言 一直用的Ubuntu 32位系统(准备下次用Fedora,Ubuntu越来越不适合学习了),今天准备学习一下Hadoop,结果下载Apache官网上发布的最新的封装好的2.5.1版,配置完了根本 ...
随机推荐
- nodejs顺序执行shell
最近工作中需要用到nodejs编写脚本来顺序执行自动化测试用例,编写代码如下: var runCommand = function (command){ child_process.exec(comm ...
- Python之模块和包学习
模块简介 python是由一系列的模块组成的,每个模块就是一个py为后缀的文件,同时模块也是一个命名空间,从而避免了变量名称冲突的问题.模块我们就可以理解为lib库,如果需要使用某个模块中的函数或对象 ...
- NLog日志框架简写用法
本文转载:http://www.blogjava.net/qiyadeng/archive/2013/02/27/395799.html 在.net中也有非常多的日志工具,今天介绍下NLog.NLog ...
- ZOJ 3702 Gibonacci number 2017-04-06 23:28 28人阅读 评论(0) 收藏
Gibonacci number Time Limit: 2 Seconds Memory Limit: 65536 KB In mathematical terms, the normal ...
- ASP.NET Core2基于RabbitMQ对Web前端实现推送功能
在我们很多的Web应用中会遇到需要从后端将指定的数据或消息实时推送到前端,通常的做法是前端写个脚本定时到后端获取,或者借助WebSocket技术实现前后端实时通讯.因定时刷新的方法弊端很多(已不再采用 ...
- [Erlang29]进程收到不是期望的消息时怎么办?
最近在项目中升级了第三方库,导致本应用gen_server中A进程中: handle_info({add,X},Sum) -> {noreply,Sum+X}; 结果这么简单的一个工作居然不工作 ...
- [C#学习笔记]C#中的decimal类型——《CLR via C#》
System.Decimal是非常特殊的类型.在CLR中,Decimal类型不是基元类型.这就意味着CLR没有知道如何处理Decimal的IL指令. 在文档中查看Decimal类型,可以看到它提供了一 ...
- Android学习之Adapter(数据适配器)
1.定义 数据适配器是AdapterView视图(如ListView - 列表视图控件.Gallery - 缩略图浏览器控件.GridView - 网格控件.Spinner - 下拉列表控件. ...
- iOS 获取 UITabViewController 和 UINavigationController 的图标位置
这些图标是放在 UITabBar 和 UINavigationBar 里的.所以只要遍历它们的 subViews,找到类型是 UIButton 的就可以了. 所有想获取它们的相对位置很容易. 获取到相 ...
- CSRF漏洞原理说明与利用方法
翻译者:Fireweed 原文链接:http://seclab.stanford.edu/websec/ 一 .什么是CSRF Cross-Site Request Forgery(CSRF),中文一 ...