Hadoop Linux安装

步骤流程

	1.硬件准备

	2.软件准备（推荐CDH）

	3.将Hadoop安装包分发到各个节点下

	4.安装JDK

	5.修改/etc/hosts配置文件

	6.设置SSH免密码登陆

	7.修改配置文件

	8.启动服务

	9.验证 

1.下载软件

	1.1 apache版本

	下载链接：http://www.apache.org/

	1.2 CDH

	下载链接：http://www.cloudera.com/

2.安装JDK、解压Hadoop安装包并分发到各个节点

3.修改/etc/hosts文件

4.设置SSH免密码登陆

5.目录介绍

	bin————Hadoop最基本的管理脚本和使用脚本所在目录

	etc————Hadoop配置文件所在目录

	include————对外提供的编程库头文件

	lib————Hadoop对外提供动态编程库和静态库，配合include目录一起使用

	libexec————各个服务对应的shell配置文件所在目录，用于配置日志输出

	sbin————Hadoop各个模块编译后的jar包所在目录

6.配置文件（修改后使用scp命令分发到各个节点）

	1.env.sh

	2.mapred-site.xml

	3.core-site.xml

	4.yarn-site.xml

	5.hdfs-site.xml

	6.slave

7.启动服务

	1.格式化HDFS

		bin/hadoop namenode -format

	2.启动HDFS

		start-dfs.sh

	3.启动YARN

		start-yarn.sh

8.验证

	jps(显示五个服务进程)或者web访问

	http://主机名:端口(其中端口在xml配置文件中配置)

9.遇到问题

	1.虚拟机重启后Hadoop无法启动成功

		解决办法：在core-site.xml文件中添加相应配置，因为每次重启系统会将/tmp目录删除

　　

Hadoop Linux安装的更多相关文章

  1. 大数据Hadoop平台安装及Linux操作系统环境配置

    配置 Linux 系统基础环境 查看服务器的IP地址 设置服务器的主机名称 hostnamectl set-hostname hadoop hostname可查看 绑定主机名与IP 地址 vim /e ...

  2. Linux中Hadoop的安装与配置

    一.准备 1,配通网络 ping www.baidu.com 之前安装虚拟机时配过 2,关闭防火墙 systemctl stop firewalld systemctl disable firewal ...

  3. 【从零开始学习Hadoop】--1.Hadoop的安装

    第1章 Hadoop的安装1. 操作系统2. Hadoop的版本3. 下载Hadoop4. 安装Java JDK5. 安装hadoop6. 安装rsync和ssh7. 启动hadoop8. 测试had ...

  4. 从零开始学习Hadoop--第1章 Hadoop的安装

    Hadoop的安装比较繁琐,有如下几个原因:其一,Hadoop有非常多的版本:其二,官方文档不尽详细,有时候更新脱节,Hadoop发展的太快了:其三,网上流传的各种文档,或者是根据某些需求定制,或者加 ...

  5. hadoop分布式安装教程（转）

    from:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Ap ...

  6. Hadoop的安装与配置说明

    安装hadoop是一件非常容易的事情,读者可以在官网上下载到最近的几个hadoop版本.网址为http://apache.etoak.com//hadoop/core/.   目前,hadoop可以运 ...

  7. Hadoop单机版安装，配置，运行

    Hadoop是最近非常流行的东东啦,但是乍一看都觉得是集群的东东,其实在单机版上安装Hadoop也是可以的,并且安装好以后可以很方便的进行程序的调试,调试好程序以后再丢到集群中,放心的算吧,呵呵.. ...

  8. centos中-hadoop单机安装及伪分布式运行实例

    创建用户并加入授权 1,创建hadoop用户 sudo useradd -m hadoop -s /bin/bash 2,修改sudo的配置文件,位于/etc/sudoers,需要root权限才可以读 ...

  9. hadoop单机版安装及基本功能演示

    本文所使用的Linux发行版本为:CentOS Linux release 7.4.1708 (Core) hadoop单机版安装 准备工作 创建用户 useradd -m hadoop passwd ...

随机推荐

  1. iOS提交后申请加急审核

    链接:https://developer.apple.com/appstore/contact/appreviewteam/index.html 在i would like to里选择加急审核 然后填 ...

  2. [译]ASP.NET 5 Configuration

    原文:https://docs.asp.net/en/latest/fundamentals/configuration.html ASP.NET 5支持多种配置选项. 应用的配置文件可以是JSON, ...

  3. VTK初学一，vtkDelaunay2D创建球冠曲面

    #ifndef INITIAL_OPENGL #define INITIAL_OPENGL #include <vtkAutoInit.h> VTK_MODULE_INIT(vtkRend ...

  4. [Machine Learning & Algorithm] 朴素贝叶斯算法（Naive Bayes）

    生活中很多场合需要用到分类,比如新闻分类.病人分类等等. 本文介绍朴素贝叶斯分类器(Naive Bayes classifier),它是一种简单有效的常用分类算法. 一.病人分类的例子 让我从一个例子 ...

  5. oracle分区表知识

    在F5中查看执行计划的时候总是看到很多信息: range分区 执行计划中出现的: 分区表,按 n1 ,n2 分区 partition range single:访问单个分区 partition ran ...

  6. 【荐】怎么用PHP发送HTTP请求（POST请求、GET请求）?

    file_get_contents版本: <?php /** * 发送post请求 * @param string $url 请求地址 * @param array $post_data pos ...

  7. MySQL Cluster 7.3.5 集群配置实例（入门篇）

    一.环境说明: CentOS6.3(32位) + MySQL Cluster 7.3.5,规划5台机器,资料如下: 节点分布情况: MGM:192.168.137. NDBD1:192.168.137 ...

  8. .htaccess 基础教程（二）

    今天要介绍的:.htaccess的第一个应用是自定义错误页面,这将使你可以拥有自己的.个性化的错误页面(例如找不到文件时),而不是你的服务商提供的错误页或没有任何页面.这会让你的网站在出错的时候看上去 ...

  9. windows vim修改字体

    C:\Program Files (x86)\Vim\vim74 目录下,在vimrc_example.vim和mswin.vim中添加: set guifont=Consolas:h11

  10. ASP.NET 操作Excel中的DCOM配置方式

    具体配置方式如下: 1. 组件服务管理窗口 在运行栏中输入命令:dcomcnfg,打开组件服务管理窗口,在组件服务->计算机->我的电脑->DCom配置->找到Microsof ...