Hadoop Linux安装
- Hadoop Linux安装
- 步骤流程
- 1.硬件准备
- 2.软件准备(推荐CDH)
- 3.将Hadoop安装包分发到各个节点下
- 4.安装JDK
- 5.修改/etc/hosts配置文件
- 6.设置SSH免密码登陆
- 7.修改配置文件
- 8.启动服务
- 9.验证
- 1.下载软件
- 1.1 apache版本
- 下载链接:http://www.apache.org/
- 1.2 CDH
- 下载链接:http://www.cloudera.com/
- 2.安装JDK、解压Hadoop安装包并分发到各个节点
- 3.修改/etc/hosts文件
- 4.设置SSH免密码登陆
- 5.目录介绍
- bin————Hadoop最基本的管理脚本和使用脚本所在目录
- etc————Hadoop配置文件所在目录
- include————对外提供的编程库头文件
- lib————Hadoop对外提供动态编程库和静态库,配合include目录一起使用
- libexec————各个服务对应的shell配置文件所在目录,用于配置日志输出
- sbin————Hadoop各个模块编译后的jar包所在目录
- 6.配置文件(修改后使用scp命令分发到各个节点)
- 1.env.sh
- 2.mapred-site.xml
- 3.core-site.xml
- 4.yarn-site.xml
- 5.hdfs-site.xml
- 6.slave
- 7.启动服务
- 1.格式化HDFS
- bin/hadoop namenode -format
- 2.启动HDFS
- start-dfs.sh
- 3.启动YARN
- start-yarn.sh
- 8.验证
- jps(显示五个服务进程)或者web访问
- http://主机名:端口(其中端口在xml配置文件中配置)
- 9.遇到问题
- 1.虚拟机重启后Hadoop无法启动成功
- 解决办法:在core-site.xml文件中添加相应配置,因为每次重启系统会将/tmp目录删除
Hadoop Linux安装的更多相关文章
- 大数据Hadoop平台安装及Linux操作系统环境配置
配置 Linux 系统基础环境 查看服务器的IP地址 设置服务器的主机名称 hostnamectl set-hostname hadoop hostname可查看 绑定主机名与IP 地址 vim /e ...
- Linux中Hadoop的安装与配置
一.准备 1,配通网络 ping www.baidu.com 之前安装虚拟机时配过 2,关闭防火墙 systemctl stop firewalld systemctl disable firewal ...
- 【从零开始学习Hadoop】--1.Hadoop的安装
第1章 Hadoop的安装1. 操作系统2. Hadoop的版本3. 下载Hadoop4. 安装Java JDK5. 安装hadoop6. 安装rsync和ssh7. 启动hadoop8. 测试had ...
- 从零开始学习Hadoop--第1章 Hadoop的安装
Hadoop的安装比较繁琐,有如下几个原因:其一,Hadoop有非常多的版本:其二,官方文档不尽详细,有时候更新脱节,Hadoop发展的太快了:其三,网上流传的各种文档,或者是根据某些需求定制,或者加 ...
- hadoop分布式安装教程(转)
from:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Ap ...
- Hadoop的安装与配置说明
安装hadoop是一件非常容易的事情,读者可以在官网上下载到最近的几个hadoop版本.网址为http://apache.etoak.com//hadoop/core/. 目前,hadoop可以运 ...
- Hadoop单机版安装,配置,运行
Hadoop是最近非常流行的东东啦,但是乍一看都觉得是集群的东东,其实在单机版上安装Hadoop也是可以的,并且安装好以后可以很方便的进行程序的调试,调试好程序以后再丢到集群中,放心的算吧,呵呵.. ...
- centos中-hadoop单机安装及伪分布式运行实例
创建用户并加入授权 1,创建hadoop用户 sudo useradd -m hadoop -s /bin/bash 2,修改sudo的配置文件,位于/etc/sudoers,需要root权限才可以读 ...
- hadoop单机版安装及基本功能演示
本文所使用的Linux发行版本为:CentOS Linux release 7.4.1708 (Core) hadoop单机版安装 准备工作 创建用户 useradd -m hadoop passwd ...
随机推荐
- 为什么npm install在安装时会多安装很多依赖包
比如我安装gulp时,会多出很多无用的包,如下图: 经过查询,原来是npm升级了导致的,在npm3.0以上的版本,包的依赖不再安装在每个架包的node_modules文件夹内,而是安装在顶层的node ...
- Alpha阶段测试报告
测试说明 APP中前后端交互的接口主要有两种,一种是游戏开始前获取信息的HTTP请求接口,这种接口可以看成是静态的,比较简单:另外一种就是游戏过程中进行实时通信的Websocket请求接口,因为这是在 ...
- Alpha阶段第二次Scrum Meeting
情况简述 Alpha阶段第一次Scrum Meeting 敏捷开发起始时间 2016/10/21 00:00 敏捷开发终止时间 2016/10/22 00:00 会议基本内容摘要 汇报了已经完成的任务 ...
- iOS - 沙盒与目录
NSFileManager NSBundle Class Cluster 采用Tagged Pointer的字符串 NSPathStore iOS证书ipa包重签名探究 url 结构 1. iOS 沙 ...
- DEDECMS标签调用汇总啊
非常有用的标签调用的方法 关键描述调用标签: <meta name="keywords" content="{dede:field name='keywords'/ ...
- lua c api
#include <stdio.h> #include <string.h> extern "C"{ #include <lua.h> #inc ...
- 如何在网页中添加“QQ交流”
今天在撸码时,想到这个问题,有些网页中会有诸如,那么如何在网页添加"QQ交谈"? 第一步.登录QQ: 第二步.打开网页:QQ推广,启用QQ通讯组件: 第三步.选择组件样式,设置提示 ...
- Android之自定义属性
有些时候会觉得Android中提供的控件不能满足项目的要求,所以就会常常去自定义控件.自定义控件就不免会自定义属性.自定义属性大致需要三个步骤:在XML文件中定义自定义属性的名称和数据类型.在布局中调 ...
- Go - 字典(map)
字典是一种内置的数据结构,用来保存 键值对 的 无序集合. (1)字典的创建 1) make(map[KeyType] ValueType, initialCapacity) 2) make(map[ ...
- mysql 最大连接数 & 连接池
MySQL最大连接数 关于最大连接数:http://mg123.lofter.com/post/1a5f3e_996f838 可以通过修改配置文件(默认/etc/my.cnf)中的"mysq ...