1. Hadoop Linux安装
  2.  
  3. 步骤流程
  4. 1.硬件准备
  5. 2.软件准备(推荐CDH
  6. 3.Hadoop安装包分发到各个节点下
  7. 4.安装JDK
  8. 5.修改/etc/hosts配置文件
  9. 6.设置SSH免密码登陆
  10. 7.修改配置文件
  11. 8.启动服务
  12. 9.验证
  13.  
  14. 1.下载软件
  15. 1.1 apache版本
  16. 下载链接:http://www.apache.org/
  17. 1.2 CDH
  18. 下载链接:http://www.cloudera.com/
  19. 2.安装JDK、解压Hadoop安装包并分发到各个节点
  20. 3.修改/etc/hosts文件
  21. 4.设置SSH免密码登陆
  22. 5.目录介绍
  23. bin————Hadoop最基本的管理脚本和使用脚本所在目录
  24. etc————Hadoop配置文件所在目录
  25. include————对外提供的编程库头文件
  26. lib————Hadoop对外提供动态编程库和静态库,配合include目录一起使用
  27. libexec————各个服务对应的shell配置文件所在目录,用于配置日志输出
  28. sbin————Hadoop各个模块编译后的jar包所在目录
  29. 6.配置文件(修改后使用scp命令分发到各个节点)
  30. 1.env.sh
  31. 2.mapred-site.xml
  32. 3.core-site.xml
  33. 4.yarn-site.xml
  34. 5.hdfs-site.xml
  35. 6.slave
  36. 7.启动服务
  37. 1.格式化HDFS
  38. bin/hadoop namenode -format
  39. 2.启动HDFS
  40. start-dfs.sh
  41. 3.启动YARN
  42. start-yarn.sh
  43. 8.验证
  44. jps(显示五个服务进程)或者web访问
  45. http://主机名:端口(其中端口在xml配置文件中配置)
  46. 9.遇到问题
  47. 1.虚拟机重启后Hadoop无法启动成功
  48. 解决办法:在core-site.xml文件中添加相应配置,因为每次重启系统会将/tmp目录删除

  

Hadoop Linux安装的更多相关文章

  1. 大数据Hadoop平台安装及Linux操作系统环境配置

    配置 Linux 系统基础环境 查看服务器的IP地址 设置服务器的主机名称 hostnamectl set-hostname hadoop hostname可查看 绑定主机名与IP 地址 vim /e ...

  2. Linux中Hadoop的安装与配置

    一.准备 1,配通网络 ping www.baidu.com 之前安装虚拟机时配过 2,关闭防火墙 systemctl stop firewalld systemctl disable firewal ...

  3. 【从零开始学习Hadoop】--1.Hadoop的安装

    第1章 Hadoop的安装1. 操作系统2. Hadoop的版本3. 下载Hadoop4. 安装Java JDK5. 安装hadoop6. 安装rsync和ssh7. 启动hadoop8. 测试had ...

  4. 从零开始学习Hadoop--第1章 Hadoop的安装

    Hadoop的安装比较繁琐,有如下几个原因:其一,Hadoop有非常多的版本:其二,官方文档不尽详细,有时候更新脱节,Hadoop发展的太快了:其三,网上流传的各种文档,或者是根据某些需求定制,或者加 ...

  5. hadoop分布式安装教程(转)

    from:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Ap ...

  6. Hadoop的安装与配置说明

    安装hadoop是一件非常容易的事情,读者可以在官网上下载到最近的几个hadoop版本.网址为http://apache.etoak.com//hadoop/core/.   目前,hadoop可以运 ...

  7. Hadoop单机版安装,配置,运行

    Hadoop是最近非常流行的东东啦,但是乍一看都觉得是集群的东东,其实在单机版上安装Hadoop也是可以的,并且安装好以后可以很方便的进行程序的调试,调试好程序以后再丢到集群中,放心的算吧,呵呵.. ...

  8. centos中-hadoop单机安装及伪分布式运行实例

    创建用户并加入授权 1,创建hadoop用户 sudo useradd -m hadoop -s /bin/bash 2,修改sudo的配置文件,位于/etc/sudoers,需要root权限才可以读 ...

  9. hadoop单机版安装及基本功能演示

    本文所使用的Linux发行版本为:CentOS Linux release 7.4.1708 (Core) hadoop单机版安装 准备工作 创建用户 useradd -m hadoop passwd ...

随机推荐

  1. 为什么npm install在安装时会多安装很多依赖包

    比如我安装gulp时,会多出很多无用的包,如下图: 经过查询,原来是npm升级了导致的,在npm3.0以上的版本,包的依赖不再安装在每个架包的node_modules文件夹内,而是安装在顶层的node ...

  2. Alpha阶段测试报告

    测试说明 APP中前后端交互的接口主要有两种,一种是游戏开始前获取信息的HTTP请求接口,这种接口可以看成是静态的,比较简单:另外一种就是游戏过程中进行实时通信的Websocket请求接口,因为这是在 ...

  3. Alpha阶段第二次Scrum Meeting

    情况简述 Alpha阶段第一次Scrum Meeting 敏捷开发起始时间 2016/10/21 00:00 敏捷开发终止时间 2016/10/22 00:00 会议基本内容摘要 汇报了已经完成的任务 ...

  4. iOS - 沙盒与目录

    NSFileManager NSBundle Class Cluster 采用Tagged Pointer的字符串 NSPathStore iOS证书ipa包重签名探究 url 结构 1. iOS 沙 ...

  5. DEDECMS标签调用汇总啊

    非常有用的标签调用的方法 关键描述调用标签: <meta name="keywords" content="{dede:field name='keywords'/ ...

  6. lua c api

    #include <stdio.h> #include <string.h> extern "C"{ #include <lua.h> #inc ...

  7. 如何在网页中添加“QQ交流”

    今天在撸码时,想到这个问题,有些网页中会有诸如,那么如何在网页添加"QQ交谈"? 第一步.登录QQ: 第二步.打开网页:QQ推广,启用QQ通讯组件: 第三步.选择组件样式,设置提示 ...

  8. Android之自定义属性

    有些时候会觉得Android中提供的控件不能满足项目的要求,所以就会常常去自定义控件.自定义控件就不免会自定义属性.自定义属性大致需要三个步骤:在XML文件中定义自定义属性的名称和数据类型.在布局中调 ...

  9. Go - 字典(map)

    字典是一种内置的数据结构,用来保存 键值对 的 无序集合. (1)字典的创建 1) make(map[KeyType] ValueType, initialCapacity) 2) make(map[ ...

  10. mysql 最大连接数 & 连接池

    MySQL最大连接数 关于最大连接数:http://mg123.lofter.com/post/1a5f3e_996f838 可以通过修改配置文件(默认/etc/my.cnf)中的"mysq ...