• 版本:CentOS-6.8-x86_64-minimal,hadoop2.6.4,jdk1.7.0
  • 首先把jdk、hadoop压缩包下载发送到CentOS下并解压

下载发送不多赘述,解压命令tar -zxvf 压缩包

mv 原文件名 新文件名

(注意空格)

  • 先配置jdk
  1. 进入jdk目录 pwd 查看当前目录复制备用/apps/jdk1.7.0_25
  2. 配置环境变量

vi ~/.bash_profile

JAVA_HOME=/apps/jdk1.7.0_25
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

source ~/.bash_profile

  • 关闭防火墙,做好ssh免密登录

    • 关闭防火墙

      • service iptables stop
      • chkconfig iptables off
      • ssh-keygen -t rsa
    • ssh免密登录
      • master: cat /root/.ssh/id_rsa.pub >>/root/.ssh/authorized_keys
      • master:scp /root/.ssh/authorized_keys @slave1:/root/.ssh/authorized_keys
      • slave1:cat /root/.ssh/id_rsa.pub >>/root/.ssh/authorized_keys
      • slave1:scp /root/.ssh/authorized_keys @slave2:/root/.ssh/authorized_keys
      • slave2:cat /root/.ssh/id_rsa.pub >>/root/.ssh/authorized_keys
      • slave2:scp /root/.ssh/authorized_keys @master:/root/.ssh/authorized_keys
      • master:scp /root/.ssh/authorized_keys @slave1:/root/.ssh/authorized_keys
      • slave2:scp /root/.ssh/authorized_keys @slave2:/root/.ssh/authorized_keys
  • 再配置hadoop
  1. 环境变量vi ~/.bash_profile

    HADOOP_HOME=/apps/hadoop-2.6.4
    PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    source ~/.bash_profile

  2. 配置运行环境
    • core-site.xml

      • <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
        </property>

    • hdfs-site.xml
      • <property>
        <name>dfs.replication</name>
        <value>3</value>
        </property>

        <property>
        <name>dfs.namenode.name.dir</name>
        <value>/app/hadoop/dfs/name</value>
        </property>

        <property>
        <name>dfs.datanode.data.dir</name>
        <value>/app/hadoop/dfs/data</value>
        </property>

        <property>
        <name>dfs.secondary.http.address</name>
        <value>slave2:50090</value>
        </property>

        <property>
        <name>dfs.namenode.checkpoint.dir</name>
        <value>/app/hadoop/dfs/namesecondary</value>
        </property>

    • hadoop-env.sh
      • export JAVA_HOME=/apps/jdk1.7.0_25
    • yarn-site.xml
      • <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        </property>

        <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
        </property>

        mapreduce-site.xml
        <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        </property>

      • slaves
        • 将原有内容替换为从节点主机名
  3. 将配置完成的jdk、hadoop发送到另外两台主机上
    • master:scp -r apps/ @slave1:/apps/
    • master:scp -r apps/ @slave2:/apps/
    • master:scp ~/.bash_profile @slave1:~/.bash_profile
    • master:scp ~/.bash_profile @slave2:~/.bash_profile
    • slave1: source ~/.bash_profile
    • slave2: source ~/.bash_profile

  hadoop集群配置完成

格式化namenode

  hadoop namenode -format

启动所有节点

  start-all.sh

hadoop在CentOS下的安装配置的更多相关文章

  1. centOS下yum安装配置samba

     centOS下yum安装配置samba 2010-03-29 15:46:00 标签:samba yum centOS 安装 休闲 注意:本文的原则是只将文件共享应用于内网服务器,并让将要被共享的目 ...

  2. CentOS下Redisserver安装配置

    1.CentOS 6.6下Redis安装配置记录 2.CentOS下Redisserver安装配置

  3. [转帖]CentOS下iRedMail安装配置

    CentOS下iRedMail安装配置 中文名为艾瑞得邮件,由 rhms 项目更名而来.是针对 Linux 设计的邮件服务器解决方案,是在操作系统安装好后使用的一套 shell 脚本,用于快速部署一套 ...

  4. Redis 对比 Memcached 并在 CentOS 下进行安装配置

    了解一下 Redis Redis 是一个开源.支持网络.基于内存.键值对的 Key-Value 数据库,使用 ANSI C 编写,并提供多种语言的 API ,它几乎没有上手难度,只需要几分钟我们就能完 ...

  5. Hadoop在Windows下的安装配置

    由于本人近期近期一段时间 都在学习Hadoop,接触了比較多的理论,可是想要深入的去学习Hadoop整个平台,那就必须实战的训练,首先第一步,当然是先搭建好一个Hadoop平台为先.可是比較坑爹的是. ...

  6. CentOS下Redis安装配置小结

    Redis是REmote DIctionary Server的缩写. 是一个使用 C 语言写成的,开源的 key-value 非关系型数据库.跟memcached类似,不过数据可以持久化. Redis ...

  7. centos下 redis安装配置及简单测试

    1:安装redis(使用的的环境是centos6.7 redis-2.6.14) 将redis-2.6.14.tar.gz文件拷贝到/usr/local/src 目录下 解压文件  tar zxvf ...

  8. Centos 下mysql安装配置

    一.编译安装MySQL前的准备工作 安装编译源码所需的工具和库 yum install gcc gcc-c++ ncurses-devel perl 安装cmake,从http://www.cmake ...

  9. CentOS下NTP安装配置

      安装yum install ntp 配置文件 /etc/ntp.confrestrict default kod nomodifynotrap nopeer noqueryrestrict -6 ...

随机推荐

  1. 非J2EE部署解决方案

     根据交银施罗德真实环境已测试通过,此过程可以作为非J2EE部署的典型案例,主要是针对某些对安全性要求较高的解决方案: 基本的实现原理和部分代码如下: 1.客户端访问交银.net系统,由该系统发送 ...

  2. java 内存分析之方法返回值二

    package Demo; class Point { private double x, y; public Point(double x, double y) { this.x = x; this ...

  3. spring boot(12)-数据源配置原理

    本篇讲的不仅是数据源配置,这也是spring boot实现自动配置的一部分.要理解数据源的配置原理,首先要理解第十篇tomcat连接池的配置 数据源配置源码 这里截取org.springframewo ...

  4. spring boot(11)-druid监控

    druid druid是和tomcat jdbc一样优秀的连接池,出自阿里巴巴.关于druid连接池参数,参考 https://github.com/alibaba/druid/wiki/DruidD ...

  5. SQLSERVER中KeyHashValue的作用(上)

    SQLSERVER中KeyHashValue的作用(上) SQLSERVER中KeyHashValue的作用(下) 原文的标题是:SQLSERVER在索引下如何找到哈希值的随想 现在知道KeyHash ...

  6. Android笔记:解决 Your project contains error(s),please fix them before running your application问题

    解决 Your project contains error(s),please fix them before running your application问题 貌似好多人都有遇到这问题,而且网 ...

  7. 铁乐学Python_day11_闭包函数

    一.[函数名] 1)函数名本质上它也是一种变量,特殊的变量: (碰到同名其它变量,依照从上往下的代码执行赋值.) 单独打印函数名,输出的是它对应的内存地址: 例: def funcl(): print ...

  8. 清除 Exchange 2013/2016/2019 日志和ETL文件

    Exchange Server  的2个日志目录会增长的很快,需要定时清理,不然C盘的空间很快就会吃光,以下这个powershell脚本就是用于清理目录下面的日志的,已在生产环境中测试过,没问题: S ...

  9. 第二次作业:找Bug

    引子 我真的想了一个小时,上哪里去找bug.我昨天还留意到一个bug,今天就不见了.灵光不断,我想起来了.我就要找大公司的产品的bug... 第一部分 调研, 评测 体验. <腾讯桌球>是 ...

  10. Django template 过滤器

    转载自: http://www.lidongkui.com/django-template-filter-table 一.形式:小写 {{ name | lower }} 二.过滤器是可以嵌套的,字符 ...