hadoop在CentOS下的安装配置
- 版本:CentOS-6.8-x86_64-minimal,hadoop2.6.4,jdk1.7.0
- 首先把jdk、hadoop压缩包下载发送到CentOS下并解压
下载发送不多赘述,解压命令tar -zxvf 压缩包
mv 原文件名 新文件名
(注意空格)
- 先配置jdk
- 进入jdk目录 pwd 查看当前目录复制备用/apps/jdk1.7.0_25
- 配置环境变量
vi ~/.bash_profile
JAVA_HOME=/apps/jdk1.7.0_25
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
source ~/.bash_profile
- 关闭防火墙,做好ssh免密登录
- 关闭防火墙
- service iptables stop
- chkconfig iptables off
- ssh-keygen -t rsa
- ssh免密登录
- master: cat /root/.ssh/id_rsa.pub >>/root/.ssh/authorized_keys
- master:scp /root/.ssh/authorized_keys @slave1:/root/.ssh/authorized_keys
- slave1:cat /root/.ssh/id_rsa.pub >>/root/.ssh/authorized_keys
- slave1:scp /root/.ssh/authorized_keys @slave2:/root/.ssh/authorized_keys
- slave2:cat /root/.ssh/id_rsa.pub >>/root/.ssh/authorized_keys
- slave2:scp /root/.ssh/authorized_keys @master:/root/.ssh/authorized_keys
- master:scp /root/.ssh/authorized_keys @slave1:/root/.ssh/authorized_keys
- slave2:scp /root/.ssh/authorized_keys @slave2:/root/.ssh/authorized_keys
- 关闭防火墙
- 再配置hadoop
- 环境变量vi ~/.bash_profile
HADOOP_HOME=/apps/hadoop-2.6.4
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource ~/.bash_profile
- 配置运行环境
- core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
- hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property><property>
<name>dfs.namenode.name.dir</name>
<value>/app/hadoop/dfs/name</value>
</property><property>
<name>dfs.datanode.data.dir</name>
<value>/app/hadoop/dfs/data</value>
</property><property>
<name>dfs.secondary.http.address</name>
<value>slave2:50090</value>
</property><property>
<name>dfs.namenode.checkpoint.dir</name>
<value>/app/hadoop/dfs/namesecondary</value>
</property>
- hadoop-env.sh
- export JAVA_HOME=/apps/jdk1.7.0_25
- yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property><property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>mapreduce-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>- slaves
- 将原有内容替换为从节点主机名
- core-site.xml
- 将配置完成的jdk、hadoop发送到另外两台主机上
- master:scp -r apps/ @slave1:/apps/
- master:scp -r apps/ @slave2:/apps/
- master:scp ~/.bash_profile @slave1:~/.bash_profile
- master:scp ~/.bash_profile @slave2:~/.bash_profile
- slave1: source ~/.bash_profile
- slave2: source ~/.bash_profile
hadoop集群配置完成
格式化namenode
hadoop namenode -format
启动所有节点
start-all.sh
hadoop在CentOS下的安装配置的更多相关文章
- centOS下yum安装配置samba
centOS下yum安装配置samba 2010-03-29 15:46:00 标签:samba yum centOS 安装 休闲 注意:本文的原则是只将文件共享应用于内网服务器,并让将要被共享的目 ...
- CentOS下Redisserver安装配置
1.CentOS 6.6下Redis安装配置记录 2.CentOS下Redisserver安装配置
- [转帖]CentOS下iRedMail安装配置
CentOS下iRedMail安装配置 中文名为艾瑞得邮件,由 rhms 项目更名而来.是针对 Linux 设计的邮件服务器解决方案,是在操作系统安装好后使用的一套 shell 脚本,用于快速部署一套 ...
- Redis 对比 Memcached 并在 CentOS 下进行安装配置
了解一下 Redis Redis 是一个开源.支持网络.基于内存.键值对的 Key-Value 数据库,使用 ANSI C 编写,并提供多种语言的 API ,它几乎没有上手难度,只需要几分钟我们就能完 ...
- Hadoop在Windows下的安装配置
由于本人近期近期一段时间 都在学习Hadoop,接触了比較多的理论,可是想要深入的去学习Hadoop整个平台,那就必须实战的训练,首先第一步,当然是先搭建好一个Hadoop平台为先.可是比較坑爹的是. ...
- CentOS下Redis安装配置小结
Redis是REmote DIctionary Server的缩写. 是一个使用 C 语言写成的,开源的 key-value 非关系型数据库.跟memcached类似,不过数据可以持久化. Redis ...
- centos下 redis安装配置及简单测试
1:安装redis(使用的的环境是centos6.7 redis-2.6.14) 将redis-2.6.14.tar.gz文件拷贝到/usr/local/src 目录下 解压文件 tar zxvf ...
- Centos 下mysql安装配置
一.编译安装MySQL前的准备工作 安装编译源码所需的工具和库 yum install gcc gcc-c++ ncurses-devel perl 安装cmake,从http://www.cmake ...
- CentOS下NTP安装配置
安装yum install ntp 配置文件 /etc/ntp.confrestrict default kod nomodifynotrap nopeer noqueryrestrict -6 ...
随机推荐
- 非J2EE部署解决方案
根据交银施罗德真实环境已测试通过,此过程可以作为非J2EE部署的典型案例,主要是针对某些对安全性要求较高的解决方案: 基本的实现原理和部分代码如下: 1.客户端访问交银.net系统,由该系统发送 ...
- java 内存分析之方法返回值二
package Demo; class Point { private double x, y; public Point(double x, double y) { this.x = x; this ...
- spring boot(12)-数据源配置原理
本篇讲的不仅是数据源配置,这也是spring boot实现自动配置的一部分.要理解数据源的配置原理,首先要理解第十篇tomcat连接池的配置 数据源配置源码 这里截取org.springframewo ...
- spring boot(11)-druid监控
druid druid是和tomcat jdbc一样优秀的连接池,出自阿里巴巴.关于druid连接池参数,参考 https://github.com/alibaba/druid/wiki/DruidD ...
- SQLSERVER中KeyHashValue的作用(上)
SQLSERVER中KeyHashValue的作用(上) SQLSERVER中KeyHashValue的作用(下) 原文的标题是:SQLSERVER在索引下如何找到哈希值的随想 现在知道KeyHash ...
- Android笔记:解决 Your project contains error(s),please fix them before running your application问题
解决 Your project contains error(s),please fix them before running your application问题 貌似好多人都有遇到这问题,而且网 ...
- 铁乐学Python_day11_闭包函数
一.[函数名] 1)函数名本质上它也是一种变量,特殊的变量: (碰到同名其它变量,依照从上往下的代码执行赋值.) 单独打印函数名,输出的是它对应的内存地址: 例: def funcl(): print ...
- 清除 Exchange 2013/2016/2019 日志和ETL文件
Exchange Server 的2个日志目录会增长的很快,需要定时清理,不然C盘的空间很快就会吃光,以下这个powershell脚本就是用于清理目录下面的日志的,已在生产环境中测试过,没问题: S ...
- 第二次作业:找Bug
引子 我真的想了一个小时,上哪里去找bug.我昨天还留意到一个bug,今天就不见了.灵光不断,我想起来了.我就要找大公司的产品的bug... 第一部分 调研, 评测 体验. <腾讯桌球>是 ...
- Django template 过滤器
转载自: http://www.lidongkui.com/django-template-filter-table 一.形式:小写 {{ name | lower }} 二.过滤器是可以嵌套的,字符 ...