hadoop 1.0.1集群安装及配置
1.hadoop下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/core/
2.下载java6软件包,分别在三台安装
3、三台虚拟机,一台作为master,另外两台作为slave,分别配置/etc/hosts
172.16.130.84 server14
172.16.130.85 server15
172.16.130.86 server16
4、在三台主机/etc/profile设置环境变量 可查看当前的环境变量如果已经配置忽略(env)
export JAVA_HOME=/usr/java/jdk1.6.0_13
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export HADOOP_HOME=/home/hduser/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
5、在三台机器上建立hadoop用户和组
groupadd hadoop
useradd -g hadoop hduser
6、在masternode节点创建SSH安全认证也可参考(
http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/
)
$ ssh-keygen -t rsa -P ""
$cd .ssh
$ cat id_rsa.pub>>authorized_keys
$ssh masternode
$ssh slavenode1
$ssh slavenode2
将授权的文件分别拷贝到slavenode1和slavenode2,检查ssh登陆主机是否需要密码。
7、上传hadoop软件包到hadoop用户目录下解压
tar xvf hadoop*.gz
8、添加$HADOOP_HOME/conf/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.6.0_13
9、编辑$HADOOP_HOME/conf/core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hduser/hadoop/tmp</value> //hadoop临时文件存放位置
<description>.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://server14:9000</value>//hadoopmaster
<description> </description>
</property>
</configuration>
10、编辑$HADOOP_HOME/conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://server14:9001</value>
<description>. </description>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name> //每台机器map任务的个数
<value>11</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name> //每台机器reduce任务的个数
<value>4</value>
</property>
</configuration>
11.修改hadoop-env.sh 文件
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre/
export HADOOP_HEAPSIZE=5000 //守护进程的堆大小,一般设为总内存的四分之一
export HADOOP_LOG_DIR=/home/hadoop0/hadoop_logs
export HADOOP_PID_DIR=/home/hadoop0/hadoop_pids
12.修改 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value> //数据的冗余
</property>
<property>
<name>dfs.permissions</name>
<value>false</value> //文件的用户权限检查
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop0/hadoop_root/name/,/home/hadoop1/hadoop_root/name/</value> //namenode的本地目录
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop0/hadoop_root/data/,/home/hadoop1/hadoop_root/data/,/home/hadoop2/hadoop_root/data/,/home/hadoop3/hadoop_root/data/</value> //datanode的本地目录
</property>
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
//该参数限制了datanode所允许同时执行的发送和接受任务的数量,缺省为256, 高负载下, 在put数据的时候会报 could not read from stream 的 Exception。为了提高hbase性能,所以设置此参数
<property>
<name>dfs.support.append</name>
<value>true</value>
</property> //支持hbase的log能够append
</configuration>
13.编辑$HADOOP_HOME/conf/masters
masternode
14、编辑$HADOOP_HOME/conf/slaves
slavenode1
slavenode2
15、在所有机器上创建/home/hduser/hadoop/tmp
16、拷贝masternode上$HADOOP_HOME文件拷贝到各个节点上
17、在masternode进行格式化
hadoop -namenode -format
18、启动
start-all.sh
jps命令查看
19、访问masternode http://server14:50030
访问slavenode http://server14:50060
文件访问http://server14:50070/dfshealth.jsp
hadoop 1.0.1集群安装及配置的更多相关文章
- 菜鸟玩云计算之十九:Hadoop 2.5.0 HA 集群安装第2章
菜鸟玩云计算之十九:Hadoop 2.5.0 HA 集群安装第2章 cheungmine, 2014-10-26 在上一章中,我们准备好了计算机和软件.本章开始部署hadoop 高可用集群. 2 部署 ...
- 菜鸟玩云计算之十八:Hadoop 2.5.0 HA 集群安装第1章
菜鸟玩云计算之十八:Hadoop 2.5.0 HA 集群安装第1章 cheungmine, 2014-10-25 0 引言 在生产环境上安装Hadoop高可用集群一直是一个需要极度耐心和体力的细致工作 ...
- Springboot 2.0.x 集成基于Centos7的Redis集群安装及配置
Redis简介 Redis是一个基于C语言开发的开源(BSD许可),开源高性能的高级内存数据结构存储,用作数据库.缓存和消息代理.它支持数据结构,如 字符串.散列.列表.集合,带有范围查询的排序集,位 ...
- ActiveMQ 高可用集群安装、配置(ZooKeeper + LevelDB)
ActiveMQ 高可用集群安装.配置(ZooKeeper + LevelDB) 1.ActiveMQ 集群部署规划: 环境: JDK7 版本:ActiveMQ 5.11.1 ZooKeeper 集群 ...
- MySQL集群安装与配置
MySQL集群安装与配置 文章目录 [隐藏] 一.mysql集群安装 二.节点配置 三.首次启动节点 四.测试服务是否正常 五.安全关闭和重启 MySQL Cluster 是 MySQL 适合于分 ...
- Hadoop 2.8集群安装及配置记录
第一部分:环境配置(含操作系统.防火墙.SSH.JAVA安装等) Hadoop 2.8集群安装模拟环境为: 主机:Hostname:Hadoop-host,IP:10.10.11.225 节点1:Ho ...
- hadoop2.2.0集群安装和配置
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA.YARN等. 注意:apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的,因为hadoop依赖一些C+ ...
- Hadoop 2.6.1 集群安装配置教程
集群环境: 192.168.56.10 master 192.168.56.11 slave1 192.168.56.12 slave2 下载安装包/拷贝安装包 # 存放路径: cd /usr/loc ...
- Redis Cluster 4.0.9 集群安装搭建
Redis Cluster 4.0.9集群搭建步骤:yum install -y gcc g++ gcc-c++ make openssl cd redis-4.0.9 make mkdir -p / ...
随机推荐
- [Ubuntu]修改文件夹及所有子文件夹权限
sudo chmod -R 777 FILE_NAME 使FILE_NAME文件或文件夹具有读写和执行的权限.
- windows server 远程桌面连接问题。
远程桌面连接相当于 linux 服务器root权限连接 mstsc /admin /v:目标IP mstsc /admin /
- Android 性能优化之使用Lint
代码静态检查推荐: (1)Android自定义Lint实践 (2)美团外卖Android Lint代码检查实践 (3)Android自定义Lint实践2——改进原生Detector Lint 是 An ...
- Flume+Kafka+Storm+Hbase+HDSF+Poi整合
Flume+Kafka+Storm+Hbase+HDSF+Poi整合 需求: 针对一个网站,我们需要根据用户的行为记录日志信息,分析对我们有用的数据. 举例:这个网站www.hongten.com(当 ...
- kodexplorer免费网盘安装教程
KodExplorer是什么? KodExplorer可道云,原名芒果云,是基于Web技术的私有云和在线文件管理系统. 用户只需通过简单环境搭建,即可使用KodExplorer快速完成私有云/私有网盘 ...
- golang ntp协议客户端
NTP(Network Time Protocol,网络时间协议)是由RFC 1305定义的时间同步协议,用来在分布式时间服务器和客户端之间进行时间同步.NTP基于UDP报文进行传输,使用的UDP端口 ...
- MySQL之爱之初体验
写在前言:本篇博客从mysql的安装开始说起,至于什么是数据库以及数据的由来什么的,不在详谈!!! 第一:mysql安装 linux安装:两种方式 1.apt安装 apt install mysql- ...
- python Cookie Session 相关用法
Cookie一.前言1.http协议是无状态的. 无状态的意思是每次请求都是独立的,它的执行情况和结果与前面的请求和之后的请求都无直接关系,它不会受前面的请求响 应情况直接影响,也不会直接影响后面的请 ...
- C++通过GetAdapatersInfo获取网卡配置信息
DWORD GetAdaptersInfo( PIP_ADAPTER_INFO pAdapterInfo, //指向一个缓冲区,用来取得IP_ADAPTER_INFO结构列表 PULONG pOutB ...
- [python] PyMouse、PyKeyboard用python操作鼠标和键盘
1.PyUserInput 简介 PyUserInput是一个使用python的跨平台的操作鼠标和键盘的模块,非常方便使用.支持的平台及依赖如下: Linux - Xlib Mac - Quart ...