1.准备三台节点 hnd1  hnd2  hnd3

下载 hadoop

下载地址:http://apache.fayea.com/hadoop/common/

API文档:http://hadoop.apache.org/docs/r1.0.4/cn/index.html

2.解压;tar -zxvf hadoop-1.2.1.tar.gz
添加软连接:ln -sf /home/hadoop/package/hadoop-1.2.1 /home/hadoop-1.2

3.更改配置:
进入/home/hadoop-1.2/conf
修改 vi core-site.xml 配置hdfs的入口和工作目录
可参考:http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html
file:///D:/tool/%E6%96%87%E6%A1%A3/db/hadoop-1.2.1/hadoop-1.2.1/docs/core-default.html
修改hadoop.tmp.dir这个目录 dfs等很多工作目录是以此为基础的

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hnd1:9000</value>
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-1.2</value>
</property> </configuration>

修改 vi hdfs-site.xml 配置副本数 不配的情况下默认是3

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

修改 vi slaves 配置datanode
hnd2
hnd3

修改 vi masters 配置second NameNode
hnd2 就是second NameNode配置到第二台系统中

4.ssh免密码登录
生成密钥到/root/.ssh目录下
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
执行下面命令实现本地免密码登录
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
跨系统免密码登录
拷贝hnd1公钥到hnd2root目录下 scp id_dsa.pub root@hnd2:~
在hnd2中root目录下 cat id_dsa.pub >> ~/.ssh/authorized_keys
这样就可以访问了

5.启动服务
把tar包拷贝到其它节点上
scp -r /home/hadoop/package/hadoop-1.2.1.tar.gz root@hnd2:~/
scp -r /home/hadoop/package/hadoop-1.2.1.tar.gz root@hnd3:~/
解压 tar -zxvf hadoop-1.2.1.tar.gz
创建软链ln -sf /root/hadoop-1.2.1 /home/hadoop-1.2
把hnd1的配置/home/hadoop-1.2/conf
这个目录全部拷贝到hnd2\hnd3
scp ./* root@hnd2:/home/hadoop-1.2/conf/
scp ./* root@hnd3:/home/hadoop-1.2/conf/
bin目录下格式化 ./hadoop namenode -format
启动服务 ./start-dfs.sh

6.启动时JAVA_HOME is not set.
conf 配置
vi hadoop-env.sh

JAVA_HOME的配置
解压 tar -zxvf jdk-8u91-linux-x64.tar.gz
配置 export JAVA_HOME=/usr/java/jdk1.8.0_77
PATH=$JAVA_HOME/bin:$PATH:$HOME/bin
执行 source .bash_profile
查看 Java -version OK

其它节点安装jdk
拷贝 scp -r /home/hadoop/package/jdk-8u91-linux-x64.tar.gz root@hnd2:~/
scp -r /home/hadoop/package/jdk-8u91-linux-x64.tar.gz root@hnd3:~/

7.
jps 查看启动的进程
其他节点上的进程没有启动 关闭防火墙
service iptables stop

8.访问 http://hnd1:50070/
本地需要配置域名解析
C:\Windows\System32\drivers\etc hosts

9.

ssh: Could not resolve hostname hnd2: Name or service not known
vi /etc/hosts
192.168.40.101 hnd1
192.168.40.102 hnd2
192.168.40.103 hnd3

vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=h1

xshell 连接linux命令 ssh 192.168.40.101
断开的命令:exit

IT技术和行业交流群: 417691667

hadoop-1.2.1安装配置的更多相关文章

  1. Hadoop 2.x(YARN)安装配置LZO

    今天尝试在Hadoop 2.x(YARN)上安装和配置LZO,遇到了很多坑,网上的资料都是基于Hadoop 1.x的,基本没有对于Hadoop 2.x上应用LZO,我在这边记录整个安装配置过程 1. ...

  2. 每天收获一点点------Hadoop基本介绍与安装配置

    一.Hadoop的发展历史 说到Hadoop的起源,不得不说到一个传奇的IT公司—全球IT技术的引领者Google.Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的G ...

  3. Hadoop集群_Hadoop安装配置

    1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...

  4. Hadoop学习笔记: 安装配置Hadoop

    安装前的一些环境配置: 1. 给用户添加sudo权限,输入su - 进入root账号,然后输入visudo,进入编辑模式,找到这一行:"root ALL=(ALL) ALL"在下面 ...

  5. Hadoop 2.7.3 安装配置及测试

    1.概述 Hadoop是一个由Apache基金会所开发的分布式系统基础架构.用户可以在不了解分布式底层细节的情况下,开发分布式程序.hadoop三种安装模式:单机模式,伪分布式,真正分布式.因在实际生 ...

  6. [Hadoop]Hive-1.2.x安装配置+Mysql安装

    HIve的元数据存储在mysql中,需要配置与MySQL建立连接,除了安装MySQL外还要安装连接的jar包:mysql-connector-java-5.1.47.tar.gz   安装环境:Cen ...

  7. Hadoop学习笔记: 安装配置Hive

    1. 在官网http://hive.apache.org/下载所需要版本的Hive,以下我们就以hive 2.1.0版为例. 2. 将下载好的压缩包放到指定文件夹解压,tar -zxvf apache ...

  8. Hadoop集群_VSFTP安装配置

    原作者写的太好了,我这个菜鸟不自觉就转载了,原文链接:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503864.html 如果,您认为阅读这 ...

  9. Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS

    摘自:http://www.powerxing.com/install-hadoop-cluster/ 本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否 ...

  10. 【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

    今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和測试弄得烦躁的一逗比了~ 先上一张成功的图片,hadoop的伪分布式安 ...

随机推荐

  1. 删除表数据drop、truncate和delete的用法

    说到删除表数据的关键字,大家记得最多的可能就是delete了 然而我们做数据库开发,读取数据库数据.对另外的两兄弟用得就比较少了 现在来介绍另外两个兄弟,都是删除表数据的,其实也是很容易理解的 老大- ...

  2. 编解码-protobuf

    Google的Protobuf在业界非常流行,很多商业项目选择Protobuf作为编解码框架,Protobuf的优点. (1)在谷歌内部长期使用,产品成熟度高: (2)跨语言,支持多种语言,包括C++ ...

  3. 通俗理解T检验与F检验的区别【转】

    转自:http://blog.sina.com.cn/s/blog_4ee13c2c01016div.html1,T检验和F检验的由来一般而言,为了确定从样本(sample)统计结果推论至总体时所犯错 ...

  4. http://www.roncoo.com/course/view/a09d8badbce04bd380f56034f8e68be0

    http://www.roncoo.com/course/view/a09d8badbce04bd380f56034f8e68be0

  5. Codeforces 543D Road Improvement(树形DP + 乘法逆元)

    题目大概说给一棵树,树的边一开始都是损坏的,要修复一些边,修复完后要满足各个点到根的路径上最多只有一条坏的边,现在以各个点为根分别求出修复边的方案数,其结果模1000000007. 不难联想到这题和H ...

  6. Azkaban 2.5.0 job type 插件安装

    一.环境及软件 安装环境: 安装目录: /usr/local/ae/ankaban Hadoop 安装目录 export HADOOP_HOME=/usr/local/ae/hadoop-1.2.1 ...

  7. ural 1342. Enterprise

    1342. Enterprise Time limit: 5.0 secondMemory limit: 64 MB To bind a broom it’s a hard work. As ther ...

  8. 使用Jaxb2进行xml与bean的转义时Date的format设置

    参考http://jackyrong.iteye.com/blog/1826699 JAXB转换JAVA OBJECT到XML的时候,对java.util.Date的转换有些要注意的地方 输出的格式为 ...

  9. 当编译CCBReader时出现 “ CCBAnimationManager.m Use of undeclared identifier 'other‘ ” 解决方法

    第一种解决方法是去github上下载最新的CCBReader 第二种解决方法是把other替换成self.inner 建议用新版本的

  10. [Cocos2D-x For WP8]Sprite精灵

    精灵(Sprite)是游戏里面的角色,比如敌人,游戏里面运动的物体等等,所以精灵是游戏里面一个非常常见的概念,几乎无处不在.在Cocos2D-x里面精灵是用CCSprite类来进行表示的,它可以用一张 ...