Hadoop1.2.1 伪分布式安装
Hadoop组件依赖图(从下往上看)
安装步骤:
详细步骤:
设置ssh自动登录(如下图):
1、输入命令 【ssh-keygen -t rsa】,然后一直按回车就可以了
2、然后切换目录到 ~ .ssh目录下执行命令【cp id_rsa.pub authorized_keys】
3、这样就完成了,然后测试
1) 输入命令【ssh localhost】,然后输入【yes】,就会登陆成功另外会看到原本的 .ssh目录变成了 ~ 目录
2) 输入命令【exit】退出,然后还是在以前的.ssh目录下,这时候输入ll会发现多了一个 known_hosts文件,顾名思义。
3) 然后再次输入命令【ssh localhost】就可以直接登录了,当然还可以【ssh ip地址】、【ssh 主机名】等等,只需第一次输入【yes】,之后就可以直接登录了。
下面进行hadoop相关文件配置:
1、配置 hadoop 环境文件 hadoop-env.sh
1) 打开文件,找到某行有 ”# export JAVA_HOME = ...” 字样的地方,去掉 “#” ,然后在等号后面填写你自己的 JDK 路径,比如像我自己的 JDK 路径,那就改为了 如下所示
export JAVA_HOME=/opt/modules/jdk1.7.0_45
2) 配置 Hadoop 的核心文件 core-site.xml
打开文件,会发现标签 <configuration></configuration> 中是空的,在空的地方添加如下配置
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-master.dragon.org:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/data/tmp</value>
</property>
</configuration>
2、
上面配置项是 hdfs副本数(默认为3),下面配置项为 是否进行权限检查
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
3、
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop-master.dragon.org:9001</value>
</property>
</configuration>
当然下面两个也可以用默认配置
hadoop-master.dragon.org
hadoop-master.dragon.org
到这里,基本就算配置完毕了
测试:
首先格式化:hadoop namenode -format
然后启动:
初步学习安装可以一步一步来(在hadoop的bin目录下)
可先启动start-dfs.sh
然后可输入jps观察如下
可在浏览器 输入 http://192.168.1.123:50070看到相关信息(当然也可以输入域名等)
然后启动start-mapred.sh
然后可输入jps观察如下
可在浏览器 输入 http://192.168.1.123:50030看到相关信息(当然也可以输入域名等)
好了,到这里伪分布式环境搭建就算结束了。
Hadoop1.2.1 伪分布式安装的更多相关文章
- Hadoop1.1.2伪分布式安装
一.安装前准备设置Linux的静态IP修改VirtualBox的虚拟网卡地址修改主机名把hostname和ip绑定关闭防火墙:service iptables stop二.SSH免密码登陆生成秘钥文件 ...
- Hadoop1.1.2伪分布式安装笔记
一.设置Linux的静态IP 修改桌面图标修改,或者修改配置文件修改 1.先执行ifconfig,得到网络设备的名称eth0 2.编辑/etc/sysconfig/network-scripts/if ...
- Hadoop1.0.4伪分布式安装
前言: 目前,学习hadoop的目的是想配合其它两个开源软件Hbase(一种NoSQL数据库)和Nutch(开源版的搜索引擎)来搭建一个知识问答系统,Nutch从指定网站爬取数据存储在Hbase数据库 ...
- redhat 安装hadoop1.2.1伪分布式
完整安装过程参考:http://www.cnblogs.com/shishanyuan/p/4147580.html 一.环境准备 1.安装linux.jdk 2.下载hadoop2. ...
- hadoop伪分布式安装之Linux环境准备
Hadoop伪分布式安装之Linux环境准备 一.软件版本 VMare Workstation Pro 14 CentOS 7 32/64位 二.实现Linux服务器联网功能 网络适配器双击选择VMn ...
- Hadoop开发第3期---Hadoop的伪分布式安装
一.准备工作 1. 远程连接工具的安装 PieTTY 是在PuTTY 基础上开发的,改进了Putty 的用户界面,提供了多语种支持.Putty 作为远程连接linux 的工具,支持SSH 和telne ...
- 第二章 伪分布式安装hadoop hbase
安装单机模式的hadoop无须配置,在这种方式下,hadoop被认为是一个单独的java进程,这种方式经常用来调试.所以我们讲下伪分布式安装hadoop. 我们继续上一章继续讲解,安装完先试试SSH装 ...
- HBase基础和伪分布式安装配置
一.HBase(NoSQL)的数据模型 1.1 表(table),是存储管理数据的. 1.2 行键(row key),类似于MySQL中的主键,行键是HBase表天然自带的,创建表时不需要指定 1.3 ...
- Zookeeper 初体验之——伪分布式安装(转)
原文地址: http://blog.csdn.net/salonzhou/article/details/47401069 简介 Apache Zookeeper 是由 Apache Hadoop 的 ...
随机推荐
- C#指南,重温基础,展望远方!(7)C#结构
结构是可以包含数据成员和函数成员的数据结构,这一点与类一样:与类不同的是,结构是值类型,无需进行堆分配. 结构类型的变量直接存储结构数据,而类类型的变量存储对动态分配的对象的引用. 结构类型不支持用户 ...
- 转:Mosquitto配置----日志设置
1.mosquitto的日志输出方式简介 mosquitto是一个纯C的代码,它的日志输出支持若干中日志输出方式,通过修改配置项:log_dest即可完成对各种日志输出类型的切换,常见的日志输出类型有 ...
- java开源内容管理系统J4CMS支持真正静态化
原理非常easy,使用httpclient请求遍历整个站点的菜单.文章链接.请求下来以后,生成html文件.即静态化了 把它们稍作调整,直接扔在88元购买的阿里云主机上.站点就完毕了 这是我的 静态站 ...
- 使用PsExec tool在Session 0下运行程序
在Service程序中使用OutputDebugString输出log信息, 在当前用户直接运行DbgView.exe, log信息是不会输出到DbgView窗口的.原因是Server程序运行在Ses ...
- django Models cross file ---- 跨app引用文件
一.django 的跨app引用文件是通过import 来实现的,但是import 的路径查找和标准的import 不太一样,django里面更加方便了 二.例子 1.project 结构说明 [ji ...
- Atitit.软件GUI按钮与仪表盘(01)--js区-----js格式化的使用
Atitit.软件GUI按钮与仪表盘(01)--js区-----js格式化的使用 1. Chrome36( recomm) DEV TOOL>SOURCE> DSWEIHAMYAR &q ...
- 每日英语:Now on Taobao: Outsourced Care for Grandma
China's newly revised elder-care law has come as good news for a handful of entrepreneurs who specia ...
- (1)FluidMoveBehavior 之 ListBox 中详细内容项飞出来
在 Blend 中集成了很多行为,首先需要了解一下Behaviors(行为)的几个关键点: (1)Behaviors(行为)是可复用代码集合,可以被任何对象附加使用: (2)设计人员和开发人员可以使用 ...
- layui单文件上传
function imguload(cls) { var taskId = $("#model-taskId").val(); var processInstanceId = $( ...
- CSS3多列布局
通过 CSS3,您能够创建多个列来对文本进行布局 - 就像报纸那样! 在本章中,您将学习如下多列属性: column-count column-gap column-rule 浏览器支持 属性 浏览器 ...