mac下安装伪分布hadoop2.6.0和hbase1.0.1.1
1、安装JDK,我安装的是java1.7
2、创建管理员账户
3、安装ssh服务(如果已有跳过此步)
4、ssh无密码验证登陆
以上过程略,可参考ubuntu下安装hadoop一文。
5、下载并解压hadoop2.6.0安装包
tar -xzvf hadoop-2.6..tar.gz /Users/hadoop
6、配置hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml,yarn-site.xml。
hadoop-env.sh中加入JAVA_HOME路径:
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1..0_75.jdk/Contents/Home
core-site.xml配置如下:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/Users/hadoop/hadoop-2.6.0/tmp</value>
</property>
</configuration>
mapred-site.xml配置如下:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
hdfs-site.xml配置如下:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/Users/hadoop/hadoop-2.6.0/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/Users/hadoop/hadoop-2.6.0/tmp/dfs/data</value>
</property>
</configuration>
yarn-site.xml配置如下:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
7、配置系统环境变量
打开/etc/profile加入以下内容:
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1..0_75.jdk/Contents/Home
export HADOOP_HOME=/Users/hadoop/hadoop-2.6.
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
8、格式化hdfs文件系统
hdfs namenode -format
9、启动hadoop服务
start-all.sh
安装正确的话,此时应该有以下5个java线程:
NameNode
DataNode
SecondaryNameNode
NodeManager
ResourceManager
在浏览器中输入localhost:50070可以查看hadoop集群概述
10、解压hbase安装包
tar -xzvf hbase-1.0.1.1-bin.tar.gz /Users/hadoop
11、配置hbase-env.sh、hbase-site.xml。
hbase-env.sh配置如下:
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1..0_75.jdk/Contents/Home
export HBASE_MANAGES_ZK=true
hbase-site.xml配置如下:
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/Users/hadoop/hbase-1.0.1.1/tmp</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>120000</value>
</property>
</configuration>
12、启动hbase
首先启动hadoop,然后启动hbase
start-all.sh
start-hbase.sh
安装正确的话,应该有以下3个hbase相关线程:
HMaster
HRegionServer
HQuorumPeer
13、存在的问题
1)hadoop官网提供的安装包是32位的,安装到64位机器上会出现“
mac下安装伪分布hadoop2.6.0和hbase1.0.1.1的更多相关文章
- Mac下安装pcl-1.8.0
更新,官方有Homebrew安装教程: http://pointclouds.org/documentation/tutorials/installing_homebrew.php#installin ...
- Mac下安装HBase及详解
Mac下安装HBase及详解 1. 千篇一律的HBase简介 HBase是Hadoop的数据库, 而Hive数据库的管理工具, HBase具有分布式, 可扩展及面向列存储的特点(基于谷歌BigTabl ...
- Mac 下安装Jenkins
Mac 下安装Jenkins 开始 Jenkins是一个基于Java开发的一种持续集成工具,用于建工持续重复的工作,功能包括: 持续的软件版本发布/测试项目 监控外部调用执行的工作. 近期打算搭建自动 ...
- Mac下安装Wireshark,双击闪退
Mac OS X上使用Wireshark抓包(http://blog.csdn.net/phunxm/article/details/38590561) Mac下安装Wireshark /Appli ...
- 【高可用HA】Apache (1) —— Mac下安装Apache Httpd到自定义路径(非/etc/apache2)
Mac下安装Apache Httpd httpd版本: httpd-2.4.17 参考来源: Tomcat Clustering - A Step By Step Guide Apache HTTP ...
- 在mac下安装jdk1.7(转)
转自:http://vela.diandian.com/post/2012-01-06/15379924 最近呢,想玩玩jdk1.7,不过mac平台下的jvm一直都是Apple自己改的,所有有些麻烦. ...
- 配置apache,及mac下安装mysql
先打开apache,在浏览器上输入 localhost 回车后会如果屏幕上显示:It works! 如下图: 这说明你的apache已开启 在window下配置apache: 1.找到apa ...
- mac下安装 resin 奇葩问题总结
mac 下安装 resin(需要确认电脑配置好了 java 环境变量): 第一步:去 resin 的官网下载最新的压缩包,官网连接:http://caucho.com/products/resin/d ...
- Mac下安装 MongoDB
Mac 下安装 MongoDB 一般有两种方法,一种是通过源码安装,一种是直接使用 homebrew ,个人推荐使用 homebrew ,简单粗暴. 1.安装 homebrew : /usr/bin/ ...
随机推荐
- 数据结构(十一)B树
之前的二叉排序树,平衡二叉树都是基于二叉树的实现,但是在搜索过程中,效率和树的深度有关,所以就想到把二叉树改为多叉树,B树和B+树都基于多叉树的实现 多路查找树 B树 定义 应用场景 B+树 ...
- webservice声明发布SOAP1.2
在不声明1.2的情况下,默认是1.1 当声明1.2时
- 字典树应用 - poj1002
字典树应用 - poj 1002 Description Businesses like to have memorable telephone numbers. One way to make a ...
- ubuntu如何U盘启 动制作
先到出 U盘的位置, 方法有很多,terminal 用root权限,采用fdisk -f 命令 unmount /dev/sdb -I //U盘拨出 sdb为U盘挂载的位置 mkfs.fat /dev ...
- 《Think in Java》(十七)容器深入研究
阿西吧,这一章好长啊,感觉看了快一个月了吧!JDK 自带的容器框架真是很好很强大啊,这一章看得有点蒙蒙的,接下来还得去看看官方文档啊!
- Art-Template模板引擎(原生写法与简洁写法)
模板引擎:把js数据转换成html需要的页面,这就是模板引擎需要做的事 • native原生语法 1. 准备数据 2. 把数据转化成html格式的字符串 使用模板引擎 artT ...
- VS2017编译项目出现提示al.exe运行失败的解决方法
VS2013中编译一切正常,用VS2017打开项目,某个类库出现al.exe运行失败的解决方法,事件查看器中这样描述 “C:\Program Files (x86)\Microsoft SDKs\Wi ...
- Performance js
转贴:https://10up.github.io/Engineering-Best-Practices/javascript/#performance Performance Writing per ...
- POJ-3659-最小支配集裸题/树形dp
Cell Phone Network Time Limit: 1000MS Memory Limit: 65536K Total Submissions: 7127 Accepted: 254 ...
- IEnumerable.Select和SelectMany的区别
例子(一个人可以有多个手机) public class People { public string Name { get; set; } public List<Phone> Phone ...