install hadoop on xubuntu
0. install xubuntu
we recommend to set username as "hadoop"
after installation, set user "hadoop" as administrator
sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop
打开/etc/sudoers文件
sudo gedit /etc/sudoers
在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL
1. install java
.解压java压缩包到usr/java(新建的文件夹)中。解压后就可使用 .配置环境变量。如下
在etc/profile 文件中。在最后添加如下内容
#set java environment
export JAVA_HOME=/usr/java/jdk1..0_67
export JRE_HOME=/usr/java/jdk1..0_67/jre
export PATH=$PATH:/usr/java/jdk1..0_67/bin
export CLASSPATH=./:/usr/java/jdk1..0_67/lib:/usr/java/jdk1..0_67/jre/lib .配置立即生效命令
source /etc/profile .检测是否配置成功
java -version 如果不行,重启linux
2. configure login in ssh without entering password
please operate under user "hadoop"
su - hadoop
sudo apt-get install openssh-server
sudo /etc/init.d/ssh start cd ~/.ssh
ssh-keygen -t rsa -P ""
cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys
3. install hadoop
. unzip hadoop.tar.gz into /usr/hadoop
then, ensure user "hadoop" owns /usr/hadoop
sudo chown -R hadoop:hadoop hadoop
. edit environment
2.1 gedit /etc/profile append these: export JAVA_HOME=/usr/java/
export JRE_HOME=/usr/java/jre
export HADOOP_INSTALL=/usr/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin
export CLASSPATH=./:/usr/java/lib:/usr/java/jre/lib 2.2 gedit /usr/hadoop/conf/hadoop-env.sh append these: # The java implementation to use. Required.
export JAVA_HOME=/usr/java
export HADOOP_INSTALL=/usr/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin . restart linux
4. test
hadoop@ms:~$
hadoop@ms:~$ java -version
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) -Bit Server VM (build 24.79-b02, mixed mode)
hadoop@ms:~$ hadoop version
Hadoop 1.2.
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152
Compiled by mattf on Mon Jul :: PDT
From source with checksum 6923c86528809c4e7e6f493b6b413a9a
This command was run using /usr/hadoop/hadoop-core-1.2..jar
hadoop@ms:~$
5. hadoop 伪分布式
编辑三个文件:
). core-site.xml: <configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration> ).hdfs-site.xml: <configuration>
<property>
<name>dfs.replication</name>
<value></value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
</property>
</configuration> ). mapred-site.xml: <configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:</value>
</property>
</configuration> . 启动Hadoop到相关服务,格式化namenode, secondarynamenode, tasktracker:
hadoop@derekUbun:/usr/local/hadoop$ source /usr/local/hadoop/conf/hadoop-env.sh
hadoop@derekUbun:/usr/local/hadoop$ hadoop namenode -format
6*. install hbase[伪分布式]
. unzip hbase.tar.gz into /usr/hbase
then, ensure user "hadoop" owns /usr/hbase
sudo chown -R hadoop:hadoop hbase . edit environment
2.1 gedit /etc/profile append these: export HBASE_HOME="/usr/hbase"
export PATH=$HBASE_HOME/bin:$PATH 2.2 gedit /usr/hbase/conf/hbase-site.xml append these: <property>
<name>hbase.rootdir</name>
<!-- 对应hadoop中hdfs的配置项 -->
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master.info.port</name>
<value></value>
</property> 2.3 gedit /usr/hbase/hbase-env.sh modify these: # The java implementation to use. Java 1.6 required.
export JAVA_HOME=/usr/java/ # Extra Java CLASSPATH elements. Optional.
export HBASE_CLASSPATH=/usr/hadoop/conf # Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=true . restart linux
#. references
http://blog.csdn.net/zhaoyl03/article/details/8657104# http://www.tuicool.com/articles/VZn6zi http://blog.csdn.net/zhaoyl03/article/details/8657104# http://blog.csdn.net/pdw2009/article/details/21261417 http://www.th7.cn/db/nosql/201510/134214.shtml
install hadoop on xubuntu的更多相关文章
- Hadoop学习日志- install hadoop
资料来源 : http://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm Hadoop 安装 创建新用户 $ su passwo ...
- mac osx 系统 brew install hadoop 安装指南
mac osx 系统 brew install hadoop 安装指南 brew install hadoop 配置 core-site.xml:配置hdfs文件地址(记得chmod 对应文件夹 ...
- How to install Hadoop
1.How to install Hadoop 3.0.0 http://blog.sina.com.cn/s/blog_4a1f59bf01010kx3.html 2.How to install ...
- [Spark] 00 - Install Hadoop & Spark
Hadoop安装 Java环境配置 安装课程:安装配置 配置手册:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04[依照步骤完成配置] jsk安装使用的链接中第 ...
- Steps to Install Hadoop on CentOS/RHEL 6---reference
http://tecadmin.net/steps-to-install-hadoop-on-centosrhel-6/# The Apache Hadoop software library is ...
- yum install hadoop related client
yum list avaliable hadoop\* yum list installed yum repolist repo is in /etc/yum.repos.d yum install ...
- install Hadoop
Installing Java Hadoop runs on both Unix and Windows operating systems, and requires Java to beinsta ...
- How to install Hadoop Cluster
https://dwbi.org/etl/bigdata/183-setup-hadoop-cluster https://www.linode.com/docs/databases/hadoop/h ...
- Install hadoop on windows(non-virtual machine, such cygwin)
DownloadBefore starting make sure you have this two softwares Hadoop 2.7.1 Java – Jdk 1.7+ Extract d ...
随机推荐
- Python开发【第二篇】:Python基础知识
Python基础知识 一.初识基本数据类型 类型: int(整型) 在32位机器上,整数的位数为32位,取值范围为-2**31-2**31-1,即-2147483648-2147483647 在64位 ...
- IT菜鸟的生存指南(三)流行还是经典
经常被刚入行的新人请教,想学一门开发语言,最好又简单工资又高又有发展前途.那门语言最好这个话题能在程序员群里吵一下午,所以我也就不掀起战争了. 个人建议如下: 工资高不高不在于学那门语言,而在于你的行 ...
- ViewPager与PagerAdapter
ViewPager是一个可以用来滑动内部View的组件,他有一个老搭档PagerAdapter,我们这次就来看看他们这两位拍档的本事. 我们要使用ViewPager与PagerAdapter结合 首先 ...
- NSURLConnection学习笔记
虽说现在都用三方库来获取网络数据,再不济也会用苹果官方的NSURLSession,但有些东西还是要先学会才有资格说不好不用,不是么? NSURLConnection发送请求是分为同步和异步两种方式的, ...
- 【设计模式】GoF设计模式学习总结
什么是设计模式 为解决某一类普遍存在的问题而提供的一种解决方案: 分类及定义 创建型模式(5) 1.原型模式:通过复制一个已存在对象来生成一个新对象,被复制的对象称为原型:详情... 2.单例模式:一 ...
- gitflow以及git
git大概只会用常用的那几个命令,自己用的最多的也只是add commit push pull之类的,然后那天电话面试问我版本回退怎么办我都忘记了. 然后又看了看教程,此时想起来做项目的时候师兄说的g ...
- Netty:数据处理流程
Netty作为异步的.事件驱动一个网络通信框架,使用它可以帮助我们快速开发高性能高可靠性的网络服务. 为了更好的使用Netty来解决开发中的问题,学习Netty是很有必要的. Netty现在主流有三个 ...
- Hadoop分布式系统的安装部署
1.关于虚拟机的复制 新建一台虚拟机,系统为CentOS7,再克隆两台,组成一个三台机器的小集群.正常情况下一般需要五台机器(一个Name节点,一个SecondName节点,三个Data节点.) 此外 ...
- Win10全屏看视频时任务栏不隐藏
解决办法: 1.对任务栏鼠标右键点击,选择"任务管理器" 2.在进程选项下找到Windows进程中的Windows资源管理器 3.对Windows资源管理器鼠标右键,选择重新启动
- resize2fs命令使用
如果我们创建一个loop设备然后将其挂载后,但是还要加大空间时,可以使用resize2fs命令来增大. 首先创建一个loop设备 dd 之后做成loop设备 losetup /dev/loop0 a. ...