0. install xubuntu

we recommend to set username as "hadoop"

after installation, set user "hadoop" as administrator

sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop

打开/etc/sudoers文件

sudo gedit /etc/sudoers

在root  ALL=(ALL:ALL)  ALL下添加hadoop  ALL=(ALL:ALL)  ALL

1. install java

.解压java压缩包到usr/java(新建的文件夹)中。解压后就可使用

.配置环境变量。如下
在etc/profile 文件中。在最后添加如下内容
#set java environment
export JAVA_HOME=/usr/java/jdk1..0_67
export JRE_HOME=/usr/java/jdk1..0_67/jre
export PATH=$PATH:/usr/java/jdk1..0_67/bin
export CLASSPATH=./:/usr/java/jdk1..0_67/lib:/usr/java/jdk1..0_67/jre/lib .配置立即生效命令
source /etc/profile .检测是否配置成功
java -version 如果不行,重启linux

2. configure login in ssh without entering password

please operate under user "hadoop"

su - hadoop
sudo apt-get install openssh-server
sudo /etc/init.d/ssh start   cd ~/.ssh
ssh-keygen -t rsa -P ""  
cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys  

3. install hadoop

. unzip hadoop.tar.gz into /usr/hadoop
  then, ensure user "hadoop" owns /usr/hadoop
  
sudo chown -R hadoop:hadoop hadoop  
. edit environment
2.1 gedit /etc/profile append these: export JAVA_HOME=/usr/java/
export JRE_HOME=/usr/java/jre
export HADOOP_INSTALL=/usr/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin
export CLASSPATH=./:/usr/java/lib:/usr/java/jre/lib 2.2 gedit /usr/hadoop/conf/hadoop-env.sh append these: # The java implementation to use. Required.
export JAVA_HOME=/usr/java
export HADOOP_INSTALL=/usr/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin . restart linux

4. test

hadoop@ms:~$
hadoop@ms:~$ java -version
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) -Bit Server VM (build 24.79-b02, mixed mode)
hadoop@ms:~$ hadoop version
Hadoop 1.2.
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152
Compiled by mattf on Mon Jul :: PDT
From source with checksum 6923c86528809c4e7e6f493b6b413a9a
This command was run using /usr/hadoop/hadoop-core-1.2..jar
hadoop@ms:~$

5. hadoop 伪分布式

编辑三个文件:
). core-site.xml: <configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration> ).hdfs-site.xml: <configuration>
<property>
<name>dfs.replication</name>
<value></value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
</property>
</configuration> ). mapred-site.xml: <configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:</value>
</property>
</configuration> . 启动Hadoop到相关服务,格式化namenode, secondarynamenode, tasktracker:
hadoop@derekUbun:/usr/local/hadoop$ source /usr/local/hadoop/conf/hadoop-env.sh
hadoop@derekUbun:/usr/local/hadoop$ hadoop namenode -format

6*. install hbase[伪分布式]

. unzip hbase.tar.gz into /usr/hbase
  then, ensure user "hadoop" owns /usr/hbase
  
sudo chown -R hadoop:hadoop hbase . edit environment
2.1 gedit /etc/profile append these: export HBASE_HOME="/usr/hbase"
export PATH=$HBASE_HOME/bin:$PATH 2.2 gedit /usr/hbase/conf/hbase-site.xml append these: <property>
<name>hbase.rootdir</name>
<!-- 对应hadoop中hdfs的配置项 -->
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master.info.port</name>
<value></value>
</property> 2.3 gedit /usr/hbase/hbase-env.sh modify these: # The java implementation to use. Java 1.6 required.
export JAVA_HOME=/usr/java/ # Extra Java CLASSPATH elements. Optional.
export HBASE_CLASSPATH=/usr/hadoop/conf # Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=true . restart linux

#. references

http://blog.csdn.net/zhaoyl03/article/details/8657104#

http://www.tuicool.com/articles/VZn6zi

http://blog.csdn.net/zhaoyl03/article/details/8657104#

http://blog.csdn.net/pdw2009/article/details/21261417

http://www.th7.cn/db/nosql/201510/134214.shtml

install hadoop on xubuntu的更多相关文章

  1. Hadoop学习日志- install hadoop

    资料来源 : http://www.tutorialspoint.com/hadoop/hadoop_enviornment_setup.htm Hadoop 安装 创建新用户 $ su passwo ...

  2. mac osx 系统 brew install hadoop 安装指南

    mac osx 系统 brew  install hadoop 安装指南   brew install hadoop 配置 core-site.xml:配置hdfs文件地址(记得chmod 对应文件夹 ...

  3. How to install Hadoop

    1.How to install Hadoop 3.0.0 http://blog.sina.com.cn/s/blog_4a1f59bf01010kx3.html 2.How to install ...

  4. [Spark] 00 - Install Hadoop & Spark

    Hadoop安装 Java环境配置 安装课程:安装配置 配置手册:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04[依照步骤完成配置] jsk安装使用的链接中第 ...

  5. Steps to Install Hadoop on CentOS/RHEL 6---reference

    http://tecadmin.net/steps-to-install-hadoop-on-centosrhel-6/# The Apache Hadoop software library is ...

  6. yum install hadoop related client

    yum list avaliable hadoop\* yum list installed yum repolist repo is in /etc/yum.repos.d yum install ...

  7. install Hadoop

    Installing Java Hadoop runs on both Unix and Windows operating systems, and requires Java to beinsta ...

  8. How to install Hadoop Cluster

    https://dwbi.org/etl/bigdata/183-setup-hadoop-cluster https://www.linode.com/docs/databases/hadoop/h ...

  9. Install hadoop on windows(non-virtual machine, such cygwin)

    DownloadBefore starting make sure you have this two softwares Hadoop 2.7.1 Java – Jdk 1.7+ Extract d ...

随机推荐

  1. Python开发【第二篇】:Python基础知识

    Python基础知识 一.初识基本数据类型 类型: int(整型) 在32位机器上,整数的位数为32位,取值范围为-2**31-2**31-1,即-2147483648-2147483647 在64位 ...

  2. IT菜鸟的生存指南(三)流行还是经典

    经常被刚入行的新人请教,想学一门开发语言,最好又简单工资又高又有发展前途.那门语言最好这个话题能在程序员群里吵一下午,所以我也就不掀起战争了. 个人建议如下: 工资高不高不在于学那门语言,而在于你的行 ...

  3. ViewPager与PagerAdapter

    ViewPager是一个可以用来滑动内部View的组件,他有一个老搭档PagerAdapter,我们这次就来看看他们这两位拍档的本事. 我们要使用ViewPager与PagerAdapter结合 首先 ...

  4. NSURLConnection学习笔记

    虽说现在都用三方库来获取网络数据,再不济也会用苹果官方的NSURLSession,但有些东西还是要先学会才有资格说不好不用,不是么? NSURLConnection发送请求是分为同步和异步两种方式的, ...

  5. 【设计模式】GoF设计模式学习总结

    什么是设计模式 为解决某一类普遍存在的问题而提供的一种解决方案: 分类及定义 创建型模式(5) 1.原型模式:通过复制一个已存在对象来生成一个新对象,被复制的对象称为原型:详情... 2.单例模式:一 ...

  6. gitflow以及git

    git大概只会用常用的那几个命令,自己用的最多的也只是add commit push pull之类的,然后那天电话面试问我版本回退怎么办我都忘记了. 然后又看了看教程,此时想起来做项目的时候师兄说的g ...

  7. Netty:数据处理流程

    Netty作为异步的.事件驱动一个网络通信框架,使用它可以帮助我们快速开发高性能高可靠性的网络服务. 为了更好的使用Netty来解决开发中的问题,学习Netty是很有必要的. Netty现在主流有三个 ...

  8. Hadoop分布式系统的安装部署

    1.关于虚拟机的复制 新建一台虚拟机,系统为CentOS7,再克隆两台,组成一个三台机器的小集群.正常情况下一般需要五台机器(一个Name节点,一个SecondName节点,三个Data节点.) 此外 ...

  9. Win10全屏看视频时任务栏不隐藏

    解决办法: 1.对任务栏鼠标右键点击,选择"任务管理器" 2.在进程选项下找到Windows进程中的Windows资源管理器 3.对Windows资源管理器鼠标右键,选择重新启动

  10. resize2fs命令使用

    如果我们创建一个loop设备然后将其挂载后,但是还要加大空间时,可以使用resize2fs命令来增大. 首先创建一个loop设备 dd 之后做成loop设备 losetup /dev/loop0 a. ...