1.首先安装java,配置java开发环境

  下载jdk:http://www.oracle.com/technetwork/java/javase/archive-139210.html选择你想要下载的版本,放入比如/home/java目录。我本机安装的是jdk 1.7

  下载完成后解压:tar -zxvf xxxxxx.tar.gz

  对/etc/profile文件进行配置: vim /etc/profile ,在文件的末尾添加环境变量(其中/usr/lib/jvm/java-7-oracle为解压文件的目录):

    export JAVA_HOME=/usr/lib/jvm/java-7-oracle
    export JRE_HOME=${JAVA_HOME}/jre
    export PATH=$JAVA_HOME/bin:$PATH:
    export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

  profile这个文件是每个用户登录时都会运行的环境变量设置,当用户第一次登录时,该文件被执行. 并从/etc/profile.d目录的配置文件中搜集shell的设置。  

  打开shell,输入java -version,显示:

        

2.配置ssh

  配置ssh之前最好先更新一下软件源:

      apt-get update

  安装openssh-server:

      apt-get install openssh-server  

  使用ssh进行无密码验证登录:

    1.创建ssh-key,采用rsa方式,使用如下命令存储目录使用默认:

      ssh-keygen -t rsa -P ""

    2.将公钥文件追加到authorized_keys中

      cat ~/.ssh/id_rsa.pub >> authorized_keys

  

  检测ssh 服务是否启动:

      ps -e | grep ssh

  如果显示有ssh字样,则说明已经启动成功,如果没有则手动启动:

      /etc/init.d/ssh start

  也可以重启ssh server:

      /etc/init.d/ssh restart

  登录localhost:

      ssh localhost

  显示错误信息:

      

  错误信息看起来是jdk环境变量设置有问题,也没找到改正方法。不用修改也目前看起来还没有问题。

3.下载hadoop,我下载的是hadoop-2.7.3

  wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.3.tar.gz

4.解压缩文件

  tar -xzvf hadoop-2.7.3.tar.gz

5.编辑hadoop配置文件

  hadoop的配置文件位于hadoop-2.7.3/etc/hadoop目录中,初始的话,需要修改core-site.xml,mapred-site.xml.template, hdfs-site.xml这三个文件

  使用vim编辑这三个配置文件:

  core-site.xml

<configuration>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/home/hadoop/hadoop_tmp</value>
    <description>Abase for other temporary directories.</description>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

  其中<value>file:/home/hadoop/hadoop_tmp</value>是你自己设置用于hadoop的tmp目录

  mapred-site.xml

<configuration>
<property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

  hdfs-site.xml

<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/hadoop/hadoop_tmp/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/hadoop/hadoop_tmp/dfs/data</value>
  </property>
</configuration>

  最好把dfs.namenode.name.dir和dfs.datanode.data.dir的目录放到core-site.xml中tmp目录下

6.初始化hadoop

  cd到hadoop-2.7.3根目录下,

    bin/hdfs namenode -format

  过程需要进行ssh验证,之前已经登录了,所以初始化过程之间键入y即可。

    

7.开启NameNode和dataNode进程

  sbin/start-dfs.sh

  报错:JAVA_HOME is not set and could not be found

  

  解决方法:vim打开hadoop-2.7.3/etc/hadoop/hadoop-env.sh,直接讲JAVA_HOME加入hadoop的环境变量

    

  使用jps查看进程信息:

  

  在浏览器中打开http://localhost:50070

  

 hadoop环境搭建完成。

Ububtu 14.04 安装 Hadoop 2.7.3的更多相关文章

  1. 在Ubuntu 14.04安装和使用Docker

    Docker是一个开源软件,它可以把一个Linux应用和它所依赖的一切(比如配置文件)都封装到一个容器.然而,Docker与虚拟机不同,它使用了沙箱机制,Docker容器不运行操作系统,它共享主机上的 ...

  2. [转]在Ubuntu 14.04安装和使用Docker

    在Ubuntu 14.04安装和使用Docker 作者:chszs,版权所有,未经同意,不得转载.博主主页:http://blog.csdn.net/chszs Docker是一个开源软件,它可以把一 ...

  3. Ubuntu 14.04 安装VMware 12

    /*********************************************************************** * Ubuntu 14.04 安装VMware 12 ...

  4. Ubuntu 14.04安装Chromium浏览器并添加Flash插件Pepper Flas

    转自Ubuntu 14.04安装Chromium浏览器并添加Flash插件Pepper Flash Player Chromium谷歌的开源浏览器将不再支持Netscape浏览器插件API,Adobe ...

  5. ubuntu 14.04 安装搜狗拼音输入法

    原文:ubuntu 14.04 安装搜狗拼音输入法 ubuntu桌面系统下终于有了好用的拼音法-搜狗拼音输入法,欲在ubuntu 14.04下安装搜狗拼音输入法相当的简单. 先到搜狗拼音官网下载对应的 ...

  6. ubuntu 14.04 安装torch及编译环境zbstudio

    ubuntu 14.04 安装torch及编译环境zbstudio torch zbstudio 本来是安装官网给的步骤安装torch的,可是碰到一系列的问题,后来参考网上的安装方法安装成功了 官网安 ...

  7. ubuntu 14.04 安装svn server (subversionedge )

    ubuntu 14.04 安装subversionedge 请仔细阅读安装包自带的readme文件! 1.先去官网,找安装包: http://subversion.apache.org/ http:/ ...

  8. Ubuntu 14.04 安装 sysrepo v0.7.5

    参考: Tentative gNMI support with sysrepo protobuf-c/protobuf-c Ubuntu 14.04 安装 sysrepo v0.7.5 安装依赖: s ...

  9. Ubuntu 14.04 安装 CUDA 问题及解决

    本文安装环境: - 双显卡: intel 集显 + nvidia 独显 - Ubuntu 14.04.4 - CUDA 8.0.44 1. Deb 安装包是个坑 (不要用这种方法!) 使用 Deb 安 ...

随机推荐

  1. 大疆无人机M100相关问题解决过程

    1.遥控器升级问题 iOS端使用app升级,重复尝试了5次+,还是无法升级.卸载app重新安装,依旧是无法升级.使用Android app升级,一次搞定. 2.飞行器固件升级(云台别选错了) http ...

  2. 解决matplotlib库在PyCharm和命令行都无法正常显示问题

    我们在学习人工智能的时候,会经常用到matplotlib,在学习的时候有一些例子写了代码运行: import matplotlib.pyplot as plt import numpy as np x ...

  3. Linux Crontab及使用salt进行管理

    一.引言: 最近无意之间看到salt有一个cron的模块,今天就在这里介绍linux crontab以及通过salt的cron对crontab的管理. 二.Linux crontab的介绍: cron ...

  4. 关于asyncio知识(四)

    一.使用 asyncio 总结 最近在公司的一些项目中开始慢慢使用python 的asyncio, 使用的过程中也是各种踩坑,遇到的问题也不少,其中有一次是内存的问题,自己也整理了遇到的问题以及解决方 ...

  5. 一起来学习linux创建用户useradd命令

    linux创建用户useradd命令 原文地址:linux创建用户useradd命令 http://www.xfcodes.com/linuxcmd/user/24308.htm 一,adduser与 ...

  6. 小白都能看明白的VLAN原理解释

    为什么需要VLAN 1. 什么是VLAN? VLAN(Virtual LAN),翻译成中文是“虚拟局域网”.LAN可以是由少数几台家用计算机构成的网络,也可以是数以百计的计算机构成的企业网络.VLAN ...

  7. jYD框架使用

    jQuery是一个非常好的框架,涉及的内容比较多,随着现在浏览器的发展,原生JS的功能越来越强大,jQuery包含内容很多,但是常用的功能无非涉及到Dom操作,事件,样式,表单和Ajax交互.引入那么 ...

  8. cx_Oracle读写clob

    cx_Oracle读写clob 读 读到相应字段后,使用read()方法即可:例如读取到clob对象a,想要查看其内容,使用下列代码即可: a.read() 写 参考下列代码: id='123' cl ...

  9. 5个最好用AngularJS构建应用程序框架

    如果你打算建立自己的Web应用与AngularJS,那么现在是时候开始了.如果这个想法吓到你了,删除所有的恐慌,从你的头脑中有一些框架,AngularJS提供方便的支持.有一些预先的框架,使用框架可以 ...

  10. C# SMTP 邮件发送之QQ邮箱篇

    邮件发送大家都已经非常熟悉了,微软自带的System.Net.Mail也很好用,那为什么还要说呢? QQ邮箱的SMTP以前是非SSL,用未加密的25端口,后来发送都改成SSL了,端口为465或587( ...