安装Hadoop-单机模式(1)

一、在Ubuntu下创建hadoop组和hadoop用户

  1)创建hadoop用户组

sudo addgroup hadoop    //添加用户组

  2)创建hadoop用户

sudo adduser -ingroup hadoop hadoop // 创建hadoop用户,需要输入新的密码

  3、为hadoop用户添加权限,打开/etc/sudoers文件,添加:

root ALL=(ALL:ALL) ALL
hadoop ALL=(ALL:ALL) ALL //添加这行, 给hadoop用户赋予和root用户同样的权限

二、用新增加的hadoop用户登录Ubuntu系统

su hadoop  //切换到hadoop用户,或者直接从设置->切换用户

三、安装ssh

  1)安装ssh

sudo apt-get install openssl-server  //安装ssh

  2)重启,并检查服务是否启动

sudo /etc/init.d/ssh start   //重启服务
ps -e | grep ssh //查看服务是否正确启动

  3)设置免密码登录,生成私钥和公钥,在/home/hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub

ssh-keygen -t rsa -P ""     //一路回车就行
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys //公钥追加到authorized_keys
ssh localhost //登录测试是否成功,之后exit退出

四、安装Java环境

sudo apt-get install openjdk--jdk   //安装java
java -version //检测是否安装成功

如果出错,按这种方式(测试成功):

)下载jdk:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

)解压到指定目录:sudo tar xvf ./jdk-8u5-linux-x64.tar.gz  -C /usr/lib/jvm

)改名字: sudo mv jdk1..0_05/ java-8u5-sun

)在 ~/.bashrc文件加入,并source一下
export JAVA_HOME=/usr/lib/jvm/java-8u5-sun
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
 
)检查是否成功:java -version

五、安装hadoop2.4.0

  1)官网下载 :http://mirror.bit.edu.cn/apache/hadoop/common/

  2)安装,并修改权限

sudo tar xzf hadoop-2.4..tar.gz      //解压
sudo mv hadoop-2.4. /usr/local/hadoop //移动到指定目录
sudo chmod /usr/local/hadoop //修改权限

  3)配置,执行update-alternatives --config java,查找java安装路径 :/usr/lib/jvm/java-8u5-sun,在.bashrc文件添加:

#HADOOP VARIABLES START
export JAVA_HOME=/usr/lib/jvm/java--openjdk-amd64
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END

  4)修改JAVA_HOME变量,打开:/usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8u5-sun   //修改环境变量

六、WordCount测试

  1)在/usr/local/hadoop路径下创建input文件夹 :mkdir input

  2)拷贝README.txt到input  : cp README.txt input

  3)执行WordCount:

sudo bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.2-sources.jar org.apache.hadoop.examples.WordCount input output  //红色换成自己路径下的jar包

  4)执行 cat output/*,查看字符统计结果

ref:http://www.cnblogs.com/kinglau/p/3794433.html

大数据 --> 安装Hadoop-单机模式(1)的更多相关文章

  1. 【大数据】Hadoop单机安装配置

    1.解压缩hadoop-2.7.6.tar.gz到/home/hadoop/Soft目录中 2.创建软链接,方便hadoop升级  ln -s /home/hadoop/Soft/hadoop-2.7 ...

  2. 五十九.大数据、Hadoop 、 Hadoop安装与配置 、 HDFS

    1.安装Hadoop 单机模式安装Hadoop 安装JAVA环境 设置环境变量,启动运行   1.1 环境准备   1)配置主机名为nn01,ip为192.168.1.21,配置yum源(系统源) 备 ...

  3. 【HADOOP】| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-下

    因篇幅过长,故分为两节,上节主要说明hadoop运行环境和必须的基础软件,包括VMware虚拟机软件的说明安装.Xmanager5管理软件以及CentOS操作系统的安装和基本网络配置.具体请参看: [ ...

  4. Hadoop单机模式安装

    一.实验环境说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序: ...

  5. 3-1.Hadoop单机模式安装

    Hadoop单机模式安装 一.实验介绍 1.1 实验内容 hadoop三种安装模式介绍 hadoop单机模式安装 测试安装 1.2 实验知识点 下载解压/环境变量配置 Linux/shell 测试Wo ...

  6. Hadoop单机模式的配置与安装

    Hadoop单机模式的配置与安装 单机hadoop集群正常启动后进程情况 ResourceManager NodeManager SecondaryNameNode NameNode DataNode ...

  7. centos7 hadoop 单机模式安装配置

    前言 由于现在要用spark,而学习spark会和hdfs和hive打交道,之前在公司服务器配的分布式集群,离开公司之后,自己就不能用了,后来用ambari搭的三台虚拟机的集群太卡了,所以就上网查了一 ...

  8. 大数据:Hadoop入门

    大数据:Hadoop入门 一:什么是大数据 什么是大数据: (1.)大数据是指在一定时间内无法用常规软件对其内容进行抓取,管理和处理的数据集合,简而言之就是数据量非常大,大到无法用常规工具进行处理,如 ...

  9. 大数据与Hadoop

    figure:first-child { margin-top: -20px; } #write ol, #write ul { position: relative; } img { max-wid ...

随机推荐

  1. 各大HotFix热补丁方案分析和比较

    最近开源界涌现了很多热补丁项目,但从方案上来说,主要包括Dexposed.AndFix.ClassLoader(来源是原QZone,现淘宝的工程师陈钟,在15年年初就已经开始实现)三种.前两个都是阿里 ...

  2. Flex中通过RadioButton进行切换

    1.页面切换 <?xml version="1.0" encoding="utf-8"?> <s:Application xmlns:fx=& ...

  3. JDBC完成的三个基本工作

    JDBC完成的三个基本工作 1.与数据库建立连接 2.执行SQL语句 3.获得SQL语句的执行结果

  4. zTree实现地市县三级级联封装类

    zTree实现地市县三级级联封装类 Province.java: /** * @Title:Province.java * @Package:com.gwtjs.model * @Descriptio ...

  5. 配置WebLogic的详细步骤

    配置WebLogic的详细步骤 1.安装好WebLogic后,进入配置阶段,点击"Getting started with WebLogic Server 10.3.6" 2.进入 ...

  6. html标签自带样式总结

    一.html标签自带样式 head { display:none; } body { margin:8px; line-height:1.12; } button, textarea, input, ...

  7. 觉得OpenStack的网络复杂?其实你家里就有同样一个网络

    当你想了解OpenStack的Neutron网络,打开下面这张图的时候,心里一定是崩溃的,看起来这些模块连在一起很复杂,但其实和你家里的网络很像,看不出来?看我来慢慢解析. 其实这个网络的样子更像是我 ...

  8. Tomcat下使用Druid配置JNDI数据源

    com.alibaba.druid.pool.DruidDataSourceFactory实现了javax.naming.spi.ObjectFactory,可以作为JNDI数据源来配置. 一.下载D ...

  9. Javascript设计模式(2)-单体模式

    单体模式 1. js最简单的单体模式 对象字面量:把一批有一定关联的方法和属性组织在一起 // 对象字面量 var Singleton = { attr1: true, attr2: 10, meth ...

  10. 【NOIP2016】【CJOJ2257】2257 愤怒的小鸟

    题目 Description https://www.luogu.org/problem/show?pid=2831 Kiana最近沉迷于一款神奇的游戏无法自拔. 简单来说,这款游戏是在一个平面上进行 ...