hadoop2.0初识1.0
1.给普通用户设置sudo权限
编辑:[root@life-hadoop /]# nano /etc/sudoers
在文件头部加入:yanglin ALL=(root)NOPASSWD:ALL 保存退出接口
2.配置主机映射
1.修改主机名称 /etc/sysconfig/network
2.在/etc/hosts下添加映射
[yanglin@life-hadoop /]$ nano /etc/hosts
192.168.0.193 life-hadoop.life.com life-hadoop
3.用管理员身份修改C:\windows\System32\drivers\etc\hosts 添加
192.168.0.193 life-hadoop.life.com
3.配置jdk
1.使用[root@life-hadoop modules]# rpm -qa|grep java 查找默认安装的jdk
2.使用[root@life-hadoop modules]# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64 tzdata-java-2012j-1.el6.noarch java-1.7.0-openjdk- 1.7.0.9-2.3.4.1.el6_3.x86_64 删除默认安装的jdk
3.使用[yanglin@life-hadoop softwares]$ tar -zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/ 将jdk解压到/opt/modules目录下
4.使用[yanglin@life-hadoop softwares]$ sudo nano /etc/profile 尾部添加
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
5.[yanglin@life-hadoop softwares]$ source /etc/profile
[yanglin@life-hadoop softwares]$ echo $JAVA_HOME
/opt/modules/jdk1.7.0_67/bin
4.搭建hadoop伪分布式
1.使用[yanglin@life-hadoop softwares]$ tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/ 将hadoop解压到/opt/modules目录下
2.在hadoop的根目录下创建input目录 ,并将etc/hadoop/目录下所有的xml文件复制到input目录下
[yanglin@life-hadoop hadoop-2.5.0]$ mkdir input
[yanglin@life-hadoop hadoop-2.5.0]$ cp etc/hadoop/*.xml input
3.运行
[yanglin@life-hadoop hadoop-2.5.0]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar grep input output 'dfs[a-z.]+'
如果出现一下信息表示配置hadoop成功
1.运行wordcount案例
创建wcinput目录,并在该目录中创建wc.input文件,在该文件中输入一下内容
hadoop yarn
hadoop mapreduce
hadoop hdfs
yarn nodemanager
hadoop resourcemanager
使用命令
[yanglin@life-hadoop hadoop-2.5.0]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount wcinput wcoutput
可以统计出给目录下各个单词出现个次数
hadoop2.0初识1.0的更多相关文章
- hadoop2.2.0 + hbase 0.94 + hive 0.12 配置记录
一开始用hadoop2.2.0 + hbase 0.96 + hive 0.12 ,基本全部都配好了.只有在hive中查询hbase的表出错.以直报如下错误: java.io.IOException: ...
- hadoop-2.0.0-mr1-cdh4.2.0源码编译总结
准备编译hadoop-2.0.0-mr1-cdh4.2.0的同学们要谨慎了.首先看一下这篇文章: Hadoop作业提交多种方案 http://www.blogjava.net/dragonHadoop ...
- Hadoop2.0.0+CDH4.5.0集群配置
Hadoop 2.0.0-cdh4.5.0安装:http://blog.csdn.net/u010967382/article/details/18402217 CDH版本下载:http://arch ...
- 初识http2.0
初识http2.0 HTTP2.0性能增强的核心:二进制分帧 HTTP 2.0最大的特点: 不会改动HTTP 的语义,HTTP 方法.状态码.URI 及首部字段,等等这些核心概念上一如往常,却能致力于 ...
- 搭建Hadoop2.6.0+Spark1.1.0集群环境
前几篇文章主要介绍了单机模式的hadoop和spark的安装和配置,方便开发和调试.本文主要介绍,真正集群环境下hadoop和spark的安装和使用. 1. 环境准备 集群有三台机器: master: ...
- hadoop-2.0.0-cdh4.6.0 安装
1.创建hadoop用户[所有操作都是root,在所有master和slaver上]1).创建hadoop用户:adduser hadoop2).更换密码:passwd hadoop========= ...
- spark编译安装 spark 2.1.0 hadoop2.6.0-cdh5.7.0
1.准备: centos 6.5 jdk 1.7 Java SE安装包下载地址:http://www.oracle.com/technetwork/java/javase/downloads/java ...
- 在Win7虚拟机下搭建Hadoop2.6.0+Spark1.4.0单机环境
Hadoop的安装和配置可以参考我之前的文章:在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境. 本篇介绍如何在Hadoop2.6.0基础上搭建spark1.4.0单机环境. 1. 软件准备 ...
- hadoop-2.3.0-cdh5.1.0完全分布式搭建(基于centos)
先参考:<hadoop-2.3.0-cdh5.1.0伪分布安装(基于centos)> http://blog.csdn.net/jameshadoop/article/details/39 ...
随机推荐
- Lambda表达式动态拼接(备忘)
EntityFramework动态组合Lambda表达式作为数据筛选条件,代替拼接SQL语句 分类: C# Lambda/Linq Entity Framework 2013-05-24 06:58 ...
- 数据库---MySQL练习题及答案
一. 设有一数据库,包括四个表:学生表(Student).课程表(Course).成绩表(Score)以及教师信息表(Teacher).四个表的结构分别如表1-1的表(一)~表( ...
- Android MP3录音实现
给APP做语音功能,必须考虑到IOS和Android平台的通用性.wav录音质量高,文件太大,AAC和AMR格式在IOS平台却不支持,所以采用libmp3lame把AudioRecord音频流直接转换 ...
- HTML问题集锦及笔记
1.<html>和<body>之间的输出? 加入<p>or<script>均可正常运行 2.<br />换行,用<br>< ...
- 当select框变化时 获取select框中被选中的值
DOM <select name="course"> <option value="1">1</option> <op ...
- gogo
Qixoe019uip netstat -apn|grep 808*cd /data/pkg/super-car-store./start 端口 jar包名 //是否查询连锁店数据 if(chainC ...
- bootstrap入门-4.排版及其他固定样式
本篇包括以下内容:排版.代码.表格.表单. 总结:超无聊,弃更. · 排版样式 标题 h1-h6 取消加粗,字体大小也有一定变化 ...
- 模板 BFS
[模板]BFS #include <stdio.h> #include <string.h> #include <queue> using namespace st ...
- geckodriver v0.11.0 github上下载的
从 https://github.com/mozilla/geckodriver/releases 下载的.家里下载不了,selenium 3.0.1 + python 2.7.10 + firefo ...
- 解决img标签间距问题
解决img标签间距问题 关于img标签间距问题:多个img之间有间距,包含img标签的div之间有间距. 代码如下: 1 <!doctype html> 2 <html lang=& ...