CentOS7.2配置Hadoop2.6.5
Hadoop配置文件
/etc/profile
配置Java和Hadoop环境
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop-2.6.5/hadoop-2.6.5
export PATH=$JAVA_HOME/bin:${PATH}:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
配置文件在/etc/hadoop
core-site.xml
fs.defualtFS:配置主节点namenode地址
hadoop.tmp.dir:在本地文件系统所在的NameNode的存储空间和持续化处理日志
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.94.140:9000</value>
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.6.5/data</value>
</property>
</configuration>
mapred-site.xml.template
mapreduce.framework.name:执行框架设置为 Hadoop YARN
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
yarn.resourcemanager.hostname:namenode的yarn地址
yarn.nodemanager.aux-services:Shuffle service 需要加以设置的Map Reduce的应用程序服务
<property>
<name>yarn.resourcemanager.hostname</name>
<value>CentOS7One</value>
</property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
hadoop-env.sh
JAVA_HOME换成绝对路径
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
slaves
配置子节点,伪分布式,一台机器,配置子节点为自身
CentOS7One
Hadoop免密钥配置
方法1:
1.生成私钥和公钥
[root@CentOS7One ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
eb:::dc:9a::ee:f9:5d:3b:db:6f::::f9 root@CentOS7One
The key's randomart image is:
+--[ RSA ]----+
| .|
| ..|
| . . o.|
| + o o E|
| B S o |
| o o . .|
| . o. . . |
| +o . ..o o|
| ...o . oo.+.|
+-----------------+
2.将CentOS7One的id_rsa_pub拷贝到CentOSTwo中
[root@CentOS7One .ssh]#
[root@CentOS7One .ssh]# scp id_rsa.pub CentOS7Two:/root
The authenticity of host 'centos7two (192.168.94.139)' can't be established.
ECDSA key fingerprint is dd:e2::9d:e2:6e::c3:2a:::3f:f6:3a:f2:.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'centos7two,192.168.94.139' (ECDSA) to the list of known hosts.
root@centos7two's password:
id_rsa.pub % .4KB/s :
[root@CentOS7One .ssh]#
3.重复步骤1,在CentOS7Two主机上生成私钥和公钥
[root@CentOS7Two ~]# ssh-keygen -t rsa
4.在CentOS7Two中新建authorized_keys,权限为600,向其追加从CentOS7One拷贝的id_rsa.pub
[root@CentOS7Two .ssh]# touch authorized_keys
[root@CentOS7Two .ssh]# chmod authorized_keys
[root@CentOS7Two .ssh]# cat /root/id_rsa.pub >> authorized_keys
authorized_keys是被允许免密连接到CentOS7Two的主机的公钥
[root@CentOS7Two .ssh]# cat authorized_keys
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDGBMCc2AOqbMUT9uB8tDyrcNkjV/nCum/Ez5OMRZlVEITERtMLN8NUZP0kQjqiRU7kr5oIlA8FoE6sgSF7ciTu1IIDb2pg3roe0PpcaIwdSjP/b6ktnnkkcIXl74194AY/I+A9UFGErdaarTzAlMEougMC6G9IYTefqyMywsUZ5lH3PP72vqQNwZZX/LZtq6AK+yZ4C2jiErfF3i7hL1bTxVDBvGmLg37U8xNhei0Z5SDq9tCGP9EFabVuaw+mehPxGwFTbyuQj6X1xDmRD8lfjRWTK7M88dVImKdrf85KJAL5kyquIQi0tSAskkSlaroIDzNh1ebacKlOuWh6eWhd root@CentOS7One
方法2:
先在本机上生成私钥和公钥
[root@CentOS7Three ~]# ssh-keygen -t rsa
然后,运行ssh-copy-id命令,快捷的配置免密登录
[root@CentOS7Three ~]# ssh-copy-id CentOS7Seven
Hadoop运行
Hadoop格式化
对Hadoop格式化,对data目录下写初始化文件
hadoop namenode -format
启动dfs
启动目录在sbin/
start-dfs.sh
Jps检验是否启动成功
[root@CentOS7One current]# jps
NameNode
DataNode
SecondaryNameNode
Jps
启动yarn
start-yarn.sh
Jps检验是否成功
[root@CentOS7One current]# jps
NameNode
DataNode
NodeManager
SecondaryNameNode
ResourceManager
Jps
Hadoop命令
上传
hadoop fs -put hadoop-2.6..tar.gz hdfs://CentOS7One:9000/
hadoop fs -copyFromLocal /usr/local/hadoop-2.6.5/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar /
下载
hadoop fs -get hdfs://CentOS7One:9000/hadoop-2.6.5.tar.gz
创建文件
路径是hdfs://CenOS7One:9000/wordcount/input的简写
hadoop fs -mkdir /wordcount/input
查看文件列表
[root@CentOS7One mapreduce]# hadoop fs -ls /wordcount/output
Found items
-rw-r--r-- root supergroup -- : /wordcount/output/_SUCCESS
-rw-r--r-- root supergroup -- : /wordcount/output/part-r-
查看文件详情
[root@CentOS7One mapreduce]# hadoop fs -cat /wordcount/output/part-r-
fuckbaby
hello
jim
kitty
tom
world
删除文件
[root@CentOS7One ~]# hadoop fs -rm -r /qingshu.txt
// :: INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = minutes, Emptier interval = minutes.
Deleted /qingshu.txt
查看文件系统空间使用情况
[root@CentOS7One data]# hadoop fs -df -h /
Filesystem Size Used Available Use%
hdfs://192.168.94.140:9000 17.5 G 210.6 M 14.1 G 1%
查看文件夹、文件具体占用多少空间
[root@CentOS7One data]# hadoop fs -du -s -h hdfs://CentOS7One:9000/*
190.4 M hdfs://CentOS7One:9000/hadoop-2.6.5.tar.gz
285.8 K hdfs://CentOS7One:9000/hadoop-mapreduce-examples-2.6.5.jar
18.1 M hdfs://CentOS7One:9000/mapreduce
hdfs://CentOS7One:9000/user
hdfs://CentOS7One:9000/wordcount
CentOS7.2配置Hadoop2.6.5的更多相关文章
- Centos7.0配置Hadoop2.7.0伪分布式
一.ssh免密登录 1.命令ssh-keygen. overwrite输入y一路回车 2.将生成的密钥发送到本机 ssh-copy-id localhost中间会询问是否继续输入“yes” 3.测试免 ...
- building hadoop2.4.1 on centos7[在centos7上面构建hadoop2.4.1]
本文介绍在centos7上面通过hadoop2.4.1源码构建hadoop distribution 版本,即hadoop的运行版本. 为何要自己building,而不用Apache的distribu ...
- Centos7网络配置,vsftpd安装及530报错解决
今天在虚拟机安装CentOS7,准备全新安装LTMP,结果又是一堆问题,不过正好因为这些出错,又给自己长了见识. 1,CentOS7网络配置 最小化安装CentOs7后,ifconfig提示comma ...
- Centos7安装配置gitlab
Centos7安装配置gitlab 这篇文字我会介绍在Centos7上安装gitlab,配置gitlab的smtp,并且创建项目demo. sudo yum install openssh-serve ...
- VMware中安装CentOS7网络配置静态IP地址,常用配置和工具安装
VMware中安装CentOS7网络配置静态IP地址,常用配置和工具安装在阿里云开源镜像地址下载镜像Index of /centos/7.2.1511/isos/x86_64/http://mirro ...
- centos7初步配置
centos7初步配置 首先安装lrzsz zip/unzip yum -y install lrzsz yum -y install zip unzip 安装vim yum install vim* ...
- centos7网络配置总结
centos7网络配置 --wang 一.通过配置文件 配置/etc/sysconfig/network-scripts/en.. 记忆信息量大,易出错,不推荐使用.配置多台电脑静态ip可以通过复制模 ...
- CentOS7基本配置一
CentOS7基本配置一 安装VMwareTools 1.点击重新安装VM-tool, 继而找到压缩文件VMwareTools-10.2.0...tar.gz,复制到桌面下,解压这么压缩文件到桌面下 ...
- Centos7安装配置Apache+PHP+Mysql+phpmyadmin
转载自: Centos7安装配置Apache+PHP+Mysql+phpmyadmin 一.安装Apache yum install httpd 安装成功后,Apache操作命令: systemctl ...
随机推荐
- [leetcode] 15. Plus One
这道题其实让我意识到了我的英文水平还有待加强.... 题目如下: Given a non-negative number represented as an array of digits, plus ...
- 使用MTR命令诊断网络问题
以前在检查网络时习惯使用ping命令,因为ping命令非常简单,现在喜欢上了mtr命令,因为它真的很强大,但是对于刚刚接触这个命令的同学来说,理解起来就没有ping命令来的那么直观了,所以今天写一 ...
- RESTful Android
RESTful Android API 定义 约定 回复中默认包含标头: Content-Type: application/json;charset=UTF-8 异步操作以(*)号标记 大多数异步操 ...
- [javascript]IIFE立即执行的函数表达式
近况:最近一直忙着找实习没有更新,不过学习还是在继续的.最近在写Node.js又稍带把javascript的角落知识捡了一遍,过半个月打算去看看python和一些CSS深层的书和博客.工作找的还好,拿 ...
- Struts2-057/CVE-2018-11776两个版本RCE漏洞分析(含EXP)
0x01 前言 2018年8月22日,Apache Strust2发布最新安全公告,Apache Struts2存在远程代码执行的高危漏洞(S2-057/CVE-2018-11776),该漏洞由Sem ...
- Linux系统发布ASP.NET项目
一.安装配置Jexus服务 注:root权限下执行,Linux版本:CentOS-7 1.安装Jexus 5.8.1 "独立版"软件 该"独立版"支持64位的C ...
- 常用到的一些js方法,记录一下
获取字符串长度 function GetStringLength(str) { return str.replace(/[^\x00-\xff]/g, "00").length; ...
- 发起一个NetCore技术联盟促进NetCore技术应用
一.简介 1.从十几年前开始net,到两年前转java,到去年底发现netcore2这玩艺,从此以后坚定成为netcore的追随着. 2.有心促进netcore的应用,聚集一些人员共同学习,减少技术使 ...
- 11-使用EF操作数据库
本篇博客对应视频讲解 回顾 上一篇教程我们讲了XML与JSON的序列化问题,我们可以看到序列化实际上也是不同形式的转换,我们通常要以字节流的形式做中转.同时我们也可以看到,对于序列化这种常见的需求,我 ...
- 『原创』手把手教你搭建一个实用的油耗App(一)
前言: 入行快10年,有点积蓄,三年前买了代步车.于是乎,汽车油耗开销就成了每个月都必须关注的问题.三年来,用过了无数油耗记录软件,比如最知名的“小熊油耗”,从第一次用,一直到最新一版,感觉越来越“臃 ...