Hadoop配置文件

/etc/profile

配置Java和Hadoop环境

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop-2.6.5/hadoop-2.6.5
export PATH=$JAVA_HOME/bin:${PATH}:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置文件在/etc/hadoop

core-site.xml

fs.defualtFS:配置主节点namenode地址

hadoop.tmp.dir:在本地文件系统所在的NameNode的存储空间和持续化处理日志

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.94.140:9000</value>
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.6.5/data</value>
</property>
</configuration>

mapred-site.xml.template

mapreduce.framework.name:执行框架设置为 Hadoop YARN

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

yarn-site.xml

yarn.resourcemanager.hostname:namenode的yarn地址

yarn.nodemanager.aux-services:Shuffle service 需要加以设置的Map Reduce的应用程序服务

<property>
<name>yarn.resourcemanager.hostname</name>
<value>CentOS7One</value>
</property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

hadoop-env.sh

JAVA_HOME换成绝对路径

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

slaves

配置子节点,伪分布式,一台机器,配置子节点为自身

CentOS7One

Hadoop免密钥配置

方法1:

1.生成私钥和公钥

[root@CentOS7One ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
eb:::dc:9a::ee:f9:5d:3b:db:6f::::f9 root@CentOS7One
The key's randomart image is:
+--[ RSA ]----+
| .|
| ..|
| . . o.|
| + o o E|
| B S o |
| o o . .|
| . o. . . |
| +o . ..o o|
| ...o . oo.+.|
+-----------------+

2.将CentOS7One的id_rsa_pub拷贝到CentOSTwo中

[root@CentOS7One .ssh]#
[root@CentOS7One .ssh]# scp id_rsa.pub CentOS7Two:/root
The authenticity of host 'centos7two (192.168.94.139)' can't be established.
ECDSA key fingerprint is dd:e2::9d:e2:6e::c3:2a:::3f:f6:3a:f2:.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'centos7two,192.168.94.139' (ECDSA) to the list of known hosts.
root@centos7two's password:
id_rsa.pub % .4KB/s :
[root@CentOS7One .ssh]#

3.重复步骤1,在CentOS7Two主机上生成私钥和公钥

[root@CentOS7Two ~]# ssh-keygen -t rsa

4.在CentOS7Two中新建authorized_keys,权限为600,向其追加从CentOS7One拷贝的id_rsa.pub

[root@CentOS7Two .ssh]# touch authorized_keys
[root@CentOS7Two .ssh]# chmod authorized_keys
[root@CentOS7Two .ssh]# cat /root/id_rsa.pub >> authorized_keys

authorized_keys是被允许免密连接到CentOS7Two的主机的公钥

[root@CentOS7Two .ssh]# cat authorized_keys
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDGBMCc2AOqbMUT9uB8tDyrcNkjV/nCum/Ez5OMRZlVEITERtMLN8NUZP0kQjqiRU7kr5oIlA8FoE6sgSF7ciTu1IIDb2pg3roe0PpcaIwdSjP/b6ktnnkkcIXl74194AY/I+A9UFGErdaarTzAlMEougMC6G9IYTefqyMywsUZ5lH3PP72vqQNwZZX/LZtq6AK+yZ4C2jiErfF3i7hL1bTxVDBvGmLg37U8xNhei0Z5SDq9tCGP9EFabVuaw+mehPxGwFTbyuQj6X1xDmRD8lfjRWTK7M88dVImKdrf85KJAL5kyquIQi0tSAskkSlaroIDzNh1ebacKlOuWh6eWhd root@CentOS7One

方法2:

先在本机上生成私钥和公钥

[root@CentOS7Three ~]# ssh-keygen -t rsa

然后,运行ssh-copy-id命令,快捷的配置免密登录

[root@CentOS7Three ~]# ssh-copy-id CentOS7Seven

Hadoop运行

Hadoop格式化

对Hadoop格式化,对data目录下写初始化文件

hadoop namenode -format

启动dfs

启动目录在sbin/

start-dfs.sh

Jps检验是否启动成功

[root@CentOS7One current]# jps
NameNode
DataNode
SecondaryNameNode
Jps

启动yarn

start-yarn.sh

Jps检验是否成功

[root@CentOS7One current]# jps
NameNode
DataNode
NodeManager
SecondaryNameNode
ResourceManager
Jps

Hadoop命令

上传

hadoop fs -put hadoop-2.6..tar.gz hdfs://CentOS7One:9000/
hadoop fs -copyFromLocal /usr/local/hadoop-2.6.5/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar /

下载

hadoop fs -get hdfs://CentOS7One:9000/hadoop-2.6.5.tar.gz 

创建文件

路径是hdfs://CenOS7One:9000/wordcount/input的简写

hadoop fs -mkdir /wordcount/input

查看文件列表

[root@CentOS7One mapreduce]# hadoop fs -ls /wordcount/output
Found items
-rw-r--r-- root supergroup -- : /wordcount/output/_SUCCESS
-rw-r--r-- root supergroup -- : /wordcount/output/part-r-

查看文件详情

[root@CentOS7One mapreduce]# hadoop fs -cat /wordcount/output/part-r-
fuckbaby
hello
jim
kitty
tom
world

删除文件

[root@CentOS7One ~]# hadoop fs -rm -r /qingshu.txt
// :: INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = minutes, Emptier interval = minutes.
Deleted /qingshu.txt

查看文件系统空间使用情况

[root@CentOS7One data]# hadoop fs -df -h /
Filesystem Size Used Available Use%
hdfs://192.168.94.140:9000 17.5 G 210.6 M 14.1 G 1%

查看文件夹、文件具体占用多少空间

[root@CentOS7One data]# hadoop fs -du -s -h hdfs://CentOS7One:9000/*
190.4 M hdfs://CentOS7One:9000/hadoop-2.6.5.tar.gz
285.8 K hdfs://CentOS7One:9000/hadoop-mapreduce-examples-2.6.5.jar
18.1 M hdfs://CentOS7One:9000/mapreduce
hdfs://CentOS7One:9000/user
hdfs://CentOS7One:9000/wordcount

CentOS7.2配置Hadoop2.6.5的更多相关文章

  1. Centos7.0配置Hadoop2.7.0伪分布式

    一.ssh免密登录 1.命令ssh-keygen. overwrite输入y一路回车 2.将生成的密钥发送到本机 ssh-copy-id localhost中间会询问是否继续输入“yes” 3.测试免 ...

  2. building hadoop2.4.1 on centos7[在centos7上面构建hadoop2.4.1]

    本文介绍在centos7上面通过hadoop2.4.1源码构建hadoop distribution 版本,即hadoop的运行版本. 为何要自己building,而不用Apache的distribu ...

  3. Centos7网络配置,vsftpd安装及530报错解决

    今天在虚拟机安装CentOS7,准备全新安装LTMP,结果又是一堆问题,不过正好因为这些出错,又给自己长了见识. 1,CentOS7网络配置 最小化安装CentOs7后,ifconfig提示comma ...

  4. Centos7安装配置gitlab

    Centos7安装配置gitlab 这篇文字我会介绍在Centos7上安装gitlab,配置gitlab的smtp,并且创建项目demo. sudo yum install openssh-serve ...

  5. VMware中安装CentOS7网络配置静态IP地址,常用配置和工具安装

    VMware中安装CentOS7网络配置静态IP地址,常用配置和工具安装在阿里云开源镜像地址下载镜像Index of /centos/7.2.1511/isos/x86_64/http://mirro ...

  6. centos7初步配置

    centos7初步配置 首先安装lrzsz zip/unzip yum -y install lrzsz yum -y install zip unzip 安装vim yum install vim* ...

  7. centos7网络配置总结

    centos7网络配置 --wang 一.通过配置文件 配置/etc/sysconfig/network-scripts/en.. 记忆信息量大,易出错,不推荐使用.配置多台电脑静态ip可以通过复制模 ...

  8. CentOS7基本配置一

    CentOS7基本配置一 安装VMwareTools 1.点击重新安装VM-tool, 继而找到压缩文件VMwareTools-10.2.0...tar.gz,复制到桌面下,解压这么压缩文件到桌面下 ...

  9. Centos7安装配置Apache+PHP+Mysql+phpmyadmin

    转载自: Centos7安装配置Apache+PHP+Mysql+phpmyadmin 一.安装Apache yum install httpd 安装成功后,Apache操作命令: systemctl ...

随机推荐

  1. [leetcode] 15. Plus One

    这道题其实让我意识到了我的英文水平还有待加强.... 题目如下: Given a non-negative number represented as an array of digits, plus ...

  2. 使用MTR命令诊断网络问题

      以前在检查网络时习惯使用ping命令,因为ping命令非常简单,现在喜欢上了mtr命令,因为它真的很强大,但是对于刚刚接触这个命令的同学来说,理解起来就没有ping命令来的那么直观了,所以今天写一 ...

  3. RESTful Android

    RESTful Android API 定义 约定 回复中默认包含标头: Content-Type: application/json;charset=UTF-8 异步操作以(*)号标记 大多数异步操 ...

  4. [javascript]IIFE立即执行的函数表达式

    近况:最近一直忙着找实习没有更新,不过学习还是在继续的.最近在写Node.js又稍带把javascript的角落知识捡了一遍,过半个月打算去看看python和一些CSS深层的书和博客.工作找的还好,拿 ...

  5. Struts2-057/CVE-2018-11776两个版本RCE漏洞分析(含EXP)

    0x01 前言 2018年8月22日,Apache Strust2发布最新安全公告,Apache Struts2存在远程代码执行的高危漏洞(S2-057/CVE-2018-11776),该漏洞由Sem ...

  6. Linux系统发布ASP.NET项目

    一.安装配置Jexus服务 注:root权限下执行,Linux版本:CentOS-7 1.安装Jexus 5.8.1 "独立版"软件 该"独立版"支持64位的C ...

  7. 常用到的一些js方法,记录一下

    获取字符串长度 function GetStringLength(str) { return str.replace(/[^\x00-\xff]/g, "00").length; ...

  8. 发起一个NetCore技术联盟促进NetCore技术应用

    一.简介 1.从十几年前开始net,到两年前转java,到去年底发现netcore2这玩艺,从此以后坚定成为netcore的追随着. 2.有心促进netcore的应用,聚集一些人员共同学习,减少技术使 ...

  9. 11-使用EF操作数据库

    本篇博客对应视频讲解 回顾 上一篇教程我们讲了XML与JSON的序列化问题,我们可以看到序列化实际上也是不同形式的转换,我们通常要以字节流的形式做中转.同时我们也可以看到,对于序列化这种常见的需求,我 ...

  10. 『原创』手把手教你搭建一个实用的油耗App(一)

    前言: 入行快10年,有点积蓄,三年前买了代步车.于是乎,汽车油耗开销就成了每个月都必须关注的问题.三年来,用过了无数油耗记录软件,比如最知名的“小熊油耗”,从第一次用,一直到最新一版,感觉越来越“臃 ...