学习 Hadoop3.0 一、Hadoop3.0的安装与配置
一、JDK1.8的安装
- 添加ppa
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update 安装Oracle-java-installer
sudo apt-get install oracle-java8-installer
这条语句可以默认确认条款:echo oracle-java8-installer shared/accepted-oracle-license-v1-1 select true | sudo /usr/bin/debconf-set-selec
设置系统默认jdk
jdk7 切换到jdk8
sudo update-java-alternatives -s java--oracle- 测试jdk 是是否安装成功:
java -version
javac -version - 若选择下载安装包安装
下载:
wget http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.tar.gz 创建目录:
sudo mkdir /usr/lib/jvm 解压缩至目标目录:
sudo tar -zxvfjdk-8u151-linux-x64.tar.gz -C /usr/lib/jvm 修改环境变量:
sudo vim ~/.bashrc
文件的末尾追加下面内容: #set oracle jdk environment
export JAVA_HOME=/usr/lib/jvm/jdk1..0_151 ## 这里要注意目录要换成自己解压的jdk 目录
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
使环境变量马上生效
source ~/.bashrc 设置系统默认jdk 版本
sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1..0_151/bin/java
sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1..0_151/bin/javac
sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/jdk1..0_151/bin/jar
sudo update-alternatives --install /usr/bin/javah javah /usr/lib/jvm/jdk1..0_151/bin/javah
sudo update-alternatives --install /usr/bin/javap javap /usr/lib/jvm/jdk1..0_151/bin/javap sudo update-alternatives --config java java -version
二、下载安装配置Hadoop3.0
- 下载Hadoop wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz
- 解压缩至/usr/local/hadoop3
- 配置环境变量
vi /etc/profile
末尾添加#Hadoop 3.0
export HADOOP_HOME=/usr/local/hadoop3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_CONF_DIR=$HADOOP_HOME
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoopexport HDFS_DATANODE_USER=root
export HDFS_DATANODE_SECURE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_NAMENODE_USER=rootsource /etc/profile
- 配置环境变量
- 配置文件
修改/usr/local/hadoop3/etc/hadoop/core-site.xml,配置hdfs端口和地址,临时文件存放地址
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://ha01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop3/hadoop/tmp</value>
</configuration>
#hdfs://ha01:9000 中ha01是主机名,下面是永久修改hostname的方法
1.修改network文件# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=ha01 //在这修改hostname
NISDOMAIN=eng-cn.platform.com 2.修改/etc/hosts里面的名字
# vi /etc/hosts
127.0.0.1 localhost.localdomain localhost
172.17.33.169 ha01 //在这修改hostname修改hdfs-site.xml 配置副本个数以及数据存放的路径
<configuration>
<property>
<name>dfs.replication</name>
<value></value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop3/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>/home/hadoop3/hadoop/hdfs/data</value>
</property>
</configuration>修改mapred-site.xml,配置使用yarn框架执行mapreduce处理程序,与之前版本多了后面两部
不配置mapreduce.application.classpath这个参数mapreduce运行时会报错:
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster <configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>
/usr/local/hadoop3/etc/hadoop,
/usr/local/hadoop3/share/hadoop/common/*,
/usr/local/hadoop3/share/hadoop/common/lib/*,
/usr/local/hadoop3/share/hadoop/hdfs/*,
/usr/local/hadoop3/share/hadoop/hdfs/lib/*,
/usr/local/hadoop3/share/hadoop/mapreduce/*,
/usr/local/hadoop3/share/hadoop/mapreduce/lib/*,
/usr/local/hadoop3/share/hadoop/yarn/*,
/usr/local/hadoop3/share/hadoop/yarn/lib/*
</value>
</property>
</configuration>修改yar-site.xml <configuration> <!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>ha01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>workers文件里添加主机名
ha02
ha03 - Hadoop设置完成,现在实现分布式
通过克隆linux或者复制hadoop文件夹的方式构建其它节点 scp -r /usr/local/hadoop3 root@ha02:/usr/local
scp -r /usr/local/hadoop3 root@ha03:/usr/local 复制时候ha02无法解析,此时需要我们在系统hosts文件中声明
192.168.160.101 ha01
192.168.160.102 ha02
192.168.160.103 ha03 - hadoop节点需要设置免密码登录。
ssh-keygen -t rsa //生成密钥id-rsa、公钥id-rsa.pub
将公钥的内容复制到需要ssh免密码登陆的机器的~/.ssh/authorized_keys文件中。 例如:A机器中生成密钥及公钥,然后将公钥内容复制到B机器的authorized_keys文件中,这样变实现了A免密码ssh登陆B。一.SSH免密登录
1.1、检查是否可以免密匙登录
[root@master ~]# ssh localhostThe authenticity of host 'localhost (::1)' can't be established.1.2CentOS默认没有启动ssh无密登录,去掉/etc/ssh/sshd_config其中2行的注释,每台服务器都要设置,
#RSAAuthentication yes
#PubkeyAuthentication yes1.3生成密钥输入命令 ssh-keygen -t rsa 然后一路回车即可1.4复制到公共密钥中cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys1.5再次登录,即可免密匙[root@master ~]# ssh localhost
Last login: Thu Oct 20 15:47:22 2016 from 192.168.0.100
学习 Hadoop3.0 一、Hadoop3.0的安装与配置的更多相关文章
- redis3.0.5在linux上安装与配置
redis3.0.5在linux上安装与配置 rhel6/ubuntu14 1 下载 # wget http://download.redis.io/releases/redis-3.0.5.tar. ...
- solr5.5.0在CenOS上的安装与配置
solr5.5.0在CenOS上的安装与配置 1. Solr简介 Solr是一个基于Lucene的Java搜索引擎服务器.Solr 提供了层面搜索.命中醒目显示并且支持多种输出格式(包括 XML/XS ...
- hadoop: hive 1.2.0 在mac机上的安装与配置
环境:mac OS X Yosemite + hadoop 2.6.0 + hive 1.2.0 + jdk 1.7.0_79 前提:hadoop必须先安装,且处于运行状态(伪分式模式或全分布模式均可 ...
- redis3.0 集群实战1 -- 安装和配置
本文主要是在centos7上安装和配置redis集群实战 参考: http://hot66hot.iteye.com/blog/2050676 集群教程: http://redisdoc.com/to ...
- WIN10 64bit + QT5.10.0(MinGW3.5.0) + OpenCV3.4.1 无痛安装、配置
安装QT和配置MinGW 官方下载qt-opensource-windows-x86-5.10.0.exe 正常步骤安装QT5.10.0,安装过程选择自带的MinGW3.5.0编译器即可. 打开QtC ...
- 烂泥:学习Nagios(三): NRPE安装及配置
本文由秀依林枫提供友情赞助,首发于烂泥行天下 在前两篇文章中,我们介绍了有关nagios的安装与配置,文章为<烂泥:学习Nagios(一):Nagios安装>.<烂泥:学习Nagio ...
- Solr学习总结(二)Solr的安装与配置
接着前一篇,这里总结下Solr的安装与配置 1.准备 1.安装Java8 和 Tomcat9 ,java和tomcat 的安装这里不再重复.需要注意的是这两个的版本兼容问题.貌似java8 不支持,t ...
- 一脸懵逼学习基于CentOs的Hadoop集群安装与配置
1:Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS)和MapReduce(Google MapReduce的开源实现)为核心的 ...
- 一脸懵逼学习基于CentOs的Hadoop集群安装与配置(三台机器跑集群)
1:Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS)和MapReduce(Google MapReduce的开源实现)为核心的 ...
- 基于深度学习的人脸识别系统Win10 环境安装与配置(python+opencv+tensorflow)
一.需要下载的软件.环境及文件 (由于之前见识短浅,对Anaconda这个工具不了解,所以需要对安装过程做出改变:就是Python3.7.2的下载安装是可选的,因为Anaconda已经为我们解决Pyt ...
随机推荐
- php添加pdo_mysql.so的扩展
1. 首先进入你下载的php的安装包里找到pdo_mysql文件夹. /usr/local/php-/ext/pdo_mysql ps:有些教程说从http://pecl.php.net/这个网站上下 ...
- 『TensorFlow』卷积层、池化层详解
一.前向计算和反向传播数学过程讲解
- 『TensorFlow』读书笔记_Word2Vec
由于暂时不会深入接触NLP相关领域,所以本章的内容就不过多涉及了,以后会进行学习,应该. Word2Vec又称Word Embeddings,中文称为"词向量"."词嵌入 ...
- 1)selenium+ java集成,待深度项目流程应用
selenium 1,selenium ide mac 安装 打开firefox浏览器,进入下面网址https://addons.mozilla.org/en-US/firefox/addon/sel ...
- 微信小程序Promise对象
Promise 对象 Promise 的含义 基本用法 Promise.prototype.then() Promise.prototype.catch() Promise.prototype.fin ...
- java将所有的字符串转换为大写或小写
public class DaXie { public static void main(String[] args) { /**将所有的字符串转换成大写或小写字母并打印出来*/ String str ...
- PHP+ffmpeg+nginx的配置实现视频转码
最近项目中需要实现上传视频过程中自动转码MP4格式的功能,想到了用FFmpeg来实现它,但从来没有操作过,查阅了很多资料,遇到了好多问题,现在终于安装成功,觉得应该写下来与人分享一下,以免有人遇到和我 ...
- 【阅读笔记】《C程序员 从校园到职场》第六章 常用文件操作函数 (Part 1)
参考链接:https://blog.csdn.net/zhouzhaoxiong1227/article/details/24926023 让你提前认识软件开发(18):C语言中常用的文件操作函数总结 ...
- VirtualBox fedora29 安装
目录 准备工作 VirtualBox安装 fedora安装 快捷键定义 准备工作 平台配置 win10 64位 内存 8G 硬盘 1T 下载地址 VirtualBox 5.2.22:https://w ...
- hadoop 设置回收站
我的问题是:hadoop回收站为什么会保留多个过期时间的数据 我们知道hadoop的回收站是在我们删除数据后能恢复的目录,但是我们并不希望在回收站保存太久的数据,我们可以使用如下参数进行配置. ...