在centos7上安装部署hadoop2.7.3和spark2.0.0
一、安装装备
下载安装包:
vmware workstations pro 12
三台centos7.1 mini 虚拟机
网络配置NAT网络如下:
二、创建hadoop用户和hadoop用户组
1. groupadd hadoop
2. useradd hadoop
3. 给hadoop用户设置密码
在root用户下:passwd hadoop设置新密码
三、关闭防火墙和selinux
1. yum install -y firewalld
2. systemctl stop firewalld
3. systemctl disable firewalld
4. vi /etc/selinux/config
5.全部设置好重启虚拟机
四、三台虚拟机之间ssh互通
1. 在hadoop用户下
1. ssh-keygen -t rsa
2. ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@虚拟机ip
3. ssh namenode/dnode1/dnode2
五、安装Java
1. 官网下载jdk1.8.rpm包
2. rpm -ivh jdk1.8.rpm
六、安装hadoop
1. 官网下载hadoop2.7.3.tar.gz
2. tar xzvf hadoop2.7.3.tar.gz
3. mv hadoop2.7.3 /usr/local/
4. chown -R hadoop:hadoop /usr/local/hadoop-2.7.3
七、环境变量配置
1.vim /home/hadoop/.bash_profile
source /home/hadoop/.bash_profile
export JAVA_HOME=/usr/java/jdk1.8.0_101
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SCALA_HOME=/usr/local/scala-2.11.8
export SPARK_HOME=/usr/local/spark-2.0.0
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin
export PATH
八、建立hadoop相关目录
mkdir -p /home/hadoop/hd_space/tmp
mkdir -p /home/hadoop/hd_space/hdfs/name
mkdir -p /home/hadoop/hd_space/hdfs/data
mkdir -p /home/hadoop/hd_space/mapred/local
mkdir -p /home/hadoop/hd_space/mapred/system
chown -R hadoop:hadoop /home/hadoop
注意:至此,可以克隆虚拟机,不必每台都安装centos,克隆之后再建立互通
九、配置hadoop
1. 配置core-site.xml
vim /usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://namenode:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hd_space/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>
</configuration>
2. 配置hdfs-site.xml
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/hd_space/hdfs/name</value>?
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/hd_space/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>dnode1:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>dnode1:50091</value>
</property>
3. 配置mapred-site.xml
<configuration>
<property>
<name>mapreduce.cluster.local.dir</name>
<value>/home/hadoop/hd_space/mapred/local</value>
</property>
<property>
<name>mapreduce.cluster.system.dir</name>
<value>/home/hadoop/hd_space/mapred/system</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>namenode:10020</value>
</property>?
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>namenode:19888</value>
</property>?
</configuration>
4.配置yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<description>The?hostname?of?the?RM.</description>
<name>yarn.resourcemanager.hostname</name>
<value>namenode</value>
</property>
<property>
<description>the?valid?service?name?should?only?contain?a-zA-Z0-9_?and?can?not?start?with?numbers</description>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>?
</configuration>
5. 配置slaves,两个数据节点dnode1,dnode2
6. 拷贝配置文件目录到另外两台数据节点
for target in dnode1 dnode2 do
scp -r /usr/local/hadoop-2.7.3/etc/hadoop $target:/usr/local/hadoop-2.7.3/etc
done
十、启动hadoop
1. 用户登陆hadoop
2. 格式化hdfs
hdfs namenode -format
3. 启动dfs
start-dfs.sh
4. 启动yarn
start-yarn.sh
十一、错误解决
1. 出现以下环境变量JAVA_HOME找不到。
解决办法:需要重新配置/usr/local/hadoop-2.7.3/libexec/hadoop-config.sh
2. oracle数据出现以下错误解决
TNS-12555: TNS:permission denied,监听器启动不了 lsnrctl start(启动)/status(查看状态)/stop(停止)
解决办法:chown -R hadoop:hadoop /var/tmp/.oracle
chmod 777 /var/tmp/.oracle
问题:
十二、客户端验证
1. jps检查进程
至此,hadoop已经安装完毕
十三、测试hadoop,hadoop用户登陆
运行hadoop自带的wordcount实例
1. 建立输入文件
mkdir -p -m 755 /home/hadoop/test
cd /home/hadoop/test
echo "My first hadoop example. Hello Hadoop in input. " > testfile.txt
2. 建立目录
hadoop fs -mkdir /test
#hadoop fs -rmr /test 删除目录
3. 上传文件
hadoop fs -put testfile.txt /test
4. 执行wordcount程序
hadoop jar /usr/local/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /test/testfile.txt /test/output
5. 查看结果
hadoop fs -cat /test/output/part-r-00000
十四、安装Spark2.0.0
1. 解压scala-2.11.8.tar.gz到/usr/local
tar xzvf scala-2.11.8
mv scala-2.11.8 /usr/local
2. 解压spark-2.0..0.tgz 到/usr/local
tar xzvf spark-2.0.0.tar.gz
mv spark-2.0.0 /usr/local
3.配置spark
cd /usr/local/spark-2.0.0/conf
vim spark-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_101
export SCALA_HOME=/usr/local/scala-2.11.8
export SPARK_HOME=/usr/local/spark-2.0.0
export SPARK_MASTER_IP=namenode
export SPARK_WORKER_MEMORY=1024m
export master=spark://namenode:7070
vim slaves
同步资源及配置文件到其它两个节点(hadoop用户)
for target in dnode1 dnode2 do
scp -r /usr/local/scala-2.11.8 $target:/usr/local
scp -r /usr/local/spark-2.0.0 $target:/usr/local
done
4.启动spark集群
cd $SPARK_HOME
# Start Master
./sbin/start-master.sh
# Start Workers
./sbin/start-slaves.sh
5.客户端验证
在centos7上安装部署hadoop2.7.3和spark2.0.0的更多相关文章
- Docker(2)--Centos7 上安装部署
Centos7 上安装docker Docker从1.13版本之后采用时间线的方式作为版本号,分为社区版CE和企业版EE. 社区版是免费提供给个人开发者和小型团体使用的,企业版会提供额外的收费服务,比 ...
- Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive(CDH5.14.2离线安装tar包)
Tags: Hadoop Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive(CDH5.14.2离线安装tar包) Centos7.5安装分布式Hadoop2.6.0+Hbase ...
- 在Centos7上安装漏洞扫描软件Nessus
本文摘要:简单叙述了在Centos7上安装Nessus扫描器的过程 Nessus 是目前全世界最多人使用的系统漏洞扫描与分析软件,Nessus的用户界面是基于Web界面来访问Nessus漏洞扫描器 ...
- CentOS7.4安装部署openstack [Liberty版] (二)
继上一篇博客CentOS7.4安装部署openstack [Liberty版] (一),本篇继续讲述后续部分的内容 一.添加块设备存储服务 1.服务简述: OpenStack块存储服务为实例提供块存储 ...
- CentOS7.4安装部署openstack [Liberty版] (一)
一.OpenStack简介 OpenStack是一个由NASA(美国国家航空航天局)和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目. OpenStack是一个 ...
- centos7.8 安装部署 k8s 集群
centos7.8 安装部署 k8s 集群 目录 centos7.8 安装部署 k8s 集群 环境说明 Docker 安装 k8s 安装准备工作 Master 节点安装 k8s 版本查看 安装 kub ...
- 怎么在linux上安装部署jenkins
怎么在linux上安装部署jenkins 作为一个非科班出身自学的小白,踩过很多的坑,特此留下记录 以下在虚拟机上示例 系统:linux(centos7) 操作方式:xshell连接终端操作 教程之前 ...
- 在centos7上安装Jenkins
在centos7上安装Jenkins 安装 添加yum repos,然后安装 sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins ...
- 在 CentOS7 上安装 zookeeper-3.4.9 服务
在 CentOS7 上安装 zookeeper-3.4.9 服务 1.创建 /usr/local/services/zookeeper 文件夹: mkdir -p /usr/local/service ...
随机推荐
- CF #301 A :Combination Lock(简单循环)
A :Combination Lock 题意就是有一个密码箱,密码是n位数,现在有一个当前箱子上显示密码A和正确密码B,求有A到B一共至少需要滚动几次: 简单循环:
- Django资源汇总(转)
Django 我和Django¶ 我使用python的很大一部分原因就是django.虽然在以前也用过python,不过始终没有什么特别的感觉.然后接触到了django.可以说django非常对我的胃 ...
- Pycharm建立web2py项目并简单连接MySQL数据库
引言 web2py是一种免费的,开源的web开发框架,用于敏捷地开发安全的,数据库驱动的web应用:web2p采用Python语言编写,并且可以使用Python编程.web2py是一个完整的堆栈框架, ...
- openfire 使用已有的数据库作为用户认证数据库 Custom Database Integration Guide
http://download.igniterealtime.org/openfire/docs/latest/documentation/db-integration-guide.html Intr ...
- java 多线程 day11 lock
import java.util.concurrent.locks.Lock;import java.util.concurrent.locks.ReentrantLock; /** * Create ...
- jenkin构建项目执行脚本后,脚本中启动的进程也随之关闭的解决办法
问题描述: 之前用jenkins构建项目(maven项目)后都是通过ssh先将war文件推送到远程服务器,然后执行远程的脚本(更新项目,重启tomcat),一直没有出现问题,今天使用jenkins构建 ...
- php的soap无故出错的真凶:wsdl缓存
soap不更新的真凶: 当我修改了服务端的调用方法后,更新了wsdl,客户端的参数老是丢失(不是全丢失,而是部分),让人很郁闷. 第二天我索性增加了一个服务端的新方法,更新了wsdl,但是客户端请求却 ...
- 1141 PAT Ranking of Institutions[难]
1141 PAT Ranking of Institutions (25 分) After each PAT, the PAT Center will announce the ranking of ...
- Flask之wtforms源码分析
一.wtforms源码流程 1.实例化流程分析 # 源码流程 1. 执行type的 __call__ 方法,读取字段到静态字段 cls._unbound_fields 中: meta类读取到cls._ ...
- webpack.dev.conf.js详解
转载自:https://www.cnblogs.com/ye-hcj/p/7087205.html webpack.dev.conf.js详解 //引入当前目录下的utils.js文件模块var ut ...