【Hadoop离线基础总结】大数据集群环境准备
大数据集群环境准备
三台虚拟机关闭防火墙
centOS 7
service firewalld stop ->关闭防火墙
chkconfig firewalld off ->开机关闭防火墙
systemctl status firewalld.service ->查看当前防火墙状态
三台虚拟机关闭selinux
vim /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
#SELINUX=enforcing ->把这一行注释掉
SELINUX=disabled ->改成disabled
# SELINUXTYPE= can take one of three values:
# targeted - Targeted processes are protected,
# minimum - Modification of targeted policy. Only selected processes are protected.
# mls - Multi Level Security protection.
SELINUXTYPE=targeted
三台虚拟机更改主机名
centOS 7
vim /etc/hostname
三台机器分别添加
node01.hadoop.com
node02.hadoop.com
node03.hadoop.com
三台虚拟机做主机名和IP地址的映射
vim /etc/hosts
三台机器都添加
192.168.0.10 node01.hadoop.com node01
192.168.0.20 node02.hadoop.com node02
192.168.0.30 node03.hadoop.com node03
三台虚拟机关闭重启
reboot -h now
三台虚拟机免密码登录
- 第一步
生成公钥和私钥
ssh-keygen -t rsa
之后各按三次回车
- 第二步
将每台机器的私钥拷贝到第一台机器上
ssh-copy-id node01
- 第三步
将第一台机器的authorized-keys拷贝到第二台第三台机器上
scp /root/.ssh/authorized_keys node02:/root/.ssh
scp /root/.ssh/authorized_keys node03:/root/.ssh
三台虚拟机时钟同步
通过网络连接外网进行时钟同步,必须保证虚拟机连上外网
ntpdate us.pool.ntp.org;
#阿里云时钟同步服务器
ntpdate ntp4.aliyun.com
三台机器定时任务
crontab -e
*/1 * * * * /usr/bin/ntpdate us.pool.ntp.org
或者直接与阿里云服务器进行时钟同步
*/1 * * * * /usr/bin/ntpdate ntp4.aliyun.com
三台虚拟机安装jdk
查看自带的open jdk
rpm -qa | grep java
卸载系统自带jdk
rpm -e xxx --nodeps
所有软件的安装在
mkdir -p /export/softwares
所有的软件压缩在
mkdir -p /export/servers
上传jdk到/export/softwares路径下,并解压
tar -zxvf jdk-8u141-linux-x64.tar.gz -C ../servers/
安装工具,方便直接上传文件
yum -y install lrzsz
备份/etc/profile文件
cp /etc/profile /export/servers
shell脚本一键安装
创建一个shell脚本
vim /etc/servers/shells/install_jdk/sh
#!/bin/bash
# 解压jdk包到servers文件夹
tar -zxvf /export/softwares/jdk-8u141-linux-x64.tar.gz -C /export/servers/
# 到jdk1.8.0_141文件夹中,并把其绝对路径定义为home变量
cd /export/servers/jdk1.8.0_141
home=`pwd`
# 回显home变量
echo $home
# 配置环境变量
## 将"export JAVA_HOME=${home}"追加到/etc/profile中
echo "export JAVA_HOME=${home}" >> /etc/profile
## 将"export PATH=:\$PATH:\$JAVA_HOME/bin"追加到/etc/profile
echo "export PATH=:\$PATH:\$JAVA_HOME/bin" >> /etc/profile
# 用for循环给机器node02和机器node03配置环境变量
for m in 2 3
do
scp -r /export/servers/jdk1.8.0_141 node0$m:/export/servers/
ssh node0$m "echo 'export JAVA_HOME=/export/servers/jdk1.8.0_141' >> /etc/profile; echo 'export PATH=:\$PATH:\$JAVA_HOME/bin' >> /etc/profile"
done
【Hadoop离线基础总结】大数据集群环境准备的更多相关文章
- 全网最详细的大数据集群环境下多个不同版本的Cloudera Hue之间的界面对比(图文详解)
不多说,直接上干货! 为什么要写这么一篇博文呢? 是因为啊,对于Hue不同版本之间,其实,差异还是相对来说有点大的,具体,大家在使用的时候亲身体会就知道了,比如一些提示和界面. 安装Hue后的一些功能 ...
- 全网最详细的大数据集群环境下如何正确安装并配置多个不同版本的Cloudera Hue(图文详解)
不多说,直接上干货! 为什么要写这么一篇博文呢? 是因为啊,对于Hue不同版本之间,其实,差异还是相对来说有点大的,具体,大家在使用的时候亲身体会就知道了,比如一些提示和界面. 全网最详细的大数据集群 ...
- 大数据集群环境 zookeeper集群环境安装
大数据集群环境 zookeeper集群环境准备 zookeeper集群安装脚本,如果安装需要保持zookeeper保持相同目录,并且有可执行权限,需要准备如下 编写脚本: vi zkInstall.s ...
- 大数据集群环境搭建之一 Centos基本环境准备
首先需要准备的软件都有:Centos系统.SecureCRT 8.5.VMware Workstation Pro.jdk-8u172-linux-x64.tar.gz基本上这个软件就是今天的战场. ...
- 【Hadoop离线基础总结】完全分布式环境搭建
完全分布式环境搭建 服务规划 适用于工作当中正式环境搭建 安装步骤 第一步:安装包解压 停止之前的Hadoop集群的所有服务,并删除所有机器的Hadoop安装包,然后重新解压Hadoop压缩包 三台机 ...
- 基于hortonworks的大数据集群环境部署流水
一.ambari及HDP安装文件下载地址: 1.系统 操作系统:CentOS7 2.软件 本次安装采用最新版本: ambari-2.7.0.0 hdp-3.0.0.0 详细信息及下载地址如下: Amb ...
- 大数据集群环境搭建之一 hadoop-ha高可用安装
1.如果你使用root用户进行安装. vi /etc/profile 即可 系统变量 2.如果你使用普通用户进行安装. vi ~/.bashrc 用户变量 export HADOOP_HOME=/ex ...
- 【Hadoop离线基础总结】伪分布模式环境搭建
伪分布模式环境搭建 服务规划 适用于学习测试开发集群模式 步骤 第一步:停止单节点集群,删除/export/servers/hadoop-2.7.5/hadoopDatas,重新创建文件夹 停止单节点 ...
- Cloudera Manager大数据集群环境搭建
笔者安装CDH集群是参照官方文档:https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_ ...
随机推荐
- win7下delphi中的help文档问题
一,要安装WinHlp32.exe 文件 二, 三,在安装目录下:
- TcxGrid
一.列的宽度为64时,其宽度会自动根据字段的长度调整,设置其他值即为固定值: 二.cell中显示按钮:选中某列,在properties中更改为ButtonEdit,点击子属性buttons添加butt ...
- 功能测试--聊天功能测试&微信聊天
微信聊天功能测试 发送对象 普通用户.公众号.群.其他特殊主体 衍生功能 转发.语音转文字.删除等 消息发送 单聊.群聊.语音.文字.图片.表情.链接.字符及长度 消息管理 发布通知.接受通知.发文件 ...
- 使用HashMap或Hashset优化使用循环判断字符串中是否含有重复元素
原本遇到判断字符串中是否含有重复元素的问题总是使用for循环遍历进行判断,这一方法则需要O(n3)的时间复杂度,如果本身方法处于几个循环中,就会指数倍增加时间复杂度.类似于如下代码: String[] ...
- gridview 合并单元格后,选中颜色重新绘制
gv_docargo.RowStyle += OnRowStyle; private void OnRowStyle(object sender, DevExpress.XtraGrid.Views. ...
- Java 多线程 -- volatile 山寨版的synchronized
在 多线程中,每个线程会把数据从主内存中拷贝到自己的工作内存中,当线程完成计算后,再把工作内存的数据更新到主内存中,或者当主内存主数据有更新是,线程会去主内存取最新数据.但是,当线程特别忙时,就不会去 ...
- Nginx(1)---安装及基础命令
一.简述 Nginx是一个高性能WEB服务器,除它之外Apache.Tomcat.Jetty.IIS,它们都是Web服务器 Nginx 相对基它WEB服务有什么优势:Tomcat.Jetty 面向j ...
- Tidyverse|数据列的分分合合,爱恨情仇
Tidyverse|数据列的分分合合,爱恨情仇 本文首发于“生信补给站”Tidyverse|数据列的分分合合,一分多,多合一 TCGA数据挖掘可做很多分析,前期数据“清洗”费时费力但很需要. 比如基因 ...
- ubuntu下载速度慢的解决办法--修改下载源
操作:https://blog.csdn.net/qq_24326765/article/details/81916222 推荐源:https://blog.csdn.net/qq_36328643/ ...
- tp5--路由的使用方法(深入)
懒得写注释,直接上代码 配置文件Route: <?php use think\Route; //tp5路由测试 //动态注册 //Route::rule('路由表达式','路由地址','请求类型 ...