Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。
使用VMW安装四台CentOS-7-x86_64-DVD-1804.iso虚拟机:
计划配置三台centos虚拟机:
master:192.168.0.120
slave1:192.168.0.121
slave2:192.168.0.122
slave3:192.168.0.123
资源分配情况:
每台虚拟机分配:内存2G,CPU核数1个,磁盘20G。
VMW配置及本地IPv4上网配置情况:
安装VMW,并设置其连接方式为桥接方式:
本地网络适配器除了“本地连接”外,其他都禁用:
本地连接的IPV4配置,这里采用的自适应方式:
本地ipconfig如下:
安装CentOS
安装CentOS时,采用上网方式选取“使用桥接网络”:
安装完后,确认是否采用“桥接”方式:
安装完后配置静态ip,dns及测试
1)备份/etc/sysconfig/network-scripts/ifcfg-ens333
cd /etc/sysconfig/network-scripts/
scp ifcfg-ens333 ifcfg-ens333.bak
2)修改vi /etc/sysconfig/network-scripts/ifcfg-ens333
TYPE=Ethernet
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=5cf46320-38f9-424c-b9cc-7e7f8a320c07 #每台服务器的该地址不同,请使用自己的虚拟机的UUID。
DEVICE=ens33
ONBOOT=yes
BOOTPROTO=static
DNS1=8.8.8.8
DNS2=114.114.114.114
IPADDR=192.168.0.120
PREFIX=
GATEWAY=192.168.0.1
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
注意:图中圈中的配置信息是重点配置信息。
3)配置/etc/sysconfig/network:
# Created by anaconda
NETWORKING=yes
HOSTNAME=master
GATEWAY=192.168.0.1
slave节点,以slave1为例:
# Created by anaconda
NETWORKING=yes
HOSTNAME=slave1
GATEWAY=192.168.0.1
4)配置/etc/resolv.conf
# Generated by NetworkManager
nameserver 8.8.8.8
nameserver 114.114.114.114
注意:该信息也可以不配置,当重启网络后,会自动配置。
5)设置host名称
master(192.168.0.120)执行:
hostnamectl --static set-hostname master
hostnamectl status
slave1(192.168.0.121)执行:
hostnamectl --static set-hostname slave1
hostnamectl status
slave2(192.168.0.122)执行:
hostnamectl --static set-hostname slave2
hostnamectl status
slave3(192.168.0.123)执行:
hostnamectl --static set-hostname slave3
hostnamectl status
6)重启网络,测试:
[root@localhost network-scripts]# service network restart
Restarting network (via systemctl): [ OK ]
[root@localhost network-scripts]#
测试1:是否host名称修改成功
[spark@master ~]$ hostname
master
slave1,slave2,slave3依次验证。
测试2:是否可以连接本地
[root@localhost network-scripts]# ping 192.168.0.1
PING 192.168.0.1 (192.168.0.1) () bytes of data.
bytes from 192.168.0.1: icmp_seq= ttl= time=1.23 ms
bytes from 192.168.0.1: icmp_seq= ttl= time=1.13 ms
bytes from 192.168.0.1: icmp_seq= ttl= time=1.02 ms
测试3:是否可以连接其他虚拟机
[root@localhost network-scripts]# ping 192.168.0.121
PING 192.168.0.121 (192.168.0.121) () bytes of data.
bytes from 192.168.0.121: icmp_seq= ttl= time=0.860 ms
bytes from 192.168.0.121: icmp_seq= ttl= time=0.404 ms
测试4:是否可以上网,是否可以解析域名
[root@localhost network-scripts]# ping www.baidu.com
PING www.baidu.com (61.135.169.125) () bytes of data.
bytes from 61.135.169.125 (61.135.169.125): icmp_seq= ttl= time=2.92 ms
bytes from 61.135.169.125 (61.135.169.125): icmp_seq= ttl= time=4.46 ms
bytes from 61.135.169.125 (61.135.169.125): icmp_seq= ttl= time=3.98 ms
bytes from 61.135.169.125 (61.135.169.125): icmp_seq= ttl= time=2.83 ms
到此,所有服务器按照这么安装验证,经过上边三个测试验证就说明静态ip配置成功。
重启后,发现某一台服务器的不能的ifcfg-ens33配置的ip失效解决方案:《Centos7:Failed to start LSB: Bring up/down networking
》
Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。的更多相关文章
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十四)Structured Streaming:Encoder
一般情况下我们在使用Dataset<Row>进行groupByKey时,你会发现这个方法最后一个参数需要一个encoder,那么这些encoder如何定义呢? 一般数据类型 static ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十一)NIFI1.7.1安装
一.nifi基本配置 1. 修改各节点主机名,修改/etc/hosts文件内容. 192.168.0.120 master 192.168.0.121 slave1 192.168.0.122 sla ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十三)kafka+spark streaming打包好的程序提交时提示虚拟内存不足(Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical memory used; 2.2 GB of 2.1 G)
异常问题:Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical mem ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十二)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。
Centos7出现异常:Failed to start LSB: Bring up/down networking. 按照<Kafka:ZK+Kafka+Spark Streaming集群环境搭 ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十一)定制一个arvo格式文件发送到kafka的topic,通过Structured Streaming读取kafka的数据
将arvo格式数据发送到kafka的topic 第一步:定制avro schema: { "type": "record", "name": ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十)安装hadoop2.9.0搭建HA
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(九)安装kafka_2.11-1.1.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(八)安装zookeeper-3.4.12
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(三)安装spark2.2.1
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二)安装hadoop2.9.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
随机推荐
- 简单分享apache封IP的方法
1. 在配置文件里设置: 打开httpd.conf编辑:<Directory “/var/www/html”> Options Indexes FollowSymLinks ...
- HDU 3974 Assign the task(简单线段树)
Assign the task Time Limit: 15000/5000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others) ...
- STM32F4 -- How to use the DMA burst feature
Bits 15:13 Reserved, must be kept at reset value. Bits 12:8 DBL[4:0]: DMA burst length This 5-bit ve ...
- 《Go语言实战》摘录:6.4 并发 - 锁住共享资源
6.4 锁住共享资源
- C#面向服务WebService从入门到精通
<C#面向服务WebService从入门到精通>包含以下两个部分: 一.<C#远程调用技术WebService修炼手册[基础篇]>本次分享课您将学习到以下干货知识点:1).We ...
- 有谁知道Delphi中"窗口"的创建过程?
求助:有谁知道Delphi中窗口的创建过程,此“窗口”不仅仅指 TForm 类型, 还包括一般的窗口控件,如TButton,TEdit等等,希望有能够十分详细的运作 过程,比如说CreatPara ...
- 利用阿里云提供的镜像快速更换本地的yum源
打开网页:http://mirrors.aliyun.com/ 从“ 文件列表 ”找到自己的系统: Mirror Last update Help CPAN 2015-07-15 15:36:50 ...
- 对一个前端使用AngularJS后端使用ASP.NET Web API项目的理解(4)
chsakell分享了一个前端使用AngularJS,后端使用ASP.NET Web API的项目. 源码: https://github.com/chsakell/spa-webapi-angula ...
- Linux、apache 无法使用PHP创建目录和文件
因为项目的需要,这几天搭建了虚拟机,环境是centos7+lamp,可是搭建好网站后,即使把权限放开了(777),我试了改父文件夹权限:重新创建文件夹,改权限再移动文件:更换文件夹的属主.统统不行.这 ...
- spring 5.0.1.RELEASE官方任然不支持velocity(平台升级)
官方说明: Dear Spring community, It is my pleasure to announce that Spring Framework 5.0.1 is available ...