Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。
使用VMW安装四台CentOS-7-x86_64-DVD-1804.iso虚拟机:
计划配置三台centos虚拟机:
- master:192.168.0.120
- slave1:192.168.0.121
- slave2:192.168.0.122
slave3:192.168.0.123
资源分配情况:
每台虚拟机分配:内存2G,CPU核数1个,磁盘20G。
VMW配置及本地IPv4上网配置情况:
安装VMW,并设置其连接方式为桥接方式:
本地网络适配器除了“本地连接”外,其他都禁用:
本地连接的IPV4配置,这里采用的自适应方式:
本地ipconfig如下:
安装CentOS
安装CentOS时,采用上网方式选取“使用桥接网络”:
安装完后,确认是否采用“桥接”方式:
安装完后配置静态ip,dns及测试
1)备份/etc/sysconfig/network-scripts/ifcfg-ens333
- cd /etc/sysconfig/network-scripts/
- scp ifcfg-ens333 ifcfg-ens333.bak
2)修改vi /etc/sysconfig/network-scripts/ifcfg-ens333
- TYPE=Ethernet
- DEFROUTE=yes
- IPV4_FAILURE_FATAL=no
- IPV6INIT=yes
- IPV6_AUTOCONF=yes
- IPV6_DEFROUTE=yes
- IPV6_FAILURE_FATAL=no
- IPV6_ADDR_GEN_MODE=stable-privacy
- NAME=ens33
- UUID=5cf46320-38f9-424c-b9cc-7e7f8a320c07 #每台服务器的该地址不同,请使用自己的虚拟机的UUID。
- DEVICE=ens33
- ONBOOT=yes
- BOOTPROTO=static
- DNS1=8.8.8.8
- DNS2=114.114.114.114
- IPADDR=192.168.0.120
- PREFIX=
- GATEWAY=192.168.0.1
- IPV6_PEERDNS=yes
- IPV6_PEERROUTES=yes
注意:图中圈中的配置信息是重点配置信息。
3)配置/etc/sysconfig/network:
- # Created by anaconda
- NETWORKING=yes
- HOSTNAME=master
- GATEWAY=192.168.0.1
slave节点,以slave1为例:
- # Created by anaconda
- NETWORKING=yes
- HOSTNAME=slave1
- GATEWAY=192.168.0.1
4)配置/etc/resolv.conf
- # Generated by NetworkManager
- nameserver 8.8.8.8
- nameserver 114.114.114.114
注意:该信息也可以不配置,当重启网络后,会自动配置。
5)设置host名称
master(192.168.0.120)执行:
- hostnamectl --static set-hostname master
- hostnamectl status
slave1(192.168.0.121)执行:
- hostnamectl --static set-hostname slave1
- hostnamectl status
slave2(192.168.0.122)执行:
- hostnamectl --static set-hostname slave2
- hostnamectl status
slave3(192.168.0.123)执行:
- hostnamectl --static set-hostname slave3
- hostnamectl status
6)重启网络,测试:
- [root@localhost network-scripts]# service network restart
- Restarting network (via systemctl): [ OK ]
- [root@localhost network-scripts]#
测试1:是否host名称修改成功
- [spark@master ~]$ hostname
- master
slave1,slave2,slave3依次验证。
测试2:是否可以连接本地
- [root@localhost network-scripts]# ping 192.168.0.1
- PING 192.168.0.1 (192.168.0.1) () bytes of data.
- bytes from 192.168.0.1: icmp_seq= ttl= time=1.23 ms
- bytes from 192.168.0.1: icmp_seq= ttl= time=1.13 ms
- bytes from 192.168.0.1: icmp_seq= ttl= time=1.02 ms
测试3:是否可以连接其他虚拟机
- [root@localhost network-scripts]# ping 192.168.0.121
- PING 192.168.0.121 (192.168.0.121) () bytes of data.
- bytes from 192.168.0.121: icmp_seq= ttl= time=0.860 ms
- bytes from 192.168.0.121: icmp_seq= ttl= time=0.404 ms
测试4:是否可以上网,是否可以解析域名
- [root@localhost network-scripts]# ping www.baidu.com
- PING www.baidu.com (61.135.169.125) () bytes of data.
- bytes from 61.135.169.125 (61.135.169.125): icmp_seq= ttl= time=2.92 ms
- bytes from 61.135.169.125 (61.135.169.125): icmp_seq= ttl= time=4.46 ms
- bytes from 61.135.169.125 (61.135.169.125): icmp_seq= ttl= time=3.98 ms
- bytes from 61.135.169.125 (61.135.169.125): icmp_seq= ttl= time=2.83 ms
到此,所有服务器按照这么安装验证,经过上边三个测试验证就说明静态ip配置成功。
重启后,发现某一台服务器的不能的ifcfg-ens33配置的ip失效解决方案:《Centos7:Failed to start LSB: Bring up/down networking
》
Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。的更多相关文章
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十四)Structured Streaming:Encoder
一般情况下我们在使用Dataset<Row>进行groupByKey时,你会发现这个方法最后一个参数需要一个encoder,那么这些encoder如何定义呢? 一般数据类型 static ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十一)NIFI1.7.1安装
一.nifi基本配置 1. 修改各节点主机名,修改/etc/hosts文件内容. 192.168.0.120 master 192.168.0.121 slave1 192.168.0.122 sla ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十三)kafka+spark streaming打包好的程序提交时提示虚拟内存不足(Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical memory used; 2.2 GB of 2.1 G)
异常问题:Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical mem ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十二)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。
Centos7出现异常:Failed to start LSB: Bring up/down networking. 按照<Kafka:ZK+Kafka+Spark Streaming集群环境搭 ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十一)定制一个arvo格式文件发送到kafka的topic,通过Structured Streaming读取kafka的数据
将arvo格式数据发送到kafka的topic 第一步:定制avro schema: { "type": "record", "name": ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十)安装hadoop2.9.0搭建HA
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(九)安装kafka_2.11-1.1.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(八)安装zookeeper-3.4.12
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(三)安装spark2.2.1
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二)安装hadoop2.9.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
随机推荐
- 再谈JavaScript中的闭包
一.什么是闭包 闭包就是有权访问另一个函数作用域中变量的函数,因此,闭包的本质是一个函数.当一个内部函数被保存到外部时,就会生成闭包. 二.闭包的作用 1.实现公有变量,即通过局部变量实现全局变量的效 ...
- API网关的设计思路及落地 IT大咖说 - 大咖干货,不再错过
API网关的设计思路及落地 IT大咖说 - 大咖干货,不再错过 http://www.itdks.com/dakashuo/new/dakalive/detail/1407
- Linux虚拟主机管理系统---wdcp
关于WDCP这款虚拟主机管理系统,是疯子使用的第二款Linux虚拟主机管理系统,使用是挺简单的,以前好像是因为编码问题而放弃这款面板. WDCP功能比较完善,基本上需要的功能都能满足,例如:在线下载. ...
- 从.snk文件导出密钥
先声明该文的实用性不强, 要产生一对密钥可以有更简单的方法.该文简单解释了.snk文件的格式,并给出了从中提取密钥的C#代码. .snk文件(Strong Name Key)也可以叫签名文件,它一般用 ...
- 使用FTP发布和更新Windows Azure网站
在Windows Azure中,FTP的用户名和密码与管理门户的用户名和密码不一样,需要另外设置. →依次点击左侧的"网站",网站名称,右侧的"设置部署凭据", ...
- 在ASP.NET MVC中使用Knockout实践08,使用foreach绑定集合
本篇体验使用 foreach 绑定一个Product集合. 首先使用构造创建一个View Model. var Product = function(data) { this.name = ko.ob ...
- AutoMapper在MVC中的运用小结
配置.单元测试.AOP注入 Decimal转换成String类型 源数组转换成目标数组 源中的集合(数组)属性转换成目标中的集合(数组)属性 子类父类间的映射 源字典集合转换成目标字典集合 枚举映射 ...
- python测试开发django-20.添加创建时间DateTimeField
前言 我们在admin后台发布一篇文章的时候,一般会有创建时间和最后更新时间这2个字段,创建时间就是第一次编辑文章的时候自动添加的,最后更新时间就是每次修改文章的内容后自动更新 在models.py建 ...
- 解决org.apache.velocity.exception.ResourceNotFoundException: Unable to find resource
spring中做成bean,可以使用property"resourceLoaderPath"指定工程中的路径 <bean id="velocityEngine&qu ...
- Git每次进入都需要输入用户名和密码的问题解决
解决方法: 在项目目录下输入以下命令: git config --global credential.helper store 使用git pull 的时候回提示再输下用户名和密码就行了.