openstack项目的研究,到今天,算是要进入真实环境了,要部署实验平台了。不再用devstack了。也就是说,要独立controller,compute,storage和network了。要做这个的第一步,就是要将各个服务器的软件环境(操作系统是否满足liberty的要求,centos最好是7以上),以及服务器之间的网络连接通路打通,方便后续的软件安装需要。

下面看看我的节点拓扑图,有5台机器,其中参与这个openstack的节点有4个,计划中的controller,network,storage(cinder/glance/swift),compute。另外一个节点机器用来作为跳转机器用。因为没有那么多公网IP,只有一个服务器有公网IP,所以,openstack的节点机器只能是内网IP了,我选择的是192.168.1.xxx,如下图所示:

从上图可以看出,中间机器是通过NAT实现的跳转。SNAT是为了方便各个openstack机器方便访问公网,DNAT是为了从公网访问controller节点的dashboard的,因为这个要等到后续openstack的软件安装好后,再测试。这里就不提供这个的配置。虽然跳转机器上显示有两个网络连接,一个是public的,一个是gateway的内网连接到cisco的交换机上。其实,上图中的每台机器都有4个NIC,这几个机器都是poweredge r610服务器,由于老旧,都差不多成为了一堆费铁了。安装centos7折腾了我2天,机器启动慢的要死,启动界面提示信息,各种不正常。主要命的是只有一个机器的光驱是好的,BT公司不允许用U盘,最终折腾这些错误和残疾的设备问题,浪费了我太多时间,没有办法,在十几个硬盘中找能识别出来的,往那个光驱能用的机器上倒腾安装操作系统。。。我也是醉了,几个服务器,一个显示器,一个键盘,一个鼠标,一个能用的光驱。。。。

不扯淡了,现在,重点是要说说,各个节点上的配置信息。

首先说说跳转机器,主要配置信息就是SNAT,以及设置一个NIC作为gateway用。因为每个机器上都有em1-em4这四个NIC,跳转机器,我用em1作外网接口,em2用作gateway接口,配置192.168.1.1这个IP地址。

看看em1的ifcfg-em1配置信息(vim /etc/sysconfig/network-scripts/ifcfg-em1):

   HWADDR=:::f0:c3:8f
TYPE=Ethernet
BOOTPROTO=none
IPADDR0=a.b.c.d
PREFIX0=
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=em1
UUID=add4414c-d48b--a578-98c7a6a0f508
ONBOOT=yes
NETMASK=255.255.255.0
USERCTL=no
PREFIX=
GATEWAY0=a.b.c.1

再看看em2的ifcfg-em2的内容:

    TYPE=Ethernet
BOOTPROTO=none
IPADDR0=192.168.1.1
PREFIX0=
NETMASK=255.255.255.0
GATEWAY0=192.168.1.1
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=no
IPV6_AUTOCONF=no
IPV6_DEFROUTE=no
IPV6_FAILURE_FATAL=no
NAME=em2
UUID=444422af-5b4e-4e34-a1bc-3d009ef0237f
ONBOOT=yes
USERCTL=no
HWADDR=:::F0:C3:
IPV6_PEERDNS=no
IPV6_PEERROUTES=no

SNAT配置比较简单,第一步,就在iptables里面的nat表配置一下:

 [root@fedora1 ~]# iptables -t nat -A POSTROUTING -s 192.168.1.100 -j SNAT --to-source a.b.c.d
 [root@fedora1 ~]# iptables -t nat -I POSTROUTING -s 192.168.1.110 -j SNAT --to-source a.b.c.d
 [root@fedora1 ~]# iptables -t nat -I POSTROUTING -s 192.168.1.120 -j SNAT --to-source a.b.c.d
 [root@fedora1 ~]# iptables -t nat -I POSTROUTING -s 192.168.1.130 -j SNAT --to-source a.b.c.d

配置完成后,查看下iptables的snat信息如下:

 [root@fedora1 ~]# iptables -t nat -L
Chain PREROUTING (policy ACCEPT)
target prot opt source destination Chain INPUT (policy ACCEPT)
target prot opt source destination Chain OUTPUT (policy ACCEPT)
target prot opt source destination Chain POSTROUTING (policy ACCEPT)
target prot opt source destination
SNAT all -- 192.168.1.130 anywhere to:a.b.c.d
SNAT all -- 192.168.1.120 anywhere to:a.b.c.d
SNAT all -- 192.168.1.110 anywhere to:a.b.c.d
SNAT all -- 192.168.1.100 anywhere to:a.b.c.d

注意,只有第一个是-A添加chain为POSTROUTING,后面三个都是-I插入操作。第二步就是要打开IP forwarding,修改/etc/sysctl.conf文件,找到net.ipv4.ip_forward,修改成下面的样子:

 net.ipv4.ip_forward=

这里,说下,起初我的SNAT配置如下,只有一条语句如下:

 [root@fedora1 ~]# iptables -t nat -A POSTROUTING -s 192.168.1.0/ -j SNAT --to-source a.b.c.d

最后,发现从跳转机器上无法ping通其他的机器(其他openstack机器,比如controller等),但是从其他的几个节点可以ping通跳转机。起初以为是网关连接交换机的网线坏掉,后来换线后发现还是如此,仔细分析了下SNAT的配置,应该是这个配置的包转发逻辑出了点问题,也就是说,在跳转机上执行ping 192.168.1.100时,所有的从192.168.1.1出去的icmp包最后又发回到了这个跳转机器。于是,我就修改为四条iptables的规则操作,如上面的一个A三个I的操作,这样,就将192.168.1.1这个source的IP避开了,最终测试,双向都可以ping通了。

注意,上面的操作,只是临时的哟,要永久生效,必须写到/etc/sysconfig/iptables文件里面,或者,基于上面的命令执行完毕,再执行iptables-save 命令,我这里指定只save nat表:

 [root@fedora1 ~]# iptables-save -t nat
# Generated by iptables-save v1.4.19. on Mon Feb ::
*nat
:PREROUTING ACCEPT [:]
:INPUT ACCEPT [:]
:OUTPUT ACCEPT [:]
:POSTROUTING ACCEPT [:]
-A POSTROUTING -s 192.168.1.130/ -j SNAT --to-source a.b.c.d
-A POSTROUTING -s 192.168.1.120/ -j SNAT --to-source a.b.c.d
-A POSTROUTING -s 192.168.1.110/ -j SNAT --to-source a.b.c.d
-A POSTROUTING -s 192.168.1.100/ -j SNAT --to-source a.b.c.d
COMMIT
# Completed on Mon Feb ::

但是,考虑到,这样子iptables-save保存的文件没有办法开机后自动载入到iptables中,需要做一些启动时的自动加载的脚本操作,不方便,最终选择直接在/etc/sysconfig/iptables文件下面修改:

  # Generated by iptables-save v1.4.19. on Tue Mar  ::
*nat
:PREROUTING ACCEPT [:]
:INPUT ACCEPT [:]
:OUTPUT ACCEPT [:]
:POSTROUTING ACCEPT [:]
-A POSTROUTING -s 192.168.1.130/ -j SNAT --to-source a.b.c.d
-A POSTROUTING -s 192.168.1.120/ -j SNAT --to-source a.b.c.d
-A POSTROUTING -s 192.168.1.110/ -j SNAT --to-source a.b.c.d
-A POSTROUTING -s 192.168.1.100/ -j SNAT --to-source a.b.c.d
COMMIT
# Completed on Tue Mar ::
# Generated by iptables-save v1.4.19. on Tue Mar ::
*filter
:INPUT ACCEPT [:]
:FORWARD ACCEPT [:]
:OUTPUT ACCEPT [:]
COMMIT

经过测试,发现,这样子是可以满足使用,但是,既然有这么一个机器作为跳转机,做网关,为何不将其做的更加通用一点呢,选择nat的MASQUERADE.最终的配置如下,也是写如/etc/sysconfig/iptables文件中:

   # Generated by iptables-save v1.4.19. on Tue Mar  ::
*nat
:PREROUTING ACCEPT [:]
:INPUT ACCEPT [:]
:OUTPUT ACCEPT [:]
:POSTROUTING ACCEPT [:]
-A POSTROUTING -o em1 -j MASQUERADE
COMMIT
# Completed on Tue Mar ::
# Generated by iptables-save v1.4.19. on Tue Mar ::
*filter
:INPUT ACCEPT [:]
:FORWARD ACCEPT [:]
:OUTPUT ACCEPT [:]
COMMIT
# Completed on Tue Mar ::

接下来,要配置openstack的其他几个节点机器了,每个机器的配置都差不多,下面,我就拿controller node0节点为例说明。

1. 改hostname,在/etc/sysconfig/network文件里面添加下面的一行配置

# Created by anaconda
HOSTNAME=node0

然后,修改/etc/hosts文件。

 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
:: localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.100 node0
192.168.1.110 node1
192.168.1.120 node2
192.168.1.130 node3

2. 修改dns配置/etc/resolve.conf.添加下面的两行内容:

 search 219.141.136.10
nameserver 202.106.0.20

3. 添加静态的路由,在/etc/sysconfig/static-routes文件中添加下面的一行内容(若没有这个文件,可以自己创建一个)

 any net default gw gateway 192.168.1.1

4. 下面看看em1的配置信息:

 TYPE=Ethernet
BOOTPROTO=none
DEFROUTE=no
IPV4_FAILURE_FATAL=no
IPV6INIT=no
IPV6_AUTOCONF=no
IPV6_DEFROUTE=no
IPV6_FAILURE_FATAL=no
NAME=em1
UUID=1f0572e7-b6a8--83f3-749c00e1007e
ONBOOT=yes
HWADDR=:::F0:C3:1A
IPADDR0=192.168.1.100
PREFIX0=
GATEWAY0=192.168.1.1
IPV6_PEERDNS=no
IPV6_PEERROUTES=no

到此,上面的控制节点上的所有的基础网络配置就算结束了,可以在这里ping一下www.baidu.com,是可以打开的:

[root@node0 opt]# ping www.baidu.com
PING www.a.shifen.com (61.135.169.125) () bytes of data.
bytes from 61.135.169.125: icmp_seq= ttl= time=9.09 ms
bytes from 61.135.169.125: icmp_seq= ttl= time=4.06 ms
bytes from 61.135.169.125: icmp_seq= ttl= time=13.0 ms
bytes from 61.135.169.125: icmp_seq= ttl= time=4.49 ms
bytes from 61.135.169.125: icmp_seq= ttl= time=4.75 ms
bytes from 61.135.169.125: icmp_seq= ttl= time=4.21 ms
^C
--- www.a.shifen.com ping statistics ---
packets transmitted, received, % packet loss, time 5008ms
rtt min/avg/max/mdev = 4.065/6.609/13.034/3.356 ms

到此,我的网络基础连接已经完成,为继续前行做好了准备!

openstack(liberty):部署实验平台(一,基础网络环境搭建)的更多相关文章

  1. openstack(liberty):部署实验平台(二,简单版本软件安装 part2)

    继续前面的part1,将后续的compute以及network部分的安装过程记录完毕! 首先说说compute部分nova的安装. n1.准备工作.创建数据库,配置权限!(密码依旧是openstack ...

  2. openstack(liberty):部署实验平台(二,简单版本软件安装 part1)

    软件安装过程中,考虑到现在是一个实验环境,且也考虑到规模不大,还有,网络压力不会大,出于简单考虑,将各个节点的拓扑结构改了一下,主要体现在网络节点和控制节点并在了一起.在一个服务器上安装! 到目前位置 ...

  3. openstack(liberty):部署实验平台(三,简单版本软件安装 之cinder,swift)

    今天这里追加存储相关的部署,主要是Block和Object,为了看到效果,简单的部署在单节点上,即Block一个节点,Object对应一个节点. 读者可能会觉得我这个图和之前的两个post有点点不同, ...

  4. Centos 基础开发环境搭建之Maven私服nexus

    hmaster 安装nexus及启动方式 /usr/local/nexus-2.6.3-01/bin ./nexus status Centos 基础开发环境搭建之Maven私服nexus . 软件  ...

  5. 五步搞定Android开发环境部署——非常详细的Android开发环境搭建教程

      在windows安装Android的开发环境不简单也说不上算复杂,本文写给第一次想在自己Windows上建立Android开发环境投入Android浪潮的朋友们,为了确保大家能顺利完成开发环境的搭 ...

  6. 【1】循序渐进学 Zabbix :初识与基础依赖环境搭建( LNMP )

    写在前面的话 运维监控是一个很大的话题,在这一块个人接触的比较突出的服务主要有 Nagio 和 Zabbix 两款.而这几年跳过的公司中,Zabbix 一直都是首选且唯一选择,Nagios 没遇到. ...

  7. 大数据基础-2-Hadoop-1环境搭建测试

    Hadoop环境搭建测试 1 安装软件 1.1 规划目录 /opt [root@host2 ~]# cd /opt [root@host2 opt]# mkdir java [root@host2 o ...

  8. Hyperledger Fabric1.4 网络环境搭建步骤

    1.  外部访问虚拟机: 安装ssh apt-get install openssh-server openssh-client 2.  安装vim sudo apt install vim 3.  ...

  9. 【Python】部署上手App后端服务器 - Linux环境搭建安装Python、Tornado、SQLAlchemy

    基于阿里云服务器端环境搭建 文章目录 基于阿里云服务器端环境搭建 配置开发环境 安装 Python 3.8.2 安装 Tornado 安装 MySQL 安装 mysqlclient 安装 SQLAlc ...

随机推荐

  1. js实现对比百分比

    <script> for(var i=1;i<=3;i++){ for(var j=2;j<=4;j++){ var hid="w_"+4+j+" ...

  2. Think Python - Chapter 10 - Lists

    10.1 A list is a sequenceLike a string, a list is a sequence of values. In a string, the values are ...

  3. Spring mvc源码url路由-我们到底能走多远系列(38)

    我们到底能走多远系列38 扯淡: 马航的事,挺震惊的.还是多多珍惜身边的人吧. 主题: Spring mvc 作为表现层的框架,整个流程是比较好理解的,毕竟我们做web开发的,最早也经常接触的就是一个 ...

  4. ion torrent ion proton

    https://www.youtube.com/watch?v=6Is3W7JkFp8 NGS 的视频 说的不错 一个做癌症的教授讲的 Ion Torrent™ next-generation seq ...

  5. Foobar音乐播放器——最佳音乐播放器 - imsoft.cnblogs

    简单皮肤 下载地址:链接: http://pan.baidu.com/s/1kTwn2dh 密码: lf5f

  6. Linux ---pptpd部署

    PPTP 全称为 Point to Point Tunneling Protocol -- 点到点隧道协议,是VPN协议中的一种. 一.CentOS 6.2 下 PPTP VPN 服务器安装 1.安装 ...

  7. [转]在Eclipse中Debug 为什么显示source not found

    在Eclipse中Debug 为什么显示source not found http://zhidao.baidu.com/link?url=-jna2HB_k2FW72GPbT--5Qg2AWi3Ip ...

  8. hdu1712 ACboy needs your help 分组背包

    最基础的分组背包~ #include <iostream> #include <cstdio> #include <cstdlib> #include <cs ...

  9. 黑马程序员——JAVA基础之单列设计模式

    ------- android培训.java培训.期待与您交流! ---------- 单列设计模式是面试中的一个常考的点,所谓单例模式就是说对象在内存中只能存在一个.如果有其他变量是该类对象,那么他 ...

  10. HashMap和HashSet的区别

    理解HashSet及使用 HashMap和HashSet的区别是Java面试中最常被问到的问题.如果没有涉及到Collection框架以及多线程的面试,可以说是不完整.而Collection框架的问题 ...