Openstack实践（1）部署使用实例及neutron网络

版权声明：本文为博主原创文章，欢迎转载，转载请注明作者、原文超链接 ，博主地址：http://www.cnblogs.com/SuperXJ/

如何快速部署使用openstack，使用kolla吧，openstack技术结合容器分分钟部署（单点或者多节点，任选），分分钟升级，kolla项目是为了容器化openstack，目标是做到开箱即用，所有的组件的HA都具备。kolla是一个革命性的项目，我们以前积累的安装部署经验，全部都报废。使用kolla可以快速部署可扩展，可靠的生产就绪的openstack环境。,OpenStack Kolla项目是一个支持Openstack服务以容器的方式部署，借助ansible部署工具可以简单的扩展到多个节点。同时，又借助于使用 heat 来编排 Kolla 集群。我们也可以把 Kolla 镜像注册到一个内部的 Hub，并通过 Kubernetes(k8s)等工具来管理。kolla最终目标是为OpenStack的每一个服务都创建一个对应的Docker Image，通过Docker Image将升级的粒度减小到Service级别，从而使升级时，对OpenStack影响能达到最小，并且一旦升级失败，也很容易回滚。升级只需要三步：Pull新版本的容器镜像，停止老版本的容器服务，然后启动新版本容器。回滚也不需要重新安装包了，直接启动老版本容器服务就行，非常方便，kolla是openstack成功结合微服务和容器的开始。

目前，Kolla提供的镜像支持部署如下OpenStack项目：

Aodh

Ceilometer

Cinder

Designate

Glance

Gnocchi

Heat

Horizon

Ironic

Keystone

Magnum

Mistral

Murano

Nova

Neutron

Swift

Tempest

Zaqar

以及这些基础设施组件：

• Ceph implementation for Cinder, Glance and Nova 
• Openvswitch and Linuxbridge backends for Neutron 
• MongoDB as a database backend for Ceilometer and Gnocchi 
• RabbitMQ as a messaging backend for communication between services. 
• HAProxy and Keepalived for high availability of services and their endpoints. 
• MariaDB and Galera for highly available MySQL databases

1、准备工作：

The host machine must satisfy the following minimum requirements:

2 network interfaces（第一个是ens33，NAT网络 ，DHCP分配，IP:33192.168.226.137，Horizon访问就是通过这个IP地址 ; 第二个是 ens37，NAT网络 ，DHCP分配，IP:33192.168.226.138;，这个其实是让neutron的br-ex 绑定使用，虚拟机是通过这块网卡访问外网。 ）

8GB main memory

40GB disk space

1.1、安装python pip最新版本

Yum install epel-release

说明：EPEL 是yum的一个软件源，里面包含了许多基本源里没有的软件。

Yum install python-pip

pip Install -U pip

说明：pip是 python可以跨平台的安装工具

1.2、安装依赖包

yum install python-devel libffi-devel gcc openssl-devel libselinux-python

pip install -U docker-py

#yum install -y python-docker-py

1.3、安装ansible，kolla通过ansible来部署openstack

Yum install ansible

1.4、安装docker

yum install docker-engine-1.12.5 docker-engine-selinux-1.12.5

Systemctl enable docker

说明：根据kolla安装要求，安装1.12.5版本的docker

1.5、配置（当使用Systemd  建立docker引擎，如果不设置MountFlags 选项， kolla-ansible的neutron-dhcp-agent会部署失败并抛出 APIError/HTTPError.）

Tee /etc/systemd/system/docker.service.d/kolla.conf <<-'EOF'

[Service]

MountFlags=shared

EOF

或者再/usr/lib/systemd/system/docker.service

[service]里加上

#MountFlags=shared

ExecStart=/usr/bin/dockerd --insecure-registry 192.168.226.134:4000

说明：增加一个本地registry

Systemctl daemon-reload

Systemctl restart docker

说明：重新加载并启动

1.6、配置ntp 多机部署需要配置，否则会调度错误

Yum install ntp

Systemctl enable ntpd.service

Systemctl start ntpd.service

1.7、禁用libvirtd

Systemctl stop libvirtd.service

Systemctl disable libvirtd.service

1.8、关闭防火墙和selinux

systemctl stop firewalld && systemctl disable firewalld sed -i '7d;1a SELINUX=disabled' /etc/selinux/config

2、安装kolla

Kolla安装包有两种模式：

（1）evaluation是使用pip来安装kolla，先安装kolla-ansible，然后通过kolla-ansile将openstack的各项目镜像从互联网拉取下来。

（2）Development是使用源码来安装kolla，下载源码，本地编译构建安装，相对比第一种要复杂一些。

2.1、我们这里使用Development方式安装valla：

git clone http://git.trystack.cn/openstack/kolla-ansible –b stable/ocata

cd kolla-ansible pip install .

说明：kolla-ansible 是一个将openstack部署到docker的工具

Cp -r /usr/share/kolla-ansible/etc_examples/kolla /etc/kolla/

Vi /etc/kolla/globals.yml

kolla_base_distro: "centos"

kolla_install_type: "source"

openstack_release: "4.0.3"

kolla_internal_vip_address: "192.168.226.222"

docker_registry: "192.168.226.134:4000"

network_interface: "ens33"

neutron_external_interface: "ens37"

enable_haproxy: "no"

api_interface: "{{ network_interface }}"

docker_namespace: "lokolla"

说明：该配置文件配置了kolla源信息

cp /usr/local/share/kolla-ansible/ansible/inventory/* .

说明：这里存放了单节点和多节点部署的配置文件，我们采用单节点部署

默认docker的registry是使用5000端口，对于OpenStack来说，有端口冲突，所以改成4000

docker run -d -v /opt/registry:/var/lib/registry -p 4000:5000 --restart=always --name registry registry:2

下载kolla官方提供的镜像

http://tarballs.openstack.org/kolla/images/

这是kolla官方提供的镜像给CI使用，只保留最新版本和最新的stable版本。大家可以下载Ocata版本

wget http://tarballs.openstack.org/kolla/images/centos-source-registry-ocata.tar.gz tar zxvf centos-source-registry-ocata.tar.gz -C /opt/registry/

这样就把kolla的docker镜像文件放到Regisitry服务器上。

2.2 配置/etc/kolla/globals.yml

network_interface: "ens33"

说明：ens33属于NAT网络里，设置的IP是：192.168.226.134，Horizon访问就是通过这个IP地址

neutron_external_interface: "ens37"

说明：ens37桥接模式，ip其实是dhcp分配，这个其实是让neutron的br-ex 绑定使用，虚拟机是通过这块网卡访问外网。

2.3 配置登录Dashboard的密码

kolla-genpwd

说明：自动生产复杂密码，对应文件/etc/kolla/passwords.yml

Vi /etc/kolla/passwords.yml

修改keystone_admin_password: xiongjian

2.4测试一下kolla-ansible -i all-in-one bootstrap-servers

kolla-ansible prechecks -i ~/kolla/all-in-one -vvv

如果是在虚拟机里装kolla，希望可以启动虚机后再启动nova虚拟机，那么你需要把virt_type=qemu，默认是kvm

mkdir -p /etc/kolla/config/nova

cat << EOF > /etc/kolla/config/nova/nova-compute.conf [libvirt] virt_type=qemu

EOF

2.5 部署 （测试环境采用all-in-one部署，生产环境请采用多节点部署）

kolla-ansible pull -i ~/kolla/all-in-one

kolla-ansible deploy -i ~/kolla/all-in-one

2.6 安装openstack 客户端

pip install -U python-openstackclient python-neutronclient

2.7 kolla-ansible post-deploy运行以下命令可以生成一个openrc文件(运行openstack CLI所需的环境变量):

openrc文件生成之后，使用以下命令可以帮你做一下openstack的初始化工作，包括上传一个glance镜像以及创建几个虚拟网络:

source /etc/kolla/admin-openrc.sh

[root@localhost ~]# cat /etc/kolla/admin-openrc.sh

export OS_PROJECT_DOMAIN_NAME=default

export OS_USER_DOMAIN_NAME=default

export OS_PROJECT_NAME=admin

export OS_TENANT_NAME=admin

export OS_USERNAME=admin

export OS_PASSWORD=xiongjian

export OS_AUTH_URL=http://192.168.226.222:35357/v3

export OS_INTERFACE=internal

export OS_IDENTITY_API_VERSION=3

编辑 /usr/share/kolla-ansible/init-runonce，

网络需要根据实际情况修改

EXT_NET_CIDR='192.168.226.0/24'

EXT_NET_RANGE='start=192.168.226.180,end=192.168.226.199'

EXT_NET_GATEWAY='192.168.226.1'

说明一下，192.168.226.0的网络，就是上面ens34接的网络，这个网络是通过路由器访问互联网,配置好这个，装完虚拟机就可以直接ping通。

2.8 执行nova demo1

Sh init-runonce

To deploy a demo instance, run:

openstack server create \

--image cirros \

--flavor m1.tiny \

--key-name mykey \

--nic net-id=40f71353-665a-4885-9cd6-8fccea8c908a \

demo1

+-------------------------------------+-----------------------------------------------+

| Field | Value |

+-------------------------------------+-----------------------------------------------+

| OS-DCF:diskConfig | MANUAL |

| OS-EXT-AZ:availability_zone | |

| OS-EXT-SRV-ATTR:host | None |

| OS-EXT-SRV-ATTR:hypervisor_hostname | None |

| OS-EXT-SRV-ATTR:instance_name | |

| OS-EXT-STS:power_state | NOSTATE |

| OS-EXT-STS:task_state | scheduling |

| OS-EXT-STS:vm_state | building |

| OS-SRV-USG:launched_at | None |

| OS-SRV-USG:terminated_at | None |

| accessIPv4 | |

| accessIPv6 | |

| addresses | |

| adminPass | 7RRu8kextShC |

| config_drive | |

| created | 2017-11-25T08:26:43Z |

| flavor | m1.tiny (1) |

| hostId | |

| id | 5cfdc7e2-25a8-4387-b462-2bf4100e2c37 |

| image | cirros (86705719-3402-4d9c-865a-f86646419905) |

| key_name | mykey |

| name | demo1 |

| progress | 0 |

| project_id | ffd2a5003e7f4cdb8cefa48fdb2bd767 |

| properties | |

| security_groups | name='default' |

| status | BUILD |

| updated | 2017-11-25T08:26:45Z |

| user_id | 4edc2043e5864941acd205f60838a744 |

| volumes_attached | |

+-------------------------------------+-----------------------------------------------+

通过openstack 控制台看一下，运行成功

查看是否支持kvm命令，我的显示不支持

egrep -c '(vmx|svm)' /proc/cpuinfo

0 表示不支持，1 表示支持。

[docker 构建镜像](https://docs.docker.com/engine/getstarted/step_four/)

[kolla-ansible 构建镜像](https://docs.openstack.org/developer/kolla/image-building.html)

[kolla 镜像仓库](https://hub.docker.com/u/kolla/)

[docker 服务配置](https://docs.docker.com/engine/admin/systemd/)

[问题debug](https://docs.openstack.org/developer/kolla-ansible/troubleshooting.html)

3、openstack Neutron

3.1先简单了解一下neutron

Neutron能提供虚拟的分布式(这样就可以实现跨物理机虚机在同一个vlan)二层vswitch（提供虚拟的network\subnet\port）、三层router、防火墙、负载均衡等抽象网络功能，能为每个租户提供独立的虚拟网络环境，neutron是用来创建虚拟网络的，所谓虚拟网络，就是虚拟机启动的时候会有一个虚拟网卡，虚拟网卡会连接到虚拟switch上，虚拟交换机连接到虚拟router上，虚拟路由器最终和物理网卡联通，从而虚拟网络和物理网络联通起来，可能用到的技术包括：

L2层：通过linux内核的bridge实现虚拟二层交换机，所有连接到linux bridge的设备（如tap）处于同一网段

L2层：Linux tap实现虚拟网卡,一个tap设备就是linux下一个进程，两个虚机通过tap通信实际上就是两个进程间通信，可以操作/dev/tap*，。

L2层：Linux veth实现虚拟网线，用于连接两个虚拟网络设备，如下面说的qbr和br-int)

L2层：在虚拟网桥中，如果希望虚机和外部通信，必须打开桥接到虚拟网桥中的物理网卡为混杂模式（ifconfig eth0 0.0.0.0 promisc up ）。

L3层：通过ipv4 forward（将数据包从一块网卡路由到另一块网卡）和iptable的NAT实现静态路由及转发.（例如可以实现从物理机A的eth33发出的数据包像是从物理机B的eth34端口发出去一样）。

L3层:通过RIP OSPF BGP 自动学习建立路由表。

L2层：OVS，作用和linux bridge类似,也是实现二层vswitch，但是多了QOS\netflow流量监控能力。

L3层：GRE本职是在隧道的两端L4层建立UDP连接传输重新包装的L3层爆头，在目的地进行解包，因为是直接在隧道两端建立UDP连接，所以不需要像VLAN一样在物理交换机上配置TRUNK。GRE缺点是点点对的UDP连接占用端口资源和带宽资源。

L3层：Neutron中GRE，即使两台物理机上的两台虚机也不直接建立GRE，而是通过L3的网络节点进行中转，这样可以方便使用iptable做隔离网络流量。

L3 层：vxlan 的本职是重新定义L2层的数据帧再通过L4的UDP进行传输，对端对UDP拆包后查看L2数据帧可以看到和对端是在同一个2层。也是是通过L3L4层扩展L2层。VXLAN同样使用了GRE的隧道通过UDP传输重新封装的数据帧（其中的VNI类似于VLAN，但是为24Bit），通过VXLAN可以实现虚机跨中心迁移。

L4-7 LBAAS 为一个租户下的多台虚机提供负载均衡，根据负载均衡策略动态的将VIP绑定到具体提供服务的虚机固定IP上，注意这个VIP可以是内网IP也可以是外网IP，根据需要实现。底层技术是基于HAPROXY

L4-L7 FWAAS（基于iptables） 、vpnaas(基于 ipsec vpn or mpls vpn or ssl vpn)

3.2 neutron分成多个模块分布在三个节点上。

1.Controller节点：

运行neutron-server进程，用于接受RESTful API请求创建网络，子网，路由器等，然而创建的这些东西仅仅是一些数据结构在数据库里面。

2.Network节点：

neutron-l3-agent，用于创建和管理虚拟路由器，当neutron-server将路由器的数据结构创建好，neutron-l3-agent是做具体事情的，真正的调用命令行将虚拟路由器，路由表，namespace，iptables规则全部创建好。

neutron-dhcp-agent，用于创建和管理虚拟DHCP server，每个虚拟网络都会有一个DHCP server，这个DHCP server为这个虚拟网络里面的虚拟机提供IP。

neutron-openvswitch-plugin-agent，这个是用于创建L2的switch的，在Network节点上，Router和DHCP Server都会连接到二层的switch上。

3.Compute节点：

neutron-openstackvswitch-plugin-agent，这个是用于创建L2层switch的，在compute节点上，虚拟机的网卡也是连接到二层的switch上。

Neutron一般包括三种网络：

1、External Network/API Network，这个网络是链接外网的，无论是用户调用OpenStack的API，还是创建出来的虚拟机要访问外网，或者外网要ssh到虚拟机，都需要通过这个网络。

2、Data Network，数据网络，虚拟机之间的数据传输通过这个网络来进行，比如一个虚拟机要连接到另一个虚拟机，虚拟机要连接虚拟路由都是通过这个网络来进行

3、Management Network，管理网络，OpenStack各个模块之间的交互，连接数据库，连接Message Queue都是通过这个网络来进行。

3.3 看个例子:

假设虚拟机VM0网卡eth0（挂载在linux bridge上面,linux虚拟网卡，可以操作/dev/tap*向这个虚拟网卡写数）有网络数据包向外网发送，那么数据会依次经过qbr Linux Bridge设备，qvb（tap设备，通常叫qvb***，quantum veth bridge）和qvo（也是TAP，通常叫做qvo***,quantum veth ovs）虚拟网络设备，到达OVS网桥br-int（完成标记和去除内部即本地租户VLAN TAG，本机虚机2层流量的本地转发）上，br-int将数据包attach到OVS网桥br-tun上，数据包再从compute节点OVS网桥的br-tun（OVS虚拟出来的网桥，进行隧道封装，并完成VNI和VLAN映射，通过他将G于其他物理机联通起来，这样物理节点之间就可以形成一个GRE的点对点通信网络或者vxlan网络）和network节点OVS网桥br-tun构成的GRE隧道穿过，交付到Network节点的OVS网桥br-int上；网络节点的br-int通过qr设备借助Linux命名空间qrouter（就是上面介绍的网络节点上的neutron-l3-agent）连通到br-ex上的qg设备，将数据包交付到OVS网桥br-ex上，最后br-ex通过网络节点的外部物理端口eth1把数据包传送到外部路由器的网关。

注：

1、如果是VLAN模型则hr-tun会被替换成成 ovs br-eth*，完成流量送出送入，进行本地租户VLAN和物理网络租户VLAN的转换,例如将内部VLAN100转换为外部VLAN200

2、既然qbr和br-int都是网桥，为什么不直接连到br-int，还要通过qbr,qvb,qvo岂不是多余，为什么会有qbr呢？这是和security group的概念有关。简单说就是OVS网桥br-int没有设置iptables规则的功能，但openstack又要提供安全组服务，就借助了Linux bridge(qbr)的功能，虽然OVS的br-int和linux bridge (qbr)都是二层网桥，但是为了功能互补就同时出现了。具体了解，openstack中的security group开通哪些端口，屏蔽哪些端口是用iptables来实现的，然而br-int这些虚拟bridge都是openvswitch创建的，openstack的Kernel mode和netfilter的kernel mode不兼容。一个IP包进来要么走iptables规则进行处理，要么走openvswitch的规则进行处理，br-int上有很多openvswitch的规则，比如vlan tag等，所以iptables必须要另外建立一个linux bridge（qbr）来做，因而就有了qbr，在了解拓扑结构的时候，可以将qbr忽略，看到VM直接连接到br-int上就可以了

3、为什么会有namespace呢，java的namespace是为了在不同namespace下有相同类名,openstack也想做到这一点。不同Tenant都创建自己的router和private network，彼此不知道别人指定了哪些网段，很有可能两个tenant都指定了192.168.0.0/24,这样不同的private network的路由表，DHCP Server就需要隔离，不然就乱了，因而就有了namespace。

4、每个机器上都有了自己的br-int，但是对于虚拟机和虚拟router来说，它们仍然觉得自己连接到了一个大的L2的br-int上，通过这个br-int相互通信的，它们感受不到br-int下面的虚拟网卡br-tun。所以对于多节点结构，我们可以想象br-int是一个大的，横跨所有compute和network节点的二层switch。这是一种很重要的抽象思维，好像openstack环境中所有虚拟机都连接到了一个巨型的虚拟交换机上。然而br-int毕竟被物理的割开了，需要有一种方式将他们串联起来，openstack提供了多种方式，可以用GRE tunnel将不同机器的br-int连接起来，也可以通过VLAN将br-int连接起来，当然还可以使用vxlan。这就是为什么openstack有了br-int这个bridge，但是不把所有的openvswitch的规则都在它上面实现。就是为了提供这种灵活性，对于虚拟机来讲，看到的是一大整个br-int，不同机器的br-int可以有多种方式连接，这在br-int下面的网卡上面实现。

5\br-tun也是OVS创建的虚拟网桥，它是一个中间层，接收br-int的网络数据，然后在通过特定网络协议与各个节点的br-tun相连构成一个通道层。如果所有的br-int构成的抽象层定义为虚拟二层网络，那么所有的br-tun构成的抽象层边上虚拟三层网络了。

3.4 Horizon上创建一个neutron网络的过程：

1、为这个Tenant创建一个private network，不同的private network是需要通过VLAN tagging进行隔离的，互相之间广播（broadcast）不能到达，这里我们我们用的是GRE模式，也需要一个类似VLANID的东西，称为Segment ID(当然也可以是FLAT模式，不用vlan)

2、为private network创建一个subnet，subnet才是真正配置IP网段的地方，对于私网，我们常常用192.168.0.0/24这个网段

3、为这个Tenant创建一个Router,才能够访问外网

4、将private network连接到Router上

5、创建一个External Network（（就是我们上面设置的192.168.226.138，ens37））

6、创建一个External Network的Subnet,这个外网逻辑上代表了我们数据中心的物理网络，通过这个物理网络，我们可以访问外网。因而PUBLIC_GATEWAY应该设为数据中心里面的Gateway，PUBLCI_RANGE也应该和数据中心的物理网络的CIDR一致，否则连不通。之所以设置PUBLIC_START和PUBLIC_END，是因为在数据中心中，不可能所有的IP地址都给OpenStack使用，另外的可能搭建了VMware Vcenter，可能有物理机，所以仅仅分配一个区间给OpenStack来用。

7、将Router连接到External Network

3.5下面我们看看kolla demo1都干了什么，打开horizon网络：

可看到有两个网络1、demo-net（采用vxlan网络）连接的子网 demo-subnet 10.0.0.0/24 ,这个是内网， 2、和 public1（采用flat网络）连接的子网public1-subnet 192.168.226.0/24，这个是外网

再看看路由，这里有一个demo-router ，是内网访问外网使用的。让demo-net连到这个路由上面。

看看网络拓扑

我们创建的demo1虚机连接到了demo-net上，demo-net连接到了demo-router后通过public1访问外网。

查看一下网络信息，只列出了第一行。

[root@localhost ~]# ifconfig

docker0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500

ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500

ens34: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500

lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536

qbr349ef9d5-c1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1450 //linux bridge网桥

qvb349ef9d5-c1: flags=4419<UP,BROADCAST,RUNNING,PROMISC,MULTICAST> mtu 1450 //qbr 连接qvo的网卡

qvo349ef9d5-c1: flags=4419<UP,BROADCAST,RUNNING,PROMISC,MULTICAST> mtu 1450 //qbr 连接qvo的网卡

tap349ef9d5-c1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1450 //直连虚机的网卡

veth51ddac5: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 //虚拟网线

结语：

初入坑，网络部分理解了半天，一台电脑也不好搭建多虚机和跨三层的大二层打通环境，先到这，后面在继续。