Openstack实验笔记

Openstack实验笔记

制作人：全心全意

Openstack：提供可靠的云部署方案及良好的扩展性
Openstack简单的说就是云操作系统，或者说是云管理平台，自身并不提供云服务，只是提供部署和管理平台
架构图：
http://m.qpic.cn/psb?/V12uCjhD3ATBKt/Mf6rnJXoRGXLpebCzPTUfETy68mVidyW.VTA2AbQxE0!/b/dDUBAAAAAAAA&bo=swFuAQAAAAARB.0!&rf=viewer_4

	Keystone作为Openstack的核心模块，为Nova（计算），Glance（镜像），Swift（对象存储），Cinder（块存储），Neutron（网络）以及Horizon（Dashboard）提供认证服务
	Glance：openstack的镜像服务组件，主要提供了一个虚拟机镜像文件的存储、查询和检索服务，通过提供一个虚拟磁盘映像目录和存储库，为Nova的虚拟机提供镜像服务，现在有v1和v2两个版本

物理硬件配置（最低）
	控制节点：
		1-2个cpu
		8G内存
		2个网卡
	计算节点：
		2-4个cpu
		8G内存
		2个网卡
	块节点：
		1-2个cpu
		4G内存
		1个网卡
		最少2个磁盘
	对象节点：
		1-2个cpu
		4G内存
		1个网卡
		最少2个磁盘

网络拓扑图：（实验中，管理、存储和本地网络合并）
http://m.qpic.cn/psb?/V12uCjhD3ATBKt/r30ELjijnHAaYX*RMZe4vhwVNcix4zUb2pNnovlYZ7E!/b/dL8AAAAAAAAA&bo=xgKqAQAAAAADB00!&rf=viewer_4

安装
控制节点：quan		172.16.1.211	172.16.1.221
计算节点：quan1		172.16.1.212	172.16.1.222
存储节点：storage	172.16.1.213	172.16.1.223
对象存储节点1：object01	172.16.1.214	172.16.1.224
对象存储节点2：object02	172.16.1.215	172.16.1.225

准备工作：
	关闭防火墙
	关闭selinux
	关闭NetworkManager

安装ntp服务：
	yum -y install chrony（所有主机）
	修改配置文件：允许网段中的主机访问
	allow 172.16.1.0/24

	systemctl enable chronyd.service
	systemctl start chronyd.service

	其它节点：
	vi /etc/chrony.conf
	server quan iburst

	#注意:使用原始的centos网络源
	yum install epel-release
	yum install centos-release-openstack-queens

	yum install openstack-selinux
	yum install python-openstackclient

安装数据库
	控制（quan）节点安装数据库
	yum install -y mariadb mariadb-server python2-PyMySQL
	vi /etc/my.cnf.d/openstack.cnf
	bind-address=172.16.1.211
	default-storage-engine=innodb
	innodb_file_per_table=on
	max_connections=4096
	collation-server=utf8_general_ci
	character-set-server=utf8

	启动数据库，并设置开机启动
	systemctl enable mariadb.service && systemctl start mariadb.service

	初始化数据库
	mysql_secure_installation

控制节点（quan）安装消息队列（端口：5672）
	yum install rabbitmq-server -y

	服务启动，并设置开机启动
	systemctl enable rabbitmq-server.service && systemctl start rabbitmq-server.service

	添加openstack用户
	rabbitmqctl add openstack openstack

	为openstack用户添加读写权限
	rabbitmqctl set_permissions openstack ".*" ".*" ".*"

控制节点（quan）安装memcached缓存（端口：11211）
	yum -y install memcached python-memcached

	vi /etc/sysconfig/memcached
	OPTIONS="-l 127.0.0.1,::1,quan"

	服务启动，并设置开机启动
	systemctl enable memcached.service && systemctl start memcached.service

控制节点（quan）安装etcd服务（key-value存储系统）
	yum -y install etcd

	vi /etc/etcd/etcd.conf
	#[Member]
	ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
	ETCD_LISTEN_PEER_URLS="http://quan:2380"
	ETCD_LISTEN_CLIENT_URLS="http://quan:2379"
	ETCD_NAME="quan"
	#[Clustering]
	ETCD_INITIAL_ADVERTISE_PEER_URLS="http://quan:2380"
	ETCD_ADVERTISE_CLIENT_URLS="http://quan:2379"
	ETCD_INITIAL_CLUSTER="quan=http://quan:2380"
	ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
	ETCD_INITIAL_CLUSTER_STATE="new"

	服务启动，并设置开机启动
	systemctl enable etcd.service && systemctl start etcd.service

Keystone组件
Keystone作为Openstack的核心模块，为Nova（计算），Glance（镜像），Swift（对象存储），Cinder（块存储），Neutron（网络）以及Horizon（Dashboard）提供认证服务
基本概念：
	User：用户，代表可以通过keystone进行访问的人或程序。User通过认证信息（credentials,如密码，API Keys等）进行验证。
	Tenant：租户，各个服务中的一些可以访问的资源集合。例如，在Nova中一个tenant可以是一些机器，在Swift和Glance中一个tenant可以是一些镜像存储，在Neutron中一个tenant可以是一些网络资源。Users默认的总是绑定到某些tenant上。
	Role：角色，Roles代表一组用户可以访问的资源权限，例如Nova中的虚拟机、Glance中的镜像。Users可以被添加到任意一个全局的或租户的角色中。在全局的role中，用户的role权限作用于所有的租户，即可以对所有的租户执行role规定的权限，在租户内的role中，用户仅能在当前租户内执行role规定的权限。
	Service：服务，如Nove、Glance、Swift。根据User、Tenant和Role三个概念，一个服务可以确定当前用户是否具有访问其资源的权限，但是当一个user尝试着访问其租户内的service时，他必须知道这个service是否存在以及如何访问这个service，这里通常使用一些不同的名称表示不同的服务。
	Endpoint：端点，可以理解为是一个服务暴露出的访问点
	Token：访问资源的钥匙。通过Keystone验证后的返回值，在之后与其它服务器交互中只需要携带Token值即可，每个Token都有一个有效期。

	各概念之间的关系
	http://m.qpic.cn/psb?/V12uCjhD3ATBKt/PJAecZuZ1C44VKDjcsKLYotu5KOz3RNZwumR07nBIug!/b/dDUBAAAAAAAA&bo=BAIsAQAAAAADBwk!&rf=viewer_4
	1、租户下，管理者一堆用户（人，或程序）
	2、每个用户都有自己的credentials（凭证）用户名+密码或者用户名+API key，或其它凭证
	3、用户在访问其他资源（计算、存储）之前，需要用自己的credential去请求keystone服务，获得验证信息（主要是Token信息）和服务信息（服务目录和它们的endpoint）
	4、用户拿着Token信息，就可以去访问资源了

keystone在Openstack中的工作流程图
http://m.qpic.cn/psb?/V12uCjhD3ATBKt/ptROtuhyzh7Mq3vSVz3Ut1TtGDXuBbYf*WbN8UZdWDE!/b/dLgAAAAAAAAA&bo=igIRAgAAAAADB7k!&rf=viewer_4

搭建keystone
	创建数据库
	mysql -uroot -popenstack
	create database keystone;
	grant all privileges on keystone.* to 'keystone'@'localhost' identified by 'openstack';
	grant all privileges on keystone.* to 'keystone'@'%' identified by 'openstack';

	安装
	yum -y install openstack-keystone httpd mod_wsgi
	vi /etc/keystone/keystone.conf
	[database]
	connection = mysql+pymysql://keystone:openstack@quan/keystone	#数据库连接 用户名:密码@主机名/数据库名
	[token]
	provider=fernet

	初始化keystone数据库
	su -s /bin/sh -c "keystone-manage db_sync" keystone

	初始化femet密钥存储库
	keystone-manage fernet_setup --keystone-user keystone --keystone-group keystone
	keystone-manage credential_setup --keystone-user keystone --keystone-group keystone

	创建keystone的服务端口（会在endpoint中生成数据）
	keystone-manage bootstrap --bootstrap-password openstack --bootstrap-admin-url http://quan:35357/v3/ --bootstrap_internal-url http://quan:5000/v3/ --bootstrap-public-url http://quan:5000/v3/ --bootstrap-region-id RegionOne

	配置http服务
	vi /etc/httpd/conf/httpd.conf
	ServerName quan

	创建软链接
	ln -s /usr/share/keystone/wsgi-keystone.conf /etc/httpd/conf.d/

	服务启动，并设置开机启动
	systemctl enable httpd.service && systemctl start httpd.service

	创建管理员账号
	vim admin-openrc
	export OS_USERNAME=admin
	export OS_PASSWORD=openstack
	export OS_PROJECT_NAME=admin
	export OS_USER_DOMAIN_NAME=Default
	export OS_PROJECT_DOMAIN_NAME=Default
	export OS_AUTH_URL=http://quan:35357/v3
	export OS_IDENTITY_API_VERSION=3

	导入管理员账号
	source admin-openrc

	创建域/项目/用户/和角色
	创建项目
	openstack project create --domain default --description "Service Project" service
	openstack project create --domain default --description "Demo Project" demo

	创建用户（demo）,并指定其密码
	openstack user create --domain default --password-prompt demo

	创建角色（user）
	openstack role create user

	将demo添加的user角色中
	openstack role add --project demo --user demo user

	验证
	解除之前的环境变量
	unset OS_AUTH_URL OS_PASSWORD

	执行下面的命令，输入admin的密码
	openstack --os-auth-url http://quan:35357/v3 \
	--os-project-domain-name Default \
	--os-user-domain-name Default \
	--os-project-name admin \
	--os-username admin token issue

	执行下面的命令，输入demo用户的密码
	openstack --os-auth-url http://quan:5000/v3 \
	--os-project-domain-name Default \
	--os-user-domain-name Default \
	--os-project-name demo \
	--os-username demo token issue

	创建openstack客户端脚本环境
	创建管理员账号
	vim admin-openrc
	export OS_USERNAME=admin
	export OS_PASSWORD=openstack
	export OS_PROJECT_NAME=admin
	export OS_USER_DOMAIN_NAME=Default
	export OS_PROJECT_DOMAIN_NAME=Default
	export OS_AUTH_URL=http://quan:35357/v3
	export OS_IDENTITY_API_VERSION=3	#指定认证服务版本
	export OS_IMAGE_API_VERSION=2	#指定镜像服务版本

	创建demo用户账号
	vim demo-openrc
	export OS_USERNAME=demo
	export OS_PASSWORD=openstack
	export OS_PROJECT_NAME=demo
	export OS_USER_DOMAIN_NAME=Default
	export OS_PROJECT_DOMAIN_NAME=Default
	export OS_AUTH_URL=http://quan:35357/v3
	export OS_IDENTITY_API_VERSION=3	#指定认证服务版本
	export OS_IMAGE_API_VERSION=2	#指定镜像服务版本

	导入管理员账号
	source admin-openrc
	验证管理员
	openstack token issue

	导入demo用户
	source demo-openrc
	验证demo用户
	openstack token issue

glance组件
	Glance：openstack的镜像服务组件，主要提供了一个虚拟机镜像文件的存储、查询和检索服务，通过提供一个虚拟磁盘映像目录和存储库，为Nova的虚拟机提供镜像服务，现在有v1和v2两个版本

	Glance的架构图：
	http://m.qpic.cn/psb?/V12uCjhD3ATBKt/mkXPMrNM9RL.NizLwc22Vm*FHkAc2NWh9668JHk4zS0!/b/dLYAAAAAAAAA&bo=RQHZAAAAAAADB78!&rf=viewer_4

	镜像服务组件
	Glance-api：是一个对外的API接口，能够接受外部的API镜像请求。默认端口是9292
	glance-registry：用于存储、处理、获取Image Metadate。默认端口的9191
	glance-db：在Openstack中使用MySQL来支撑，用于存放Image Metadate。通过glance-registry保存在MySQL Database
	Image Store：用于存储镜像文件。通过Strore Backend后端存储接口来与glance-api联系。通过这个接口，glance可以从Image Store获取镜像文件再交由Nove用于创建虚拟机

	Glance通过Store Adapter(存储适配器)支持多种Image Store方案，支持swift、file system、s3、sheepdog、rbd、cinder等。

	Glance支持的Image格式
	raw：非结构化的镜像格式
	vhd：一种通用的虚拟机磁盘格式，可用于Vmware、Xen、VirtualBox等
	vmdk：Vmware的虚拟机磁盘格式
	vdi：VirtualBox、QEMU等支持的虚拟机磁盘格式
	qcow2：一种支持QEMU并且可以动态扩展的磁盘格式（默认使用）
	aki：Amazon Kernel镜像
	ari：Amazon Ramdisk镜像
	ami：Amazon虚拟机镜像

	Glance的访问权限
	public：公共的，可以被所有的Tenant使用
	Private：私有的/项目的，只能被Image Owner所在的Tenant使用
	Shared：共享的，一个非公共的Image可以共享给指定的Tenant，通过member-*操作来实现
	Protected：受保护的，不能被删除

	状态类型
	Queued：没有上传Image数据，只存有该镜像的元数据
	Saving：正在上传Image
	Active：正常状态
	Deleted/pending_delete：已删除/等待删除的Image
	Killed：Image元数据不正确，等待被删除

搭建glance
	创建数据库
	mysql -uroot -popenstack
	create database glance;
	grant all privileges on glance.* to 'glance'@'localhost' identified by 'openstack';
	grant all privileges on glance.* to 'glance'@'%' identified by 'openstack';

	创建glance用户，并在service项目中添加管理员角色
	source admin_openrc
	openstack user create --domain default --password-prompt glance  #输入其密码

	openstack role add --project service --user glance admin

	openstack user list  #可查看创建的用户

	创建glance服务
	openstack service create --name glance --description "OpenStack Image" image

	openstack endpoint create --region RegionOne image public http://quan:9292
	openstack endpoint create --region RegionOne image internal http://quan:9292
	openstack endpoint create --region RegionOne image admin http://quan:9292

	安装相关包并配置
	yum -y install openstack-glance

	vi /etc/glance/glance-api.conf
	[database]
	connection = mysql+pymysql://glance:openstack@quan/glance

	[keystone_authtoken]
	auth_uri=http://quan:5000
	auth-url=http://quan:35357
	memcached_servers=quan:11211
	auth_type=password
	project_domain_name=default
	user_domain_name=default
	project_name=service
	username = glance
	password = openstack

	[paste_deploy]
	flavor = keystone

	[glance_store]
	stores = file,http
	default_store = file
	filesystem_store_datadir = /var/lib/glance/images/

	vi /etc/glance/glance-registry.conf
	[database]
	connection = mysql+pymysql://glance:openstack@quan/glance
	[keystone_authtoken]
	auth_uri=http://quan:5000
	auth-url=http://quan:35357
	memcached_servers=quan:11211
	auth_type=password
	project_domain_name=default
	user_domain_name=default
	project_name=service
	username = glance
	password = openstack

	[paste_deploy]
	flavor = keystone

	初始化数据库
	su -s /bin/sh -c "glance-manage db_sync" glance

	服务启动，并设置开机启动
	systemctl enable openstack-glance-api.service openstack-glance-registry.service && systemctl start openstack-glance-api.service openstack-glance-registry.service

	验证
	source admin-openrc 

	下载实验镜像
	wget http://download.cirros-cloud.net/0.3.5/cirros-0.3.5-x86_64-disk.img
	创建镜像：
	openstack image create "cirros" --file cirros-0.3.5-x86_64-disk.img --disk-format qcow2 --container-format bare --public

	查看已存在的镜像
	openstack image list

	查看镜像的详细信息
	openstack image show (#镜像id)

Nova组件
	Nova：openstack中最核心的组件。openstack的其它组件归根结底是为Nova组件服务的，基于用户需求为VM提供计算资源管理
	Nova架构图：
	http://m.qpic.cn/psb?/V12uCjhD3ATBKt/bKTJmZis5k..ds6fjUYXv8KDu9EzeaB4WYyV883uAq8!/b/dL8AAAAAAAAA&bo=*QE1AQAAAAADB.o!&rf=viewer_4

	目前的Nova主要由API、Compute、Conductor、Scheduler四个核心服务组成，它们之间通过AMQP通信，API是进入Nova的HTTP接口。Compute是VMM（虚拟机管理器）交互来运行虚拟机并管理虚拟机的生命周期（通常一个主机一个Compute服务）。Scheduler从可用池中选择最合适的节点来创建虚拟机实例。Conductor主要用于和数据库进行交互。

	Nova逻辑模块
	Nova API：HTTP服务，用于接收和处理客户端发送的HTTP请求
	Nova Cell：Nova Cell子服务的目的是为了便于实现横向扩展和大规模的部署，同时不增加数据库和RPC消息中间件的复杂度。在Nova Scheduler服务的主机调度基础上实现了区域调度
	Nova Cert：用于管理证书，为了兼容AWS，AWS提供了一整套的基础设施和应用程序服务，使得几乎所有的应用程序在云上运行。
	Nova Comput：Nova组件中最核心的服务，实现虚拟机管理的功能。实现了在计算节点上创建、启动、暂停、关闭和删除虚拟机、虚拟机在不同的计算节点间迁移、虚拟机安全控制、管理虚拟机磁盘镜像以及快照等功能。
	Nova Conductor：RPC服务，主要提供数据库查询功能，以前的openstack版本中，Nova Compute子服务中定义了许多的数据库查询方法。但是，由于Nova Compute子服务需要在每个计算节点上启动，一旦某个计算节点被攻击，就将完全获得数据库的访问权限。有了Nova Compute子服务之后，便可在其中实现数据库访问权限的控制
	Nova Scheduler：Nova调度子服务。当客户端向Nova服务器发起创建虚拟机的请求时，决定将虚拟机创建在哪个节点上。

	Nova Console、Nova Consoleauth、Nova VNCProxy，Nova控制台子服务。功能是实现客户端通过代理服务器远程访问虚拟机实例的控制界面。

	nova启动虚拟机的过程图：
	http://m.qpic.cn/psb?/V12uCjhD3ATBKt/iy2efxOLLowl3RvoIcZ6d7KNZ3jcdOI7zY5XroEBPVM!/b/dDQBAAAAAAAA&bo=xQJnAgAAAAADJ6A!&rf=viewer_4

	Nova Scheduler Filter的类型
	选择一个虚拟机在哪个主机运行的方式有多种，nova支持的方式主要由以下三种：
	ChanceScheduler（随机调度器）：从所有nova-compute服务正常运行的节点中随机选择
	FilterScheduler（过滤调度器）：根据指定的过滤条件以及权重挑选最佳节点
	CachingScheduler：FilterScheduler的一种，在FilterScheduler的基础上，将主机资源的信息存到本地的内存中，然后通过后台的定时任务从数据库中获取最新的主机资源信息。

	Nova Scheduler的工作流程图：
	http://m.qpic.cn/psb?/V12uCjhD3ATBKt/LpB5fYBuLUgMASXWrH*Emw5qwkWHKM7slpof.lF21DY!/b/dEYBAAAAAAAA&bo=OQODAQAAAAADB5o!&rf=viewer_4
	FilterScheduler首先使用指定的Filters（过滤器）得到符合条件的主机，比如内存小于50%，然后对得到的主机重新计算权重并且排列，获取最佳的一个。具体的Filter有以下几种：
	1）RetryFilter：重试过滤，假设Host1、Host2、Host3过滤筛选出来了，Host1权重最高，被选中，由于某些原因VM在Host1上落地失败，nova-scheduler会重新筛选新的host，Host1因为失败不会入选。可通过scheduler_max_attempts=3设置重试的次数
	2）AvalilabilityZoneFilter可选域过滤，可以提供容灾行和隔离服务，计算节点可以纳入一个创建好的AZ中，创建VM的时候可以指定AZ，这样虚拟机会落到指定的host中
	3）RamFilter：内存过滤，创建VM时会选择flavor，不满足flavor中内存要求的host会过滤掉。超量使用的设置：ram_allocation_ratio=3(如果计算节点有16G内存，那么openstack会认为有48G内存)
	4）CoreFilter：CPU core过滤，创建VM时会选择flavor，不满足flavor中core要求的host会过滤掉。CPU的超量设置：cpu_allocation_ratio=16.0（若计算节点为24core，那么openstack会认为348core）
	5）DiskFilter：磁盘容量过滤，创建VM时会选择flavor，不满足flavor中磁盘要求的host会过滤掉。Disk超量设置：disk_allocation_ratio=1.0（硬盘容量不建议调大）
	6）ComputeFilter：nova-compute服务过滤，创建VM时，若host的nova-compute服务不正常，就会被筛选掉
	7）ComputeCababilitiesFilter：根据计算节点的特性来筛选，例如x86_64
	8）ImagePropertiesFilter：根据所选的image的属性来匹配计算节点，例如希望某个image只能运行在KVM的hypervisor上，可以通过"Hypervisor Type"属性来指定。
	9）ServerGroupAntiAffinityFilter：尽量将Instance部署到不同的节点上。例如vm1，vm2，vm3，计算节点有Host1，Host2，Host3
		创建一个anti-affinity策略server group “group-1”
		nova server-group-create-policy anti-affinity group-1
		nova boot-image IMAGE_ID -flavor 1 -hint group-group1 vm1
		nova boot-image IMAGE_ID -flavor 1 -hint group-group1 vm2
		nova boot-image IMAGE_ID -flavor 1 -hint group-group1 vm3
	10）ServerGroupAffinityFilter：尽量将Instance部署到同一节点上。例如vm1，vm2，vm3，计算节点有Host1，Host2，Host3
		创建一个group-affinity策略server group “group-2”
		nova server-group-create-policy anti-affinity group-2
		nova boot-image IMAGE_ID -flavor 1 -hint group-group2 vm1
		nova boot-image IMAGE_ID -flavor 1 -hint group-group2 vm2
		nova boot-image IMAGE_ID -flavor 1 -hint group-group2 vm3

搭建nova组件
	搭建nova控制节点
	数据库相关操作
	mysql -uroot -popenstack
	create database nova_api;
	create database nova;
	create database nova_cell0;
	grant all privileges on nova_api.* to 'nova'@'localhost' identified by 'openstack';
	grant all privileges on nova_api.* to 'nova'@'%' identified by 'openstack';
	grant all privileges on nova.* to 'nova'@'localhost' identified by 'openstack';
	grant all privileges on nova.* to 'nova'@'%' identified by 'openstack';
	grant all privileges on nova_cell0.* to 'nova'@'localhost' identified by 'openstack';
	grant all privileges on nova_cell0.* to 'nova'@'%' identified by 'openstack';

	创建nova用户，并在service项目中添加管理员角色
	source admin-openrc

	openstack user create --domain default --password-prompt nova	#创建nova用户

	openstack role --project service --user nova admin	#将nova用户加入到service项目管理员角色

	创建nova服务及端口
	openstack service create --name nova --description "OpenStack Compute" conpute

	openstack endpoint create --region RegionOne compute public http://quan:8774/v2.1
	openstack endpoint create --region RegionOne compute internal http://quan:8774/v2.1
	openstack endpoint create --region RegionOne compute admin http://quan:8774/v2.1

	创建placement用户，并在service项目中添加管理员角色
	source admin-openrc

	openstack user create --domain default --password-prompt placement	#创建placement用户

	openstack role --project service --user placement admin	#将placement用户加入到service项目管理员角色

	创建placement服务及端口
	openstack service create --name placement --description "Placement API" placement

	openstack endpoint create --region RegionOne placement public http://quan:8778
	openstack endpoint create --region RegionOne placement internal http://quan:8778
	openstack endpoint create --region RegionOne placement admin http://quan:8778

	删除端口的方法：
	查看端口：
		openstack endpoint list | grep placement
	根据id删除端口
		openstack endpoint delete 端口id

	安装相关包，并配置
	yum -y install openstack-nova-api openstack-nova-conductor openstack-nova-console openstack-nova-novncproxy openstack-nova-scheduler openstack-nova-placement-api

	vi /etc/nova/nova.conf
	[DEFAULT]
	enabled_apis = osapi_compute,metadata
	transport_url = rabbit://openstack:openstack@quan
	my_ip = 172.16.1.221
	use_neutron = True
	firewall_driver = nova.virt.firewall.NoopFirewallDriver

	[api_database]
	connection = mysql+pymysql://nova:openstack@quan/nova_api

	[database]
	connection = mysql+pymysql://nova:openstack@quan/nova

	[api]
	auth_strategy = keystone

	[keystone_authtoken]
	auth_uri = http://quan:5000
	auth_url = http://quan:35357
	memcached_servers = quan:11211
	auth_type = password
	project_domain_name = default
	user_domain_name = default
	project_name = service
	username = nova
	password = openstack

	[vnc]
	enabled = true
	vncserver_listen = 172.16.1.221
	vncserver_proxyclient_address = 172.16.1.221

	[glance]
	api_servers = http://quan:9292

	[oslo_concurrency]
	lock_path = /var/lib/nova/tmp

	[placement]
	os_region_name = RegionOne
	project_domain_name = Default
	project_name = service
	auth_type = password
	user_domain_name = Default
	auth_url = http://quan:35357/v3
	username = placement
	password = openstack

	vim /etc/httpd/conf.d/00-nova-placement-api.conf		#添加至末尾
	<Directory /usr/bin>
		<IfVersion >= 2.4>
			Require all granted
		</IfVersion>
		<IfVersion < 2.4>
			Order allow,deny
			Allow from all
		</IfVersion>
	</Directory>

	重启httpd服务
	systemctl restart httpd

	修改配置文件（解决初始化nova_api数据库表结构的bug）
	vi /usr/lib/python2.7/site-packages/oslo_db/sqlalchemy/enginefacade.py
	在175行中加入"use_tpool"

	初始化nova_api数据库表结构
	su -s /bin/sh -c "nova-manage api_db sync" nova

	注册cell0数据库
	su -s /bin/sh -c "nova-manage cell_v2 map_cell0" nova

	创建cell1
	su -s /bin/sh -c "nova-manage cell_v2 create_cell --name=cell --verbose" nova

	初始化nova数据库
	su -s /bin/sh -c "nova-manage db sync" nova

	验证cell0和cell1是否注册
	nova-manage cell_v2 list_cells

	服务启动，并设置开机启动
	systemctl enable openstack-nova-api openstack-nova-consoleauth openstack-nova-scheduler openstack-nova-conductor openstack-nova-novncproxy
	systemctl start openstack-nova-api openstack-nova-consoleauth openstack-nova-scheduler openstack-nova-conductor openstack-nova-novncproxy

	验证
	openstack compute service list

	搭建nova计算节点
	安装相关包并配置
	yum -y install openstack-nova-compute

	vim /etc/nova/nova.conf
	[DEFAULT]
	enabled_apis = osapi_compute,metadata
	transport_url = rabbit://openstack:openstack@quan
	my_ip = 172.16.1.222
	use_neutron = True
	firewall_driver = nova.virt.firewall.NoopFirewallDriver

	[api]
	auth_strategy = keystone

	[keystone_authtoken]
	auth_uri = http://quan:5000
	auth_url = http://quan:35357
	memcached_servers = quan:11211
	auth_type = password
	project_domain_name = default
	user_domain_name = default
	project_name = service
	username = nova
	password = openstack

	[vnc]
	enabled = True
	vncserver_listen = 0.0.0.0
	vncserver_proxyclient_address = 172.16.1.222
	novncproxy_base_url = http://172.16.1.221:6080/vnc_auto.html

	[glance]
	api_servers = http://quan:9292

	[oslo_concurrency]
	lock_path = /var/lib/nova/tmp

	[placement]
	os_region_name = RegionOne
	project_domain_name = Default
	project_name = service
	auth_type = password
	user_domain_name = Default
	auth_url = http://quan:35357/v3
	username = placement
	password = openstack

	查看机器是否支持虚拟化
	egrep -c '(vmx|svm)' /proc/cpuinfo
	若返回0，修改/etc/nova/nova.conf
	vi /etc/nova/nova.conf
	[libvirt]
	virt_type = qemu

	服务启动，并设置开机启动
	systemctl enable libvirt openstack-nova-compute && systemctl start libvirt openstack-nova-compute

	将compute节点添加到cell数据库（控制节点操作）
	source admin-openrc
	openstack compute service list --service nova-compute
	su -s /bin/sh -c "nova-manage cell_v2 discover_hosts --verbose" nova

	vi /etc/nova/nova.conf
	[scheduler]
	discover_hosts_in_cells_interval = 300

	验证
	source admin-openrc
	openstack compute service list
	openstack catalog list
	openstack image list
	nova-status upgrade check

neutron组件
	Neutron是Openstack中的一个项目，在各接口设备之间提供网络服务，而且受其它openstack服务管理，如Nova。Neutron为openstack云提供了更灵活的划分物理网络，在多租户的环境下提供给每个租户独立的网络环境。另外，Neutron提供API来实现这种目标。Neutron中的“网络”是一个可以被用户创建的对象，如果要和物理环境下的概念映射的话，这个对象相当于一个巨大的交换机，可以拥有无限多个动态可创建和销毁的虚拟端口。

	Neutron提供的网络虚拟化能力有：
	（1）二层到七层网络的虚拟化：L2（virtual switch）、L3（virtual Router和LB）、L4-L7（virtual Firewall）等
	（2）网络连通性：二层网络和三层网络
	（3）租户隔离性
	（4）网络安全性
	（5）网络扩展性
	（6）REST API
	（7）跟高级的服务：如LBaas

	Neutron的架构图：
	http://m.qpic.cn/psb?/V12uCjhD3ATBKt/Ei6CaKeBs.55JXz9GIW8xuGBeMGe*rVaB*3D3cGQDsY!/b/dFIBAAAAAAAA&bo=vQLoAQAAAAADB3Q!&rf=viewer_4
	总的来说，创建一个Neutron网络的过程如下：
	1、管理员拿到一组可在互联网上寻址的IP地址，并且创建一个外部网络和子网
	2、租户创建一个网络和子网
	3、租户创建一个路由器并且连接租户子网和外部网络
	4、租户创建虚拟机

	Neutron中的各种概念
	network：network是一个隔离的二层广播域。Neutron支持多种类型的network，包括local，flat，VLAN,VxLAN和GRE
		local：local网络与其它网络和节点隔离。local网络中的instance只能与同一节点上同一网络的instance通信，local网络主要用于单机测试
		flat：flat网络是无vlan tagging的网络。flat网络中的instance能与位于同一网络的instance通信，并且可以跨多个节点。
		vlan：vlan网络是具有802.1q tagging的网络。vlan是一个二层的广播域，同一vlan中的instance可以通信，不同vlan只能通过router通信。vlan网络可以跨节点，是应用最广泛的网络类型
		vxlan：vxlan是基于隧道技术的overlay网络。vxlan网络通过唯一的segmentation ID（也叫VNI）与其它vxlan网络区分。vxlan中数据包会通过VNI封装成UDP包进行传输。因为二层的包通过封装在三层传输，能够克服vlan和物理网络基础设施的限制。
		gre：gre是vxlan类似的一种overlay网络。主要区别在于使用IP包而非UDP进行封装。不同network之间在二层上是隔离的。

		network必须属于某个Project（Tenant租户）,Project中可以创建多个network。network与Project之间是1对多的关系
	subnet：subject是一个IPv4或者IPv6地址段。instance的IP从subnet中分配。每个subnet需要定义IP地址的范围和掩码。
		subnet与network是1对多的关系。一个subnet只能属于某个network；一个network可以有多个subnet，这些subnet可以是不同的IP段，但不能重叠。
			例：有效的配置
				network A
					subnet A-a:10.10.1.0/24 {"start":"10.10.1.1","end":"10.10.1.50"}
					subnet A-b:10.10.2.0/24 {"start":"10.10.2.1","end":"10.10.2.50"}
				无效的配置（因为subnet有重叠）
				network A
					subnet A-a:10.10.1.0/24 {"start":"10.10.1.1","end":"10.10.1.50"}
					subnet A-b:10.10.1.0/24 {"start":"10.10.1.51","end":"10.10.1.100"}
			注：这里判断的不是IP地址是否重叠，而是子网是否重叠（10.10.1.0/24）
	port：port可以看做是虚拟交换机上的一个端口，port上定义了MAC地址和IP地址，当instance的虚拟网卡VIF（Virtual Interface）绑定到port时，port会将MAC和IP分配给VIF。port与subnet是1对多的关系。一个port必须属于某个subnet，一个subnet可以有多个port。

	Neutron中的Plugin和agent
	http://m.qpic.cn/psb?/V12uCjhD3ATBKt/Gm3J*.Vh27nLny6oXfuZlh.yXNYx.YE3I*Mwoea.MH4!/b/dL4AAAAAAAAA&bo=pAKJAQAAAAADBww!&rf=viewer_4

搭建neutron

	linuxbridge+vxlan模式

	控制节点：
	数据库相关操作
	mysql -uroot -popenstack
	create database neutron;
	grant all privileges on neutron.* to 'neutron'@'localhost' identified by 'openstack';
	grant all privileges on neutron.* to 'neutron'@'%' identified by 'openstack';

	创建neutron用户，并在service项目中添加管理员角色
	source admin_openrc

	openstack user create --domain default --password-prompt neutron

	openstack role add --project service --user neutron admin

	创建网络服务及端口
	openstack service create --name neutron --description "Openstack Networking" network

	openstack endpoint create --region RegionOne network public http://quan:9696
	openstack endpoint create --region RegionOne network internal http://quan:9696
	openstack endpoint create --region RegionOne network admin http://quan:9696

	安装相关包并配置
	yum -y install openstack-neutron openstack-neutron-ml2 openstack-neutron-linuxbridge ebtables

	vi /etc/neutron/neutron.conf
	[database]
	connection = mysql+pymysql://neutron:openstack@quan/neutron

	[DEFAULT]
	core_plugin=ml2
	service_plugins = router
	allow_overlapping_ips = true

	transport_url = rabbit://openstack:openstack@quan

	auth_strategy = keystone

	notify_nova_on_port_status_changes = true
	notify_nova_on_port_data_changes = true

	[keystone_authtoken]
	auth_uri = http://quan:5000
	auth_url = http://quan:35357
	memcached_servers = quan:11211
	auth_type = password
	project_domain_name = default
	user_domain_name = default
	project_name = service
	username = neutron
	password = openstack

	[nova]
	auth_url = http://quan:35357
	auth_type = password
	project_domain_name = default
	user_domain_name = default
	region_name = RegionOne
	project_name = service
	username = nova
	password = openstack

	[oslo_concurrency]
	lock_path = /var/lib/neutron/tmp

	vi /etc/neutron/plugins/ml2/ml2_conf.ini
	[ml2]
	type_drivers = flat,vlan,vxlan

	tenant_network_types = vxlan

	mechanism_drivers = linuxbridge,l2population

	extension_drivers = port_security

	[ml2_type_flat]
	flat_networks = provider

	[ml2_type_vxlan]
	vni_ranges = 1:1000

	[securitygroup]
	enable_ipset = true

	vim /etc/neutron/plugins/ml2/linuxbridge_agent.ini
	[linux_bridge]
	physical_interface_mappings = provider:ens34			#外部网卡设备

	[vxlan]
	enable_vxlan = true
	local_ip = 172.16.1.221
	l2_population = true

	[securitygroup]
	enable_security_group = true
	firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver

	确认操作系统内核支持桥接
	echo "net.bridge.vridge-nf-call-iptables = 1" >> /etc/sysctl.conf
	echo "net.bridge.vridge-nf-call-ip6tables = 1" >> /etc/sysctl.conf
	sysctl -p  #若出现“No such file or directory”错误，执行下面的操作
		modinfo by_netfilter  #查看内核模块信息
		modprobe by_netfilter	#加载内核模块
		再次执行sysctl -p

	vi /etc/neutron/l3_agent.ini
	[DEFAULT]
	interface_driver = linuxbridge

	vi /etc/neutron/dhcp.agent.ini
	[DEFAULT]
	interface_driver = linuxbridge
	dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq
	enable_isolated_metadata = true

	vi /etc/neutron/metadata_agent.ini
	[DEFAULT]
	nova_metadata_host = 172.16.1.221
	metadata_proxy_shared_secret = openstack

	vi /etc/nova/nova.conf
	[neutron]
	url = http://quan:9696
	auth_url = http://quan:35357
	auth_type = password
	project_domain_name = default
	user_domain_name = default
	region_name = RegionOne
	project_name = service
	username = neutron
	password = openstack
	service_metadata_proxy = true
	metadata_proxy_shared_secret = openstack

	#ln -s /etc/neutron/plugins/ml2/ml2_conf.ini /etc/neutron/plugin.ini

	初始化neutron数据库
	su -s /bin/sh -c "neutron-db-manage --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugin/ml2/ml2_conf.ini upgrade head" neutron

	重启nova服务
	systemctl restart openstack-nova-api

	服务启动，并设置开机启动
	systemctl enable neutron-server neutron-linuxbridge neutron-dhcp-agent neutron-metadata-agent
	systemctl start neutron-server neutron-linuxbridge neutron-dhcp-agent neutron-metadata-agent

	systemctl enable neutron-l3-agent && systemctl start neutron-l3-agent

	计算节点：
	安装相关包并配置
	yum -y install openstack-neutron-linuxbridge ebtables ipset

	vi /etc/neutron/neutron.conf
	[DEFAULT]
	transport_url = rabbit://openstack:openstack@quan

	auth_strategy = keystone

	[keystone_authtoken]
	auth_uri = http://quan:5000
	auth_url = http://quan:35357
	memcached_servers = quan:11211
	auth_type = password
	project_domain_name = default
	user_domain_name = default
	project_name = service
	username = neutron
	password = openstack

	[oslo_concurrency]
	lock_path = /var/lib/neutron/tmp

	vi /etc/neutron/plugin/ml2/linuxbridge_agent.ini
	[linux_bridge]
	physical_interface_mappings = provider:ens34

	[vxlan]
	enable_vxlan = true
	local_ip = 172.16.1.222
	l2_population = true

	[securitygroup]
	enable_security_group = true
	firewall_driver = neutron.agent.linux.iptables_firewall.IptablesFirewallDriver

	vi /etc/nova/nova.conf
	[neutron]
	url = http://quan:9696
	auth_url = http://quan:35357
	auth_type = password
	project_domain_name = default
	user_domain_name = default
	region_name = RegionOne
	project_name = service
	username = neutron
	password = openstack

	重启nova-compute服务
	systemctl restart openstack-nova-compute

	服务启动，并设置开机启动
	systemctl enable neutron-linuxbridge-agent && systemctl strat neutron-linuxbridge-agent

	验证（控制节点）
	source admin-openrc
	openstack extension list --network
	openstack network agent list

horizon组件
	horizon：UI界面 (Dashboard)。OpenStack中各种服务的Web管理门户，用于简化用户对服务的操作

搭建horizon
	安装相关包并配置
	yum -y install openstack-dashboard

	vim /etc/openstack-dashboard/local_settings
	OPENSTACK_HOST = "quan"
	ALLOWED_HOSTS = ['*']

	SESSION_ENGINE = 'django.contrib.sessions.backends.cache'

	CACHES = {
		'default':{
			'BACKEND':'django.core.cache.backends.memcached.MemcachedCache',
			'LOCATION':'quan:11211',
		}
	}
	#注释掉其它的cache

	OPENSTACK_KEYSTONE_URL = "http://%s:5000/v3" %OPENSTACK_HOST
	OPENSTACK_kEYSTONE_MULTIDOMAIN_SUPPORT = True

	OPENSTACK_API_VERSIONS = {
		"identity":3,
		"image":2,
		"volume":2,
	}
	OPENSTACK_KEYSTONE_DEFAULT_DOMAIN = "Default"
	OPENSTACK_KEYSTONE_DEFAULT_ROLE= 'user'

	OPENSTACK_NEUTRON_NETWORK = {
		...
		'enable_quotas':True,
		'enable_distributed_router':True,
		'enable_ha_router':True,
		'enable_lb':True,
		'enable_firewall':True,
		'enable_vpn':Flase,
		'enable_fip_topology_check':True,
	}

	TIME_ZONE = "Asia/Chongqing"

	vi /etc/httpd/conf.d/openstack-dashboard.conf
	WSGIApplicationGroup %{GLOBAL}

	重启相关服务
	systemctl restart httpd.service memcached.service

	访问地址：http://172.16.1.221/dashboard/

	关闭domain验证
	vi /etc/openstack-dashboard/local_settings
	#OPENSTACK_KEYSTONE_MULTIDOMAIN_SUPPORT = True		#注释此行
	重启相关服务
	systemctl restart httpd.service memcached.service

	用户名：admin 密码：openstack

通过命令行创建一个虚拟机的实例
	创建provider网络（外部网络）
	source admin-openrc

	openstack network create --share --external \
	--provider-physical-network provider \
	--provider-network-type flat provider

	openstack network create --network provider \				#创建外部子网（和物理网络位于同一网络）
	--allocation-pool start 172.16.1.231,end 172.16.1.240 \
	--dns-nameserver 8.8.4.4 --gateway 172.16.1.1 \
	--subnet-range 172.16.1.1/24 provider

	创建私有网络self-services
	source demo-openrc

	openstack network create selfservice					#创建私有网络

	openstack subnet create --network selfservice \			#创建私有网络子网
	--dns-nameserver 8.8.4.4 --gateway 192.168.0.1 \
	--subnet-range 192.168.0.0/24 selfservice

	openstack router create router		#创建虚拟路由

	openstack router add subnet selfservice		#为路由添加子网

	openstack router set router --extemal-gateway provider		#设置路由的外部网关

	验证
	source admin-openrc
	ip netns
	openstack port list --router router

	ping -c 网关ip

	创建flavor（启动虚拟机的模板，cpu是几个，内存是多少）
	openstack flavor --id 0 --vcpus 1 --ram 64 --disk 1 m1.nano

	查看创建的flavor
	source demo-openrc
	openstack flavor list

	生成秘钥对
	source demo-openrc
	ssh-keygen -q -N ""
	openstack keypair create --public-key ~/.ssh/id_rsa.pub mykey
	openstack keypair list

	添加安全组规则
	openstack security group rule create --proto icmp default  #允许ping通
	openstack security group rule create --proto tcp --dst-port 22 default		#允许连接tcp22号端口

	查看验证
	source demo-openrc
	openstack flavor list
	openstack image list
	openstack network list
	openstack security group list
	openstack security group rule list

	启动一个实例
	创建一个虚拟机
	openstack server create --flavor m1.nano --image cirros(可以是id也可以是名称) \
	--nic net-id SELFSERVICE_NET_ID --security-group default \
	--key-name mykey selfservice-instance(虚拟机名称)

	查看虚拟机
	openstack server list	#查看拥有的虚拟机
	openstack server show (虚拟机id)	#查看虚拟机详细信息

	通过界面绑定ip

	查看虚拟机控制台信息
	openstack console log show (虚拟机id)

cinder组件
	cinder：提供REST_API使用户能够查询和管理volume、volume snapshot以及volume type，
			提供scheduler调度volume创建请求，合理优化存储资源的分配
			通过driver架构支持多种back-end（后端）存储方式，包括LVM，NFS，Ceph和其它诸如EMC、IBM等商业存储产品方案

	cinder的架构图：
	http://m.qpic.cn/psb?/V12uCjhD3ATBKt/FpuhoZP0gP2rwhfFn*1Q1BXUZlHCtEvh7xmNRgJYqiw!/b/dL8AAAAAAAAA&bo=CQIYAQAAAAARByI!&rf=viewer_4

	cinder包含的组件：
		cinder-api：接收API请求，调用cinder-volume执行操作
		cinder-volume：管理volume的服务，与volume provider协调工作，管理volume的生命周期。运行cinder-volume服务的节点被称作为存储节点
		cinder-scheduler：scheduler通过调度算法选择最合适的存储节点创建volume
		volume provider：数据的存储设备，为volume提供物理存储空间。cinder-volume支持多种volume provider，每种volume provider通过自己的driver与cinder-volume协调工作
		Message Queue：cinder各个子服务通过消息队列实现进程间通信和相互协作。因为有了消息队列，子服务之间实现了解耦，这种松散的结构也是分布式系统的重要特征
		Database cinder：有一些数据需要存放到数据库中，一般使用MySQL。数据库是安装在控制节点上的。

搭建cinder组件
	控制节点
	数据库相关操作
	mysql -uroot -popenstack
	create database cinder;
	grant all privileges on cinder.* to 'cinder'@'localhost' identified by 'openstack';
	grant all privileges on cinder.* to 'cinder'@'%' identified by 'openstack';

	创建cinder用户，并在service项目中添加管理员角色
	source admin_openrc
	openstack user create --domain default --password-prompt cinder

	openstack role add --project service --user cinder admin

	创建cinder服务及端口
	openstack service create --name cinderv2 --description "OpenStack Block Storage" volumev2

	openstack service create --name cinderv3 --description "OpenStack Block Storage" volumev3

	openstack endpoint create --region RegionOne volumev2 public http://quan:8776/v2/%\{project_id\}s
	openstack endpoint create --region RegionOne volumev2 internal http://quan:8776/v2/%\{project_id\}s
	openstack endpoint create --region RegionOne volumev2 admin http://quan:8776/v2/%\{project_id\}s

	openstack endpoint create --region RegionOne volumev3 public http://quan:8776/v3/%\{project_id\}s
	openstack endpoint create --region RegionOne volumev3 internal http://quan:8776/v3/%\{project_id\}s
	openstack endpoint create --region RegionOne volumev3 admin http://quan:8776/v3/%\{project_id\}s

	安装相关包并配置
	yum -y install openstack-cinder

	vim /etc/cinder/cinder.conf
	[database]
	connection = mysql+pymysql://cinder:openstack@quan/cinder

	[DEFAULT]
	transport_url = rabbit://openstack:openstack@quan

	auth_strategy = keystone

	my_ip = 172.16.1.221

	[keystone_authtoken]
	auth_uri = http://quan:5000
	auth_url = http://quan:35357
	memcached_servers = quan:11211
	auth_type = password
	project_domain_name = default
	user_domain_name = default
	project_name = service
	username = cinder
	password = openstack

	[oslo_concurrency]
	lock_path = /var/lib/cinder/tmp

	初始化数据库
	su -s /bin/sh -c "cinder-manage db sync" cinder

	配置计算服务使用cinder
	vi /etc/nova/nova.conf
	[cinder]
	os_region_name = RegionOne

	计算服务重启
	systemctl restart openstack-nova-api

	服务启动，并设置开机启动
	systemctl enable openstack-cinder-api openstack-cinder-scheduler && systemctl start openstack-cinder-api openstack-cinder-scheduler

	验证
	openstack volume service list	#state状态为up即为启动成功

	存储节点（除系统盘外要有磁盘）
	安装相关包并配置
	yum -y install lvm2 device-mapper-persistent-data

	systemctl enable lvm2-lvmetad && systemctl start lvm2-lvmetad

	pvcreate /dev/sdb		#创建pv
	vgcreate cinder-volume /dev/sdb		#创建vg

	vi /etc/lvm/lvm.conf
	devices{"a/dev/sda/","a/dev/sdb/","r/.*/"}
	#a表示接收，r表示拒绝

	可通过命令lsblk查看系统安装是否使用lvm，若sda磁盘没有使用lvm可不添加"a/dev/sda/"

	yum -y install openstack-cinder targetcli python-keystone

	vi /etc/cinder/cinder.conf
	[database]
	connection = mysql+pymysql://cinder:openstack@quan/cinder

	[DEFAULT]
	transport_url = rabbit://openstack:openstack@quan

	auth_strategy = keystone

	my_ip = 172.16.1.223

	enabled_backends = lvm

	glance_api_servers = http://quan:9292

	[keystone_authtoken]
	auth_uri = http://quan:5000
	auth_url = http://quan:35357
	memcached_servers = quan:11211
	auth_type = password
	project_domain_name = default
	user_domain_name = default
	project_name = service
	username = cinder
	password = openstack

	[lvm]
	volume_driver = cinder.volume.drivers.lvm.LVMVolumeDriver
	volume_group = cinder-volumes		#vg的名称
	iscsi_protocol = iscsi
	iscsi_helper = lioadm

	[oslo_concurrency]
	lock_path = /var/lib/cinder/tmp

	服务启动，并设置开机启动
	system enable openstack-cinder-volume target && system start openstack-cinder-volume target

	验证
	source admin-openrc
	openstack volume service list

为虚拟机分配虚拟磁盘
	命令：
		source demo-openrc
		openstack volume create --size 2 volume2	#--size指定虚拟机磁盘大小2G
		openstack volume list	#状态为available可用的

		openstack server add volume selfservice-instance volume2	#为虚拟机挂载磁盘
		openstack volume list	#状态为in-use

		可登录虚拟机通过fdisk -l 查看挂载磁盘

Swift组件
	swift：被称为对象存储，提供了强大的扩展性、冗余和持久性。对象存储，用于永久类型的静态数据的长期存储

搭建swift组件
	控制节点
	创建swift用户，并在service项目中添加管理员角色
	source admin-openrc
	openstack user create --domain default --password-prompt swift

	openstack role add --project service --user swift admin

	创建swift服务及端口
	openstack service create --name swift --description "OpenStack Object Stroage" object-store

	openstack endpoint create --region RegionOne object-store public http://quan:8080/v1/AUTH_%\{project_id\}s
	openstack endpoint create --region RegionOne object-store internal http://quan:8080/v1/AUTH_%\{project_id\}s
	openstack endpoint create --region RegionOne object-store admin http://quan:8080/v1

	安装相关包
	yum -y install openstack-swift-proxy python-swiftclient python-keystoneclient python-keystonemiddleware memcached

	下载swift-proxy.conf的配置文件，并配置
	curl -o /etc/swift/proxy-server.conf https://git.openstack.org/cgit/openstack/swift/plain/etc/proxy-server.conf-sample?h=stable/queens

	vi /etc/swift/proxy-server.conf
	[DEFAULT]
	bind_port = 8080
	swift_dir = /etc/swift
	user = swift

	[pipeline:main]
	pipeline = catch_errors gatekeeper healthcheck proxy-logging cache container_sync bulk ratelimit authtoken keystoneauth container-quotas account-quotas slo dlo versioned_writes proxy-logging proxy-server

	[app:proxy-server]
	use = egg:swift#proxy

	account_autocreate = True

	[filter:keystoneauth]
	use = egg:swift#keystoneauth

	operator_roles = admin,user

	[filter:authtoken]
	paste.filter_factory = keystonemiddleware.auth_token:filter_factory

	www_authenticate_uri = http://quan:5000
	auth_url = http://quan:35357
	memcached_servers = quan:11211
	auth_type = password
	project_domain_id = default
	user_domain_id = default
	project_name = service
	username = swift
	password = openstack
	delay_auth_decision = True

	[filter:cache]
	memcache_servers = quan:11211

	存储节点(所有的)
	安装相关包
	yum install xfsprogs rsync

	格式化磁盘
	mkfs.xfs /dev/sdb
	mkfs.xfs /dev/sdc

	mkdir -p /srv/node/sdb
	mkdir -p /src/node/sdc

	配置自动挂载
	vi /etc/fstab
	/dev/sdb /srv/node/sdb xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
	/dev/sdc /srv/node/sdc xfs noatime,nodiratime,nobarrier,logbufs=8 0 2

	mount /srv/node/sdb
	mount /srv/node/sdc
	或者
	mount -a

	vi /etc/rsyncd.conf
	uid = swift
	gid = swift
	log_file = /var/log/rsyncd.log

	pid_file = /var/run/rsyncd.pid
	address =  172.16.1.224      #多个节点请自行调整          

	[account]
	max_connections = 2
	path = /srv/node/
	read only = False
	locak file = /var/lock/account.lock

	[container]
	max_connections = 2
	path = /srv/node/
	read only = False
	locak file = /var/lock/container.lock

	[object]
	max_connections = 2
	path = /srv/node/
	read only = False
	locak file = /var/lock/object.lock

	服务启动，并设置开机启动
	systemctl enable rsyncd && systemctl start rsyncd

	安装相关包
	yum -y install openstack-swift-account openstack-swift-container openstack-swift-object

	下载相关配置文件，并配置
	curl -o /etc/swift/account-server.conf https://git.openstack.org/cgit/openstack/swift/plain/etc/account-server.conf-sample?h=stable/queens
	curl -o /etc/swift/container-server.conf https://git.openstack.org/cgit/openstack/swift/plain/etc/container-server.conf-sample?h=stable/queens
	curl -o /etc/swift/object-server.conf https://git.openstack.org/cgit/openstack/swift/plain/etc/object-server.conf-sample?h=stable/queens

	vi /etc/swift/account-server.conf
	[DEFAULT]
	bind_ip = 172.16.1.224
	bind_prot = 6202
	user = swift
	swift_dir = /etc/swift
	devices = /srv/node
	mount_check = True

	[pipeline:main]
	pipeline = healthcheck recon account-server

	[filter:recon]
	recon_cache_path = /var/cache/swift

	vi /etc/swift/container-server.conf
	[DEFAULT]
	bind_ip = 172.16.1.224
	bind_prot = 6201
	user = swift
	swift_dir = /etc/swift
	devices = /srv/node
	mount_check = True

	[filter:recon]
	recon_cache_path = /var/cache/swift

	vi /etc/swift/object-server.conf
	[DEFAULT]
	bind_ip = 172.16.1.224
	bind_prot = 6200
	user = swift
	swift_dir = /etc/swift
	devices = /srv/node
	mount_check = True

	[pipeline:main]
	pipeline = healthcheck recon object-server

	[filter:recon]
	recon_cache_path = /var/cache/swift
	recon_lock_path = /var/lock

	修改文件权限
	chown -R swfit:swift /srv/node
	mkdir -p /var/cache/swift
	chown -R root:swift /var/cache/swift
	chmod -R 755 /var/cache/swift

	终止存储节点操作，上述操作全部在所有存储节点中操作
	控制节点操作
	cd /etc/swift
	swift-ring-builder account.builder create 10 3 1

	创建第一存储节点
	swift-ring-builder account.builder add \
	--region 1 --zone 1 --ip 172.16.1.224 --port 6202 --device sdb --weight 100

	swift-ring-builder account.builder add \
	--region 1 --zone 1 --ip 172.16.1.224 --port 6202 --device sdc --weight 100

	创建第二存储节点
	swift-ring-builder account.builder add \
	--region 1 --zone 2 --ip 172.16.1.225 --port 6202 --device sdb --weight 100

	swift-ring-builder account.builder add \
	--region 1 --zone 2 --ip 172.16.1.225 --port 6202 --device sdc --weight 100

	swift-ring-builder account.builder
	swift-ring-builder account.builder rebalance

	swift-ring-builder container.builder create 10 3 1

	创建第一存储节点
	swift-ring-builder container.builder add \
	--region 1 --zone 1 --ip 172.16.1.224 --port 6202 --device sdb --weight 100

	swift-ring-builder container.builder add \
	--region 1 --zone 1 --ip 172.16.1.224 --port 6202 --device sdc --weight 100

	创建第二存储节点
	swift-ring-builder container.builder add \
	--region 1 --zone 2 --ip 172.16.1.225 --port 6202 --device sdb --weight 100

	swift-ring-builder container.builder add \
	--region 1 --zone 2 --ip 172.16.1.225 --port 6202 --device sdc --weight 100

	swift-ring-builder container.builder
	swift-ring-builder container.builder rebalance

	swift-ring-builder object.builder create 10 3 1

	创建第一存储节点
	swift-ring-builder object.builder add \
	--region 1 --zone 1 --ip 172.16.1.224 --port 6202 --device sdb --weight 100

	swift-ring-builder object.builder add \
	--region 1 --zone 1 --ip 172.16.1.224 --port 6202 --device sdc --weight 100

	创建第二存储节点
	swift-ring-builder object.builder add \
	--region 1 --zone 2 --ip 172.16.1.225 --port 6202 --device sdb --weight 100

	swift-ring-builder object.builder add \
	--region 1 --zone 2 --ip 172.16.1.225 --port 6202 --device sdc --weight 100

	swift-ring-builder object.builder
	swift-ring-builder object.builder rebalance

	将生成文件放到对象存储节点中
	scp account.ring.gz container.ring.gz object.ring.gz object01:/etc/swift/
	scp account.ring.gz container.ring.gz object.ring.gz object02:/etc/swift/

	获取swift.conf配置文件
	curl -o /etc/swift/swift.conf https://git.openstack.org/cgit/openstack/swift/plain/etc/swift.conf-sample?h=stable/queens

	vi /etc/swift/swift.conf
	[swift-hash]
	swift_hash_path_suffix = HASH_PATH_SUFFIX
	swift_hash_path_prefix = HASH_PATH_PREFIX

	[storage-policy:0]
	name = Policy-0
	default = yes

	将swift.conf配置文件分发到对象存储节点
	scp /etc/swift/swift.conf object01:/etc/swift/
	scp /etc/swift/swift.conf object02:/etc/swift/

	控制节点和所有对象存储节点执行
	chown -R root:swift /etc/swift

	控制节点
	systemctl enable openstack-swift-proxy memcached && systemctl start openstack-swift-proxy memcached

	对象存储节点(所有)
	systemctl enable openstack-swift-account openstack-swift-account-auditor openstack-swift-account-reaper openstack-swift-account-replicator
	systemctl start openstack-swift-account openstack-swift-account-auditor openstack-swift-account-reaper openstack-swift-account-replicator
	systemctl enable openstack-swift-container openstack-swift-container-auditor openstack-swift-container-replicator openstack-swift-container-updater
	systemctl start openstack-swift-container openstack-swift-container-auditor openstack-swift-container-replicator openstack-swift-container-updater
	systemctl enable openstack-swift-object openstack-swift-object-auditor openstack-swift-object-replicator openstack-swift-object-updater
	systemctl start openstack-swift-object openstack-swift-object-auditor openstack-swift-object-replicator openstack-swift-object-updater

	验证（控制节点）
	备注：首先检查/var/log/audit/audit.log，若存在selinux的信息，使得swift进程无法访问，做如下修改：
	chcon -R system_u:object_r:swift_data_t:s0 /srv/node

	source demo-openrc
	swift stat  #查看swift状态

	openstack container create container1
	openstack object create container1 FILE	#上传文件到容器中
	openstack container list	#查看所有的container（容器）
	openstack object list container1	#查看container1容器中的文件
	openstack object save container1 FILE	#从容器中下载文件