puppet自动化运维

Puppet实现自动化运维

一、案例分析

1、案例概述：

随着服务器数量的增多，系统管理员任务量也逐渐增加，这时就需要简洁的、强大的框架来完成系统管理任务为实现这一目的，我们将引入一批工具，这批工具是“可编程”的，系统管理员只需要为这批工具写上几行“代码”，它便会自动完成所有的工作，这批工具就是运维自动化puppet

在一些大型互联网企业中，运维自动化管理着几百甚至上千台服务器，它可以针对多台服务器进行统一操作，例如部署统一软件、进行统一上线维护等，而且能够快速完成上线部署，减少人力及人力误操作风险

2、Ppuppet工作原理

puppet的工作原理如下：

puppet的目的是让系统管理员只集中于要管理的目标，而忽略实现的细节。puppet既可以在单机上使用，也可以以C/S结构使用，在大规模部署puppet的情况下，通常我们会使用C/S结构，在这种结构下，服务端运行puppetmaster程序客户端运行puppetclient服务程序

具体的工作流程图如下所示

图1

puppet有两种工作模式，分别是

（1）客户端主动拉取服务器上的资源，少量服务器的场景。

（2）服务器主动推送，客户端需要配置，并且启动puppetclient，大量服务器的场景。

1）客户端主动拉取

（1）客户端puppet调用facter（facter是通过ssl加密收集及检测分析客户端配置信息的一个工具），facter探出主机的一些变量，如主机名、内存信息、IP地址等。puppet把这些信息通过ssl连接发送给服务器端。

（2）服务器端的puppetmaster通过facter工具分析检测客户端的主机名，然后找到项目主配置文件manifest里面相对应的node配置，并对该内部内容进行解析。facter发送过来的信息可以作为变量处理，node牵涉到的代码才能够正确解析，其他没牵涉的代码不解析。解析分为几个阶段，首先进行语法检查，如果语法没有没错，就继续解析，解析的结果生成一个伪代码，然后将伪代码发送给客户端。

（3）客户端接收到伪代码并且执行，客户端把执行的结果发送给服务器端。

（4）服务器把客户端的执行结果写入日志。

puppet工作过程有以下两地啊你需要注意

（1）为了保证安全，client与Masgter之间是基于ssl和证书的，只有经Master证书认证的Client可以与Master通信

（2）puppet会让系统保持在人们所期望的某种状态并一直维持下去，如果文件被删除或者ssh服务被关闭了，puppet下次执行时（默认30分钟），会重新创建给文件或者启动ssh服务。

3、案例环境

本案例使用四台服务器模拟搭建puppet环境，具体拓扑如下所示

主机	操作系统	IP地址	主要软件
Puppetmaster 主机名： Master.test.cn	Centos6.5 x86_64	192.168.1.1/24	Ruby-rdoc-1.8.7.352-13.e16.x86_64 Ruby-libs-1.8.7.352-13.e16.x86_64 Ruby-irb-1.8.7.352-13.e16.x86_64 Ruby-1.8.7.352-13.e16.x86_64 Puppet-2.7.21.tar.gz Facter-1.7.1.tar.gz
Puppetclient1 主机名： Client1.test.cn	Centos6.5 x86_64	192.168.1.2/64	Ruby-rdoc-1.8.7.352-13.e16.x86_64 Ruby-libs-1.8.7.352-13.e16.x86_64 Ruby-irb-1.8.7.352-13.e16.x86_64 Ruby-1.8.7.352-13.e16.x86_64 Puppet-2.7.21.tar.gz Facter-1.7.1.tar.gz
Puppetclient1 主机名： Client2.test.cn	Centos6.5 x86_64	192.168.1.3/24	Ruby-rdoc-1.8.7.352-13.e16.x86_64 Ruby-libs-1.8.7.352-13.e16.x86_64 Ruby-irb-1.8.7.352-13.e16.x86_64 Ruby-1.8.7.352-13.e16.x86_64 Puppet-2.7.21.tar.gz Facter-1.7.1.tar.gz
NTP server ntpserver.test.cn	Centos6.5 x86_64	192.168.1.4

二、案例实施

1、NTP server

今天的案例实施，前面已经提到过使用证书与puppetmaster验证身份，所以我们一定要确保puppetclient与puppetmaster时间保持一致，我们单独准备一台时间服务器来提供时间同步。

[root@ntpserver ~]# rpm -q ntp

ntp-4.2.6p5-1.el6.centos.x86_64

[root@ ntpserver ~]# vim /etc/ntp.conf

添加如下两行（在任何位置）

省略部分信息……

server 127.127.1.0//添加

fudge 127.127.1.0 stratum 8//添加

[root@ ntpserver ~]# service ntpd start

正在启动ntpd：                                  [确定]

[root@ ntpserver ~]# chkconfig  ntpd on

[root@ ntpserver ~]# iptables -I INPUT -p  udp --dport 123 -j ACCEP

[root@ ntpserver ~]# service iptables save

配置好了之后，其他主机就可以与此时间服务器进行时间同步

2、搭建puppetmaster

1）规划服务器主机名

在小规模puppet环境下，我们可以通过修改/etc/hosts文件，但是当达到上千台服务器时，我们必须搭建属于自己的DNS服务器来实现通过主机名进行通信，此案例我们使用/etc/hosts文件来实现。

[root@centos1 ~]# vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=master.test.cn//修改

[root@centos1 ~]# vim /etc/hosts

192.168.1.1 master.test.cn//以下四行均需要添加

192.168.1.2 client1.test.cn

192.168.1.3 client2.test.cn

192.168.1.4 ntpserver.test.cn

[root@centos1 ~]# hostname master.test.cn

[root@centos1 ~]# bash

[root@master ~]#

通过以上修改，hosts文件可以解析主机名，并且修改了puppetmaster主机的主机名，最后两条命令是临时生效的并且切换到了另外一个bash环境，这么做是省却了重启计算机的时间，就算计算机重新启动，主机名也不会发生任何改变，但是这两处修改主机名一定要相同才可以。

2)与时间服务器同步时间

[root@master ~]# rpm -q ntp

ntp-4.2.6p5-1.el6.centos.x86_64

[root@master ~]# ntpdate 192.168.1.4

19 Nov 21:38:13 ntpdate[2027]: step time server 192.168.1.4 offset 1.767261 sec

3）安装ruby

puppet是基于ruby语言进行开发的，所以需要安装ruby搭建出ruby的基本环境，相关软件包已经下载到了root目录下

puppet-2.7.21.tar.gz

ruby-1.8.7.352-13.el6.x86_64.rpm

ruby-irb-1.8.7.352-13.el6.x86_64.rpm

ruby-libs-1.8.7.352-13.el6.x86_64.rpm

ruby-rdoc-1.8.7.352-13.el6.x86_64.rpm

compat-readline5-5.2-17.1.el6.x86_64.rpm

安装的时候一定要按照我的安装顺序安装，否则一定会出现错误。

[root@master ~]# rpm -ivh compat-readline5-5.2-17.1.el6.x86_64.rpm  ruby-*.rpm

安装完成之后，我们查看一下ruby的版本信息

[root@master ~]# ruby -v

ruby 1.8.7 (2011-06-30 patchlevel 352) [x86_64-linux]

4)puppet、facert安装

[root@master ~]# tar zxf facter-1.7.1.tar.gz

[root@master ~]# cd facter-1.7.1

[root@master facter-1.7.1]# ruby  install.rb//安装

[root@master facter-1.7.1]# cd

[root@master ~]# tar zxf puppet-2.7.21.tar.gz

[root@master ~]# cd puppet-2.7.21

[root@master puppet-2.7.21]# useradd  -s /sbin/nologin  puppet

[root@master puppet-2.7.21]# ruby install.rb//安装

（1）复制配置文件

[root@master puppet-2.7.21]# cp  conf/redhat/puppet.conf /

/etc/pupppet/

[root@master puppet-2.7.21]# cp  conf/redhat/fileserver.conf /

/etc/pupppet/

[root@master puppet-2.7.21]# cp  conf/redhat/server.init/

/etc/init.d/puppetmaster

（2）修改文件属性并添加为系统服务

[root@master puppet-2.7.21]# chmod  +x  /etc/init.d/puppetmaster

[root@master puppet-2.7.21]# chmod  +x  /etc/init.d/puppetmaster

[root@master puppet-2.7.21]# chkconfig  --add puppetmaster

[root@master puppet-2.7.21]# chkconfig  puppetmaster on

（3）创建puppet主目录

[root@master puppet-2.7.21]# mkdir /etc/puppet/manifests

[root@master puppet-2.7.21]# mkdir /etc/puppet/modules

4）puppet服务证书请求与签名

master端的配置

（1）修改配置文件

[root@master puppet-2.7.21]# vim /etc/puppet/puppet.conf

[main]//设置服务端配置

    # The Puppet log directory.

# The default value is '$vardir/log'.

logdir = /var/log/puppet

# Where Puppet PID files are kept.

# The default value is '$vardir/run'.

rundir = /var/run/puppet

# Where SSL certificates are kept.

# The default value is '$confdir/ssl'.

ssldir = $vardir/ssl

 modulespath = /etc/puppet/modules:/usr/share/puppet/modules//添加

[agent] //设置客户端配置

# The file in which puppetd stores a list of the classes

# associated with the retrieved configuratiion.  Can be loaded in

# the separate ``puppet`` executable using the ``--loadclasses``

# option.

# The default value is '$confdir/classes.txt'.

classfile = $vardir/classes.txt

# Where puppetd caches the local configuration.  An

# extension indicating the cache format is added automatically.

# The default value is '$confdir/localconfig'.

localconfig = $vardir/localconfig

（2）启动puppet主程序

[root@master puppet-2.7.21]# service puppetmaster start

Starting   puppetmaster:                              [  OK  ]

[root@master puppet-2.7.21]# netstat -anpt | grep ruby

tcp        0      0 0.0.0.0:8140                0.0.0.0:*                   LISTEN      2306/ruby

puppetmaster所监听的端口为8140，处理防火墙

[root@master puppet-2.7.21]# iptables -I INPUT -p tcp --dport 8140 -j ACCEPT

[root@master puppet-2.7.21]# service iptables save           

 3、搭建puppetclient

首先配置puppetclient1，步骤如下

1）规划服务器主机名

[root@centos2 ~]# vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=client1.test.cn//添加

由于客户端与服务器的hosts文件形同，这里直接拷贝使用

[root@centos2 ~]# scp root@192.168.1.1:/etc/hosts /root/

[root@centos2 ~]# cat /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.1.1 master.test.cn

192.168.1.2 client1.test.cn

192.168.1.3 client2.test.cn

192.168.1.4 ntpserver.test.cn

[root@centos2 ~]# hostname  client1.test.cn

[root@centos2 ~]# bash

2）与时间服务器同步时间

[root@client1 ~]# ntpdate 192.168.1.4

19 Nov 22:07:14 ntpdate[1811]: adjust time server 192.168.1.4 offset 0.394674 sec

3）安装ruby

[root@client1 ~]# rpm -ivh compat-readline5-5.2-17.1.el6.x86_64.rpm  ruby-*.rpm

[root@client1 ~]# ruby -v

ruby 1.8.7 (2011-06-30 patchlevel 352) [x86_64-linux]

4）puppet、facert安装

[root@client1 ~]# tar zxf facter-1.7.1.tar.gz

[root@client1 ~]# cd facter-1.7.1

[root@client1 facter-1.7.1]# ruby  install.rb

[root@client1 facter-1.7.1]# cd

[root@client1 ~]# tar zxf puppet-2.7.21.tar.gz

[root@client1 ~]# cd puppet-2.7.21

[root@client1 puppet-2.7.21]# useradd  -s /sbin/nologin  puppet

[root@client1 puppet-2.7.21]# ruby  install.rb

5）复制配置文件

[root@client1 puppet-2.7.21]#cp  conf/redhat/puppet.conf

 /etc/puppet

[root@client1 puppet-2.7.21]#cp  conf/redhat/client.init

 /etc/init.d/puppetclient

6）修改文件属性并添加为系统服务

[root@client1 puppet-2.7.21]# chmod  +x /etc/init.d/puppetclient

[root@client1 puppet-2.7.21]# chkconfig  --add puppetclient

[root@client1 puppet-2.7.21]# chkconfig  puppetclient on

7）puppet服务器证书请求与签名

puppetclient1和puppetclient2一样，操作如下

 [root@client1 puppet-2.7.21]# vim /etc/puppet/puppet.conf

在main标题下添加一行，

部分省略……

server = master.test.cn //添加

这条配置项指向puppetmaster主机的主机名，必须是能够解析对方的主机名才可以

puppetclient2的配置过程与puppetclient1的过程类似，注意将主机名修改为client2.test.cn

client端

分别在puppetclient1和puppetclient2上进行注册

[root@client1 puppet-2.7.21]# cd

[root@client1 ~]# puppet agent --server=master.test.cn --no-daemonize --verbose

info: Creating a new SSL key for client1.test.cn

info: Caching certificate for ca

info: Creating a new SSL certificate request for client1.test.cn

info: Certificate Request fingerprint (md5): 3B:AE:0C:7D:D8:EB:2D:3B:4B:24:81:34:17:F7:92:3A

出现以上信息是在等待puppetmaster注册，这是可以使用ctrl+c结束，

服务器端

（1）查看申请注册的客户端

[root@master puppet-2.7.21]# puppet cert  --list

 "client1.test.cn" (3B:AE:0C:7D:D8:EB:2D:3B:4B:24:81:34:17:F7:92:3A)

 "client2.test.cn" (E6:FB:66:72:C3:61:BA:A8:10:81:6D:D0:B2:A6:AC:79)

（2）将未注册的客户端注册

[root@master puppet-2.7.21]# puppet cert sign --all//注册所有客户端

notice: Signed certificate request for client1.test.cn

notice: Removing file Puppet::SSL::CertificateRequest client1.test.cn at '/var/lib/puppet/ssl/ca/requests/client1.test.cn.pem'

notice: Signed certificate request for client2.test.cn

notice: Removing file Puppet::SSL::CertificateRequest client2.test.cn at '/var/lib/puppet/ssl/ca/requests/client2.test.cn.pem'

（3）查看已经注册的客户端

[root@master puppet-2.7.21]# puppet cert --list --all

+ "client1.test.cn" (4D:D3:2E:37:92:93:F7:8D:DD:76:F0:3B:99:DF:0B:CA)

+ "client2.test.cn" (35:71:30:EF:64:32:DC:6B:96:A9:1C:58:E6:5D:E2:6C)

+ "master.test.cn"  (B0:42:BB:22:82:FC:78:DE:79:33:05:9D:B2:E5:4F:D9) (alt names: "DNS:master.test.cn", "DNS:puppet", "DNS:puppet.test.cn")

默认已经将自己也注册成了客户端。

4、配置实例

1）配置一个测试节点

节点信息：/etc/puppet/manifests/nodes

模块信息： /etc/pupppet/modules

为了保护linux的ssh端口爆破，批量修改客户端的sshd端口，将22号端口改为9922，并实现重启sshd服务的工作。

想完成以上几点，需要明确几点

①需确定openssh软件包安装

②需确定存在ssh的配置文件

③确定sshd的服务是系统服务

创建ssh模块，模块的目录为ssh，模块下有三个文件分别是：manifests、templates、files。

manifest里面必须包含一个init.pp文件，这是该模块的的初始（入口）文件，导入一个模块的时候需要从init.pp开始执行，可以把所有的代码都写入到这个文件中，也可以分成多个.pp文件，init在去包含其他文件，定义class类名时必须是ssh，这样才能实现调动

files目录是该模块的发布目录，puppet提供了一个文件分割机制，类似rsync的模块。

templates目录包含erb模块文件、这个和file资源的templates属性有关（很少使用）

master端

（1）创建必要的目录

[root@master~]#mkdir-p  /etc/puppet/modules/ssh/{files,templates,

manifests}

[root@master ~]# mkdir -p /etc/puppet/manifests/nodes

[root@master ~]# mkdir -p /etc/puppet/modules/ssh/files/ssh

[root@master ~]# chown -R puppet  /etc/puppet/modules/

此时/etc/puppet/modules/ssh的目录结构如下所示

[root@master ~]# ll /etc/puppet/modules/ssh/

total 12

drwxr-xr-x. 3 puppet root 4096 Nov 19 22:40 files

drwxr-xr-x. 2 puppet root 4096 Nov 19 22:39 manifests

drwxr-xr-x. 2 puppet root 4096 Nov 19 22:39 templates

（2）创建模块配置问加你install.pp

这个文件必须是以.pp结尾，.前面的文件名随便写，注意需要形象一些

[root@master ~]# vim /etc/puppet/modules/ssh/manifests/install.pp

输入一下信息（首先确定客户端安装ssh服务），如果没有安装则进行安装，但是客户端必须存在软件包，并且配置了yum源或者是yum客户端。

class ssh::install{//ssh为模块名，必须是ssh  install为文件名  ssh必须以init.pp的模块名相同

        package{ "openssh":

                        ensure => present,

   }

}

ps：注意是以,结尾

ps：由于配置的是ssh服务所以模块名为ssh，如果配置http则模块名为http

（3）创建该模块配置文件config.pp

[root@master ~]# vim /etc/puppet/modules/ssh/manifests/config.pp

输入一下信息配置需要同步的文件

class ssh::config{

  file{ "/etc/ssh/sshd_config"://配置客户端需要同步的文件

  ensure => present, //确定客户端此文件存在

  owner => "root", //文件所属用户

  group => "root", //文件所属组

  mode => "0600", //文件权限

  source=> "puppet://$puppetserver/modules/ssh/ssh/sshd_config",

//从服务器同步文件的路径

  require => Class["ssh::install"],//调用ssh：：install确定

openssh已经安装

  notify => Class["ssh::service"], //如果config.pp发生变化通知service.pp

   }

}

这个文件的内容主要是定义，发布的配置文件权限以及调用ssh：：install检查client是否安装了ssh服务，以及调用ssh：：service重新启动sshd服务。

（4）创建模块配置文件serice.pp

输入一下信息

class ssh::service{

        service{ "sshd":

                ensure =>running,  //确定sshd运行

            hasstatus=>true,

//puppet该服务支持status命令，即类似service

sshd status命令                

hasrestart=>true,

  //puppet该服务支持status命令，即类似service

sshd status命令

            enable=>true,//服务是否开机启动

            require=>Class["ssh::config"]    //确认config.pp调用

}

}

（5）创建模块配置文件init.pp

[root@master ~]# vim /etc/puppet/modules/ssh/manifests/init.pp

将以上定义的配置文件加载进去，输入以下信息

class ssh{

        include ssh::install,ssh::config,ssh::service

}

此时/etc/puppet/modules/ssh/manifests目录下已有四个文件

[root@master ~]# ll /etc/puppet/modules/ssh/manifests/

total 16

-rw-r--r--. 1 root root 271 Nov 19 22:56 config.pp

-rw-r--r--. 1 root root  61 Nov 19 23:07 init.pp

-rw-r--r--. 1 root root  70 Nov 19 22:45 install.pp

-rw-r--r--. 1 root root 147 Nov 19 22:58 service.pp

（6）建立服务器端ssh统一维护文件

由于服务器和客户端的sshd_config文件一样，所以我们在服务器安装openssh软件，使其能够提供config_sshd样例文件，然后将其复制到文件发布目录下/etc/puppet/modules/ssh/files/ssh/

[root@master ~]# yum -y install openssh

[root@master ~]# cp /etc/ssh/sshd_config   \

> /etc/puppet/modules/ssh/files/ssh/

[root@master ~]# chown  puppet -R  \

> /etc/puppet/modules/ssh/files/ssh/sshd_config//修改权限，否则会失败

（7）创建测试节点配置文件，并将ssh模块加载进去。

[root@master ~]# vim /etc/puppet/manifests/nodes/ssh.pp

输入一下信息

node 'client1.test.cn'{

        include ssh

}

node 'client2.test.cn'{

        include ssh

}

（8）将测试节点载入puppet，即修改site.pp

[root@master ~]# vim /etc/puppet/manifests/site.pp

输入一下信息

import "nodes/ssh.pp"

（9）修改服务器端维护的sshd_config配置文件

[root@master ~]# vim /etc/puppet/modules/ssh/files/ssh/sshd_config

Port 9922

#AddressFamily any

#ListenAddress 0.0.0.0

#ListenAddress ::

（10）重新启动puppetmaster服务

[root@master ~]# service puppetmaster restart

2）客户端拉取

一般在小规模自动化群集中，如代码上线需要重新启动服务时，为了防止网站暂时性无法访问的问题，每台客户端需要运行一次puppet agent -t命令，所以选择模式时需要根据规模的大小来决定，一般运维工程师puppet服务器到各客户端建立ssh信任，然后自动以脚本，ssh让客户端批量执行puppet命令。

client端

192.168.1.2端执行命令如下所示

[root@client1 ~]# puppet agent -t

执行完成之后会出现很多信息

省略部分内容……

-#Port 22

+Port 9922//已经将端口改为了9922

 #AddressFamily any

 #ListenAddress 0.0.0.0

 #ListenAddress ::

[root@client1 ~]# netstat -anpt | grep sshd

tcp        0      0 0.0.0.0:9922                0.0.0.0:*                   LISTEN      3656/sshd           

tcp        0     52 192.168.1.2:22              192.168.1.10:52886          ESTABLISHED 1712/sshd           

tcp        0      0 :::9922                     :::*                        LISTEN      3656/sshd     

服务已经启动，并且已经监听了9922端口

3）服务器推送

当大规模部署时采用服务器推送方式。

client端

192.168.1.3端修改

（1）修改配置文件

[root@client2 ~]# vim /etc/puppet/puppet.conf

在最后一行添加如下配置项

listen = true

[root@client2 ~]# vim /etc/puppet/auth.conf

在最后一行添加如下配置项

allow *//允许任何服务器推送

（2）启动puppet客户端程序

[root@client2 ~]# service puppetclient start

[root@client2 ~]# netstat -anpt | grep ruby

tcp        0      0 0.0.0.0:8139                0.0.0.0:*                   LISTEN      2082/ruby           

（3）配置防火墙

[root@client2 ~]# iptables -I INPUT -p tcp --dport 8139 -j ACCEPT

（4）查看/etc/ssh/sshd_config文件的内容如下所示

[root@client2 ~]# cat /etc/ssh/sshd_config

# Port 22

#AddressFamily any

#ListenAddress 0.0.0.0

#ListenAddress ::

有可能，客户端在没有执行拉取的时候，就已经将端口修改了，所以如果端口是非22的时候需要修改回来。

（5）查看监听端口

[root@client2 ~]# netstat -anpt | grep sshd

tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      2550/sshd           

tcp        0     52 192.168.1.3:22              192.168.1.10:52889          ESTABLISHED 1710/sshd           

tcp        0      0 :::22                       :::*                        LISTEN      2550/sshd     

（6）开始推送

服务器端

192.168.1.1的操作如下所示

[root@master manifests]# puppet kick client2.test.cn

Triggering client2.test.cn

Getting status

status is success

client2.test.cn finished with exit code 0

Finished

从以上输出的信息所示已经成功了。

client1  操作，验证sshd的服务监听端口

[root@client2 ~]# netstat -anpt | grep  sshd

netstat -anpt | grep sshd

tcp        0      0 0.0.0.0:9922                0.0.0.0:*                   LISTEN      2995/sshd           

tcp        0     68 192.168.1.3:22              192.168.1.10:52889          ESTABLISHED 1710/sshd           

tcp        0      0 :::9922                     :::*                        LISTEN      2995/sshd