前言 随着IT行业的迅猛发展,传统的运维方式靠大量人力比较吃力,运维人员面对日益增长的服务器和运维工作,不得不把很多重复的.繁琐的工作利用自动化处理.前期我们介绍了运维自动化工具ansible的简单应用,本期带来的是运维自动化神器puppet基于Master/Agent模式实现LNMP平台部署. Puppet 简介 Puppet是基于ruby语言开发的一种Linux.Unix.Windows平台的集中配置管理系统,可以C/S模式或独立运行,使用自有的puppet描述语言,可管理配置文件.用户.c…

master/agent模式的工作流程 agent每隔固定时长会向master端发送nodename(自己的节点名,节点名至关重要)和 facts ,并且向服务器端请求自己的catalog. master端收到以后首先(classify)分类识别来请求的是哪一个客户端和这个客户端要哪些东西,于是master端就在本地根据定义的站点清单给这个agent端声明哪些类. Ps:每一个agent端必须向master端明确的发送自己的nodename. master端依靠nodename识别agent端,…

前文我们了解了puppe中模块的使用,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/14086315.html:今天我来了解下puppet的master/agent模型以及站点清单的相关话题: 在说puppet的master/agent模型前,我们要先来回顾下master/agent的工作过程 如上图所示,puppet的master/agent模型的工作过程:首先agent向master发送自己的主机名和facts信息,然后对应的master收到信息后,会…

自己画的一个简单的架构图 agent端每隔30分钟到master端请求与自己相关的catalog. 各节点时间要同步. 依赖DNS,各节点能通过主机名能解析. 1.同步时间 # yum install -y ntp ntpdate # ntpdate pool.ntp.org 2.修改hosts(仅在测试时使用,大规模场景下请使用dns解析) # vim /etc/hosts 3.安装程序包,master端安装puppet.puppet-server,agent端安装puppet即可 # yum…

puppet master/agent 配置 安装 master: yum install puppet-server agent: yum install puppet 自动签名 puppet的master端 touch autosign.conf 在autosign.conf中添加hostname, 一个hostname一行 配置master和agent master(监听在8140端口): puppet cert list --all 显示master检测到了所有的agent请求, 在ho…

Puppet nginx+passenger模式配置 一．简述:Puppet 运行在单台服务器上默认启动的是一个puppetmaster进程,当遇到client高并发的请求时,基于ruby的WEBRick HTTP服务便无法高效的处理请求,甚至有的client直接会报400错误.所以在单台服务器上,可以使用nginx+passenger 来做puppetßßßß多负载配置. 二．原理:使用nginx代替ruby的webrick ,并且处理对client的ssl认证进行处理和转发.后台passen…

一. Master/Slave模式 分担jenkins服务器的压力,任务分配到其它执行机来执行 Master:Jenkins服务器 Slave:执行机(奴隶机).执行Master分配的任务,并返回任务的进度和结果 二. 在Master(阿里云)上配置Slave(本地windows) 一. 新建节点 路径:jenkins首页—系统管理—节点管理—节点管理 二. 设置节点 设置完成点击最下方保存 注意:可能会遇到启动方式里没有"通过Java Web启动代理",此时如何解决呢? 路径:系统管…

Jenkins可部署在windows或者linux平台上,项目系统的用户多数为windows系统.如果Jenkins部署在linux上,而自动化任务要在windows平台执行,那么就需要使用Jenkins的master/slave模式了. 一.Master/Slave模式 Jenkins有非常丰富的插件,可以做很多事情,而部署Jenkins的服务配置性能是有限的,当Jenkins要完成上百个任务时,就会占用非常多的资源,甚至有些资源之间是有冲突的,所以为了分担Jenkins服务器的压力,引入了m…

# client.py # ————————01CMDB获取服务器基本信息———————— from src import plugins #__init__.py from lib.serialize import Json #转成字符串或者模式 # ————————02CMDB将服务器基本信息提交到API接口———————— import requests #伪造页面访问 from config import settings #文件配置 # ————————02CMDB将服务器基本信息提交…

======================================================================================================================================================master      172.31.10.249         linux1       linux1.test.comagent        172.31.10.220         lin…

1 .复制 Mysql内建的复制功能是构建大型,高性能应用程序的基础.将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的 数据复制到其它主机(slaves)上,并重新执行一遍来实现的.复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器.主服务器将更 新写入二进制日志文件,并维护文件的一个索引以跟踪日志循环.这些日志可以记录发送到从服务器的更新.当一个从服务器连接主服务器时,它通知主服务器从服 务器在日志中读取的最后一次成功更新的位置.从服务器…

现在ActiveMQ, 在Failover方面有两种解决方案:Pure Master Slave和Shared File System Master Slave.      先看Pure Master Slave, 这种部署方式可以同时运行两个ActiveMQ, 只允许一个Slave连接到Master上面,也就是说只能有2台MQ做集群,这两个服务之间有一个数据备份通道,利用这个通道Master向Slave单向地数据备份. 这个方案在实际生产线上不方便, 因为当Master挂了之后, Slave并…

master是主机,只有master装jenkins slave是小弟机无需装jenkins,主要执行master分配的任务 一.新建slave 1.新建slave的方法:点击magian jenkis---magian nodes 以下设置,需要注意下 启动方式,新版的jenkins只有一个选项,如下图,需要去开启 magian jenkis下有一个全局安全配置,代理配置,选随机 2.slave主动向master发起连接-注册 2.1 下载连接 2.2如果希望小弟机,一开机就连上,安装一个服务…

本文收录在Linux运维企业架构实战系列 1.认识puppet 1.1 引入 puppet是什么,咱们先不用专业的名词解释它,咱们先描述一些工作场景,看明白这些工作场景,自然会知道puppet是什么. (1)场景一: 管理员想要在100台服务器上同时创建一个名叫"along"的用户,怎么办,当然,我们可以"手动解决",登录每一台服务器,然后一台一台的创建用户,如果你真的这样干,那么我只能说,算你狠!!!但是,既然我们这篇文章是介绍puppet的,我们肯定会推荐你使用…

1.认识puppet 1.1 引入 puppet是什么,咱们先不用专业的名词解释它,咱们先描述一些工作场景,看明白这些工作场景,自然会知道puppet是什么. (1)场景一: 管理员想要在100台服务器上同时创建一个名叫"along"的用户,怎么办,当然,我们可以"手动解决",登录每一台服务器,然后一台一台的创建用户,如果你真的这样干,那么我只能说,算你狠!!!但是,既然我们这篇文章是介绍puppet的,我们肯定会推荐你使用puppet解决这个问题. (2)场景二:…

一.puppet 介绍 1.puppet是什么 puppet是一个IT基础设施自动化管理工具,它能够帮助系统管理员管理基础设施的整个生命周期: 供应(provisioning).配置(configuration).联动(orchestration)及报告(reporting). 基于puppet ,可实现自动化重复任务.快速部署关键性应用以及在本地或云端完成主动管理变更和快速扩展架构规模等. 遵循GPL 协议(2.7.0-), 基于ruby语言开发. 2.7.0 以后使用(Apache 2.0…

一.class 类 1)什么是类? 类是puppet中命名的代码模块,常用于定义一组通用目标的资源,可在puppet全局调用: 类可以被继承,也可以包含子类: 具体定义的语法如下: class NAME{ ... puppet code ... } 其中,在我们定义的时候,需要注意的是: 类的名称只能以小写字母开头,可以包含小字字母.数字和下划线. 每个类都会引入一个新的变量scope ,这意味着在任何时候访问类中的变量时,都得使用其完全限定名称. 不过,在本地 scope 可以重新为 top…

Puppet:开源系统配置和管理工具 随着虚拟化和云计算技术的兴起,计算机集群的自动化管理和配置成为了数据中心运维管理的热点.对于 IaaS.Paas.Saas 来说,随着业务需求的提升,后台计算机集群的数量也会线性增加.对于数据中心的运维人员来说,如何自动化管理.配置这些大规模的计算机集群节点,对于数据中心的稳定运行以及运维成本控制都显得至关重要. Puppet 是一个开源系统配置管理工具,它有着简明的架构以及良好的扩展性:同时,Puppet 还提供了自有的系统配置描述语言以及完善的公用库,非…

一.简介 1.国际惯例什么是puppet puppet是一种Linux.Unix.windows平台的集中配置管理系统,使用自有的puppet描述语言,可管理配置文件.用户.cron任务.软件包.系统服务等.puppet把这些系统实体称之为资源,puppet的设计目标是简化对这些资源的管理以及妥善处理资源间的依赖关系. puppet采用C/S星状的结构,所有的客户端和一个或几个服务器交互.每个客户端周期的(默认半个小时)向服务器发送请求,获得其最新的配置信息,保证和该配置信息同步.每个puppe…

Puppet:IT基础设施自动化管理工具 参考文章: https://yq.aliyun.com/articles/120228 http://www.51niux.com/?id=105 http://www.zsythink.net/archives/category/%E8%BF%90%E7%BB%B4%E7%9B%B8%E5%85%B3/puppet/ 可以管理整个生命周期: provisioning:自动化安装系统 configuration:配置 orchestration:编排 …

一.简介 puppet是什么?它能做什么? puppet是一个IT基础设施自动化运维工具,它能够帮助系统管理员管理基础设施的整个生命周期:比如,安装服务,提供配置文件,启动服务等等一系列操作:基于puppet,可实现自动化重复任务.快速部署关键性应用以及在本地或云端完成主动变更和快速扩展架构规模等:它遵循GPL协议(2.7.0以前),基于ruby语言开发,2.7.0以后使用apache 2.0协议: puppet架构 提示:puppet是master/agent架构,master和agent使用…

1. 简介 1.1. 官方网站:https://docs.puppet.com/ 1.2. puppet是IT基础设施自动化管理工具,他的整个生命周期包括:provisioning,configuration,orchestration,reporting 1.3. puppet是master/agent模型的,但是agent可以独立执行操作,agent是真正执行相应管理操作的核心部件,他会周期地去master请求与自己相关的配置 1.4. puppet的工作模式: 声明性.基于模型: 定义:使…

puppet: 开源的.新一代的集中化的配置管理工具: 目标状态 配置语言 Luke Kanies,puppet labs bootstrap --> configuration --> command and control puppet: ruby saltstack: python 程序版本: 0.24.X, 0.25.X, 2.6.X (0.26), 2.7.X 3.0 --> 3.3.X 资源:资源申报 清单: 类: 模块: 站点清单: 以主机为核心:应用哪些模块 puppet…

Docker里运行Docker docker in docker(dind) http://www.wantchalk.com/c/devops/docker/2017/05/24/docker-in-docer.html   mark一下 学习原作者的内容.  Posted on 2017-05-24 目的 制作一个可以build docker镜像的docker镜像,jenkins CI服务节点,部署到阿里云的容器服务集群里. 阿里云官方有完整的镜像,master和slave的都有,时间稍微久…

在对获取资产信息时,简述有四种方案. 1.Agent  (基于shell命令实现) 原理图 Agent方式,可以将服务器上面的Agent程序作定时任务,定时将资产信息提交到指定API录入数据库 优点:速度快 缺点:需要为每台服务器部署一个Agent程序 2.Paramiko类 (SSH形式,基于Paramiko模块) 中控机在获取未采集资产信息的服务器(服务器主机名,密码),依赖于Paramiko(py模块)通过SSH方式去获取 优点:无Agent  缺点:速度慢 如果在服务器较少的情况下,可应…

目录 1. 概要 2. nginx + unicorn 配置 2.1. package 安装 2.2. 配置文件设置 2.2.1. 配置 unicorn 2.2.2. 配置nginx 2.3. 测试配置结果 3. nginx 负载均衡 4. 补充说明 概要 unicorn 和之前的 passenger 的设计理念不同, 究竟谁更好其实还得看具体的使用场景. 但是我觉得 unicorn 有个比 passenger 好的地方就是不用重新编译 nginx. nginx + unicorn 配置 pac…

puppet使用SSL(https)协议来进行通讯,默认情况下,puppet server端使用基于Ruby的WEBRick HTTP服务器.由于WEBRick HTTP服务器在处理agent端的性能方面并不是很强劲,因此需要扩展puppet,搭建nginx或者其他强劲的web服务器来处理客户的https请求. 需要解决的问题: 扩展传输方式:提高性能并增加Master和agent之间的并发连接数量. 扩展SSL:采用良好的SSL证书管理方法来加密Master和agent之间的通讯. Nginx…

这个模式主要是用于server端被动接收数据,不发送探测请求 agent端主动发送数据,不接收探测请求 被监控端 zabbix_Agentd.conf 的配置调整 LogFile=/tmp/zabbix_agentd.log StartAgents=0          #客户端agent模式,仅为主动模式,值为0的时候,被监控端的zabbix_agentd 不监听本地端口,所以无法在 netstat -tunpl 中查看到zabbix_agentd进程 ServerActive=192.168…

zabbix_server端当主机数量过多的时候,由Server端去收集数据,Zabbix会出现严重的性能问题,主要表现如下: 1.当被监控端到达一个量级的时候,Web操作很卡,容易出现502 2.图层断裂 3.开启的进程(Pollar)太多,即使减少item数量,以后加入一定量的机器也会有问题 所以下面主要往两个优化方向考虑: 1.添加Proxy节点或者Node模式做分布式监控 2.调整Agentd为主动模式 由于第一个方案需要增加物理机器,所以首先尝试第二方案. 一.被监控端 zabbix_…

hadoop的集群是基于master/slave模式. namenode和jobtracker属于master,datanode和tasktracker属于slave,master只有一个,而slave有多个. 分布式存储(hdfs)角度:集群中的节点由一个namenode和多个datanode组成.namenode是中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件访问的引用.集群中的datanode一般是一个节点一个,负责管理它所在节点上的存储. HDFS暴露了文件…