一.背景环境 在运维工作中,经常会遇到重复性的劳动,这个时候为了效率就必须要使用自动化运维工具. 这里我给大家介绍轻量级自动化运维工具Fabric,Fabric是基于Python语言开发的,是开发同事的最爱. 为了方便自动化运维,经常会将Fabric部署在跳板机上.之所以部署跳板机是基于几点考虑的: 1.1基于安全的考虑,只有跳板机上开放了公网IP和SSH Key登录,其他内部的业务机默认只允许内网登录,公网IP地址不对外开放. 1.2为了方便自动化运维部署,跳板机上做了免密码登录,可以直接通过

相信长时间运维HBase集群的童鞋肯定都会对RIT(Region-In-Transition,很多参考资料误解为Region-In-Transaction,需要注意)有一种咬牙切齿的痛恨感,一旦Region处于长时间的RIT就会有些不知所措,至少以前的我就是这样过来的.正所谓“恐惧来源于未知”,不知所措意味着我们对RIT知之甚少,然而“凡事都有因果,万事皆有源头”,处于RIT状态的Region只是肉眼看到的一个结果,为什么会处于RIT状态才是问题探索的根本,也是解决问题的关键.本文就基于hbas

关于Promethues运维实践项目 1. 什么是Prometheus运维实践项目 ​ 是什么 ​ Prometheus,普罗米修斯,是古希腊神话中为人间带来火种的神. ​ Prometheus运维实践项目,是作为IT运维从业者的我,根据自己的知识背景.工作经历.思维层次,现有条件,想要创建推进完成的一个运维学习和实践平台. ​ 通过这个项目的推进和平台的构建,我本人能够探索巩固完善自己的运维知识体系,提高运维认知和实践能力,其他偶然访问到我博客或者项目的运维初学者或同行,也能够明确行路方向和实

1.es与MySQL的概念对比 2.概念理解 2.1 Index : 一个索引即是文档的集合 2.2 Document : 一个文档即是一个可被索引的基础单元信息,一条记录: 2.3 Replicas : 索引一份或多份存储,可以理解成冗余存储以防数据丢失: 2.4 shards : 一个索引被截断若干小片存储,每个片就是一个shard. 参考:http://www.dataguru.cn/thread-608747-1-1.html https://www.cnblogs.com/keving

点击此处观看完整活动视频 各位线上的嘉宾朋友大家好,我是来自华为消费者BG云服务部的刘腾,我今天给大家分享的主题是华为终端云Cassandra运维实践.和前面王峰老师提到的Cassandra在360中使用场景不同,我今天主要带来的是运维相关的内容.在去年7月,我们开发部的吴太银也在Cassandra社区做过一次分享,讲到了Cassandra在华为的一些应用,包括一些在华为遇到一些线上问题的定位和处理经验.今天我就和大家讲一下运维这一块. 这是我今天要分享的内容,重点是第二部分:我们在运维中遇到的

编者按:本文源自阿里云云效团队出品的<阿里巴巴DevOps实践指南>,扫描上方二维码或前往:https://developer.aliyun.com/topic/devops,下载完整版电子书,了解阿里十年DevOps实践经验. 阿里巴巴的运维团队致力于打造无人值守的运维平台,用智能化推动高效率.低成本的应用运维.智能运维是运维平台实现信息化和数字化之后的自然发展,利用扎实的技术基础,把机器学习.优化算法和各个专业领域方面的知识完美结合起来,针对具体运维场景提供令人满意的解决方案. 智能运维(

作者:vivo 互联网服务器团队-Zhang Rong 一.背景 随着vivo业务迁移到K8s的增长,我们需要将K8s部署到多个数据中心.如何高效.可靠的在数据中心管理多个大规模的K8s集群是我们面临的关键挑战.kubernetes的节点需要对OS.Docker.etcd.K8s.CNI和网络插件的安装和配置,维护这些依赖关系繁琐又容易出错. 以前集群的部署和扩缩容主要通过ansible编排任务,黑屏化操作.配置集群的inventory和vars执行ansible playbook.集群运维的主

摘要:运维这个话题很痛苦,你做任何的产品都离不开运维.不管你用什么语言.什么平台.什么技术,真正能够决定你产品成熟度的很有可能就是你运维的能力.取自 云巴 CEO 张虎在 ECUG 大会上的分享. 云时代的运维 以前的运维那么痛苦,大家却并未做多大的努力去改变这个现状,为什么?因为原来你要自己去建机房.自己去采购.去调研机房.采购服务器.采购带宽,中间出了任何问题很大可能都是机房的问题. 在云时代,尤其是在AWS出现之后,很多美国团队的运维方式发生了极大的变化. 为什么云时代的运维跟原来的运维不

眼下,做互联网应用,最火的架构是微服务,最热的研发管理就是DevOps, 没有之一.微服务.DevOps已经被大量应用,它们已经像传说中的那样,可以无所不能.特来电云平台,通过近两年多的实践,发现完全不像大家说的那样简单,大家是报喜不报忧,实在是水太深,谁做谁知道.今天就与大家分享一下在微服务架构+DevOps下,开发测试环境的一些运维痛点问题和解决方法. 架构的复杂度直接决定了运维的工作量,架构不是越复杂越好,而是适合最好.下面简单说说几种架构的优缺点.基于.net在搭建应用时,最常用的方法就

眼下,做互联网应用,最火的架构是微服务,最热的研发管理就是DevOps, 没有之一.微服务.DevOps已经被大量应用,它们已经像传说中的那样,可以无所不能.特来电云平台,通过近两年多的实践,发现完全不像大家说的那样简单,大家是报喜不报忧,实在是水太深,谁做谁知道.今天就与大家分享一下在微服务架构+DevOps下,开发测试环境的一些运维痛点问题和解决方法. 架构的复杂度直接决定了运维的工作量,架构不是越复杂越好,而是适合最好.下面简单说说几种架构的优缺点.基于.net在搭建应用时,最常用的方法就

[编者的话]etcd 是 Kubernetes 集群的数据核心,最严重的情况是,当 etcd 出问题彻底无法恢复的时候,解决问题的办法可能只有重新搭建一个环境.因此围绕 etcd 相关的运维知识就比较重要,etcd 可以容器化部署,也可以在宿主机自行搭建,以下内容是通用的. 集群的备份和恢复 添加备份 #!/bin/bash IP=123.123.123.123 BACKUP_DIR=/alauda/etcd_bak/ mkdir -p $BACKUP_DIR export ETCDCTL_AP

1. fabric的安装 在windows下的python3中安装fabric: 在python安装根目录下使用pip install fabric 安装 如图: fabric只支持python2不支持python3 在windows下的python2中安装fabric: 问题: 如何在已经安装了python3的windows操作系统中安装python2 已知 python2的安装路径为D:\python2      python3的安装路径为D:\python3 将D:\python2,  D

etcd 是 Kubernetes 集群的数据核心,最严重的情况是,当 etcd 出问题彻底无法恢复的时候,解决问题的办法可能只有重新搭建一个环境.因此围绕 etcd 相关的运维知识就比较重要,etcd 可以容器化部署,也可以在宿主机自行搭建,以下内容是通用的. 集群的备份和恢复 添加备份 #!/bin/bash IP=123.123.123.123 BACKUP_DIR=/alauda/etcd_bak/ mkdir -p $BACKUP_DIR export ETCDCTL_API=3 et

fabric中文文档:http://fabric-chs.readthedocs.io/zh_CN/chs/ 视频教程:http://study.163.com/course/courseMain.htm?courseId=1003852044 安装: pip3 install fabric3 (注:python3对应要装fabric3) 检查安装情况:fab --version 进入python3, >>> import fabric >>> dir(fabric)

作者 | 姚捷(喽哥)阿里云容器平台集群管理高级技术专家 本文节选自<不一样的 双11 技术:阿里巴巴经济体云原生实践>一书,点击即可完成下载. 导读:值得阿里巴巴技术人骄傲的是 2019 年阿里巴巴 双11 核心系统 100% 以云原生的方式上云,完美支撑了 54.4w 峰值流量以及 2684 亿的成交量.背后承载海量交易的计算力就是来源于容器技术与神龙裸金属的完美融合. 集团上云机器资源形态 阿里巴巴 双11 采用三地五单元架构,除 2 个混部单元外,其他 3 个均是云单元.神龙机型经过

Zookeeper是一个高可用的分布式数据管理与协调框架,该框架能很好地保证分布式环境中数据一致性.一般用来实现服务发现(类似DNS),配置管理,分布式锁,leader选举等. 一.生产环境中Zookeeper安装部署规范 生产环境建议zookeeper至少为三台集群,统一安装配置,版本号为近期新版本,比如版本为3.4.8部署路径:/opt/业务模块名/zookeeper配置文件:/opt/业务模块名/zookeeper/conf/zoo.cfg存储快照文件snapshot的目录:/opt/业务

对于Elasticsearch的学习,需要清楚的明白它的每个核心概念,由浅入深的了解,才能更好的掌握这门技术.下面先简单罗列下Elasticsearch的核心概念: 一.Elasticsearch数据组织 1.  逻辑组织如下图所示,Elasticsearch使用index和doc_type来组织数据.doc_type中的每条数据称为一个document,是一个JSON Object,相关的schema信息通过mapping来定义.mapping不仅仅包括数据类型的定义,还有很多其他元信息的设置

作者:HelloGitHub-小鱼干 本周大热点无疑是前几天 GitHub 发布的 Copilot,帮你补全代码,给你的注释提出建议,预测你即将使用的代码组件-如此神奇的 AI 技术,恰巧本周微软也开源了他们的机器学习入门课程,你在 12 周之内完成 24 堂课程即可入门机器学习.除此之外,本周的特点主题之一 DevOps 和 SRE,包括 Google.百度在内的多家科技公司在本周特推给出了他们的最佳实践. 以下内容摘录自微博@HelloGitHub 的 GitHub Trending 及 H

关注「WeiyiGeek」公众号 设为「特别关注」每天带你玩转网络安全运维.应用开发.物联网IOT学习! 希望各位看友[关注.点赞.评论.收藏.投币],助力每一个梦想. 文章目录: 0x00 前言简述 0x01 环境准备 主机规划 软件版本 网络规划 0x02 安装部署 1.准备基础主机环境配置 2.负载均衡管理ipvsadm工具安装与内核加载 3.高可用HAProxy与Keepalived软件安装配置 4.容器运行时containerd.io安装配置 5.安装源配置与初始化集群配置准备 6.使

关注「WeiyiGeek」公众号 设为「特别关注」每天带你玩转网络安全运维.应用开发.物联网IOT学习! 希望各位看友[关注.点赞.评论.收藏.投币],助力每一个梦想. 本章目录 目录 0x0n 前言简述 知识引入 Lua模块指令阶段 0x01 部署环境 安装说明 安装部署 0x02 使用实践 1.Nginx 实践使用 echo-nginx-module 模块之动态加载链接库 2.Nginx 实践使用 lua-resty-redis 模块连接 Redis 进行数据操作与展示 3.Nginx 实践

关注「WeiyiGeek」公众号 设为「特别关注」每天带你玩转网络安全运维.应用开发.物联网IOT学习! 希望各位看友[关注.点赞.评论.收藏.投币],助力每一个梦想. 本章目录 目录 0x00 前言简述 0x01 安装部署 环境说明 libmaxminddb 下载 ngx_http_geoip2_module 下载 Geoip2 模块编译动态链接库 GeoLite2 数据库下载 GeoLite2 数据库自动更新 0x02 实践使用 1.使用GeoIP2模块请求客户端的IP地址国家省份经纬度展示