运维

运维,这里指互联网运维,通常属于技术部门,与研发测试系统管理同为互联网产品技术支撑的4大部门,这个划分在国内和国外以及大小公司间都会多少有一些不同。
一个互联网产品的生成一般经历的过程是:产品经理(product manager,非技术部)需求分析、研发部门开发、测试部门测试、运维部门部署发布以及长期的运行维护。
一般来讲国内的互联网运维负责软件测试交付后的发布和管理,其核心目标是将交付的业务软件和硬件基础设施高效合理的整合,转换为可持续提供高质量服务的产品,同时最大限度降低服务运行的成本,保障服务运行的安全。

详情点击:http://baike.baidu.com/item/%E8%BF%90%E7%BB%B4

详情点击:https://zh.wikipedia.org/wiki/%E8%BF%90%E7%BB%B4

运维知识工具体系

操作系统:Centos,Ubuntu,Redhat,suse,Freebsd
网站服务:nginx,apache,lighttpd,php,tomcat,resin
数据   库:MySQL,Mysql-proxy,MariaDB,PostgreSQL
DB中间件:MyCat,atlas,cobar,amoeba,MySQL-proxy
代理相关:lvs,keepalived,haproxy,nginx,heartbeat
网站缓存:squid,nginx,varnish
NOSQL库:memcached,memcachedb,MongoDB,Cassandra,redis,CouchDB
存储相关:Nfs,Moosefs(mfs),Hadoop,glusterfs,lustre,FastDFS
版本管理:svn,git
监控报警:nagios,cacti,zabbix,munin,hyperic,mrtg,graphite
域名解析:bind,powerdns,dnsmasq
同步软件:scp,rsync,inotify,sersync,drbd,csync2,union,lsyncd
批量管理:Ssh Key,Saltstack,expect,puppet,ansible,cfengine
虚拟   化:kvm,xen
云计   算:openstack,docker,cloudstack
内网软件:iptables,zebra,iftraf,ntop,tc,iftop
邮件软件:qmail,posfix,sendmail,zimbra
远程拨号:openvpn,pptp,openswan,ipip
统一认证:openldap
队列工具:ActiveMQ,RabbitMQ,Metaq,MemcacheQ,Zeromq
打包发布:mvn,ants,jenkins,svn
测试软件:ab,JMeter,Webbench,LoadRunner,http_load,tcpcopy
带宽测试:smokeping,iozone  磁盘测试 iozone
性能测试:dd  IOPS测试 fio
日志相关:rsyslog,Awstats,flume,storm,ELK(Elasticsearch+Logstash+Kibana)
搜索软件:Sphinx,Xapian,Solr
无人值守:kickstart,cobbler
软件安装:rpm,yum(设计rpm包定制及yum仓库构建)
大数据:HDFS,Hive,Hbase,Zookeeper,Pig,Spark,Mahout
开发语言:Shell,Python

运维知识体系:

运维知识体系-V2.0 By:赵舜东(赵班长) 【转载请注明来自于-运维社区:https://www.unixhot.com/】
运维架构层级/运维角度 内容描述/主要技术关键词 监控体系 自动化/DevOps 云计算
客户端层 浏览器 Cookie、浏览器缓存协商(Last-Modified、Expires、Etag)、组件分离、前端优化、运维检测工具 舆论监控

外部网络监控

APM

故障检测工具 DNS服务
CDN服务
移动服务
云盾
DNS 浏览器DNS缓存、DNS缓存、自建DNS服务器、商业DNS产品、智能DNS、公共DNS(BGP anycast)、bind+DLZ/DPDK
客户端/APP HTTP-DNS、打点日志、加密传输、移动推送、各类SDK(监控SDK、推流SDK等)
外部层 第三方CDN GSLB、反向代理缓存、分布式存储、流量调度、配置管理、用户端(各类API如:带宽监控、预缓存、缓存刷新) 基于开放API开发
云计算 公有云服务、混合云、运维外包服务、APM(应用性能管理)、第三方安全解决方案(防DDOS、WAF)
网络层 互联层 多机房互联(VPN、专线)、异地灾备-->异地多活-->按SET部署 设备监控
(Zabbix SNMP)

网络质量监控
(Smokeping)

SDN

OpenvSwitch
(GRE、Vxlan)

高速通道
核心层 防火墙、路由器、Ipsec VPN、链路负载均衡和高可用 (CCNP级别) VPC(专有网络)
汇聚层 三层交换 动态路由(OSPF)、静态路由、EC(端口汇聚)、MSTP+VRRP等 (CCNP级别)
接入层 二层交换 (VTP、SPF、Trunk、端口安全)等 (CCNA级别)
接入层 负载均衡
高可用
四层负载均衡 开源:LVS(IP负载均衡)+Keepalived、Haproxy 商业:F5、Netscaler 服务监控(API) 平台开发
(LBaas)
高防IP
云负载均衡SLB
CDN服务
七层负载均衡 反向代理:Haproxy、Nginx、Apache(根据HTTP协议支持的属性进行L7分发)、A/B Test Gateway、WAF
反向代理缓存 ATS、Squid、Varnish、Nginx(缓存分级、预缓存、缓存刷新)
应用服务层 Web服务层 HTTP协议、Web服务器(Apache、Nginx/OpenResty、Tomcat、Resin、Jboss)安全设置、性能优化 业务监控(API)

流量分析(Piwik)

服务监控(API)

安全监控(WAF)

配置管理:SaltStack
过载保护-服务降级
灰度发布-openresty
项目管理-Readmine
代码仓库-gitlab
持续集成-Jenkins
持续审查-SonarQube
镜像市场
应用服务层 运行环境(PHP Python Java C C++)、性能优化、缓存(OPCache、LocalCache)、Session存储、代码部署 各种SAAS服务
业务层 业务实现 API网关、302调度、业务模块化(电商例:用户、商品、购物车、结算中心、价格等服务)、微服务
服务层 SOA框架(Dubbo)、微服务框架(Spring Cloud)、协议(RPC、RESTful)、框架安全、应用性能监控 分布式应用服务
分布式层 消息队列 ActiveMQ(成熟)、RabbitMQ(成熟、案例多)、RocketMQ(业务应用)、Kafka(日志传输)、ZeroMQ(快) 消息队列服务
存储层 文件存储 单机存储 块存储 - 机械硬盘、SSD、文件系统(ext4、xfs)、LVM、tmpfs 系统监控

软件自带监控

配置管理 云硬盘 对象存储
单机存储扩展 文件分发(多级分发)、文件同步(rsync、inotify)、DRBD、DAS(块存储)
共享存储 文件存储 - NAS[NFS(Unix/Linux)]、FTP、SAN、iSCSI
分布式存储 对象存储 - GlusterFS、MooseFS、Ceph、FastDFS(非对象存储)
DAL 数据访问层 应用层分片、淘宝TDDL、开源:360(Atlas)、阿里(Cobar)、MyCat、MySQL-Proxy、根据业务开发 数据库服务
数据存储 分布式缓存 Memcached、Redis(客户端分片、Redis Cluster、Twemproxy、Codis) 数据库监控 数据库运维平台 云数据库-RDS
Mongodb、Redis
Memcached
OceanBase
NoSQL Redis、LevelDB(SSDB)、CouchDB、Mongodb、Couchbase 、Cassandra、TiDB(支持MySQL协议)
时间序列 RRDTool、Graphite Whisper、OpenTSDB、InfluxDB、KairosDB、ElasticSearch
RDBMS MySQL(PXC集群、MHA)、Oracle(DG、OGG、RAC)、PostgreSQL、SqlServer、SQLite、DB2
大数据 Hadoop生态圈(HDFS、Hive、Hbase、Zookeeper、Pig、Spark、Impala、Kudu)、Mahout智能推荐 服务监控 Ambari、CM 大数据服务
基础服务层 业务决策 灰度发布、服务降级、异地灾备、数据分析平台、智能扩容决策树(需要各层支持) 监控工具:
Zabbix
Nagios
Cacti
Open-Falcon
Sensu
自动化工具
(Puppet
Chef
SaltStack
Ansible)
日志服务
操作审计
资源编排
运维监控服务
持续交付系统
运维相关 项目管理(Redmine、Jira、知识库、Bugzilla、CodeReview)、工单系统、运维操作平台、监控平台
应用相关 持续集成、日志收集平台(ELKStack)、自动化部署平台、Job管理(调度)平台、安全扫描平台
系统相关 LDAP、内部DNS、DHCP、Mail、SMS、Gitlab、Yum仓库、操作审计(xenapp)、堡垒机
容器层 容器编排 Mesos(Marathon、Chronos)、Kubernetes(SKYDNS)、Docker Swarm、CoreOS(fleet)、OpenStack(Magnum) Docker Stats
cAdvisor
DataDog
Zabbix
Docker Swarm
Mesos
Kubernetes
容器服务
容器和系统 容器:LXC、LXD、Docker、rkt、系统:CoreOS、Atomic、RancherOS
网络和存储 网络:Calico、Flanel、Weave Net 存储:Ceph 镜像管理:Docker Registry、Harbor
操作系统层 CPU CPU运行级别、使用率、上下文切换、运行队列、进程调度、系统调用、CPU管理(进程管理、taskset、intel VT-X) mpstat、strace 虚拟化 公有云
弹性计算产品
内存 虚拟内存、SWAP换入换出、内存寻址、内存管理(Buffer Cache、HugePages、ksmd、EPT) vmstat、free
I/O(磁盘) 缺页中断、IOPS(顺序IO、随机IO)、IO管理(IO调度算法、virtio)、VFS iostat、iotop
I/O(网络) TCP/IP(三次握手、四次挥手、状态转换、TCP队列)、IO模型、Bonding、Bridge、网络管理(iftop、tcpdump) iftop
内核/Shell 内核定制、内存参数优化、脚本编程(AWK、Sed、Shell、Python、PHP、Perl、Ruby、Lua) 系统监控
基础设施层 IAAS(基础设施即服务) 公有云、私有云(OpenStack/cloudstack+KVM/XEN、oVirt)、混合云 服务监控 配置管理
硬件管理 硬件选型、配件更换、资产录入、系统安装(Cobbler)、标签化、Raid构建、远程控制(KVM、iDrac、ILO、IMM) 巡检、IPMI IPMI、CMDB
IDC托管 需求分析、IDC选型、网络测试、谈价格、签合同、设备采购(原厂vs渠道)、机柜和机位规划
运维产品化 基于DevOps产品思路 项目管理(类似Jira)、Bug管理、代码托管(类似Gitlab)、持续交付(类似Jenkins的构建、测试、部署) 监控平台、看板 软件定义数据中心 DevOps产品
自动化运维产品思路 CMDB、ITSM管理系统(事件管理、问题管理、故障管理、工单系统)、作业平台、堡垒机、APM、私有云平台 监控平台 CI/CD系统 运维管理产品
运维服务化 OAAS OAAS:Operations as a Service,运维咨询、运维托管、技术培训、应急处理、产品即服务、DevOps专家服务
测试和开发相关 运维协助:性能测试(TCPCopy、日志转换)、单机监控(nmon)、环境规划(开发、测试、预生产、生产)、CI(持续集成)、自动化部署
运维管理体系 运维管理必会:ITSM、ITIL V3、IT Service CMM、Six Sigma、DevOps Master、项目管理(PMBok)、架构层面(知识体系、运维方案、容量规划、灾备规划、服务降级)
运维发展趋势(个人理解) 打杂(小公司啥都干)->分层(应用运维、系统运维、基础运维、运维开发等)->场景化(分业务)->自动化(最终大家的目标都是自动化)
运维自动化发展趋势(个人理解) 标准化(文档化、流程化)->工具化(流程固化为工具)->Web化(平台化)->服务化(API化)->智能化(自动化)->产品化(服务化,云服务、运维创业)
备注: 1.本表格只体现和运维相关的内容;2.表格没有严格意义上的层级关系;3.持续更新中,由于每个层次内容多,只例举比较出名(重要/开源)的关键词;
4.运维人员要给自己划好知识边界!(横向|纵向)5.转载请注明来自-运维社区https://www.unixhot.com/page/ops
 

图片转自赵班长!!

我要为运维说一句,我们不是网管,好不!!Are you know?的更多相关文章

  1. Linux运维就业技术指导(八):期中架构考核

    一,期中架构考核概述 1.1 架构图 1.2 架构图公司背景概述 公司是一个新兴的人脸识别高新创业公司,公司名称xxxx 老总是博士生导师,还有一个副总是研究生导师 副总同时是研发总监,负责所有的研发 ...

  2. IT运维大会精华回顾 等保2.0时代掌控万物互联

    10月24日,由<网络安全和信息化>杂志社.IT运维网联合主办的“2019(第十届)IT运维大会”在北京新世纪日航酒店成功举行. 随着大数据.云计算.物联网.互联网+等快速发展,IT系统架 ...

  3. IIS日志-网站运维的好帮手

    对于一个需要长期维护的网站来说,如何让网站长久稳定运行是件很有意义的事情. 有些在开发阶段没有暴露的问题很有可能就在运维阶段出现了,这也是很正常的. 还有些时候,我们希望不断地优化网站,让网站更快速的 ...

  4. CheungSSH国产自动化运维工具开源Web界面

    CheungSSH web2.0 发布文档 CheungSSH 简介 CheungSSH是一款国人自主研发的Linux运维自动化管理服务器软件,秉着为企业降低运营成本,解放管理员双手和自动化生产的理念 ...

  5. zookeeper 用法和日常运维

    本文以ZooKeeper3.4.3版本的官方指南为基础:http://zookeeper.apache.org/doc/r3.4.3/zookeeperAdmin.html,补充一些作者运维实践中的要 ...

  6. 运维工程师必会的109个Linux命令

    运维工程师必会的109个Linux命令 版本1.0 崔存新 更新于2009-12-26 目录 1 文件管理 6 1.1 basename 6 1.2 cat 6 1.3 cd 7 1.4 chgrp ...

  7. 《DevOps故障排除:Linux服务器运维最佳实践》读书笔记

    首先,这本书是Linux.CN赠送的,多谢啦~ http://linux.cn/thread-12733-1-1.html http://linux.cn/thread-12754-1-1.html ...

  8. 转载---linux运维相关

    前段时间,我在准备面试的时搜到的一套Linux运维工程师面试题,感觉比较全面,一直保存在草稿,刚在整理后台时翻了出来,干脆就发出来好了,以备不时之需. 1.linux如何挂在windows下的共享目录 ...

  9. 论反馈信息如何推动 IT 运维团队进步?

    我们还记得<快乐大本营>中经典游戏----快乐传真吗?游戏规则是:很多人站一排,只有第一个人才看到最准确的信息,用东西隔着,戴耳机,一一将从前一个人获得的信息传递下去,最后一个人说出推测的 ...

随机推荐

  1. jquery加载单文件vue组件

    /**注册组件 */ function registerComponent(name){ dm[name] = {}; Vue.component(name + '-component', funct ...

  2. 引入background和background-size不显示图片

    .bgLeft { position: absolute; left: -95px; background: url("../images/logo_1.png") left to ...

  3. 查看SqlServer某张表的物理空间占用情况

    以下语句可以查看表的物理空间使用情况 包括 [ROWS] 内容的行数.. [reserved] 保留的磁盘大小.. [data] 数据占用的磁盘大小.. [index_size] 索引占用的磁盘大小. ...

  4. (转)使用LVS实现负载均衡原理及安装配置详解

    使用LVS实现负载均衡原理及安装配置详解 原文:https://www.cnblogs.com/liwei0526vip/p/6370103.html

  5. 判断文本(text_to_be_present_in_element)

    判断文本 在做结果判断的时候,经常想判断某个元素中是否存在指定的文本,如登录后判断页面中是账号是否是该用户的用户名.在前面的登录案例中,写了一个简单的方法,但不是公用的,在 EC 模块有个方法是可以专 ...

  6. QQ游戏--捕鱼假日竞技港对抗岛自动刷贝壳辅助使用教程和下载地址

    首先解压缩到D盘根目录 再进入buyujiari文件夹双击 然后打开QQ游戏,进入竞技港-->对抗岛,到达开始准备的界面 再打开  辅助.exe 360对按键精灵的一个文件会提示病毒,可不用理会 ...

  7. OpenGL6-纹理动画

    代码下载 #include "CELLWinApp.hpp"#include <gl/GLU.h>#include <assert.h>#include & ...

  8. HTML5离线资源缓存简介

    cache manifest 示例 要使用离线资源缓存,开发者首先要提供一个 cache manifest 文件 它列出了所有需要在离线状态下使用的资源,浏览器会把这些资源缓存到本地 下面就是一个 c ...

  9. python获取命令行参数

    python获取命令行参数 主要是通过sys的argv列表来获取命令行内容,命令行的参数以空格分隔放到argv列表中. import sys if __name__ == "__main__ ...

  10. Mac新手问题

    [现象:]MAC下checkout代码时,报svn:E170013-unable to connect to a repository at url xxx, svn:E1700113: unable ...