Spark和Storm Spark基于MapReduce算法实现的分布式计算,不同于MapReduce的是,作业中间结果可以保存在内存中,而不要再读写HDFS, Spark适用于数据挖掘和机器学习等需要迭代的MapReduce算法 Spark Streaming是建立在Spark上的实时计算框架,可以结合流式.批处理和交互式进行查询和实时计算, 基本原理是将Stream数据分成小的时间片段,以类似batch批量处理的方式来处理这些小部分数据 Spark Streaming相比于基于Record的

 概述 应用上线后,运维工作才刚开始,具体工作可能包括:升级版本上线工作.服务监控.应用状态统计.日常服务状态巡检.突发故障处理.服务日常变更调整.集群管理.服务性能评估优化.数据库管理优化.随着应用PV增减进行应用架构的伸缩.安全.运维开发工作. 今天重点介绍运维流程管理.运维发布变更.运维监控告警三个方面所需要的工具. 一.运维流程管理工具 1.发布变更流程管理工具 做为系统接口与其他角色的工作衔接.并提供审批环节控制发布变更的风险.流程管理工具并不负责具体的业务操作的执行,只是作为单据系统

运维监控-Open-Falcon介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Open-Falcon 介绍 监控系统是整个运维环节,乃至整个产品生命周期中最重要的一环,事前及时预警发现故障,事后提供翔实的数据用于追查定位问题.监控系统作为一个成熟的运维产品,业界有很多开源的实现可供选择.当公司刚刚起步,业务规模较小,运维团队也刚刚建立的初期,选择一款开源的监控系统,是一个省时省力,效率最高的方案.之后,随着业务规模的持续快速增长,监控的对象也越来越多,越来越复杂,监

要解决IT运维和DevOps团队面对的挑战,就是能够在大量的日志数据流中识别潜在的小的有害问题,这正是认知洞察力所做的事情. 接下来的几年里,DevOps(开发软件工程.技术运营和质量保障三者的交集)团队和IT运维部门将面临新的挑战,不过这样的说法听起来不免有些多余,因为他们本身最主要的责任就是要解决困难以及克服挑战. 随着进程.技术和工具的显著变化,应对这些问题已经变的越来越困难了.此外,企业用户一直在向DevOps和IT运维团队施加压力,要求所有的东西都能通过点击应用程序来得以解决.然而,在

前言 随着Devops.云计算.微服务.容器等理念的逐步落地和大力发展,机器越来越多,应用越来越多,服务越来越微,应用运行基础环境越来多样化,容器.虚拟机.物理机不一而足.面对动辄几百上千个虚拟机.容器,数十种要监控的对象,现有的监控系统还能否支撑的住?来自于容器.虚拟机.物理机.网络设备.中间件的指标数据如何采用同一套方案快速.完整的收集和分析告警?怎样的架构.技术方案才更适合如此庞大繁杂的监控需求呢? 上篇文章<建设DevOps统一运维监控平台,先从日志监控说起>主要从日志监控的方面进行了

摘要 OpenStack从2010年开源至今,已经走过9个年头,其正在进入主流企业市场,但该项目依然面临较难部署和管理的老问题.有一点是毫无疑问的,那就是OpenStack保持着高速增长的态势,超过585家企业,接近4万人通过各种方式支持着这个超过2000万行的开源项目的持续发展. ZStack项目初始于2015年,相对OpenStack要年轻很多,由于其具有易用.稳定.灵活.超高性能等特点,迅速成为市场的新宠儿,其功能在不断的完善,其性能在不断的加强.发展以及成熟的速度远快于OpenStack

优化系统资源ulimit<高性能Linux服务器构建实战:运维监控.性能调优与集群应用> 假设有这样一种情况,一台Linux 主机上同时登录了10个用户,在没有限制系统资源的情况下,这10个用户同时打开了500个文档,而每个文档的大小为10MB,这时系统的内存资源就会受到巨大的挑战.如果没有内存方面的限制,势必造成系统资源利用的混乱.而实际的应用环境要比这种假设复杂得多.这时,ulimit就派上用场了.ulimit是一种简单并且有效的实现资源限制的方式. ulimit可以限制系统的各个方面,它

优化Linux内核参数/etc/sysctl.conf  sysctl  <高性能Linux服务器构建实战:运维监控.性能调优与集群应用> http://book.51cto.com/art/201202/314880.htm 2.6 Varnish优化 Varnish是否能稳定.快速地运行,与Linux本身的优化及Varnish自身参数的设置有很大关系.在安装配置完Varnish后,还必须从操作系统和Varnish配置参数两个方面对Varnish服务器进行性能优化,从而最大限度地发挥Varn

CentOS下搭建Nagios 王尚 2014.11.09 操作系统:CentOS-6.5-i386-bin-DVD1.iso 安装在VM中进行测试的. 本章需要的软件链接: php-5.3.2.tar.gz http://www.163disk.com/fileview_2161669.html nagios-plugins-1.4.14.tar.gz http://www.163disk.com/fileview_2161667.html nagios-cn-3.2.3.tar.bz2 ht

运维监控-Zabbix Server 使用微信 WeChat 告警 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 微信公众号告警每个一天只支持1000次告警,如果超出这个次数了就不会告警了,这一点大家要注意一下.我们在使用微信告警时,需要zabbix调用脚本去执行.如果大家觉得微信好景不好使的话,也可以使用短信告警,几年前很多企业都在用短信猫,用短信猫的话得安装别人的提供的驱动. 其实现在短信告警可以直接调用云平台自带的短信接口,人家会告诉你如何去使用,也有专门做短信告警的,

运维监控-Zabbix Server 使用QQ SMTP发送邮件报警及定制报警内容 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客采用腾讯邮箱,想必大家都对QQ很了解,所以我就直接用QQ邮箱来发送数据.我之前测试过163邮箱也是好使的,当然你用你公司自己的邮箱配置也是可以的,操作方法都大同小异. 一.获取邮箱的授权码 1>.登录QQ邮箱,查看账户设置,如下图所示 2>.查看设置收发邮件的方式 连接地址:https://service.mail.qq.com/cgi-

运维监控-使用Zabbix Server 创建 Actions 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. zabbix的action默认是关闭的,因此我们想使用它就得先启用哟. 一.配置Actions 1>.启动action 2>.启动action完成 3>.点击Operations 4>.如下图,点击update,保存action的配置信息 5>.Action 保存成功 二.定制报警内容 1>.自定义故障时的告警内容 2>.自定义恢复告警

运维监控-使用Zabbix Server 创建触发器Triggers  作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.点击相应主机的触发器 2>.点击创建触发器 3>.填入相关参数后添加触发器 4>.添加完成  

运维监控-使用Zabbix Server 监控自定义 item  作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客就直接开门见山如何使用Zabbix Server 监控自定义item,其实这个案例我之前在用zabbix3.0时分享过.在zabbix 4.0版本上用法几乎一样.关于 Zabbix Server 和 Zabbix Agent 端的部署我这里就不废话. 一.在Zabbix Agent端编写自定义监控项 1>.查看默认的zabbix agent的item模板 [

运维监控-基于yum的方式部署 Zabbix Agent 4.0 版本 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 上一篇博客我们分享了如何基于yum的方式部署zabbix 4.0.0版本.接下来,我们就监控其他主机的item项吧. 一.在需要监控的主机上部署zabbix-agent服务  1>.安装zabbix-agent [root@node102 ~]# rpm -Uvh https://repo.zabbix.com/zabbix/4.0/rhel/7/x86_64

运维监控-基于yum的方式部署Zabbix Server 4.0 版本 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.如何选择zabbix版本 1>.打开zabbix官方网址(https://www.zabbix.com/) 2>.查看zabbix版本的生命周期(https://www.zabbix.com/life_cycle_and_release_policy) 如下图所示,如果还在使用zabbix2.2版本的小伙伴应该尽量往zabbix3.0 LTS或者zabb

运维监控-Open-Falcon安装Agent实战篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本文参考链接来自:http://book.open-falcon.org/zh/install_from_src/agent.html. 一.介绍 agent用于采集机器负载监控指标,比如cpu.idle.load.1min.disk.io.util等等,每隔60秒push给Transfer.agent与Transfer建立了长连接,数据发送速度比较快,agent提供了一个ht

基础LNMP环境搭建 Linux 下LNMP环境搭建 下载Zabbix 链接:https://pan.baidu.com/s/1n36esVyYAKstwnFopbV2sg 密码:izll 创建zabbix数据库信息 mysql -uroot -prootcreate database zabbix; grant all privileges on zabbix.* to zabbix@'localhost' identified by 'zabbix'; grant all privilege

一:sentinel运维监控 Sentinel不断与master通信,获取master的slave信息. 监听master与slave的状态 如果某slave失效,直接通知master去除该slave. 如果master失效,,是按照slave优先级(可配置), 选取1个slave做 new master ,把其他slave--> new master 疑问: sentinel与master通信,如果某次因为master IO操作频繁,导致超时, 此时,认为master失效,很武断. 解决: s

使用目的? 在公司项目中需要做一个日志监控,最开始选择的是efk,但是efk的资料相对较少并且之前对这几个产品都没接触过,使用起来难度.于是选择了zabbix作为项目的运维监控系统. zabbix能做什么? zabbix主要是用来网络监控.系统监控.应用监控等场景.zabbix分为server端和agent端,文章前半部分都是在讲server端的安装操作,后面结尾讲解agent的安装操作. 搭建环境 centos7.0,lnmp集成环境(mysql5.7,php7.2),zabbix4.0版本.

Prometheus 运维监控 1.Prometheus 介绍详解 2.Prometheus 安装部署 3.Prometheus 配置文件详解 4.Prometheus PromSQL 常用资源 5.Prometheus 配置采集目标 6.Prometheus 重新标签 7.Prometheus 标签使用示例整合 8.Prometheus 基于文件的服务发现 9.Prometheus 监控linux服务器 10.Prometheus PromSQL 获取系统服务运行状态 11.Prometheu