简介 Beats轻量型数据采集器 Beats 平台集合了多种单一用途数据采集器.它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据. Beats系列 全品类采集器,搞定所有数据类型 Beats 可以直接将数据发送到 Elasticsearch 或通过 Logstash,在Kibana 中可视化之前,可以进一步处理和增强数据. 平时我们在查看日志时,使用 tail -f xxx.log 命令来实时查看日志,而当我们要面对成百上千.甚至成千上万的服务器…

Markdown版本笔记 我的GitHub首页 我的博客 我的微信 我的邮箱 MyAndroidBlogs baiqiantao baiqiantao bqt20094 baiqiantao@sina.com LeakCanary 内存泄漏 监测 性能优化 简介 原理 MD GitHub:https://github.com/square/leakcanary Demo地址:https://github.com/baiqiantao/LeakCanaryTest.git 目录 目录介绍简单使用更…

Filebeat简介   轻量级的日志传输工具,是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到elasticsearch或者logstarsh中存放.   filebeat 安装 #deb: curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.1.1-amd64.deb sudo…

Filebeat工作原理 Filebeat由两个主要组件组成:inputs和harvesters. 这些组件协同工作来查看最新文件内容并将事件数据发送到指定的输出.(注意与之前版本的不同,之前版本是prospectors和havesters) harvester Harvester(收割机)负责读取单个文件内容.每个文件会启动一个Harvester,每个Harvester会逐行读取各个文件,并将文件内容发送到指定输出.Harvester负责打开和关闭文件,这意味在Harvester运行的时候,文…

Markdown版本笔记 我的GitHub首页 我的博客 我的微信 我的邮箱 MyAndroidBlogs baiqiantao baiqiantao bqt20094 baiqiantao@sina.com RxJava RxPermissions 动态权限 简介 原理 案例 MD GitHub Demo地址 目录 目录基本使用步骤注意事项和优点API测试案例原理构造方法request 方法申请权限的方法申请结果回调方法 基本使用步骤 RxPermissions是基于 RxJava 开发的用于…

本文ubuntu 14.04安装 DevStack的脚本配置文件——localrc,本文件名已经逐渐被取代,但是出于后向兼容性,使用该文件仍然可以为stack.sh安装脚本指定安装DevStack时的配置信息. 以下是localrc文件的一些常用配置及解释 # Misc DATABASE_PASSWORD= ADMIN_PASSWORD= SERVICE_PASSWORD= SERVICE_TOKEN= RABBIT_PASSWORD= # Reclone each time #RECLONE=…

WebService的简介, 原理, 使用   第一部分: 直观概述 WebService的几种概念: 以HTTP协议为基础,通过XML进行客户端和服务器端通信的框架/组件 两个关键点: 1.       服务端提供的功能, 通过xml描述 2.       第一步中的描述的功能, 嵌入到HTTP协议中, 使得能通过HTTP协议进行通信[所谓的SOAP]. 用图可以如下表示: 图一: WebService的简要表示 采用这两个技术的目的主要是: 1.       跨平台, 支持HTTP协议的主机…

Python网络编程04 /recv工作原理.展示收发问题.粘包现象 目录 Python网络编程04 /recv工作原理.展示收发问题.粘包现象 1. recv工作原理 2. 展示收发问题示例 发多次收一次 发一次收多次 3. 粘包现象 粘包现象概述: 粘包第一种: 粘包第二种: 3. 解决粘包现象 4. low版解决粘包现象 server服务端 client客户端 5. 高级版解决粘包方式(自定制报头) 解决思路 server服务端 client客户端 总结: 1. recv工作原理 源码解释…

038 01 Android 零基础入门 01 Java基础语法 04 Java流程控制之选择结构 05 案例演示switch结构-星期的表示案例以及总结 本文知识点:案例演示switch结构并对switch结构进行总结 案例演示switch结构 程序代码: 下图中的代码没有格式缩进,如何解决? 在eclipse的代码编辑区,右击,source→format 代码就完成格式缩进了,看起来清爽很多 执行程序,会发现有问题: 发现输入4,包括周四之后的所有语句都输出了. 原因何在? 答案很简单,没有…

简介 ELK并不是一款软件,是一整套解决方案,是由ElasticSearch,Logstash和Kibana三个开源工具组成:通常是配合使用,而且先后归于Elastic.co公司名下,简称ELK协议栈. 日志的收集和处理 在日常运维工作中,对于系统和业务日志的处理尤为重要.日志主要包括系统日志,应用日志,应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息,检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误. 通常,…

简介 Varnish是高性能开源的反向代理服务器和HTTP缓存服务器,其功能与Squid服务器相似,都可以用来做HTTP缓存.可以安装 varnish 在任何web前端,同时配置它缓存内容.与传统的 squid 相比,varnish 具有性能更高.速度更快.管理更加方便等诸多优点.有一部分企业已经在生产环境中使用其作为旧版本的 squid的替代方案,以在相同的服务器成本下提供更好的缓存效果,Varnish 更是作为 CDN 缓存服务器的可选服务之一. Varnish 的作者Poul-Hennin…

nfs工作原理流程       如上图所示,当访问程序通过NFS客户端向NFS服务端存取文件时,其请求数据流程如下几点:     1.首先用户访问网站程序,由程序在NFS客户端上发出NFS文件存取功能的询问请求,这时NFS客户端(即执行程序的服务器)RPC服务(portmap 或rpcbind服务)就会通过网络向NFS服务端的RPC服务(即portmap或rpcbind服务)的111端口发出NFS文件存取功能的询问请求.     2.NFS服务端的RPC服务(即portmap或rpcbind服务…

简介 RxJava 是什么? RxJava 在 GitHub 主页上的自我介绍是 RxJava is a Java VM implementation of ReactiveX: a library for composing asynchronous and event-based programs by using observable sequences. RxJava是 ReactiveX 在JVM上的一个实现:一个使用可观测的序列(observable sequences)来组成(co…

keepalived是什么 keepalived是集群管理中保证集群高可用的一个服务软件,其功能类似于heartbeat,用来防止单点故障. keepalived工作原理 keepalived是以VRRP协议为实现基础的,VRRP全称Virtual Router Redundancy Protocol,即虚拟路由冗余协议. 虚拟路由冗余协议,可以认为是实现路由器高可用的协议,即将N台提供相同功能的路由器组成一个路由器组,这个组里面有一个master和多个backup,master上面有一个对外提…

Markdown版本笔记 我的GitHub首页 我的博客 我的微信 我的邮箱 MyAndroidBlogs baiqiantao baiqiantao bqt20094 baiqiantao@sina.com 目录 目录XposedXposed 是什么背景介绍Xposed 的原理官方简介最新版本支持到 8.1(27)第一个 xposed 项目模拟器系统环境配置实体机系统环境配置引用 API配置 meta-data需求分析编写 Xposed 代码为什么不能用 Class.forName 方法配置完…

菩提树下的杨过: ZooKeeper 笔记(1) 安装部署及hello world ZooKeeper 笔记(2) 监听数据变化 ZooKeeper 笔记(3) 实战应用之[统一配置管理] ZooKeeper 笔记(4) 实战应用之[消除单点故障] ZooKeeper 笔记(5) ACL(Access Control List)访问控制列表 ActiveMQ笔记(2):基于ZooKeeper的HA方案 ZooKeeper 笔记(6) 分布式锁 sunddenly: ZooKeeper学习第一期-…

MySQL-ProxySQL中间件简介 同类型产品 MySQL Route:是现在MySQL官方Oracle公司发布出来的一个中间件. Atlas:是由奇虎360公发的基于MySQL协议的数据库中间件产品,它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了若干Bug,并增加了很多功能特性.目前该产品在360内部得到了广泛应用. DBProxy:是由美团点评公司技术工程部DBA团队(北京)开发维护的一个基于MySQL协议的数据中间层.它在奇虎360公司开源的Atlas基…

RPC简介 本地过程调用 // 正常情况下程序的执行和调用情况.例如有如下go语言代码: package main import "fmt" func main() { var a,b int a = 1 b = 2 c := Add(a,b) fmt.Println("计算结果",c) } func Add(a int,b int) int{ return a+b } 在上述的Go语言代码中,我们定义了一个Add方法用于实现两个数相加的功能,在main方法中通过调…

NSQ简介 NSQ是Go语言编写的一个开源的实时分布式内存消息队列,其性能十分优异. NSQ 是实时的分布式消息处理平台,其设计的目的是用来大规模地处理每天数以十亿计级别的消息.它具有分布式和去中心化拓扑结构,该结构具有无单点故障.故障容错.高可用性以及能够保证消息的可靠传递的特征 适合小型项目使用,用来学习消息队列实现原理.学习 golang channel知识以及如何用 go 来写分布式,为什么说适合小型小型项目使用因为,nsq 如果没有能力进行二次开发的情况存在的问题还是很多的. NSQ优…

Lvs简介 基础概念 LVS(Linux Virtual Server)即Linux虚拟服务器,是由张文嵩博士主导的开源负载均衡项目,目前LVS已经被集成到Linux内核模块中(2.6及以上版本内核),LVS本质上是为了解决单台服务器性能处理瓶颈的问题,LVS在Linux内核中实现了基于IP的数据请求负载均衡调度方案,终端互联网用户从外部访问公司的外部负载均衡服务器,终端用户的Web请求会发送给LVS调度器,调度器根据自己预设的算法觉得将请求发送给后端的某台真实的Web服务器,同时如果真实服务器…

简介 vue是一个JavaMVVM库,是一套用于构建用户界面的渐进式框架,是初创项目的首选前端框架.它是以数据驱动和组件化的思想构建的,采用自底向上增量开发的设计.它是轻量级的,它有很多独立的功能或库,我们会根据我们的项目来选用vue的一些功能.它提供了更加简洁.更易于理解的API,使得我们能够快速地上手并使用Vue.js. 安装vue Vue环境安装 运行vue等技术开发的客户端项目,需要安装Node.js环境 Node下载 可以到nodejs的下载页面: http://nodejs.cn/d…

路由概念 路由的本质就是一种对应关系,比如说我们在url地址中输入我们要访问的url地址之后,浏览器要去请求这个url地址对应的资源. 那么url地址和真实的资源之间就有一种对应的关系,就是路由. 路由分为前端路由和后端路由 /* 1).后端路由是由服务器端进行实现,并完成资源的分发. 概念: 根据不同的URL请求,返回不同的内容 本质: URL请求地址与服务器资源之间的对应关系 2).前端路由是依靠hash值(锚链接)的变化进行实现 概念: 根据不同的事件显示不同的页面内容,即事件与事件处理函…

前两篇文章介绍了HDFS的原理和高可用,下面再来介绍Hadoop的另外一个模块MapReduce.它的思想是很多技术的鼻祖,值得一学. MapReduce是什么 MapReduce是一个分布式计算系统,它可以类比为SQL里的select ...group by... 它被分为两个阶段.第一个阶段叫Map,它每次处理一条原始数据的映射.转换,并将中间结果合并.排序,生成Reduce阶段的输入数据.第二个阶段叫Reduce,它拉取Map处理好的数据做排序,一次处理一组数据,生成最终结果. 从上面的定…

转自: http://han.guokai.blog.163.com/blog/static/136718271201211631456811/ http://www.barretlee.com/blog/2015/10/05/how-to-build-a-https-server/ http://www.cnblogs.com/P_Chou/archive/2010/12/27/https-ssl-certification.html 简述 HTTPS 的运作 如上图所示,简述如下: 客户端生…

struts2官方运行原理图: 1,客户发送请求(url地址就是请求),tomcat接到请求会找到相应的应用web.xml配置文件. 2,web.xml中filter拦截器把你的请求接收到,并进入FilterDispather. 3,然后就进入到上面图片的第一步,首先进入ActionContextCleanUp,它会延长action中属性的生命周期,包括自定义属性,以便在jsp页面中进行访问,让 actionContextcleanup过滤器来清除属性,不让action自己清除. 4,进入oth…

在这篇文章中,您可以了解Filebeat的关键构建模块以及它们如何一起工作.了解这些概念将有助于您针对特定用例对Filebeat进行配置做出明智的决定.Filebeat由两个主要组件组成: prospectors 和 harvesters. 这些组件一起工作来尾随文件并将事件数据发送到您指定的输出. 什么是harvesters harvesters负责读取单个文件的内容. harvesters逐行读取每个文件,并将内容发送到输出. 每个文件启动一台harvesters. harvesters负责…

原文地址:http://blog.51cto.com/seekerwolf/2110174 收集日志的目的是有效的利用日志,有效利用日志的前提是日志经过格式化符合我们的要求,这样才能真正的高效利用收集到elasticsearch平台的日志.默认的日志到达elasticsearch 是原始格式,乱的让人抓狂,这个时候你会发现Logstash filter的可爱之处,它很像一块橡皮泥,如果我们手巧的话就会塑造出来让自己舒舒服服的作品,but 如果你没搞好的话那就另说了,本文的宗旨就是带你一起飞,搞定…

Filebeat is a lightweight shipper for forwarding and centralizing log data. Installed as an agent on your servers, Filebeat monitors the log files or locations that you specify, collects log events, and forwards them to either to Elasticsearch or Log…

Mybatis基本原理 应用程序找Mybatis要数据 mybatis从数据库中找来数据 2.1 通过mybatis-config.xml 定位哪个数据库 2.2 通过Category.xml执行对应的select语句 2.3 基于Category.xml把返回的数据库记录封装在Category对象中 2.4 把多个Category对象装在一个Category集合中 返回一个Category集合 mybatis-config.xml,mybatis配置文件 <?xml version="1…

etcd简介 Etcd是CoreOS团队于2013年6月发起的开源项目,他的目标是构建一个高可用的分布式键值(key-value)数据库,etcd内部采用raft协议作为一致性算法,etcd基于Go语言实现. 特点 // 简单: 安装配置简单,而且提供了HTTP API进行交互,使用也很简单. // 安全: 支持SSL证书验证 // 快速: 根据官方提供的benchmark数据,单实例支持每秒2k+读操作 // 可靠: 采用raft算法,实现分布式系统数据的可用性和一致性. Etcd vs zk…