项目由来

  (1)开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力
  (2)日志数据分散在多个系统,难以查找与整合
  (3)日志数据量巨大,查询速度太慢,无法满足需求
  (4)无法全局掌控项目运行状况
  (5)日志数据查询不够实时
  (6)数据分析人员不会写代码,无法分析统计数据
  (7).........

框架里包含的组件

  Logstash+Elasticsearch+Kibana(ELK
  Logstash:监控,过滤,收集日志。
  Elasticsearch:存储日志,提供搜索功能。
  kibana:提供web界面,支持查询,统计,和图表展现。
  filebeat:轻量级的日志收集工具。
  很多公司都采用该架构构建分布式日志系统,包括新浪微博,freewheel,畅捷通等

  注意:在应用端收集日志时,建议用filebeat。

效果图

架构设计

  (1)使用filebeat
    架构设计1:filebeat(1.3)-->logstash(parse)-->es集群-->kibana--ngix
        缺点:如果logstash出问题会导致filebeat收集的数据丢失
    架构设计2:filebeat(1.3)-->logstash(parse)[loadbalance]-->es集群-->kibana--ngix
      filebeat和>logstash耦合性太高
    架构设计3filebeat(1.3)(3台)-->redis-->logstash(parse)-->es集群-->kibana--ngix(可选)  (我这里,目前为了学习,走这条线路)
      里面redis是一个单线程的实例,redis单线程每秒处理能力一般是10W次左右。
    架构设计4:filebeat(5.0)-->redis/kafka-->logstash(parse)-->es-->kibana--ngix
      filebeat(1.3)不支持输出到kafka,5.x版本中支持输出到kafka
  (2)不使用filebeat
      logstash-->kafka-->logstash(parse)-->es-->kibana--ngix
        里面kafka支持水平扩展,可以使用多分区,支持多线程并行执行。
        在应用端收集日志的话,logstash比较重量级,性能消耗比filebeat大
  (3)Filebeat用于日志收集和传输,相比Logstash更加轻量级和易部署,对系统资源开销更小。

后续贴图。

ELK实时日志分析平台环境部署--完整记录

ELK之日志查询、收集与分析系统的更多相关文章

  1. 用Kibana和logstash快速搭建实时日志查询、收集与分析系统

    Logstash是一个完全开源的工具,他可以对你的日志进行收集.分析,并将其存储供以后使用(如,搜索),您可以使用它.说到搜索,logstash带有一个web界面,搜索和展示所有日志. kibana ...

  2. Docker搭建ELK的javaweb应用日志收集存储分析系统

    1.启动elasticsearch docker run -d --name myes -p 9200:9200 elasticsearch:2.3 2.启动kibana docker run --n ...

  3. springboot整合logback集成elk实现日志的汇总、分析、统计和检索功能

    在Spring Boot当中,默认使用logback进行log操作.logback支持将日志数据通过提供IP地址.端口号,以Socket的方式远程发送.在Spring Boot中,通常使用logbac ...

  4. ELK日志分析系统的应用

    收集和分析日志是应用开发中至关重要的一环,互联网大规模.分布式的特性决定了日志的源头越来越分散, 产生的速度越来越快,传统的手段和工具显得日益力不从心.在规模化场景下,grep.awk 无法快速发挥作 ...

  5. centos7搭建ELK开源实时日志分析系统

    Elasticsearch 是个开源分布式搜索引擎它的特点有分布式零配置自动发现索引自动分片索引副本机制 restful 风格接口多数据源自动搜索负载等. Logstash 是一个完全开源的工具他可以 ...

  6. ELK日志分析系统简单部署

    1.传统日志分析系统: 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安 ...

  7. ELK日志分析系统(转)

    原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://467754239.blog.51cto.com/4878013/1700828 ...

  8. 【转】ELK 日志分析系统

    大纲: 一.简介 二.Logstash 三.Redis 四.Elasticsearch 五.Kinaba 一.简介 1.核心组成 ELK由Elasticsearch.Logstash和Kibana三部 ...

  9. 《ElasticSearch6.x实战教程》之实战ELK日志分析系统、多数据源同步

    第十章-实战:ELK日志分析系统 ElasticSearch.Logstash.Kibana简称ELK系统,主要用于日志的收集与分析. 一个完整的大型分布式系统,会有很多与业务不相关的系统,其中日志系 ...

随机推荐

  1. glEnable(GL_DEPTH_TEST)作用

    glEnable(GL_DEPTH_TEST): 用来开启更新深度缓冲区的功能,也就是,如果通过比较后深度值发生变化了,会进行更新深度缓冲区的操作.启动它,OpenGL就可以跟踪再Z轴上的像素,这样, ...

  2. 第6章8节《MonkeyRunner源代码剖析》Monkey原理分析-事件源-事件源概览-小结

    本章我们重点环绕处理网络过来的命令的MonkeySourceNetwork这个事件源来阐述学习Monkey是怎样处理MonkeyRunner过来的命令的.以下总结下MonkeyRunner从启动Mon ...

  3. IOS开发之蘑菇街框架

    近期公司的项目全然仿了蘑菇街client的框架,自己从网上找了一下,没有发现源代码.问遍各大QQ群也没有结果.上周五晚上一直在思考这个框架怎样搭建,周六早上有了灵感.写了一半.今天接着完好了一下. 在 ...

  4. [B cannot be cast to java.lang.String

    sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) sun.reflect.NativeMethodAccessorImpl.inv ...

  5. oc数据类型分类

    OC数据类型能够分为 基本类型.构造类型.指针类型.空类型 基本类型可分为 整型.字符型.枚举型.浮点型(float类型.double类型) 构造类型可分为 数组类型.结构体类型.公用体类型 指针类型 ...

  6. Android 数据库框架总结,总有一个适合你!

    一:OrmLite 简述: 优点: 1.轻量级:2.使用简单,易上手:3.封装完善:4.文档全面.缺点:1.基于反射,效率较低(本人还没有觉得效率低):2.缺少中文翻译文档 jar包 地址:http: ...

  7. [Chromium文档转载,第002章]Mojo C++ Bindings API

    Mojo C++ Bindings API This document is a subset of the Mojo documentation. Contents Overview Getting ...

  8. angularjs 页面缓存及动态刷新解决方案

    一.准备工作 框架:angularjs ui组件库:ionic1 二.页面缓存cache 路由设置cache参数,true为缓存,false为不缓存,代码如下: angular.module('app ...

  9. W3C高级算法挑战之python实现

    最近在学python,网上很难找到对应的算法题网站,专业算法网站大部分都是国外的,之前在w3cschool看到有三个级别的Javascript脚本算法挑战,尝试用python实现,代码量相对比较少,如 ...

  10. MD5解密(常用语登录密码加密)

    http://pmd5.com/