日志服务化&可视化&统计化

概述：

ELK是Elasticsearch(简称es)、Logstash、Kibana的简称，这三者是核心套件，但并非全部。

Filebeat 日志采集工具  Logstash数据处理引擎   elasticsearch数据的存储，并作权威的检索  kibana从 elasticsearch数据库读取并展示

结构图：

   备注：

也可通过python把日志传到Elasticsearch，Kibana再展示数据

我目前就是python+Elasticsearch+Kibana

语法案例：

      Elasticsearch-head 语法：

################################################API查询篇#######################################################################
1.bool 查询
bool 查询可以把任意多个简单的查询组合在一起，使用 must、should、must_not、filter 选项来表示简单查询之间的逻辑。
(1) must: 文档必须匹配must选项下的从查询条件，相当于逻辑运算的 AND。
(2) should: 文档可以匹配也可以不匹配should选项下的查询条件，相当于逻辑运算的 OR。
(3) must_not: 与must相反。
(4) filter: 与must一样，只不过filter不参与评分，只起到过滤功能。

#post/GET-查询chen索引下， title等于小明123（http://192.168.20.187:9200/chen/_search）
#post/GET-查询所有索引下，title等于小明123（http://192.168.20.187:9200/_search）
{
     "query": {
          "bool": {
               "must": [
                    {
                         "term": {
                              "title.keyword": "小明123"
                         }
                    }
               ],
               "must_not": [],
               "should": []
          }
     },
     "from": 0,
     "size": 10,
     "sort": [],
     "aggs": {}
}

2.constant_score查询
constant_score 查询可以包装一个其他类型的查询
#POST/GET-查询chen索引下， title等于小明（http://192.168.20.187:9200/chen/_search）
{
     "query": {
          "constant_score": {
               "filter": {
                    "term": {"title.keyword": "美国留给伊拉克的是个烂摊子吗33366666666666"}
               },
               "boost": 1.2
          }
     }
}

3.wildcard-模糊匹配-字符串
#GET/POST-查询chen索引下， title包含 小明（http://192.168.20.187:9200/chen/_search）
{
     "query": {
          "bool": {
               "must": [
                    {
                         "wildcard": {
                              "title.keyword": "*小明*"
                         }
                    }
               ],
               "must_not": [],
               "should": []
          }
     }
}

4.prefix-匹配开头-字符串
#POST/GET-查询chen索引下， title以'小明123'开头的内容（http://192.168.20.187:9200/chen/_search）
{
    "query": {
        "prefix" : { "title.keyword" : "小明123" }
    }
}

5.regexp-正则匹配
#POST/GET-查询chen索引下， title包含数字记录（http://192.168.20.187:9200/chen/_search）
{
  "query": {
    "regexp": {
      "title": "[0-9]{2,10}"
    }
  }
}

6.匹配汉字、数字
{
  "query": {
    "regexp": {
      "title": "[0-9\u4e00-\u9fa5]+"
    }
  }
}

7.获取age包含小明，title不包含666的记录
{
     "query": {
          "bool": {
               "must": [
                    {
                         "term": {
                              "age.keyword": "小明"
                         }
                    }
               ],
               "must_not": [{
                         "term": {
                              "title.keyword": "666"
                         }
                    }],
               "should": []
          }
     }

}

8.should-满足title或age任意一个即可
{
  "query": {
    "bool": {
      "should": [
        {"term": {"title.keyword": "美国留给伊拉克的是个烂摊子吗333"}},
        {"term": {"age.keyword": "66666666666666666666"}}
      ]
    }
  }
}

9.must-同时满足title和age才查询
{
  "query": {
    "bool": {
      "must": [
        {"term": {"title.keyword": "999955522222"}},
        {"term": {"age.keyword": "66666666666666666666"}}

      ]
    }
  }
}

10.查询索引下所有数据
方法一：
GET或者POST  索引名/类型/_search
{
  "query": {
    "match_all": {}
  }
}

方法二(无需参数)：
GET 索引名/类型/_search

#######################################################API新增篇(类型默认为_doc)###########################################################################
###指定id插入数据
###PUT-http://192.168.20.187:9200/索引名/类型/自定义id
{
    "name":"瓦力",
    "country":"China",
    "age":300,
    "date":"1987-3-7"
}

###输入自动生成id
###post-http://192.168.20.187:9200/索引名/类型/
{
    "name":"瓦力",
    "country":"China",
    "age":300,
    "date":"1987-3-7"
}

####################################################################API更新数据#############################################################
#########更新数据
###post-http://192.168.20.187:9200索引名/类型/_update
{
    "name": "瓦力2333333333333333333"
}

##也可以这样写(detect_noop默认为true)
{
    "doc" : {
        "name" : "new_name"
    },
    "detect_noop": false
}
'''
默认情况下只有原来的source和新的source存在不同的字段情况下才会重建索引，如果一模一样是不会触发重建索引的，如果将detect_noop=false不管内容有没有变化都会重建索引，这一点可以通过version的值的变化来发现更新的文档，必须提前存在.
'''

######有就覆盖、没有则新增
###post-http://192.168.20.187:9200索引名/类型/_update
##方式一：
{
    "doc": {
        "address": "北京朝阳2"
    },
    "doc_as_upsert": true
}

##方式二：
{
    "address": "北京朝阳23"
}

###############################################################################API删除篇######################################################################################
######################################################post-http://192.168.20.187:9200/索引名/类型/_delete_by_query
###通过id删除
{
  "query":{
    "term":{
      "_id":"10"
    }
  }
}
###普通条件删除，age=300的数据
{
  "query":{
    "term":{
      "age":"300"
    }
  }
}

###删除所有数据：（注意请求方式是Post，只删除数据，不删除表结构）
###post-http://192.168.20.187:9200/索引名/类型/_delete_by_query?pretty
{
    "query": {
        "match_all": {
        }
    }
}

########__________________________________结构操作-API篇______________________________________________________

####删除索引库(使用Delete方法)
#Delete-http://192.168.20.187:9200/索引名

##新增索引库
#PUT-http://192.168.20.187:9200/索引名

##查看索引结构
GET /dalan_index/_mapping?pretty

##创建带有类型、映射的索引(Index)
#PUT-http://192.168.20.187:9200/索引名?pretty
#入参json：
{
    "settings": {
        "number_of_shards": 3,
        "number_of_replicas": 2
    },
    "mapping": {
        "_doc": {
            "properties": {
                "commodity_id": {
                    "type": "long"
                },
                "commodity_name": {
                    "type": "text"
                },
                "picture_url": {
                    "type": "keyword"
                },
                "price": {
                    "type": "double"
                }
            }
        }
    }
}

备注：可直接使用postman等工具查询，例如：

python3对接elasticsearch(es)

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from elasticsearch import Elasticsearch
import datetime
import json

######____________________________连接es创建索引库______________________________________________________________
###连接es
es = Elasticsearch(host="192.168.20.187", port=9200)
#创建dalan_test索引库(相当于创建一个表)
result = es.indices.create(index='dalan_test', ignore=400)
print(result)
### ignore标记成400  的意思是我们忽略状态码为400的错误
### acknowledged字段显示True  表示索引创建成功

###___________________________#插入数据(需要先有索引库)____________________________________________________________
data = {"name": "小美", "age": "18", "gender": "女"}

#####方式一：index
# ####插入数据,不传id默认自动生成
# res = es.index(index='chen', doc_type='_doc', body=data)
# print(res)

#####方式二：create
#####create方式插入需要指定id且不能重复
# result = es.create(index='dalan_test', doc_type='_doc',id=10, body=data)
# print(result)

##########################批量插入数据
####连接es
# es_client = Elasticsearch(["192.168.20.187:9200"], timeout=20)
# #创建索引
# es_client.indices.create(index='test_test_test', ignore=400)
# #需要插入的数据
# body1 = {"func_info":"删除日志", "error_info":"333", "write_date":datetime.datetime.now()}
# body2 = {"func_info":"删除日志", "error_info":"id为空22233", "write_date":datetime.datetime.now()}
# #组装数据
# #两条数据({'index': {'_index': 'log_index', '_type': 'log_index'}}...................描述）
# result = [{'index': {'_index': 'test_test_test', '_type': 'log_index'}}, body1,{'index': {'_index': 'test_test_test', '_type': 'log_index'}}, body2]
# #提交数据
# es_result = es_client.bulk(index="test_test_test",doc_type="log_index", body= result)
# es_client.indices.flush()

###_________________________________________________查询所有数据________________________________________________________________
###方式一：
# data = es.search(index='chen')
# print(data)
#
# ###方式二：推荐
# body = {
#         'query':{
#         'match_all':{}
#          }
#     }
# data = es.search(index='chen', body=body)
# print(json.dumps(data))

################################## term: 根据某个字段的值进行查询数据
##es 官方文档： term 和 terms 是 包含（contains） 操作，而非 等值（equals） （判断）
# body2 =  {
#          "query":{
#            "term":{
#               "age": "66666666666666666666"}
#                   }
#                 }
# data_list = es.search(index='chen', body=body2)
# print(data_list)

###terms: 根据某个字段的多个值进行查询数据
# body3 =  {
#          "query":{
#            "terms":{
#               "title": ["6662222222222222222222222","美国留给伊拉克的是个烂摊子吗"]}
#                   }
#                 }
# age_list = es.search(index='chen', body=body3)
# print(age_list)

###查询tilte字段以xxx结尾的数据
# body = {
#     "query":
#         {
#         "wildcard":
#             {
#             "title.keyword": "*吗333"
#         }
#     }
# }
# # 查询name字段以红结尾的数据
# aa=es.search(index="chen",body=body)
# print(aa)

###__________________________________________________删除数据________________________________________________
###指定id删除
# result = es.delete(index='chen', doc_type='politics', id=3)
# print(result)

###根据id删除
# name = {"query":{"match":{"_id":"2"}}}
# result = es.delete_by_query(index="索引名", body=name, doc_type="_doc")
# print(result)

###删除索引
# res = es.indices.delete('索引名')
# print(res)

###删除索引的所有数据(清空索引-保留结构)
# delete_name = {"query":{"match_all":{}}}
# result = es.delete_by_query(index="test_test_test", body=delete_name, doc_type="log_index")
# print(result)

####______________________________________________更新数据__________________________________________________________
updateBody = {
            'doc': {
                "title":"我这是2021-10-29后面修改的数据"
            }
        }
res = es.update(index='chen', doc_type='politics', id='yMS4y3wBK5zUkjFjYOFQ', body=updateBody)
print(res)

es自动添加时间戳：

需求：根据时间提取es数据
解决：为es的记录添加时间戳

es5.0后采用的是pipeline的方式来自动添加时间戳：

1.配置时间戳pipeline

PUT _ingest/pipeline/my_timestamp_pipeline
{
  "description": "Adds a field to a document with the time of ingestion",
  "processors": [
    {
      "set": {
        "field": "ingest_timestamp",
        "value": "{{_ingest.timestamp}}"
      }
    }
  ]
}

2.创建索引时使用时间戳pipeline

PUT my_index
{
  "settings": {
    "default_pipeline": "my_timestamp_pipeline"
  }
}

3.创建数据验证：

备注:可以不指定id，由系统自动生成,也可以使用post方法

POST-http://192.168.20.187:9200/dalan_api/_doc

PUT my_index/_doc/1
{
  "content": "it is cool!"
}

相关连接：

https://www.cnblogs.com/struggle-1216/p/12502928.html .....................................ELK+logstash结合filebeat将日志存储到redis，再由logstash转存到elasticsearch

https://blog.csdn.net/shawroad88/article/details/107337086..................................ElasticSearch, Kibana整套安装以及和python的对接，并给出部分操作案例

https://blog.csdn.net/qq_42490050/article/details/106341580 .......................聊聊redis和Elasticsearch

https://www.cnblogs.com/chong-zuo3322/p/13699008.html ...........................Elasticsearch数据类型介绍(_doc 只是一个默认类型)

https://blog.csdn.net/TreeCode/article/details/114678821 ....................ES添加自动添加时间戳(配置后查询数据自带时间，，在kibana可以自动筛选日期时间)

https://www.tizi365.com/archives/796.html...................................使用kibana查询es数据

https://www.cnblogs.com/jianxuanbing/p/9410800.html .......................Docker 简单部署 ElasticSearch（部署1），，https://blog.csdn.net/shykevin/article/details/108272260 ..........docker安装kibana（部署2）(如果没有权限可以在创建容器时加 --privileged=true )

https://www.cnblogs.com/cheyunhua/p/11238489.html ......................................................................................................................快速搭建ELK日志分析系统

https://blog.csdn.net/tanqian351/article/details/83827583 ................................................................................................................搭建ELK-全过程

https://blog.csdn.net/xxy_yang/article/details/96995547 ...................................................................................................................python对接elasticsearch的用法

https://www.cnblogs.com/xiohao/p/12970224.html.............................................................................................................................ES基本查询语句API

https://www.jianshu.com/p/c9f73f72c4ac.......................................................................................................................................索引字段删除(索引不支持某个字段删除，需要备份后重新创建新索引，在新索引加上原来索引字段即可)

教程相关：

https://www.cnblogs.com/chenqionghe/p/12503181.html .........................Kibana使用教程

https://www.tizi365.com/archives/845.html ...............................................kibana开发工具及汇总

https://blog.csdn.net/qq_41594146/article/details/88233663 .........kibana数据图形统计

https://www.cnblogs.com/xuwenjin/p/8792919.html .................................elasticsearch-head的使用(elasticsearch-head是一个可视化页面可查看elasticsearch数据等相关信息)

https://blog.csdn.net/weixin_42830314/article/details/108316045............Elasticsearch-head 数据浏览无显示解决办法

https://www.cnblogs.com/yjf512/p/4897294.html，.Elasticsearch查询语句，，https://blog.csdn.net/qq_21383435/article/details/108808041 ................Elasticsearch匹配查询

https://www.cnblogs.com/liubaihui/p/11725832.html ...............................软件版本对照表

备注：1.使用elasticsearch+Kibana可以完成日志收集web展示等；

2.使用ELK+Filebeat也可以完成日志收集web展示等；

两种不同的是：1只能等客户端主动上报(对server来说是被动)，2是Filebeat主动获取日志文件(对server来说可以被动也可主动)