elk 索引

ELK 索引生命周期管理

kibana 索引配置管理索引点击设置 --- Elasticsearch 的 Index management 可以查看 elk 生成的所有索引 (设置,Elasticsearch ,管理) 配置 kibana 的索引匹配设置,Kibana,索引模式配置索引生命周期点击设置 --- Elasticsearch 的 Index Lifecycle Policies 可以配置策略管理索引生命周期配置索引策略文档地址:https://www.elastic.co/guide/en/ela…

zjtest7-redis:/usr/local/logstash-2.3.4/config# cat logstash_agent.conf input { file { type => "nginx_access" path => ["/usr/local/nginx/logs/test.access.log"] } } output { redis { host => "localhost" data_type =>…

python 脚本定时删除 elk索引

脚本如下一.python 脚本如下 #! /usr/bin/python # -*- coding=utf-8 -*- import urllib import urllib.request import re import datetime import time import codecs from urllib.request import urlopen import requests def match(urlGet): urlGet1 = urllib.request.urlope…

elk每日清除30天索引脚本

日常elk产生日志太多,故写个脚本放在定时任务,定时清理脚本查询索引: curl -XGET 'http://127.0.0.1:9200/_cat/indices/?v' 删除索引: curl -XDELETE 'http://127.0.0.1:9200/索引名字' 定时删除30天前的索引 #!/bin/bash #定时清除elk索引,30天 DATE=`date -d "30 days ago" +%Y.%m.%d` #INDEX=`curl -XGET 'http:/…

ELK批量删除索引及相关操作命令 - 运维小结

线上部署了ELK+Redis日志分析平台环境, 随着各类日志数据源源不断的收集, 发现过了一段时间之后, ELK查看会原来越慢, 重启elasticsearch服务器节点之前同步时间也会很长, 这是因为长期以来ELK收集的索引没有删除引起的! 以下是ELK批量删除索引的操作记录: 1) 访问head插件(http://10.0.8.44:9200/_plugin/head/) 或者在elasticsearch节点上使用下面命令查看elk的索引(10.0.8.44是elk集群中的任意一个节点)…

ELK日志保留7天-索引生命周期策略

一.简介 ELK日志我们一般都是按天存储,例如索引名为"kafkalog-2022-04-05",因为日志量所占的存储是非常大的,我们不能一直保存,而是要定期清理旧的,这里就以保留7天日志为例. 自动清理7天以前的日志可以用定时任务的方式,这样就需要加入多一个定时任务,可能不同服务记录的索引名又不一样,这样用定时任务配还是没那么方便. ES给我们提供了一个索引的生命周期策略(lifecycle),就可以对索引指定删除时间,能很好解决这个问题. 索引生命周期分为四个阶段:HOT(热)=&…

Heka–>Elasticsearch 索引数据过程的优化

Heka 的参数配置跟Elasticsearch的参数没有关系,Heka只负责按照配置发送数据,所以索引的优化主要在 Elaticsearch端来完成. 下面是Elasticsearch的一些相关概念和知识点: 一些概念在Elasticsearch中,文档归属于一种类型(type),而这些类型存在于索引(index)中,我们可以画一些简单的对比图来类比传统关系型数据库: Relational DB -> Databases -> Tables -> Rows -> Columns…

linux 下搭建ELK(rpm包版)

一.安装环境查看注意:新的安装包要在centos 7.x的版本上安装二.软件版本选用注意:这边根据实际情况 jdk 1.8.0_171 #jdk安装这边就不说了 elasticsearch-7.4.2-x86_64.rpm kibana-7.4.2-x86_64.rpm logstash-7.4.2-x86_64.rpm filebeat-7.4.2-x86_64.rpm 安装包下载: wget https://artifacts.elastic.co/downloads/elastics…

ELK的踩坑之旅

前言设计思路如下有3台机器 2台做elasticsearch的主副节点 1台做kibana和elasticsearch_head 由于机器匮乏我还在这台机器上部署了logstash和nginx服务先说目的:将nginx的日志通过logstash收集后发送到ela,然后kibana进行展示环境如下 elasticsearch master 10.5.2.175:9200 elasticsearch salve 10.5.2.176:9200 logstash 172.17.211.153…

linux运维工程师面试题收集

面试必考 mysql5和mysql6 有什么区别 mysql-server-5.5:默认引擎改为Innodb,提高了性能和扩展性,提高实用性(中继日志自动恢复) mysql-server-5.6:InnoDB性能加强,InnoDB死锁信息可以记录到 error 日志,方便分析,MySQL5.6支持延时复制,可以让slave跟master之间控制一个时间间隔,方便特殊情况下的数据恢复. nginx用于md5加密的模块是什么 nginx_file_md5 lvs调优参数 CONFIG_IP_VS_T…

定期删除30天以前的elasticsearch的日志

脚本/scripts/delete-elk.log #!/bin/bash DATE=`date -d "1 days ago" +%Y.%m.%d` ip=`ifconfig ens33 | grep "\binet\b"|awk '{print $2}'` curl -s -XGET "http://$ip:9200/_cat/indices?v"| grep $DATE | awk -F '[ ]+' '{print $3}' >/t…

(转)开源分布式搜索平台ELK(Elasticsearch+Logstash+Kibana)入门学习资源索引

Github, Soundcloud, FogCreek, Stackoverflow, Foursquare,等公司通过elasticsearch提供搜索或大规模日志分析可视化等服务.博主近4个月搜索数以百计的内容,甄选了以下有用的中英文slides以及blogs或相关的学习网站分享出来, 内容包括分布式索引与搜索服务Elasticsearch, logstash,数据可视化服务Kibana的学习资源,可以极大减少入门ELK的时间成本: 1.ELK整体介绍(Elasticsearch + Lo…

在 ELK Docker 容器中查看，删除索引

使用 Docker 搭建好 ELK ( https://www.cnblogs.com/klvchen/p/9268510.html ) 环境后,如需查看 elasticsearch 的索引可采取以下方式: docker run --rm --network logs_elk appropriate/curl -sXGET http://elasticsearch:9200/_cat/indices?v 如果需要删除可以使用: docker run --rm --network logs_elk…

开源分布式搜索平台ELK(Elasticsearch+Logstash+Kibana)入门学习资源索引

from: http://www.w3c.com.cn/%E5%BC%80%E6%BA%90%E5%88%86%E5%B8%83%E5%BC%8F%E6%90%9C%E7%B4%A2%E5%B9%B3%E5%8F%B0elkelasticsearchlogstashkibana%E5%85%A5%E9%97%A8%E5%AD%A6%E4%B9%A0%E8%B5%84%E6%BA%90%E7%B4%A2%E5%BC%95 Github, Soundcloud, FogCreek, Stackov…

ELK批量删除索引

一.存在问题用了一段时间elk发现如果索引长时间不删除,elk会越来越慢,重启elasticsearch服务器节点之前同步时间也会很长二.解决方法(定期删除索引) 1.在elasticsearch节点上使用curl -XGET 'http://192.168.X.XX:9200/_cat/shards'查看索引 [root@--x-x scripts]# curl -XGET 'http://192.168.x.x:9200/_cat/shards' | more % Total % Rec…

ELK的索引的坑——Kibana的图形化（Tile Map）

如果想通过ELK展示地图, 需要将索引名称修改为:logstash*的格式否则location字段不会修改成geo_point的形式. 详情参考:http://blog.csdn.net/yanggd1987/article/details/50469113…

ELK学习笔记之配置logstash消费kafka多个topic并分别生成索引

0x00 filebeat配置多个topic filebeat.prospectors: - input_type: log encoding: GB2312 # fields_under_root: true fields: ##添加字段 serverip: 192.168.1.10 logtopic: wap enabled: True paths: - /app/wap/logs/catalina.out multiline.pattern: '^\[' #java报错过滤 multili…

ELK学习总结（4-1）elasticsearch更改mapping(不停服务重建索引)

elasticsearch更改mapping(不停服务重建索引)原文 http://donlianli.iteye.com/blog/1924721Elasticsearch的mapping一旦创建,只能增加字段,而不能修改已经mapping的字段.但现实往往并非如此啊,有时增加一个字段,就好像打了一个补丁,一个可以,但是越补越多,最后自己都觉得惨不忍睹了.怎么办??这里有一个方法修改mapping,那就是重新建立一个index,然后创建一个新的mapping.你可能会问,这要是在生产环境,可行…

ELK学习总结（2-4）bulk 批量操作-实现多个文档的创建、索引、更新和删除

bulk 批量操作-实现多个文档的创建.索引.更新和删除 ------------------------------------------------------------------------------ 1.命令格式 {action:{metadata}}\n {request body} {action:{metadata}}\n {request body} 其中,action的值有 create\index\update\delete create:当文档不存在时创建之 ind…

ELK学习总结（2-1）mavel -》sense 和索引初始化

1.安装 sudo elasticsearch/bin/plugin -install elasticsearch/mavel/latest http://localhost:9200/_plugin/mavel 2.sense菜单->执行api调用 3.索引初始化 curl -X PUT 'http://192.168.1.10:9200/library/' -d '{ "settings":{ "index" :{ "number_of_…

ELK菜鸟手记 (二) - 高级配置之多应用索引过滤

我们在实际的场景中,经常是多个网站或者服务端在一台服务器上,但是如果这些应用全部记录到一台logstash服务器,大家日志都混在一起不好区分. 有人说,我可以在日志中打项目名,但是这样并不方便. 其实,我们可以在索引上做文章. 配置如下: input { file { path => ["/Users/KG/Documents/logs/app-a/*.log"] type => "app-a" } file { path => ["/…

ELK学习笔记之ElasticSearch的索引详解

0x00 ElasticSearch的索引和MySQL的索引方式对比 Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤.特别是它对多条件的过滤支持非常好,比如年龄在18和30之间,性别为女性这样的组合查询. 倒排索引很多地方都有介绍,但是其比关系型数据库的b-tree索引快在哪里?到底为什么快呢? 笼统的来说,b-tree索引是为写入优化的索引结构.当我们不需要支持快速的更新的时候,可以用预先排序等方式换取更小的存储空间,更快的检索速度等好处,其代价就是更新…

[elk]elasticsearch dashboard+保留10天内索引+导入导出备份

es dashboard 有两款 head 这款我一直在用 https://github.com/mobz/elasticsearch-head 先修改es的配置文件: elasticsearch.yml追加 http.cors.enabled: true http.cors.allow-origin: "*" docker run -d -v /etc/localtime:/etc/localtime --restart=always -p 9100:9100 mobz/elasti…

站内搜索（ELK）之数据表字典类型字段的索引思路

数据表字典类型的字段,如人员表中的“性别”.流程表中的“处理状态”,此类字段中的值高度重复,不建议放到可检索的索引字段中,原因如下: 若数据表字典类型字段的值索引到单独的索引字段中,因字典数据字符数一般比较少,根据搜索引擎(如elasticsearch)计算得分算法,字符数少的索引字段被检索命中后,比大字段命中后的得分高,这对于一般的应用场景,会对检索结果造成严重干扰. 可考虑的字典数据索引方法: 1.若搜索结果要用于分析系统.报表系统,可考虑字典型数据单独索引,但不放到可检索的索引字段中,避免…

ELK学习笔记之ElasticSearch的集群(Cluster),节点(Node),分片(Shard),Indices(索引),replicas(备份)之间关系

[Cluster]集群,一个ES集群由一个或多个节点(Node)组成,每个集群都有一个cluster name作为标识------------------------------------------------[node]节点,一个ES实例就是一个node,一个机器可以有多个实例,所以并不能说一台机器就是一个node,大多数情况下每个node运行在一个独立的环境或虚拟机上.------------------------------------------------[index]索引,即一…

【elk 索引】的更多相关文章