ElasticSearch监控工具 - cerebro】的更多相关文章

官方地址:https://github.com/lmenezes/cerebro 需要有java环境 下载地址:https://github.com/lmenezes/cerebro/releases wget https://github.com/lmenezes/cerebro/releases/download/v0.8.5/cerebro-0.8.5.tgz tar xzf cerebro-0.8.5.tgz -C /usr/local # 启动 cerebro-0.8.1/bin/ce…
安装指导及使用简介 1.      下载安装包: https://github.com/lmenezes/cerebro/releases/download/v0.7.3/cerebro-0.7.3.tgz   2.      将安装包copy到ECS节点,该节点网络和待监控的ES集群在同一VPC,网络互通   3.      解压安装包,参考README.md文件启动服务   4.      指定IP和端口号启动: 启动方式一: bin/cerebro -Dhttp.port=1234 -Dh…
一 集群节点 Elstaicsearch的集群是由多个节点组成都,通过cluster.name设置集权名称,比能切用与区分其他的集群,每个节点通过node.name指定节点 在Elasticsearch中,接待你的类型主要有4种 1.1 master节点 配置文件中的node.master属性为true(默认是true),就有资格被选为master节点 master节点用于控制整个集群的操作,比如创建或删除索引,管理其他非master节点等 [root@node1 ~]# curl http:/…
一.ES介绍 1.基础概念介绍 1. 索引:Elasticsearch中的“索引”有点像关系数据库中的数据库. 它是存储/索引数据的地方: 2.分片 shard “分片”是Lucene的一个索引. 它本身就是一个功能齐全的搜索引擎. “索引”可以由单个分片组成,但通常由多个分片组成,一部分主分片.一部分副本分片. 3.分段 segment    每个分片包含多个“分段”,其中分段是倒排索引,分段内的doc数量上限是2的31次方,默认每秒都会生成一个segment文件,通过GET /test/_s…
# ==================================================================ELK环境准备 # 修改文件限制 # * 代表Linux所有用户名称,保存.退出.重新登录生效. vi /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 * soft nproc 2048 * hard nproc 4096 * soft memlock unlimited * h…
bigdesk是elasticsearch的一个集群监控工具,可以通过它来查看es集群的各种状态,如:cpu.内存使用情况,索引数据.搜索情况,http连接数等. 项目git地址: https://github.com/lukas-vlcek/bigdesk.和head一样,它也是个独立的网页程序,使用方式和head一样. 插件安装运行: 1.bin/plugin -install lukas-vlcek/bigdesk 2.运行ES 3.打开http://localhost:9200/_plu…
Docker容器中运行ES,Kibana,Cerebro和Logstash安装与数据导入ES 想加强ES有关的知识,看了阮一鸣老师讲的<Elasticsearch核心技术与实战>收获很大,所以接下来会跟着他来更加深入的学习ES. 这篇博客的目的就是部署好ES和跟ES相关的辅助工具,同时通过Logstash将测试数据导入ES,这些工作完成之后,之后我们就可以在此基础上深入的去学习它. 一.Docker容器中运行ES,Kibana,Cerebro 1.所需环境 Docker + docker-co…
环境:win10家庭版,基于Docker Toolbox 首先先做好以下两步准备工作: ①.打开Oracle VM VirtualBox,设置虚拟机内存大小,默认不够安装,建议如下设置: ②.启动虚拟机后,通过xshell连接上虚拟机,切换管理员模式,编辑 /etc/sysctl.conf,追加以下内容: Linux查看和编辑文件,可参考:https://www.cnblogs.com/bingle/p/9785621.html vm.max_map_count=262144 保存后,执行: s…
使用cerebro可视化ElasticSearch集群信息 一.背景 二.安装步骤 1.下载并解压 2.配置cerebro 3.启动 cerebro 4.启动界面 三.注意事项 四.参考文档 一.背景 es本身没有提供一个可视化的工具来查看集群的信息,使用命令行工具不太方便查看,此处安装cerebro来查看集群中的一些信息. 二.安装步骤 1.下载并解压 # 下载 wget https://github.com/lmenezes/cerebro/releases/download/v0.9.4/…
Logstash是一个完全开源的工具,他可以对你的日志进行收集.分析,并将其存储供以后使用(如,搜索),您可以使用它.说到搜索,logstash带有一个web界面,搜索和展示所有日志.kibana 也是一个开源和免费的工具,他可以帮助您汇总.分析和搜索重要数据日志并提供友好的web界面.他可以为 Logstash 和 ElasticSearch 提供的日志分析的 Web 界面 实际项目: 2.按时间查询日志:…
1.多节点监控 2.类似war功能部署,tomcat即可使用 3.免费 4.ElasticHQ supports all major version of Elasticsearch from version 2.x, 5.x, 6.x…
一.   Elasticsearch的基本概念 term索引词,在elasticsearch中索引词(term)是一个能够被索引的精确值.foo,Foo Foo几个单词是不相同的索引词.索引词(term)是可以通过term查询进行准确的搜索. text文本是一段普通的非结构化文字,通常,文本会被分析称一个个的索引词,存储在elasticsearch的索引库中,为了让文本能够进行搜索,文本字段需要事先进行分析:当对文本中的关键词进行查询的时候,搜索引擎应该根据搜索条件搜索出原文本. analysi…
1.题记 工欲善其事必先利其器,ELK Stack的学习和实战更是如此,特将工作中用到的“高效”工具分享给大家. 希望能借助“工具”提高开发.运维效率! 2.工具分类概览 2.1 基础类工具 1.Head插件 1)功能概述: ES集群状态查看.索引数据查看.ES DSL实现(增.删.改.查操作)比较实用的地方:json串的格式化 2)地址:http://mobz.github.io/elasticsearch-head/ 2.Kibana工具 除了支持各种数据的可视化之外,最重要的是:支持Dev…
基础类工具 1.Head插件 1)功能概述: ES集群状态查看.索引数据查看.ES DSL实现(增.删.改.查操作) 比较实用的地方:json串的格式化 2)地址:http://mobz.github.io/elasticsearch-head/ 2.Kibana工具 除了支持各种数据的可视化之外,最重要的是:支持Dev Tool进行RESTFUL API增删改查操作. --比Postman工具和curl都方便很多. 地址:https://www.oschina.net/p/kibana 3.E…
转发自:https://blog.csdn.net/majianxiong_lzu/article/details/90437559 主要指标梳理 Cluster Health – Nodes and Shards Search Performance – Request Latency and Search Performance – Request Rate Indexing Performance – Refresh Times Indexing Performance – Merge T…
ElasticSearch:简称es ,分布式全文搜索引擎,使用java语言开发,面向文档型数据库,一条数据就是一个文档,数据用json序列化后存储. 默认端口:9200 借助redis来理解 redis以key/values方式存储数据,abc=123  通过key(abc)即可取出值(123) es  使用索引-类型-数据-数据中的某个字段     格式来存储数据. es安装 服务器ip:192.168.100.2 软件包elasticsearch 6.5: 链接:https://pan.b…
使用fluentd来搜集Nginx日志,准备3台服务器,列表如下 node1 elasticsearch/kibana/td-agent node2 td-agent/nginx node3 td-agent/nginx 1.下载相关软件 http://packages.treasuredata.com.s3.amazonaws.com/3/redhat/7/x86_64/td-agent-3.4.1-0.el7.x86_64.rpmhttps://artifacts.elastic.co/do…
在使用中我们把文档存入ElasticSearch,但是如果能够了解ElasticSearch内部是如何存储的,将会对我们学习ElasticSearch有很清晰的认识.本文中的所使用的ElasticSearch集群环境,可以通过查看ElasticSearch 5学习(3)--单台服务器部署多个节点搭建学习. ElasticSearch用于构建高可用和可扩展的系统.扩展的方式可以是购买更好的服务器(纵向扩展(vertical scale or scaling up))或者购买更多的服务器(横向扩展(…
安装准备: 安装Elasticsearch唯一的要求是安装官方新版的Java,包括对应的Jdk. 安装Elasticsearch 首先到官网下载最新版本的Elasticsearch压缩包. 可以使用命令,注意将最新的可用的下载链接填入: curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.0.2.zip unzip elasticsearch-5.0.2.zip cd elasticsea…
一 前言 ElasticiSearch 简介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎.设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便. 因为在工作的项目中有使用到所以写下相关的内容,并附带源码 感兴趣的朋友可以自己玩一玩,整个项目都是在Linux上跑的,所以安装步…
一.简介 ElasticSearch和Solr都是基于Lucene的搜索引擎,不过ElasticSearch天生支持分布式,而Solr是4.0版本后的SolrCloud才是分布式版本,Solr的分布式支持需要ZooKeeper的支持. 这里有一个详细的ElasticSearch和Solr的对比:http://solr-vs-elasticsearch.com/ 二.基本用法 Elasticsearch集群可以包含多个索引(indices),每一个索引可以包含多个类型(types),每一个类型包含…
在安装插件的过程中,尤其是安装Marvel插件遇到了很多问题,要下载license.Marvel-agent,又要下载安装Kibana 版本需求 Java 7 or later Elasticsearch 2.4.2 Kibana 4.5 Elasticsearch License 2.4.2 plugin 系统版本是:CentOS release 6.6 一.简介 Marvel插件介绍 Marvel插件:在簇中从每个节点汇集数据.这个插件必须每个节点都得安装. Marvel是Elasticse…
官方网址:https://www.elastic.co/products/elasticsearch/ 一.特性 1.支持中文分词 2.支持多种数据源的全文检索引擎 3.分布式 4.基于lucene的开源搜索引擎 5.Restful api 二.资源 smartcn, 默认的中文分词 :https://github.com/elasticsearch/elasticsearch-analysis-smartcn mmseg :https://github.com/medcl/elasticsea…
安装jdk sudo apt-get install python-software-properties sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installer sudo update-alternatives --config java 安装elasticSearch mkdir /usr/local/elasticsearch/…
logstash,elasticsearch,kibana三件套 elk是指logstash,elasticsearch,kibana三件套,这三件套可以组成日志分析和监控工具 注意: 关于安装文档,网络上有很多,可以参考,不可以全信,而且三件套各自的版本很多,差别也不一样,需要版本匹配上才能使用.推荐直接使用官网的这一套:elkdownloads. 比如我这里下载的一套是logstash 1.4.2 + elasticsearch 1.4.2 + kibana 3.1.2 安装elastics…
摘要:世上有三类书籍:1.介绍知识,2.阐述理论,3.工具书:世间也存在两类知识:1.技术,2.思想.以下是我在部署ElasticSearch集群时的经验总结,它们大体属于第一类知识“techknowledge(技术)”.但其中也穿插一些我个人的理解.敬请指正.   关键词:ElasticSearch, 搜索引擎, 集群, 大数据, Solr, 大数据 三类书籍 和 两类知识:           书: [1]有一些书是对某一新知识领域的介绍,将此知识领域从头到尾.从内而外剖开了分析,吸收这些知…
一.是什么 ElasticSearch是一个基于Apache Lucene的开源搜索引擎. Elasticsearch: 分布式的实时文件存储,每个字段都被所用并可被搜索 分布式的实时分析搜索引擎 可以扩展到上百台服务器,处理PB级结构化或非架构化数据 二.安装 window环境下下载安装包解压并执行bin目录下的elasticsearch.bat即可 Linux下:       curl -L -O http://download.elasticsearch.org/PATH/TO/VERSI…
Elasticsearch 配置 Elasticsearch不仅仅是Lucene和全文搜索,我们还能这样去描述它: 分布式的实时文件存储,每个字段都被索引并可被搜索 分布式的实时分析搜索引擎 可以扩展到上百台服务器,处理PB级结构化或非结构化数据 Elastic Search 索引 基本单位是 文档  文档类型, ES 分片 横向扩展. 分片可以做备份,节点,一个es的实例就是一个节点(集群使用) git clone https://github.com/elasticsearch/elasti…
环境:centos6.7 #查询已经安装的JDK rpm -qa | grep jdk #卸载 yum -y remove  java-1.8.0-openjdk-headless-1.8.0.91-0.b14.el6_7.x86_64 #配置环境变量 vi /etc/profile JAVA_HOME=/opt/jdk1..0_92 CLASSPATH=.:$JAVA_HOME/lib PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH P…