数据库状态监控活动 活动 过程 纠正措施 列出当前状态为down的Segment.如果有任何行被返回,就会生成一个警告或者告警. 推荐频率:每5到10分钟 重要度: IMPORTANT 在postgres数据库中运行下例查询: SELECT * FROM gp_segment_configuration WHERE status <> 'u'; 如果该查询返回任何行,按照这些步骤来纠正问题: 验证宕机的Segment所在的主机是有响应的. 如果主机没有问题,检查宕机的Segment的主Segm

原文:Docker安装elasticsearch-head监控ES步骤 - gmijie的专栏 - CSDN博客 Docker安装elasticsearch-head监控ES步骤 docker拉取镜像 docker启动镜像 连接ES 解决问题 docker拉取镜像 [root@localhost local]# docker pull mobz/elasticsearch-head:5 [root@localhost local]# docker images REPOSITORY TAG IM

在greenplum运行过程中,Segement很有可能因为压力大出现不可用的情况, 主备Segement发现了切换,或是主备Segement网络断开,数据不同步了.在 默认情况下,如果GreenPlum4.X版本中,有一个Segment失败了,数据库还是会 正常运行的,如果是主Segemnt失败了,则切换到备Segment上,这样必须对Segment 是否正常加以监控,一般有以下两种监控方法: 1.检查gp_segment_configuration以确定是否有Segment处于down的状态

一. GreenPlum集群安装环境 由虚拟机搭建的一台master两台segment. 二.安装前准备 1) 所需安装包 GreenPlum监控安装包: greenplum-cc-web-3.0.2-LINUX-x86_64.zip 2) 修改postgresql.conf配置文件 进入你master的文件系统中的gpseg-1文件夹下 $ cd /data/master/gpseg- 编辑postgresql.conf,添加以下参数:  gp_enable_gpperfmon=on gppe

Greenplum监控解决方案 基于Prometheus+Grafana+greenplum_exporter+node_exporter实现 关联图 一.基本概念 1.Prometheus ​ Prometheus时序数据库:存储的是时序数据,即按相同时序(相同名称和标签),以时间维度存储连续的数据的集合,lPrometheus Server, 负责从 Exporter 拉取和存储监控数据,并提供一套灵活的查询语言(PromQL)供用户使用. lExporter, 负责收集目标对象(host,

在如何开发自己的搜索帝国之Elasticsearch中已经介绍安装好了ES,下面就Kibana对ES的查询监控作介绍,就是常提到的大数据日志处理组件ELK里的K. 什么是Kibana?现引用园友的一段对此的介绍,个人觉得比较全. Kibana是一个针对Elasticsearch的开源分析及可视化平台,用来搜索.查看交互存储在Elasticsearch索引中的数据.使用Kibana,可以通过各种图表进行高级数据分析及展示. Kibana让海量数据更容易理解.它操作简单,基于浏览器的用户界面可以快速

一.es运行状态的监控 es长时间批量入库时,需要对入库的性能进行监控,否则可能导致es重启,入库任务失败. 可以编写shell脚本,每分钟用cat命令监控pending的数量,数量逐渐增大时就需要注意. 还可以监控translog文件的大小,当translog文件不断增大,而不新建新的translog时,也说明输入的文档速度超过了处理速度. 监控es运行状况的脚本moitorES.sh: result="" while [ "$result"!="000

一环境列表 操作系统 centos6.5  64 Greenplum版本: greenplum-db-4.3.5.3-build-2-RHEL5-x86_64.tar Greenplum集群环境搭建:参考http://blog.csdn.net/sunziyue/article/details/49026913 需求:在已经搭建的集群环境中安装Greenplum-cc-web 二操作步骤 1集群环境启动状态(在GreenplumMaster节点操作) 启动集群: [gpadmin@master~

1.安装ES 首先我们需要去官网下载安装包  官方下载地址 下载后不需要编译,直接解压 解压后结构是这样的(2.5以上版本会有plugins目录,没有的需要手动创建) 方式一: 创建一个es用户(因为es不允许使用root用户启动) useradd es 将该目录权限修改为es用户所有 chown es:es -hR . 所有要作为es节点的机器都要执行以上操作 *********** 以下亲测 *********** #添加一个用户:elasticsearch $useradd elastic

环境 Product Version Pivotal Greenplum (GPDB) 4.3.x Pivotal Greenplum Command Center (GPCC)   Others   预备 使用自带的工具命令 gpperfmon_install [--enable --password <gpmon_password> --port <gpdb_port>] [--pgpass <path_to_file>] [--verbose] 功能大致是:   

ES监控方案 本文主要讲述使用 Prometheus监控ES,梳理核心监控指标并构建 Dashboard ,当集群有异常或者节点发生故障时,可以根据性能图表以高效率的方式进行问题诊断,再对核心指标筛选添加告警. 根据<How to monitor Elasticsearch performance>一文中的介绍: Elasticsearch本身提供了大量的指标,可以帮助我们进行故障预检,并在遇到诸如节点不可用.JVM OutOfMemoryError和垃圾回收时间过长等问题时采取必要措施. 通

本文主要分为三部分: GP优化需要准备的一些关于优化之外的知识,包括清空缓存.性能监控.执行计划分析. 具体优化措施,从以下四个方面考虑: 表.字段 sql GP配置.服务器配置 硬件及节点资源 GP的性能极限分析 1. 前置知识 1.1 GP清除缓存 数据库一般都有缓存,所以我们为了测试查询性能,需要将缓存清除. 停止数据库并不能清空缓存,因为缓存是由操作系统创建的,一般只有重启操作系统可以完全清空. 参考思路如下: #!/usr/bin/sudo bash gpstop -r sync //

prometheus监控es,同样采用exporter的方案. 项目地址: elasticsearch_exporter:https://github.com/justwatchcom/elasticsearch_exporter 1.安装部署 现有es三节点的集群,环境大概如下: 主机 组件 192.168.75.11 prometheus 192.168.75.21 es,kibana,nginx 接着分别在如上三台主机上进行如下配置: wget https://github.com/jus

一. es安装相关1.elasticsearch安装  运行http://localhost:9200/2.head插件3.bigdesk插件安装(安装细节百度:windows elasticsearch 安装,有详细内容) 二. es插件相关http://www.searchtech.pro/elasticsearch-plugins (es 插件大全)https://github.com/medcl/elasticsearch-analysis-ik (ik 项目)https://githu

本文内容 Elasticsearch logstash Kibana 参考资料 本文介绍安装 logstash 2.2.0 和 elasticsearch 2.2.0,操作系统环境版本是 CentOS/Linux 2.6.32-504.23.4.el6.x86_64. 安装 JDK 是必须的,一般操作系统都会有,只是版本的问题,后面会提到. 而 Kibana 只是一个用纯 JavaScript 写的前端 UI.一定要注意 Kibana 的版本,它会要求 ES 的版本.比如 Kibana 3 要求

    目前生产环境的es版本是1.0版本,需要升级到最新的2.2版本,于是在测试环境进行部署集群测试,在测试过程中遇到的坑相当多,下面详细介绍下.       1. 版本升级到2.2后,必须建一个单独的账号用于启动elasticsearch,不可以使用root账号进行启动,否则会报以下错误 Exception in thread "main" java.lang.RuntimeException: don't run elasticsearch as root.       2. 如

Elasticsearch扩展性非常好,有很多官方和第三方开发的插件,下面以分词.同步.数据传输.脚本支持.站点.其它这几个类别进行划分. 分词插件 Combo Analysis Plugin (作者 Olivier Favre, Yakaz) 简介:组合分词器,可以把多个分词器的结果组合在一起. Smart Chinese Analysis Plugin (作者 elasticsearch 团队) 简介:lucene默认的中文分词器 ICU Analysis plugin (作者 elasti

安装elasticsearch   来自:http://www.cnblogs.com/huangfox/p/3541300.html 一)安装elasticsearch 1)下载elasticsearch-0.90.10,解压,运行\bin\elasticsearch.bat (windwos) 2)进入http://localhost:9200/ 如下图 安装成功! 二)插件——head elasticsearch-head是一个elasticsearch的集群管理工具,它是完全由html5

ELK初学搭建(elasticsearch) elasticsearch logstash kibana ELK初学搭建 elasticsearch 1.环境准备 centos6.8_64 mini IP:192.168.10.78 tar包: logstash-2.4.0.tar.gz elasticsearch-2.4.0.tar.gz kibana-4.6.1-linux-x86_64.tar.gz JDK环境 elasticsearch logstach kibana java V2.4

elasticsearch2.2 集群搭建各种坑     目前生产环境的es版本是1.0版本,需要升级到最新的2.2版本,于是在测试环境进行部署集群测试,在测试过程中遇到的坑相当多,下面详细介绍下.       1. 版本升级到2.2后,必须建一个单独的账号用于启动elasticsearch,不可以使用root账号进行启动,否则会报以下错误 Exception in thread "main" java.lang.RuntimeException: don't run elastics

一.关于elasticsearch的基本概念 term 索引词,在elasticsearch中索引词(term)是一个能够被索引的精确值.foo,Foo Foo几个单词是不相同的索引词.索引词(term)是可以通过term查询进行准确的搜索. text 文本是一段普通的非结构化文字,通常,文本会被分析称一个个的索引词,存储在elasticsearch的索引库中,为了让文本能够进行搜索,文本字段需要事先进行分析:当对文本中的关键词进行查询的时候,搜索引擎应该根据搜索条件搜索出原文本. analys