之前一直运行正常的数据分析平台,最近一段时间没有注意发现日志索引数据一直未生成,大概持续了n多天,当前状态: 单台机器, Elasticsearch(下面称ES)单节点(空集群),1000+shrads, 约200G大小. 问题排查 服务器内存,CPU状态检查 使用 top 查看服务器 cpu,内存等占用情况,如下图示(当时楼主的服务器ES应用的CPU占用在90%以上,肯定有问题) 内存占用也极高(当时楼主的8G内存的服务器仅剩下150M左右的空闲,肯定是ES的问题) ES集群状态 查看ES集群

正在找解决方案 前后情况是, 之前是es双节点,之后更改为单节点,data中的数据都是双节点的,也许导致了单节点的状态不正常,删除了data目录下内容后,重启es,好了,这是测试环境,所以这么干的

上文描述了在出现大量fin-wait-1出现的原因,占用的内存等,这里讲一下如何处理这种情况. 首先,fin发送之后,有可能会丢弃,那么发送多少次这样的fin包呢?fin包的重传,也会采用退避方式,在2.6.358内核中采用的是指数退避,2s,4s,最后的 重试次数是由tcp_orphan_retries来限制的. [root@localhost ~]# cat /proc/sys/net/ipv4/tcp_orphan_retries0 查看对应版本的内核: 处理的变量是sysctl_tcp_

有一台服务器,出现很多的fin_wait1状态的socket. 环境: [root@localhost ~]# uname -aLinux localhost.localdomain 2.6.32-358.el6.x86_64 链路情况如下: ss -sTotal: 2753 (kernel 3336)TCP: 6046 (estab 730, closed 5001, orphaned 0, synrecv 0, timewait 5000/0), ports 564 Transport To

1.问题描述 早上醒来发现手机有很多ES状态为red的告警,集群就前几天加了几个每天有十多亿记录的业务,当时估算过磁盘容量,应该是没有问题的,但是现在集群状态突然变成red了,这就有点懵逼了. 2.查找问题原因 没办法,问题出来了,只好查找问题的原因了. 先看看集群的状态 curl -XGET 'http://unknow.com/_cat/health?v&pretty' epoch timestamp cluster status node.total node.data shards pr

1.问题描述 早上醒来发现手机有很多ES状态为red的告警,集群就前几天加了几个每天有十多亿记录的业务,当时估算过磁盘容量,应该是没有问题的,但是现在集群状态突然变成red了,这就有点懵逼了. 2.查找问题原因 没办法,问题出来了,只好查找问题的原因了. 先看看集群的状态 curl -XGET 'http://unknow.com/_cat/health?v&pretty' epoch timestamp cluster status node.total node.data shards pr

方案一 找到状态为 red 的索引 curl -X GET "http://172.xxx.xxx.174:9288/_cat/indices?v=" red open index 5 1 3058268 97588 2.6gb 1.3gb 状态为 red 是无法对外提供服务的,说明有主节点没有分配到对应的机子上. 找到 UNASSIGNED 节点 _cat/shards 能够看到节点的分配情况 curl -X GET "http://172.xxx.xxx.174:9288

问题描述: spring cloud项目有用到elasticsearch,启动时进行健康校验,发现es一直是down的,导致在eureka显示也是down 问题定位:查看actuator源码发现,如果es状态为红色,健康状态就返回down,所以解决es状态为红就可以 查看es,发现主节点某个分片出现问题,变成Unassigned,集群状态为红色 解决方案:分片分配问题可以使用allocate命令:文档: https://www.elastic.co/guide/en/elasticsearch/

运行容器的时候,发现一直处于ContainerCreating状态,悲了个催,刚入手就遇到了点麻烦,下面来讲讲如何查找问题及解决的 运行容器命令: [root@master- ~]# kubectl run my-alpine --image=alpine --replicas= ping www.baidu.com 查看pods状态 [root@master- ~]# kubectl get pods NAME READY STATUS RESTARTS AGE my-alpine--knzc

郑昀 基于胡耀华和王超的设计文档 最后更新于2014/12/3 关键词:ElasticSearch.Lucene.solr.搜索.facet.高可用.可伸缩.mongodb.SearchHub.商品中心 本文档适用人员:研发和运维 提纲: 曾经的基于MongoDB的筛选+排序解决方案 MongoDB方案的缺陷 看中了搜索引擎的facet特性 看中了ES的简洁 看中了ES的天生分布式设计 窝窝的ES方案 ES的几次事故和教训 ES自身存在的问题   首先要感谢王超和胡耀华两位研发经理以严谨治学的研

之前在IDC机房线上环境部署了一套ELK日志集中分析系统, 这里简单总结下ELK中Elasticsearch健康状态相关问题, Elasticsearch的索引状态和集群状态传达着不同的意思. 一.  Elasticsearch 集群健康状态一个 Elasticsearch 集群至少包括一个节点和一个索引.或者它 可能有一百个数据节点.三个单独的主节点,以及一小打客户端节点——这些共同操作一千个索引(以及上万个分片).但是不管集群扩展到多大规模,你都会想要一个快速获取集群状态的途径.Cluste

脑裂:一个集群中的不同节点对于集群的状态有了不一样的理解 ES集群的总体状态是red,本来9个节点的集群在结果中只显示4个节点在线: 正常情况下,集群中的所有节点应该对集群中的master的选择是一致的,这样获得的状态信息也应该是一致的,不一样的状态信息,说明不同的节点对master的选择出现了异常-----也就是所谓的脑裂问题,这样的脑裂状态直接让节点失去了集群的正确状态,导致集群不能正常工作. 可能导致脑裂的原因: 1.网络:由于网络通信问题造成某些节点认为master死掉,而另选maste

前言 可能你经历过这些Red. ...等等 那ES的Red是神么意思? 这里说的red,是指es集群的状态,一共有三种,green.red.yellow.具体含义: 冷静分析 从上图可知,集群red是由于有主分片不可用,这种情况一般是由于节点宕机. 有什么影响呢? 至少一个主分片(以及它的全部副本)都在缺失中.这意味着你在缺少数据:搜索只能返回部分数据,而分配到这个分片上的写入请求会返回一个异常. 此时我们可以执行相关的命令进行状态检查. 集群节点是否都存在.查看集群状态. curl -uela

每个OpenGL ES 3.0程序要求一个顶点着色器和一个片段着色器去渲染一个图形.着色器概念是API 的中心,本篇将介绍着色器语言部分包含下面几项 1.变量和变量类型 2.矢量和矩阵创建及选择 3.常量 4.结构和阵列 5.运算符.流控制和函数 6.属性.只读变量和变量 7.预处理和指令 8.只读变量和变量压缩 9.精度控制和不变性 一.变量和变量类型 计算机图形学中,转换有两种基本的数据类型:矢量和矩阵.下图是OpenGL ES 着色器编程语言数据类型                    

Elasticsearch的基础分布式架构 Elasticsearch对复杂分布式机制的透明隐藏特性 Elasticsearch是一套分布式系统,分布式是为了应对大数据量. Elasticsearch隐藏了复杂的分布式机制: 分片:我们之前随随便便就将一些document插入到es集群中去了,我们没有关心过数据是如何进行分配的.数据到哪个shard中去了. 集群发现机制(cluster discovery):如果启动一个新的es进程,那么这个es进程会作为一个node并且发现es集群,然后自动加

上一节我们初步学习了 OpenGL ES.EGL.GLSL 的相关概念,了解了它们的功能,以及它们之间的关联.我们知道了 EGL 是绘制 API(比如 OpenGL ES)与 底层平台窗口系统之间的接口,用于与手机设备打交道,比如获取绘制 buffer. 而 OpenGL ES 与 GLSL 的主要功能,就是往这块 buffer 上绘制图片.由于绘制的第一步就是获取绘制 buffer,而这完全通过 EGL 来实现的,那么这一节,我们来仔细研究一下,EGL 是如何跟手机产生关联,并如何从手机那里获

OpenGL ES 是负责 GPU 工作的,目的是通过 GPU 计算,得到一张图片,这张图片在内存中其实就是一块 buffer,存储有每个点的颜色信息等.而这张图片最终是要显示到屏幕上,所以还需要具体的窗口系统来操作,OpenGL ES 并没有相关的函数.所以,OpenGL ES 有一个好搭档 EGL. EGL,全称:embedded Graphic Interface,是 OpenGL ES 和底层 Native 平台 视窗系统之间的接口.所以大概流程是这样的:首先,通过 EGL 获取到手机屏

有限状态机(Finite-state machine)是一个非常有用的模型,可以模拟世界上大部分事物. 简单说,它有三个特征: * 状态总数(state)是有限的. * 任一时刻,只处在一种状态之中. * 某种条件下,会从一种状态转变(transition)到另一种状态. 它对JavaScript的意义在于,很多对象可以写成有限状态机. 举例来说,网页上有一个菜单元素.鼠标悬停的时候,菜单显示:鼠标移开的时候,菜单隐藏.如果使用有限状态机描述,就是这个菜单只有两种状态(显示和隐藏),鼠标会引发状

Red Hat Enterprise Linux 7 Release/Update General Availability Date redhat-release Errata Date* Kernel Version RHEL 7 Update 2 TBA TBA TBA RHEL 7 Update 1 2015-03-05 2015-03-05 RHEA-2015:0524 3.10.0-229 RHEL 7 GA 2014-06-09 - 3.10.0-123 RHEL 7 RC 201

问题描述: CentOS启动的时候报如下错误:“配置服务器有错/usr/libexec/gconf-sanity-check-2的退出状态为256” 问题原因: 在装hadoop的时候误删了/tmp文件或者改变/tmp权限导致的. 解决方案: 1.在报错的界面按住 Ctrl + Alt + F2 进入虚拟终端,查看是否有/tmp目录,没有则创建.2.然后修改/tmp的权限为777,输入命令 chmod 777 /tmp3.重启,输入命令 init 6