本文收录在Linux运维企业架构实战系列 做了几周的测试,踩了无数的坑,总结一下,全是干货,给大家分享~ 一.elk 实用知识点总结 1.编码转换问题(主要就是中文乱码) (1)input 中的codec => plain 转码 codec => plain { charset => "GB2312" } 将GB2312 的文本编码,转为UTF-8 的编码 (2)也可以在filebeat中实现编码的转换(推荐) filebeat.prospectors: - inpu

注:以下所有操作均在CentOS 6.5 x86_64位系统下完成. #准备工作# 在安装Tomcat之前,请确保已经安装了JDK-1.7环境,具体见<CentOS安装JDK-1.7>. #Tomcat7的安装# 开始下载Tomcat7并安装: # cd /usr/local/src # wget http://mirrors.hust.edu.cn/apache/tomcat/tomcat-7/v7.0.57/bin/apache-tomcat-7.0.57.zip # .zip /usr/

注:以下所有操作均在CentOS 6.5 x86_64位系统下完成. #准备工作# 前段时间PHP官方发布了一个重要的安全升级公告,修复了两个unserialize函数的严重漏洞,目前受影响的版本有: <5.4.36 <5.5.20 <5.6.4 这里我们直接下载5.6.4的版本进行安装配置,并且在这之前需要先把MySQL和Apache已经安装好,最好Nginx也先安装好,具体见:<CentOS安装MySQL-5.6.10+安全配置>.<CentOS安装Apache-2

ELK 性能(1) - Logstash 性能及其替代方案 介绍 当谈及集中日志到 Elasticsearch 时,首先想到的日志传输(log shipper)就是 Logstash.开发者听说过它,但是不太清楚它具体是干什么事情的: 当深入这个话题时,我们才明白集中存储日志通常隐含着很多的事情,Logstash 也不是唯一的日志传输工具(log shipper) 从数据源获取数据:文件.UNIX socket.TCP.UDP 等等 处理:添加时间戳.解析非结构化数据.根据 IP 添加地理位置信

ELK 性能(4) - 大规模 Elasticsearch 集群性能的最佳实践 介绍 集群规模 集群数:6 整体集群规模: 300 Elasticsearch 实例 141 物理服务器 4200 CPU 核心 38TB RAM 1.5 Pb 存储 索引日志: 100 亿/天 400k/秒 内容 开场白 健康提示 将 Elasticsearch 集群的名称 "elasticsearch" 进行重命名.当网络内有两个以上的集群时,就会发现这样做所带来的好处. 为了防止误删除,设置参数 ac

简介 在上一篇.NET性能优化-推荐使用Collections.Pooled一文中,提到了使用Pooled类型的各种好处,但是在群里也有小伙伴讨论了很多,提出了很多使用上的疑问. 所以特此写了这篇文章,补充回答小伙伴们问到的一些问题,和遇到某些场景如何处理. 问题分析 以下就是这两天收集到比较常见的问题,我都收集到一起,统一给大家回复一下. ArrayPool会不会无限扩大? 遇到的第一个问题就是我们Pooled类型依赖于ArrayPool进行底层数组的分配,那么我们一直使用Pooled类型会不

文章转载自:https://mp.weixin.qq.com/s?__biz=MzI5MTU1MzM3MQ==&mid=2247489814&idx=1&sn=6916f8b79019d6288ec73d541071bf70&chksm=ec0fb022db783934f9fd046c71192e4ec5939d02251790ed4bb0bd39625a086c571c1f8350ec&scene=132#wechat_redirect 一.背景介绍 近一年内对公

ELK介绍   官网https://www.elastic.co/cn/ 中文指南https://www.gitbook.com/book/chenryn/elk-stack-guide-cn/details ELK Stack (5.0版本之后) Elastic Stack == (ELK Stack + Beats) ELK Stack包含:ElasticSearch.Logstash.Kibana ElasticSearch是一个搜索引擎,用来搜索.分析.存储日志.它是分布式的,也就是说

ELK环境配置+log4j日志记录 1. 背景介绍 在大数据时代,日志记录和管理变得尤为重要. 以往的文件记录日志的形式,既查询起来又不方便,又造成日志在服务器上分散存储,管理起来相当麻烦, 想根据一个关键字查询日志中某个关键信息相当困难. 这个时候,ELK诞生了. 什么是ELK? 简单来说:它是一套完整的日志记录和分析的解决方案平台. 2. 技术栈介绍 ELK = Elasticsearch + Logstash + Kibana 2-1) Elasticsearch: ( Elasticse

ELK 性能(3) - 在 Docker 上运行高性能容错的 Elasticsearch 集群 介绍 在 Docker 上运行高性能容错的 Elasticsearch 集群 内容 通常熟悉的开发流程是: 开发环境(Dev)-> 测试环境(Test)-> 质量环境(QA)-> 生产环境(Production Environment) 我们遇到的问题通常是: 资源没有完全使用 过度预计服务器的数量 开发环境 ≠ 测试环境 ≠ 质量环境 ≠ 生产环境 解决方案是使用容器技术 Amazon(AW

ELK 性能(2) - 如何在大业务量下保持 Elasticsearch 集群的稳定 介绍 如何在大业务量下保持 Elasticsearch 集群的稳定? 内容 当我们使用 Elasticsearch 时,期望获得的是 集群的问题 快速的搜索 设想我们有一个论坛的数据需要索引存储到 Elasticsearch 里 每个用户的个人信息 讨论与评论 以及用户形成的组与圈子 Server 1 Server 2 Server 3 C-D-(M) C-D-M* C-D-(M) 对于以上每个服务器 1.2.

注:以下所有操作均在CentOS 6.5 x86_64位系统下完成. #准备工作# 在安装Nginx之前,请确保已经使用yum安装了pcre等基础组件,具体见<CentOS安装LNMP环境的基础组件>. 然后创建www的用户组和用户,并且不允许登录权限: # id www id: www:无此用户 # groupadd www # useradd -g www -s /sbin/nologin www # id www uid=(www) gid=(www) 组=(www) #Nginx的安装

总所周知,网络上我们购买的服务器的性能各不相同,如果采用 Nginx 的默认配置的话,无法将服务器的全部性能优势发挥出来,我们应该选择适合自己需求的配置. 当我们默认安装后 Nginx 后,我们便得到 Nginx 的默认配置 nginx.conf ,这个文件默认放在 /usr/local/nginx/conf 中(若通过 apt-get install nginx 安装,则在 /etc/nginx/ 目录下),只需修改目录下的 nginx.conf 文件. 以我的云主机为例(低流量配置:2核 C

为什么要用ELK: 一般我们需要进行日志分析场景:直接在日志文件中 grep.awk 就可以获得自己想要的信息.但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档.文本搜索太慢怎么办.如何多维度查询.需要集中化的日志管理,所有服务器上的日志收集汇总.常见解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问. 一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定位到具体的服务器和服务模块,

版本及硬件配置 JDK:JDK1.8_171-b11 (64 位) ES集群:由3台16核32G的虚拟机部署 ES 集群,每个节点分配 20 G 堆内存 ELK版本:6.3.0 垃圾回收器:ES 默认指定的老年代(CMS)+ 新生代(ParNew) 操作系统:CentOS Linux release 7.4.1708(Core) jvm.options 文件 -Xms16g -Xmx16g -XX:NewSize=8G -XX:MaxNewSize=8G elasticsearch.yml文件

vim 配置实用spf13-vim,安装方便简单快捷,极力推荐. 另外oh-my-zsh 终端配置很好,与之搭配使用效果更佳. 安装都很简单,一个脚本搞定, 都是在gitHub上开源的,自行搜索,这里就不赘述了.

修改mysql配置文件 my.cnf ,内容如下: [mysqld]datadir=/data/mysql/datasocket=/var/lib/mysql/mysql.sockuser=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0# 设置默认字符集,避免无法输入中文character_set_server=utf8init_connect='S

nginx的配置:main配置段说明一.正常运行的必备配置: 1.user username [groupname]; 指定运行worker进程的用户和组 2.pid /path/to/pidfile_name; 指定nginxf进程的pid文件路径. 3.worker_rlimit_nofile #; 指定一个worker进程所能够打开的最大文件句柄数(最大文件描述符数量): 如果没设置的话,这个值为操作系统的限制.设置后你的操作系统和Nginx可以处理比"ulimit -a"更多的

最近在进行apache性能优化设置.在修改apache配置文件之前需要备份原有的配置文件夹conf,这是网站架设的好习惯.以下的apache配置调优均是在red had的环境下进行的. httpd相关查看命令了解 查看当前安装模块mpm(多路处理器) httpd -l 查看httpd进程数(即各个mpm模式下Apache能够处理的并发请求数) ps -ef|grep httpd|wc -l 得到的结果数字就是表示可以同时并发的进程数据,一个父进程,5个子进程.apache默认是开启5个子进程 查

一.ELK简介1.组成ELK是Elasticsearch.Logstash.Kibana三个开源软件的组合.在实时数据检索和分析场合,三者通常是配合使用,而且又都先后归于 Elastic.co 公司名下,故有此简称.Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等.Logstash是一个完全开源的工具,它可以对你的日志进行收集.分析,并将其存储供以后使用.kibana 是一个开源和

Confluence 为订阅者发送常规邮件报告,这个邮件报告中包含有用户具有查看权限的空间的最新的内容.这个被称为 推荐更新(Recommended Updates)通知. 如果你具有 Confluence 管理员或者系统管理员权限,你可以对默认的配置进行修改来确定推荐更新多长时间发送一次.当一个新用户添加到 Confluence 中后,这个默认的设置将会应用到这个新添加用户的用户属性中. Confluence 的用户也可以对他们的个人设置进行修改,这个修改可以重置系统的默认修改.请参考 Ema