一 日志轮训切割 [root@centos7 tools]# cat nginx_log.sh #!/bin/bash cd /var/log/nginx/ &&\ /bin/mv access.log access_%(date +%F -d -1day).log systemctl reload nginx 二 不记录不需要的访问日志 location ~.*\.(js|jpg|JPG|JPEG|css|bmp|gif|GIF)% { access_log off; } 三 修改日志格

一.编写脚本实现nginx access日志轮询 配置日志切割脚本,如下: [root@nginx shell]# cat cut_nginx_log.sh #!/bin/bash #Author:Mr.Ding #Created Time:2018-08-27 07:19:30 #Name:cut_nginx_log.sh #Description: Dateformat=`date +%Y%m%d` Basedir="/application/nginx" Nginxlogdir=

PS:此片文章是承接上篇ELK部署文档,再次便不详细说明了 [安装Redis] [root@Redis ~]# wget  http://download.redis.io/releases/redis-2.8.13.tar.gz [root@Redis ~]# tar zxvf redis-2.8.13.tar.gz [root@Redis ~]# cd redis-2.8.13 [root@Redis redis-2.8.13]# make [root@Redis redis-2.8.13]

一,Nginx基本安全优化 1.1 调整参数隐藏Nginx软件版本号信息 一般来说,软件的漏洞都和版本有关,这个很像汽车的缺陷,同一批次的要有问题就都有问题,别的批次可能就都是好的.因此,我们应尽量隐藏或消除Web服务对访问用户显示各类敏感信息(例如Web软件名称及版本号等信息),这样恶意的用户就很难猜到他攻击的服务器所用的是否有特定漏洞的软件,或者是否有对应漏洞的某一特定版本,从而加强Web服务的安全性.这在武侠小说里,就相当于隐身术,你隐身了,对手就很难打着你了. 想要隐身,首先要了解所使用

nginx的优化 ． gzip压缩优化 ． expires缓存有还 ． 网络IO事件模型优化 ． 隐藏软件名称和版本号 ． 防盗链优化 ． 禁止恶意域名解析 ． 禁止通过IP地址访问网站 ． HTTP请求方法优化 ． 防DOS攻击单IP并发连接的控制,与连接速率控制 . 严格设置web站点目录的权限 . 将nginx进程以及站点运行于监牢模式 . 通过robot协议以及HTTP_USER_AGENT防爬虫优化 . 配置错误页面根据错误码指定网页反馈给用户 . nginx日志相关优化访问日志切割轮

一:日志切割步骤 命令都在root下进行 1.创建目录 mkdir -p /etc/opt/modules/bin ## 创建文件夹 2.上传cut 3.观察目录 4.修改的cut文件 5.检测 需要保证nginx已经开启 6.效果 7.定时 二:切割程序 1.脚本 #!/bin/bash # nginx日志存储的linux路径 LOGS_PATH="/usr/local/nginx/userlogs/" # 旧日志存储的linux路径 OLD_LOGS_PATH=${LOGS_PAT

一:日志切割步骤 命令都在root下进行 1.创建目录 mkdir -p /etc/opt/modules/bin ## 创建文件夹 2.上传cut 3.观察目录 4.修改的cut文件 5.检测 需要保证nginx已经开启 6.效果 7.定时 二:切割程序 1.脚本 #!/bin/bash # nginx日志存储的linux路径 LOGS_PATH="/usr/local/nginx/userlogs/" # 旧日志存储的linux路径 OLD_LOGS_PATH=${LOGS_PAT

rsyslog日志收集配置 rsyslog服务器收集各服务器的日志,并汇总,再由logstash处理 请查看上一篇文章  http://bbotte.blog.51cto.com/6205307/1613571 客户端/发送端 web服务器 # yum install rsyslog -y # vim /etc/rsyslog.conf *.* @192.168.10.1:514 # vim /etc/bashrc #收集其他服务器的操作命令 export PROMPT_COMMAND='{ m

nginx错误界面优化 在进行web访问的时候,经常会遇到网站打不开报错的情况,nginx默认的界面并不美观,我们可以通过重定向到自定义的错误页面,提升用户体验,比如淘宝的错误页面还有商品信息和广告. 优化方法 编辑nginx.conf配置文件,在server代码块中加上一行 error_page 400 103 404 405 /40x.html; 自己编辑40x.html文件就可以了. nginx日志功能 开发和运维人员可以通过日志来分析用户将的行为,nginx中由ngx_http_log_

一.写在前面 结合之前写的一篇文章:Centos7 之安装Logstash ELK stack 日志管理系统,上篇文章主要讲了监控软件的作用以及部署方法.而这篇文章介绍的是单独监控nginx 日志分析再进行可视化图形展示,并在用户前端使用nginx 来代理kibana的请求响应,访问权限方面暂时使用HTTP 基本认证加密用户登录.(关于elk权限控制,我所了解的还有一种方式-Shield),等以后有时间了去搞下.下面开始正文吧... 注意:环境默认和上一篇大致一样,默认安装好了E.L.K.3个软

Nginx作为网站的第一入口,其日志记录了除用户相关的信息之外,还记录了整个网站系统的性能,对其进行性能排查是优化网站性能的一大关键. Logstash是一个接收,处理,转发日志的工具.支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型.一般情景下,Logstash用来和ElasticSearch和Kibana搭配使用,简称ELK,本站http://www.wenzhihuai.com除了用作ELK,还配合了Kafka进行使用.它使用JRuby编写,开源,

转:http://www.infoq.com/cn/articles/nignx-log-goldmine Nginx(读作Engine-X)是现在最流行的负载均衡和反向代理服务器之一.如果你是一名中小微型网站的开发运维人员,很可能像我们一样,仅Nginx每天就会产生上百M甚至数以十G的日志文件.如果没有出什么错误,在被logrotate定期分割并滚动删除以前,这些日志文件可能都不会被看上一眼. 实际上,Nginx日志文件可以记录的信息相当丰富,而且格式可以定制,考虑到`$time_local`

#ELK 6安装配置 nginx日志收集 kabana汉化 #环境 centos 7.4 ,ELK 6 ,单节点 #服务端 Logstash 收集,过滤 Elasticsearch 存储,索引日志 Kibana 可视化 #客户端 filebeat 监控.转发,作为agent filebeat-->Logstash-->Elasticsearch-->Kibana #基本配置 #时间同步 #关闭selinux #内核优化 #防火墙端口 #内核 echo ' * hard nofile 65

本文以api.mingongge.com.cn域名为测试对象进行统计,日志为crm.mingongge.com.cn和risk.mingongge.com.cn请求之和(此二者域名不具生产换环境统计意义),生产环境请根据具体需要统计的域名进行统计. 由于涉及生产线上服务器,故本文部分服务器IP做了打码处理. 一.服务介绍 1.1.ELK ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件.新增了一个FileBeat,它是一

1.Nginx日志管理 1.日志简单介绍 Nginx提供了日志记录的功能,日志文件在对我们管理网站十分有用,通过访问日志(access_log)我们可以获取请求来源.客户端信息.请求的资源等信息:通过错误日志(error_log)可以获取错误发生时间.错误信息等,方便我们及时定位和修复错误.看一下Nginx中日志相关的指令. #设置访问日志:访问日志文件为nginx/logs/mysite.access.log,格式为main access_log logs/mysite.access.log

本文以api.mingongge.com.cn域名为测试对象进行统计,日志为crm.mingongge.com.cn和risk.mingongge.com.cn请求之和(此二者域名不具生产换环境统计意义),生产环境请根据具体需要统计的域名进行统计. 由于涉及生产线上服务器,故本文部分服务器IP做了打码处理. 一.服务介绍 1.1.ELK ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件.新增了一个FileBeat,它是一

1.Nginx基本安全优化 a.更改配置文件参数隐藏版本 编辑nginx.conf配置文件增加参数,实现隐藏Nginx版本号的方式如下.在nginx配置文件nginx.conf中的http标签段内加入 “server_tokens off;”参数,如下: http{ …… server_tokens off; …… } 此参数放置在http标签内,作用是控制http response header内的web服务版本信息的显示,以及错误信息中web服务版本信息的显示. server_tokens参

nginx基本安全优化 1. 调整参数隐藏nginx软件版本号信息 软件的漏洞和版本有关,我们应尽量隐藏或消除web服务对访问用户显示各类敏感信息(例如web软件名称及版本号等信息),这样恶意的用户就很难猜到他攻击的服务器所用的是否有特定漏洞的软件,或者是否有对应漏洞的某一特定版本,从而加强web服务的安全性.要了解服务器使用的软件版本号,对于linux客户端 [root@Poppy conf]# curl -i bbs.joker.com HTTP/1.1 200 OK Server: ngi

四,Nginx站点目录及文件URL访问控制 4.1 根据扩展名限制程序和文件访问 Web2.0时代,绝大多数网站都是以用户为中心多的,例如:bbs,blog,sns产品,这几个产品都有一个共同特点,就是不但允许用户发布内容到服务器,还允许用户发图片甚至上传附件到服务器上,由于为用户开了上传功能,因此给服务器带来了很大的安全风险.虽然很多程序在上传前会着一定的控制,例如:文件大小,类型等,但是,一不小心就会被黑客钻了控制,上传了木马程序. 下面将利用Nginx配置禁止访问上传资源目录下的PHP,S

nginx 日志问题(\x22) 问题: 1.request_body中含有中文时,nginx日志会转换为十六进制. 2.nginx记录问题 POST /xxxxx HTTP/1.1|200|4266|0.121|0.121|------------------------------4a74a6c5ef13\x0D\x0AContent-Disposition: form-data; name=\x22city\x22\x0D\x0A\x0D\x0Ananjing\x0D\x0A-------

对于日志来说,最常见的需求就是收集.存储.查询.展示,开源社区正好有相对应的开源项目:logstash(收集).elasticsearch(存储+搜索).kibana(展示),我们将这三个组合起来的技术称之为ELKStack,所以说ELKStack指的是Elasticsearch(java).Logstash(jruby).Kibana技术栈的结合, ELK5.X搭建并收集Nginx日志 ELK ELK5.X搭建并收集Nginx日志一.基础环境配置及软件包下载 二.安装Elasticsearch