Linux 之 rsyslog+mysql+LogAnalyzer 日志收集系统
作者:邓聪聪
LogAnalyzer 是一个 syslog 和其他网络事件数据的 Web 前端工具,提供简单易用的日志浏览、搜索和基本分析以及图表显示
由于公司部分项目需求使用日志记录系统,随笔记录
1:在rsyslog服务器上部署 LAMP环境。
[root@Log_server ~]# yum -y install wget httpd mysql mysql-server php php-mysql postgresql postgresql-server php-postgresql php-pgsql php-devel gd gd-devel php-gd
[root@Log_server ~]# /etc/init.d/mysqld start
[root@Log_server ~]# /etc/init.d/httpd start
2:安装rsyslog 连接MySQL数据库的模块
[root@Log_server ~]# yum install rsyslog-mysql –y
导入rsyslog-mysql 数据库文件
[root@Log_server ~]# cd /usr/share/doc/rsyslog-mysql-5.8./
[root@Log_server rsyslog-mysql-5.8.10]# mysql -uroot < createDB.sql
[root@Log_server rsyslog-mysql-5.8.10]# mysql
mysql>show databases;
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| Syslog |
| mysql |
| test |
+--------------------+
rows in set (0.00 sec) mysql> mysql> show tables;
+------------------------+
| Tables_in_Syslog |
+------------------------+
| SystemEvents |
| SystemEventsProperties |
+------------------------+
rows in set (0.00 sec) mysql> grant all on Syslog.* to rsyslog@localhost identified by 'yourpwd';
mysql> flush privileges;
mysql> exit
3:配置服务端支持rsyslog-mysql 模块,并开启UDP服务端口获取网内其他设备日志或LINUX系统日志
Bye
[root@Log_server ~]# grep -v '^#' /etc/rsyslog.conf |grep -v '^$'
$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)
$ModLoad imklog # provides kernel logging support (previously done by rklogd)
$ModLoad immark # provides --MARK-- message capability
$ModLoad imudp
$UDPServerRun
$ModLoad ommysql #启动rsyslog的数据库模块
*.* :ommysql:localhost,Syslog,rsyslog,heju@.com #连接数据库的信息
========以上两行是需要插入的内容
$ModLoad imtcp
$InputTCPServerRun
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$IncludeConfig /etc/rsyslog.d/*.conf
*.info;mail.none;authpriv.none;cron.none /var/log/messages
authpriv.* /var/log/secure
mail.* -/var/log/maillog
cron.* /var/log/cron
*.emerg *
uucp,news.crit /var/log/spooler
local7.* /var/log/boot.log
4:配置http下的配置文件,编辑/etc/httpd/conf/httpd.conf,在</IfModule>行增加index.php
DirectoryIndex index.html index.php
</IfModule>
5:安装LogAnalyzer
[root@Log_server ~]# wget http://download.adiscon.com/loganalyzer/loganalyzer-3.6.5.tar.gz
[root@Log_server ~]# ll
total
-rw-------. root root Jan : anaconda-ks.cfg
-rw-r--r--. root root Jan : install.log
-rw-r--r--. root root Jan : install.log.syslog
-rw-r--r-- root root Oct loganalyzer-3.6..tar.gz
[root@Log_server ~]# tar -xf loganalyzer-3.6..tar.gz
[root@Log_server ~]# cd loganalyzer-3.6.
[root@Log_server loganalyzer-3.6.]# ll
total
-rw-rw-r-- root root Oct ChangeLog
drwxrwxr-x root root Oct contrib
-rw-rw-r-- root root Oct COPYING
drwxrwxr-x root root Oct doc
-rw-rw-r-- root root Oct INSTALL
drwxrwxr-x root root Oct src
[root@Log_server loganalyzer-3.6.]# cp src/* /var/www/html/
[root@Log_server loganalyzer-3.6.5]# touch config.php
[root@Log_server loganalyzer-3.6.5]# chmod 666 config.php
6:后端的操作大功告成,接下来就是前端web的配置了
浏览器输入日志服务器IP:IP/install.php,完成安装,填写对应的参数IP
这里就不一一贴图了,主要注意填数据库的几个参数
source type 需要修改成mysql native 源,随后填写mysql相关信息,注意(Database Tablename 处默认是首字母小写的,正确应该是SystemEvents !!!)
7:客户端的配置模式
liunx系统设备:
1 检查rsyslog 是否安装
rpm -qa|grep rsyslog #默认都是安装的
2 配置rsyslog 客户端发送本地日志到服务端
vi /etc/rsyslog.conf
*.* @服务器IP
华为交换机客户端配置:
[Sysname] info-center enable #开启信息中心
[Sysname] info-center loghost 192.168.100.100 channel loghost #指定向日志主机输出日志信息的通道为 loghost 通道
[Sysname] info-center source default channel loghost debug state off log state off trap state off #关闭所有模块日志主机的 log、trap、debug 的状态(注意:由于系统对各通道允许输出的系统信息的缺省情况不一样,所以配置前必须将所有模块的需求通道(本例为loghost )上log、trap、debug 状态设为关闭,再根据当前的需求配置输出相应的系统信息。可以用display channel 命令查看通道的状态)。
[Sysname] info-center source default channel loghost log level informational #允许输出信息的模块为所有模块 source:default
display channel loghost #查看通道状态
Linux 之 rsyslog+mysql+LogAnalyzer 日志收集系统的更多相关文章
- Linux 之rsyslog+LogAnalyzer 日志收集系统
一.LogAnalyzer介绍 LogAnalyzer工具提供了一个易于使用,功能强大的前端,用于搜索,查看和分析网络活动数据,包括系统日志,事件日志和其他许多日志源.由于它只是将数据展示到我们用户的 ...
- rsyslog+LogAnalyzer 日志收集
Linux 之rsyslog+LogAnalyzer 日志收集系统 一.LogAnalyzer介绍 LogAnalyzer工具提供了一个易于使用,功能强大的前端,用于搜索,查看和分析网络活动数据,包括 ...
- django+nginx+xshell简易日志查询,接上<关于《rsyslog+mysql+loganalyzer搭建日志服务器<个人笔记>》的反思>
纠正一下之前在<关于<rsyslog+mysql+loganalyzer搭建日志服务器<个人笔记>>的反思>中说到的PHP+MySQL太慢,这里只是说我技术不好,没 ...
- 关于《rsyslog+mysql+loganalyzer搭建日志服务器<个人笔记>》的反思
关于<rsyslog+mysql+loganalyzer搭建日志服务器<个人笔记>>的反思--链接--http://www.cnblogs.com/drgcaosheng/p/ ...
- ELK+kafka构建日志收集系统
ELK+kafka构建日志收集系统 原文 http://lx.wxqrcode.com/index.php/post/101.html 背景: 最近线上上了ELK,但是只用了一台Redis在 ...
- 日志收集系统elk
目录 elk简介 官方帮助 rsyslog rsyslog日志采集介绍与使用 综合实验 案例一: 单机ELK部署 案例二. JAVA环境配置,部署 filebeat+Elasticsearch apa ...
- [转载] 一共81个,开源大数据处理工具汇总(下),包括日志收集系统/集群管理/RPC等
原文: http://www.36dsj.com/archives/25042 接上一部分:一共81个,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要有日志收集系统.消息系统.分布式服务 ...
- 一共81个,开源大数据处理工具汇总(下),包括日志收集系统/集群管理/RPC等
作者:大数据女神-诺蓝(微信公号:dashujunvshen).本文是36大数据专稿,转载必须标明来源36大数据. 接上一部分:一共81个,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要 ...
- ELK 日志收集系统
传统系统日志收集的问题 在传统项目中,如果在生产环境中,有多台不同的服务器集群,如果生产环境需要通过日志定位项目的Bug的话,需要在每台节点上使用传统的命令方式查询,这样效率非常底下. 通常,日志被分 ...
随机推荐
- 【Topcoder 1643】PossibleOrders
题意:给一些等价关系,问把所有的数按照大小排序的种类数. 思路:首先并查集维护等价类,然后设有\(n\)个等价类. 那么就可以\(dp\)了. 考虑\(dp(i)\)表示还剩下\(i\)个等价类,答案 ...
- 控制结构(7): 程序计数器(PC)
// 上一篇:最近最少使用(LRU) // 下一篇:线性化(linearization) 程序的每一行都是一个状态,对应的行指令.同步的情况下同一个pc一直自增,异步的时候,分裂出一个新的子pc,独立 ...
- Spring 使用纯注解方式完成IoC
目录 创建一个简单的Person类 使用xml方式配置Spring容器并获取bean的过程 创建xml配置文件 进行测试 使用纯注解方式配置Spring容器并获取bean的过程 创建spring配置类 ...
- 使用IDEA2017在Windows下编程并测试Hadoop2.7+Spark2.2+Azkaban
1. 下载好IDEA HADOOP SPARK 首先,配置IDEA, 在插件管理中使用IDEA在线库安装scala插件, 在在线库直接搜索即可; 其次,配置Maven选项, 将Maven添加到IDEA ...
- AI佳作解读系列(二)——目标检测AI算法集杂谈:R-CNN,faster R-CNN,yolo,SSD,yoloV2,yoloV3
1 引言 深度学习目前已经应用到了各个领域,应用场景大体分为三类:物体识别,目标检测,自然语言处理.本文着重与分析目标检测领域的深度学习方法,对其中的经典模型框架进行深入分析. 目标检测可以理解为是物 ...
- Ubuntu16.04安装Redis并配置
Ubuntu16.04安装Redis并配置 2018年05月22日 10:40:35 Hello_刘 阅读数:29146 Ubuntu16.04安装Redis并配置 1):安装: 1:终端命令下载 ...
- 第六十八天 js轮播图
1.浮动与定位结合使用 浮动与相对定位 //1.两者均参与布局 //2.主浮动布局,相对布局辅助完成布局微调 //3.相对定位布局微调不同于盒模型布局微调,相对定位布局不影响盒子原有位置,就会影响兄弟 ...
- LOJ2340 [WC2018] 州区划分 【FMT】【欧拉回路】
题目分析: 这题是WC的题??? 令 $g[S] = (\sum_{x \in S}w_x)^p$ $h[S] = g[S]$如果$S$不是欧拉回路 $d[S] = \frac{f[S]}{g[All ...
- 洛谷P1608路径统计
题目 这个提示一个简单的最短路计数,除了用数组存上最短路的个数的做法以外,还有可以在得出最短路之后,搜索加剪枝的方法来通过该题. 可以反向搜索用A*的方法来通过,但是这个题的去重十分的恶心,需要一些玄 ...
- 删除链表倒数第n个节点
题目: 给定一个链表,删除链表的倒数第 n 个节点,并且返回链表的头结点. 示例: 给定一个链表: 1->2->3->4->5, 和 n = 2. 当删除了倒数第二个节点后,链 ...