这个是最新的elk+redis搭建日志分析平台,今年时间是2015年9月11日。

Elk分别为 elasticsearch,logstash, kibana

官网为:https://www.elastic.co/products

Elasticsearch:

https://www.elastic.co/downloads/elasticsearch
https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz

logstash:

https://www.elastic.co/downloads/logstash

https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

kibana:

https://www.elastic.co/products/kibana

https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

先说一下规划

192.168.15.62为日志查看服务器,该机器需要安装redis, elasticserch, logstatsh, kibana这四个应用程序。
192.168.15.2 为应用程序nginx应用程序,我们这次只收集他的日志进行分析。

安装

Yum install vim unix2dos wget curl curl-devel expect expect-devel

Yum install gcc glibc glib2 libgcc glibc-devel glib2-devel

Yum install m4 automake autoconf cmake   cpp

Yum install gcc-c++ libstdc++ libstdc++-devel libstdc++-docs

在192.168.15.62机器上:

以root身份登陆,在root的家目录“/root”下:

Wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz

Wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

Wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

Wget http://download.redis.io/releases/redis-3.0.4.tar.gz

#tar –xvzf redis-3.0.4.tar.gz

#cd redis-3.0.4

#make

#make install

#cd utils

#./install_server.sh

这样redis就安装好了
#which redis-server在/usr/local/bin/redis-server

配置文件放在/etc/redis/6379.conf文件

#redis-cli

>set aa aavalue

>get aa 即可测试。
#cd

#tar –xvzf elasticsearch-1.7.1.tar.gz

#cp –a elasticsearch-1.7.1 /usr/local

#cd /usr/local

#ln –s elasticsearch-1.7.1 elasticsearch

#cd

#tar –xvzf logstash-1.5.4.tar.gz

#cp –a logstash-1.5.4 /usr/local

#cd /usr/local

#ln –s logstash-1.5.4 logstash

#cd

#tar –xvzf kibana-4.1.2-linux-x64.tar.gz

#cp –a kibana-4.1.2-linux-x64 /usr/local

#cd /usr/local

#ln –s kibana-4.1.2-linux-x64 kibana

程序安装全部完成。

由于elasticsearch和logstash是安装在一台机器上所以elasticsearch默认配置即可。
/usr/local/elasticsearch/bin/elasticsearch –d (以deamon方式启动elasticsearch)
打开192.168.15.62:9200即可看到

配置logstash程序
# cd /usr/local/logstash下,mkdir etc logs两个文件夹,etc用于存放配置文件,logs用于存放日志文件
在该etc目录下建立一个central.conf配置文件:

该文件说明是以redis为输入,输出到elasticsearch程序,格式为json协议为http.

如果:从文件输入,输出到redis

look@DZG-SERVICE-:/etc/logstash/conf.d$ cat wealth_product_service.conf
input { file {
path => "/data/dubbo/wealth-xxx-service/logs/xxx-service.log"
path => "/data/dubbo/wealth-xxx-service/logs/error.log"
type=> "wealth_xxx_service"
# start_position => "beginning"
} } output { if [type] == "wealth_xxx_service" {
# elasticsearch {
# hosts => "172.16.1.34"
# index => "wealth_xxx_service-%{+YYYY.MM.dd}" #匹配的索引模式
# } redis {
host => "127.0.1.23"
port =>
data_type => "list" #数据类型也要保持一致
key => "wealth_xxx_service" #key 要与服务器端的相同
} } } 然后从redis写数据到elasticsearch

input {
redis {
host => "127.0.0.1" #本地的reds地址
port => 6379 #redis端口
type => "redis-input" #输入类型
data_type => "list" #使用redis的list存储数据
key => "wealth_xxx_service"
}
}


output {
# stdout {}


elasticsearch {
hosts => "172.16.1.34" #elasticsearch地址
index => "wealth_xxx_service-%{+YYYY.MM.dd}"
codec => "json"
}
}

 

启动logstash程序如图:
#/usr/local/logstash  agent –verbose --config /usr/local/logstash/etc/central.conf –log /usr/local/logstash/logs/stdou.log 

Kibana程序现在是4版本了,自带web,端口为5601:

#cd /usr/local/kibana/bin/

#./kibana程序即可。

现在可以打开 kibana的页面了。

服务器安装完成了,现在要在客户端(192.168.25.2)收集日志
#cd

#tar –xvzf logstash-1.5.4.tar.gz

#cp –a logstash-1.5.4 /usr/local

#cd /usr/local

#ln –s logstash-1.5.4 logstash

#cd /usr/local/logstash目录
同样需要#mkdir etc logs存放配置文件和日志文件。
vim logstash_agent.conf

启动该logstash程序即可。
#/usr/local/logstash/bin/logstash –f /usr/local/logstash/etc/logstash_agent.conf

这样就把日志传给了日志服务器了。
打开http://192.168.15.62:5601。就是打开kibana页面。

配置一下:


就可以看到日志以传送过来。如图:

 
转自:https://www.cnblogs.com/gisblogs/p/5144183.html

elk +redis 环境搭建的更多相关文章

  1. Redis环境搭建和代码测试及与GIS结合的GEO数据类型预研

    文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/ 1.背景 1.1传统MySQL+ Memcached架构遇到的问题 My ...

  2. ELK - MAC环境搭建

    ELK - MAC环境搭建 本文旨在记录elasticsearch.logstash.kibana在mac下的安装与启动. 写在前面 ELK的官方文档对与它们的使用方法已经讲的非常清楚了,这里只对相关 ...

  3. redis环境搭建及一主二从三哨兵模式配置

    一.单机redis环境搭建 1.安装: OS:linux redhat6.5 下载redis 官网下载链接:https://redis.io/download 把安装包上传到服务器,进行解压 [roo ...

  4. nginx + lua +redis环境搭建

    环境搭建,其实主要是lua的环境,这个环境够麻烦的,在网上找了很多前辈的文章,终于完成了 ,安装redis wget http://download.redis.io/releases/redis-3 ...

  5. django+celery+redis环境搭建

    初次尝试搭建django+celery+redis环境,记录下来,慢慢学习~ 1.安装apache 下载httpd-2.0.63.tar.gz,解压tar zxvf httpd-2.0.63.tar. ...

  6. Redis环境搭建(Linux)

    1.简介       redis是一个开源的key-value数据库.它又经常被认为是一个数据结构服务器.因为它的value不仅包括基本的string类型还有 list,set ,sorted set ...

  7. 一.redis 环境搭建

    1.简介       redis是一个开源的key-value数据库.它又经常被认为是一个数据结构服务器.因为它的value不仅包括基本的string类型还有 list,set ,sorted set ...

  8. Redis环境搭建(MacOS)

    Redis是一个开源的key-value类型的存储系统,大部分数据存在于内存中,所有读写速度十分快.其支持的存储value数据类型有多种,如:strings.hashes.lists.sets.sor ...

  9. Redis环境搭建

    一.准备的安装包 windows虚拟机软件:VMware Workstation Pro 12 linux安装文件:CentOS-7-x86_64-Minimal-1511.iso 远程登录软件:pu ...

随机推荐

  1. 天下武功,无快不破,Python开发必备的6个库

    01 Python 必备之 PyPy PyPy 主要用于何处? 如果你需要更快的 Python 应用程序,最简单的实现的方法就是通过 PyPy ,Python 运行时与实时(JIT)编译器.与使用普通 ...

  2. sendcloud golang 发送短信 示例代码

    package main import ( "fmt" "crypto/md5" "encoding/hex" "sort&quo ...

  3. ES6的新特性(20)—— Module 的加载实现

    Module 的加载实现 上一章介绍了模块的语法,本章介绍如何在浏览器和 Node 之中加载 ES6 模块,以及实际开发中经常遇到的一些问题(比如循环加载). 浏览器加载 传统方法 HTML 网页中, ...

  4. 3D打印产业链全景图

  5. 1.12Linux下软件安装(学习过程)

    实验介绍 介绍 Ubuntu 下软件安装的几种方式,及 apt,dpkg 工具的使用. 一.Linux 上的软件安装 通常 Linux 上的软件安装主要有三种方式: 在线安装 从磁盘安装deb软件包 ...

  6. lintcode-198-排列序号II

    198-排列序号II 给出一个可能包含重复数字的排列,求这些数字的所有排列按字典序排序后该排列在其中的编号.编号从1开始. 样例 给出排列[1, 4, 2, 2],其编号为3. 思路 和 lintco ...

  7. C++对象内存布局测试总结

    C++对象内存布局测试总结 http://hi.baidu.com/����/blog/item/826d38ff13c32e3a5d6008e8.html 上文是半年前对虚函数.虚拟继承的理解.可能 ...

  8. 结对项目——fault,error,failure的程序设计

    一.结对编程内容: 1.不能触发Fault. 2.触发Fault,但是不触发Error. 3.触发Error,但不触发Failure. 二.结对编程人员 1.周宗耀.周浩: 2.结对截图: 三.结对项 ...

  9. 奇异值分解(SVD)原理详解及推导(转载)

    转载请声明出处http://blog.csdn.net/zhongkejingwang/article/details/43053513 在网上看到有很多文章介绍SVD的,讲的也都不错,但是感觉还是有 ...

  10. 【转载】mysql建表date类型不能设置默认值

    如题,mysql建表date类型的不能设置一个默认值,比如我这样: CREATE TABLE `new_table` ( `biryhday` datetime NULL DEFAULT '1996- ...