logstash+es+kibana+redis搭建

环境信息：

CentOS 6.5

redis 3.0.4

logstash

elasticsearch

kibana

服务端ip:192.168.0.65

客户端ip:192.168.0.66

关系结构图：

图片引用自：http://www.wklken.me/posts/2015/04/26/elk-for-nginx-log.html

安装redis

首先下载redis

wget http://download.redis.io/releases/redis-3.0.4.tar.gz

下载之后解压，编译安装

tar -zvxf redis-3.0.4.tar.gz

make

make install

然后启动redis

redis-server redis.conf &

添加&符号表示后台启动

安装logstash

服务器端

首先安装java环境这里使用比较简单的方法

yum install jdk –y

如果你手动安装的话建议安装java1.8

下载logstash

wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

下载之后解压

tar –zxvf logstash-1.5.4.tar.gz

然后到logstash目录下，创建config目录并创建一个logstash_server.conf文件，创建logs目录存放日志并创建logstash.log文件

编辑文件

vim logstash_server.conf

将一下内容写入到logstash_server.conf中

input {
        redis {
                host => "127.0.0.1"           #本地的reds地址
                port => 6379                      #redis端口
                type => "redis-input"           #输入类型
                data_type => "list"               #使用redis的list存储数据
                key => "key_count"
        }
}

output {
        stdout {}
        elasticsearch {
                host => "127.0.0.1"               #elasticsearch地址
                cluster => "elasticsearch"
                codec => "json"
                protocol => "http"                  #elasticsearch使用的协议
        }
}

配置完成后启动logstash

bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &

 

数据采集端

数据采集端的安装步骤与服务器端的安装步骤相同

只是在配置文件有所不同

在数据采集端创建logstash_client.conf

数据采集端的conf文件配置为：

input {
	file {
		type => "type_count"                  

                 #日志所在的目录

   	        path => "/data/logs/count/stdout.log", "/data/logs/count/stderr.log"]
		exclude => ["*.gz", "access.log"]   #排除一些不想加入的日志
	}
}

output {
	stdout {}
	redis {
		host => "192.168.0.65"
		port => 6379
		data_type => "list"         #数据类型也要保持一致
		key => "key_count"          #key 要与服务器端的相同
	}
}

配置完成后启动logstash

bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &

 

安装elasticsearch

下载elasticsearch

wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.tar.gz

解压： tar –zvxf elasticsearch-1.7.2.tar.gz

elasticsearch 不需要特别的配置，只需要启动即可

切到elasticsearch的目录下进行启动：bin/elasticsearch –d

-d命令表示后台启动elasticsearch

安装kibana

下载kibana

wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

解压：tar –zxvf kibana-4.1.2-linux-x64.tar.gz

kibana需要配置一下elasearch所在的服务器地址

切到kibana的目录下

vim config/kibana.yml

找到   elasticsearch_url: "http://localhost:9200" 这一行修改为 elasticsearch_url: http://127.0.0.1:9200

kibana的启动需要需要一个.kibana的隐藏文件，可以在启动kibana之后执行下面的命令：

curl -XPUT localhost:9200/.kibana

 

测试安装是否成功

我们启动redis监控输入的信息

redis-cli –p 6379 mointor

然后我们到客户端的日志文件中写入一些测试信息：

 

echo 'this is a test message!' >>  /data/logs/count/stderr.log

会看到服务器端接收到信息：

到此，基本的搭建就已经完成了

到浏览器访问即可：http://192.168.0.65:5601

 

最后推荐几个kibana使用的地址：

  http://www.code123.cc/docs/kibana-logstash/v4/index.html