Go实现日志收集系统4

 

到这一步,我的收集系统就已经完成很大一部分工作,我们重新看一下我们之前画的图:

我们已经完成前面的部分,剩下是要完成后半部分,将kafka中的数据扔到ElasticSearch,并且最终通过kibana展现出来

ElasticSearch

官网地址这里介绍了非常详细的安装方法:
https://www.elastic.co/downloads/elasticsearch

但是其实这里是需要配置一些东西的,要不然直接启动是会悲剧的,在网上找了一个地址,如果出现类似的错误直接处理就行,我自己已经验证了:
https://blog.csdn.net/liangzhao_jay/article/details/56840941

如下图所示就表示已经安装完成:

通过go写一个简单的调用ElasticSearch的例子:

 
package main

import (
"fmt"
elastic "gopkg.in/olivere/elastic.v2"
) type Tweet struct{
User string
Message string
} func main(){
client,err := elastic.NewClient(elastic.SetSniff(false),elastic.SetURL("http://192.168.0.118:9200/"))
if err != nil{
fmt.Println("connect es error",err)
return
}
fmt.Println("conn es succ")
tweet := Tweet{User:"olivere name",Message:"Take Five"}
_, err = client.Index().Index("twitter").Type("tweet").Id("1").BodyJson(tweet).Do()
if err != nil {
panic(err)
return
}
fmt.Println("insert succ")
}
 

logtransfer

logtransfer主要负责从 kafka队列中读取日志信息,并且添加到ElasticSearch中

看那一下logtransfer 目录结构如下:

 
├── conf
│ └── app.conf
├── es.go
├── etcd.go
├── ip.go
├── kafka.go
├── logs
│ └── transfer.log
└── main.go
 

conf:存放配置文件
es.go:主要是连接ElasticSearch的部分以及用于将消息放到ElasticSearch中
etcd.go:主要用于做动态的配置更改,当我们需要将kafka中的哪些topic日志内容扔到ElasticSearch中
ip.go: 用于获取当前服务器的ip地址
kafka.go: 主要是kafka的处理逻辑,包括连接kafka以及从kafka中读日志内容
main.go:代码的入口函数

整体大代码框架,通过如图展示:

和之前的logagent中的代码有很多启示是可以复用的或者稍作更改,就可以了,其中es之心的,主要是连接ElasticSearch并将日志内容放进去

es.go的代码内容为:

 
package main

import (
"gopkg.in/olivere/elastic.v2"
"github.com/astaxie/beego/logs"
"sync"
"encoding/json"
) var waitGroup sync.WaitGroup var client *elastic.Client func initEs(addr string,) (err error){
client,err = elastic.NewClient(elastic.SetSniff(false),elastic.SetURL(addr))
if err != nil{
logs.Error("connect to es error:%v",err)
return
}
logs.Debug("conn to es success")
return
} func reloadKafka(topicArray []string) {
for _, topic := range topicArray{
kafkaMgr.AddTopic(topic)
}
} func reload(){
//GetLogConf() 从channel中获topic信息,而这部分信息是从etcd放进去的
for conf := range GetLogConf(){
var topicArray []string
err := json.Unmarshal([]byte(conf),&topicArray)
if err != nil {
logs.Error("unmarshal failed,err:%v conf:%v",err,conf)
continue
}
reloadKafka(topicArray)
}
} func Run(esThreadNum int) (err error) {
go reload()
for i:=0;i<esThreadNum;i++{
waitGroup.Add(1)
go sendToEs()
}
waitGroup.Wait()
return
} type EsMessage struct {
Message string
} func sendToEs(){
// 从msgChan中读取日志内容并扔到elasticsearch中
for msg:= range GetMessage() {
var esMsg EsMessage
esMsg.Message = msg.line
_,err := client.Index().Index(msg.topic).Type(msg.topic).BodyJson(esMsg).Do()
if err != nil {
logs.Error("send to es failed,err:%v",err)
continue
}
logs.Debug("send to es success")
}
waitGroup.Done()
}
 

最终我将logagnet以及logtransfer部署到虚拟机上进行测试的效果是:

这样当我再次查日志的时候就可以不用登陆每台服务器去查日志,只需要通过页面根据关键字迅速看到相关日志,当然目前实现的功能还是有点粗糙,etcd的更改程序,是自己写的发送程序,其实更好的解决方法是通过页面,让用户点来点去,来控制自己要收集哪些日志,以及自己要将哪些topic的日志从kafka中放到ElasticSearch (本人是做后端开发,不擅长前端的开发,不过后面可以试着写个页面试试,估计会很丑哈哈)

同时这里关于各个部分的安装并没有做过多的介绍,以及维护,当然我们的目标是是通过这些开源的软件以及包来实现我们想要的功能,后期的维护,肯定需要对各个组件部分都进行深入了解

这里附赠一下那个etcd客户端代码:

 
package main

import (
"github.com/coreos/etcd/clientv3"
"time"
"fmt"
"golang.org/x/net/context"
) var logconf = `
[
{
"topic":"eslservice_log",
"log_path":"/opt/pbx/log/eslservice.log",
"service":"eslservice",
"send_rate":50000
}
]
` var test111 = `
[
{
"topic":"test_log",
"log_path":"D:/a.log",
"service":"test",
"send_rate":50000
}
]
` var transconf = `
[
"eslservice_log"
]
` func main() {
cli, err := clientv3.New(clientv3.Config{
Endpoints:[]string{"192.168.90.78:2371"},
DialTimeout:5*time.Second,
})
if err != nil {
fmt.Println("connect failed,err:",err)
return
}
fmt.Println("connect success")
defer cli.Close()
ctx,cancel := context.WithTimeout(context.Background(),time.Second)
//_,err = cli.Put(ctx,"/logagent/192.168.90.11/log_config",logconf)
//_,err = cli.Put(ctx,"/logagent/192.168.90.61/log_config",test111)
_, err = cli.Put(ctx,"/logtransfer/192.168.90.11/log_config",transconf)
cancel()
if err != nil {
fmt.Println("put failed ,err:",err)
return
}
ctx,cancel = context.WithTimeout(context.Background(),time.Second)
resp,err := cli.Get(ctx,"/logtransfer/",clientv3.WithPrefix())
cancel()
if err != nil {
fmt.Println("get failed,err:",err)
return
}
for _,ev:=range resp.Kvs{
fmt.Printf("%s:%s\n",ev.Key,ev.Value)
}
}
 

GO学习-(35) Go实现日志收集系统4的更多相关文章

  1. GO学习-(34) Go实现日志收集系统3

    Go实现日志收集系统3   再次整理了一下这个日志收集系统的框,如下图 这次要实现的代码的整体逻辑为: 完整代码地址为: etcd介绍 高可用的分布式key-value存储,可以用于配置共享和服务发现 ...

  2. GO学习-(33) Go实现日志收集系统2

    Go实现日志收集系统2   一篇文章主要是关于整体架构以及用到的软件的一些介绍,这一篇文章是对各个软件的使用介绍,当然这里主要是关于架构中我们agent的实现用到的内容 关于zookeeper+kaf ...

  3. GO学习-(32) Go实现日志收集系统1

    Go实现日志收集系统1 项目背景 每个系统都有日志,当系统出现问题时,需要通过日志解决问题 当系统机器比较少时,登陆到服务器上查看即可满足 当系统机器规模巨大,登陆到机器上查看几乎不现实 当然即使是机 ...

  4. Go语言学习之11 日志收集系统kafka库实战

    本节主要内容: 1. 日志收集系统设计2. 日志客户端开发 1. 项目背景    a. 每个系统都有日志,当系统出现问题时,需要通过日志解决问题    b. 当系统机器比较少时,登陆到服务器上查看即可 ...

  5. ELK+kafka构建日志收集系统

    ELK+kafka构建日志收集系统   原文  http://lx.wxqrcode.com/index.php/post/101.html   背景: 最近线上上了ELK,但是只用了一台Redis在 ...

  6. 基于Flume的美团日志收集系统 架构和设计 改进和优化

    3种解决办法 https://tech.meituan.com/mt-log-system-arch.html 基于Flume的美团日志收集系统(一)架构和设计 - https://tech.meit ...

  7. 容器云平台No.9~kubernetes日志收集系统EFK

    EFK介绍 EFK,全称Elasticsearch Fluentd Kibana ,是kubernetes中比较常用的日志收集方案,也是官方比较推荐的方案. 通过EFK,可以把集群的所有日志收集到El ...

  8. Flume -- 开源分布式日志收集系统

    Flume是Cloudera提供的一个高可用的.高可靠的开源分布式海量日志收集系统,日志数据可以经过Flume流向需要存储终端目的地.这里的日志是一个统称,泛指文件.操作记录等许多数据. 一.Flum ...

  9. [转载] 一共81个,开源大数据处理工具汇总(下),包括日志收集系统/集群管理/RPC等

    原文: http://www.36dsj.com/archives/25042 接上一部分:一共81个,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要有日志收集系统.消息系统.分布式服务 ...

随机推荐

  1. k8s集群移除node

    先drain节点上的pod 使用kubectl drain node03 --delete-local-data --force --ignore-daemonsets 之后删除node [root@ ...

  2. 判断请求是否属于Ajax请求

    我们有时候需要根据请求类型来判断返回视图名称还是JSON数据,这里记录一个判断Ajax的工具类方便日后好找 通过传入Request对象获取头信息,根据头信息判断是否属于Ajax请求 public cl ...

  3. HttpContext访问的正确姿势

    本文章转发自:https://www.cnblogs.com/tianqing/p/12570801.html 使用HttpContext的具体场景: 1. 在Controller层访问HttpCon ...

  4. 11- jmeter主要元件

    元件分类 HTTP请求默认值(请求行,请求头,空行,消息体) HTTP信息头管理器: HTTPcookie管理器(1.更真实的模拟用户行为 ,多个请求的关联.第一个请求没有cookie第二个就带了co ...

  5. php中var关键字用法

    见很多朋友说在php中定义变量用不用var都没关系,其实不然. 看看例子,如果我这样使用var: 1 var $a=123; 2 echo $a; 3 //那么程序会提示语法错误,要去掉var这个变量 ...

  6. DVWA之File Upload (文件上传漏洞)

    目录 Low: Medium: 方法一:抓包修改文件的type 方法二:00截断 High: Impossible : Low: 源代码: <?php if( isset( $_POST[ 'U ...

  7. 网站指纹识别工具Whatweb的使用

    目录 whatweb 一些常见的Whatweb的扫描 常规扫描 批量扫描 详细回显扫描 扫描强度等级控制 快速本地扫描(扫描内网的主机) 将扫描结果导出至文件内 whatweb whatweb 是ka ...

  8. 简述MySQL优化

    数据库的优化可以从四个方面来优化: 1.结构层: web服务器采用负载均衡服务器,mysql服务器采用主从复制,读写分离 2.储存层: 采用合适的存储引擎,采用三范式 3.设计层: 采用分区分表,索引 ...

  9. myysql 不能远程访问的解决办法

    1.通过navicat或者命令行,将user表中原来host=localhost的改为host=% 命令行方式: mysql> update user set host = '%' where ...

  10. 老师不讲的C语言知识

    老师不讲的C语言知识 导语: 对于工科生,C语言是一门必修课.标准C(ANSI C)这个看似简单的语言在硬件底层编程.嵌入式开发领域还是稳坐头把交椅.在20年5月份,C语言就凭借其在医疗设备上的广泛应 ...