技术人员学习都是从简单例子开始的, Heka的应用也是从简单开始的。

 

需求:

监控一个日志文件的内容, 在标准输出显示出来。

 

操作步骤:

使用下载好或者编译好的 heka

已经编译好的 release 版本可以在下面地址下载: https://github.com/mozilla-services/heka/releases

注意:

需要把编译后产生的 lib 文件(dll文件) 放在 system32 目录下,否则会报下面错误:

 

 

准备一个待监控的log文件, 我这里是放在 D:\tmp\log 目录下的 auth.log 文件, 内容随便输入。

 

编写一个名叫  sanity_check.toml 的 toml 配置文件 ,内容如下, 具体配置含义,后面分析:

[LogstreamerInput]
log_directory = "D:\\tmp\\log"
file_match = 'auth\.log'

[PayloadEncoder]
append_newlines = false

[LogOutput]
message_matcher = "TRUE"
encoder = "PayloadEncoder"

这里我把这个文件保存在  D:\tmp\heka 目录下。

在 hekad.exe 目录下执行 命令:

D:\mycodes\golang\src\github.com\mozilla-services\heka\build\heka\bin>hekad.exe -config=D:\tmp\heka\sanity_check.toml

执行效果如下图:

当我们监控的文件发生变化时, 这里也是会实时读取出来的, 下面不同的时间也就标示了这点。

 

分析:

 

Heka 最重要组件为 hekad,一个适用于任何主机的轻量级守护程序, 我们这里就是对他进行配置。

Heka 使用的的 TOML格式的配置文件,一般依赖一个或者多个TOML格式的配置文件。 TOML是类似 INI 配置的语法,http://www.tuicool.com/articles/7JZRbq3 

 

除了启动应用是,配置的配置文件的位置外,运行hekad有两个重要的目录, 这里这几个参数我们都没有配置,我们用的都是默认值:

base_dir (string, 默认‘/var/cache/hekad’ 或者 ‘c:\var\cache\hekad’): 
base_dir是hekad运行的工作目录(存储hekad工作信息,如查询日志文件的seek位置等信息),运行hekad的用户需要对这个目录有写权限。

share_dir (string, 默认‘/usr/share/heka’ 或者 ‘c:\usr\share\heka’):
share_dir是hekad的静态资源,比如控制仪表盘(dashboard )的Html/js 源文件,以及各种Lua插件文件。运行hekad的用户需要对这个目录有读权限。
maxprocs (int, 默认 1):
golang的GOMAXPROCS环境变量,用于控制几个CPU内核参与到运算。
最佳实践:Heka aggregator 机器(最好是CPU核数,或者核数减一,处理数据的Heka机则是1到2。)

 

[LogstreamerInput] 配置节

log_directory = "D:\\tmp\\log"   需要监控的目录

file_match = 'auth\.log' 需要监控的文件,

 

[LogOutput] 配置节

LogOutput 是标示只需要将数据写出到Heka进程的标准输出。

message_matcher = "TRUE"  标示我们这个输出应该捕获途径Heka管道的每一个消息。

encoder = "PayloadEncoder" 标示我们捕获的每个消息,都作为原始数据进行输出发送。

 

[PayloadEncoder] 配置节

append_newlines = false  标示,我们输出时,是否在每行后面补加换行符。

 

 

参考资料:

Heka logstreamer 说明文档
http://hekad.readthedocs.org/en/latest/pluginconfig/logstreamer.html#logstreamerplugin

Heka inputs 说明文档
http://hekad.readthedocs.org/en/latest/config/inputs/index.html

Heka getting started
https://hekad.readthedocs.org/en/latest/getting_started.html

Heka:Go编写,来自Mozilla,高效、灵活的插件式数据挖掘工具

http://www.csdn.net/article/2013-05-02/2815116-introduce-from-mozilla-heka-go

http://blog.mozilla.org/services/2013/04/30/introducing-heka/

PPT介绍

https://cdn.rawgit.com/gophercon/2014-talks/master/rob_miller_heka/index.html#/

Heka, 一个高可扩展的实时数据收集和处理工具

http://skoo.me/system/2014/04/02/hekad/

Heka插件开发

http://skoo.me/system/2014/04/30/heka-plugin-devel/

http://youngsterxyf.github.io/sphinx/work_note/operations/heka.html#id1

http://blog.mozilla.org/services/category/heka/

Heka 最简单例子的更多相关文章

  1. Hibernate4.2.4入门(一)——环境搭建和简单例子

    一.前言 发下牢骚,这段时间要做项目,又要学框架,搞得都没时间写笔记,但是觉得这知识学过还是要记录下.进入主题了 1.1.Hibernate简介 什么是Hibernate?Hibernate有什么用? ...

  2. AgileEAS.NET SOA 中间件平台.Net Socket通信框架-简单例子-实现简单的服务端客户端消息应答

    一.AgileEAS.NET SOA中间件Socket/Tcp框架介绍 在文章AgileEAS.NET SOA 中间件平台Socket/Tcp通信框架介绍一文之中我们对AgileEAS.NET SOA ...

  3. spring mvc(注解)上传文件的简单例子

    spring mvc(注解)上传文件的简单例子,这有几个需要注意的地方1.form的enctype=”multipart/form-data” 这个是上传文件必须的2.applicationConte ...

  4. ko 简单例子

    Knockout是在下面三个核心功能是建立起来的: 监控属性(Observables)和依赖跟踪(Dependency tracking) 声明式绑定(Declarative bindings) 模板 ...

  5. mysql定时任务简单例子

    mysql定时任务简单例子 ? 1 2 3 4 5 6 7 8 9     如果要每30秒执行以下语句:   [sql] update userinfo set endtime = now() WHE ...

  6. java socket编程开发简单例子 与 nio非阻塞通道

    基本socket编程 1.以下只是简单例子,没有用多线程处理,只能一发一收(由于scan.nextLine()线程会进入等待状态),使用时可以根据具体项目功能进行优化处理 2.以下代码使用了1.8新特 ...

  7. 一个简单例子:贫血模型or领域模型

    转:一个简单例子:贫血模型or领域模型 贫血模型 我们首先用贫血模型来实现.所谓贫血模型就是模型对象之间存在完整的关联(可能存在多余的关联),但是对象除了get和set方外外几乎就没有其它的方法,整个 ...

  8. [转] 3个学习Socket编程的简单例子:TCP Server/Client, Select

    以前都是采用ACE的编写网络应用,最近由于工作需要,需要直接只用socket接口编写CS的代码,重新学习这方面的知识,给出自己所用到的3个简单例子,都是拷贝别人的程序.如果你能完全理解这3个例子,估计 ...

  9. jsonp的简单例子

    jsonp的简单例子 index.html <!DOCTYPE html> <html> <head> <meta charset="UTF-8&q ...

随机推荐

  1. NVIDIA | 一种重建照片的 AI 图像技术

    简评:或许可以称之为「擦擦乐」~ 建议大家看看视频示例 ~ 前几天,NVIDIA 的研究人员介绍了一种新的 深度学习 方法,使用该方法可以重建缺失像素的图像内容. 这种方法被称为「image inpa ...

  2. P5038 [SCOI2012]奇怪的游戏 二分+网络流

    $ \color{#0066ff}{ 题目描述 }$ Blinker最近喜欢上一个奇怪的游戏. 这个游戏在一个 \(N \times M\) 的棋盘上玩,每个格子有一个数.每次\(Blinker\)会 ...

  3. flask实战-个人博客-使用类组织配置

    使用类组织配置 在实际需求中,我们往往需要不同的配置组合.例如,开发用的配置,测试用的配置,生产环境用的配置.为了能方便地在这些配置中切换,你可以把配置文件升级为包,然后为这些使用场景分别创建不同的配 ...

  4. 认识CSS中css引入方式、选择器、文本样式设置以及显示模式

    前端之HTML.CSS(三) CSS CSS-Cascading Styles Sheets,层叠样式表.用于网页的表现,主要用于布局和修饰网页. CSS引入方式 CSS的三种引入方式:行内样式,内部 ...

  5. jq扩展获取表单值、设置值

    不多说,直接上代码 //jq添加插件 (function (window, $) { $.fn.serializeJson = function () { var serializeObj = {}; ...

  6. 整理的最全 python常见面试题

      整理的最全 python常见面试题(基本必考)① ②③④⑤⑥⑦⑧⑨⑩ 1.大数据的文件读取: ① 利用生成器generator: ②迭代器进行迭代遍历:for line in file; 2.迭代 ...

  7. Java_方法的定义以及分类

    什么叫方法? 方法也叫做函数,实现某个功能 方法分类: 系统提供的方法: 常用的系统提供的方法:如:nextInt() next() nextDouble() print println()..... ...

  8. 2019.03.29 读书笔记 关于params与可选参数

    void Method1(string str, object a){} void Method2(string str, object a,object b) { } void Method3(st ...

  9. 2019.03.29 读书笔记 关于override与new

    差异:override:覆盖父类分方法,new 隐藏父类方法. 共同:都不能改变父类自身方法. public class Test { public string Name { get; set; } ...

  10. Revit二次开发_快速显示隐藏剖面框

    最近遇到一种状况需要经常切换剖面框的可见性,于是想将剖面框的显示与隐藏做成一个按钮,方便切换. 其他类似元素想做成快速切换可见性应该可以使用类似做法. 这次的隐藏对象是剖面框,所以我直接就隐藏元素了. ...