Heka 最简单例子
技术人员学习都是从简单例子开始的, Heka的应用也是从简单开始的。
需求:
监控一个日志文件的内容, 在标准输出显示出来。
操作步骤:
使用下载好或者编译好的 heka
已经编译好的 release 版本可以在下面地址下载: https://github.com/mozilla-services/heka/releases
注意:
需要把编译后产生的 lib 文件(dll文件) 放在 system32 目录下,否则会报下面错误:
准备一个待监控的log文件, 我这里是放在 D:\tmp\log 目录下的 auth.log 文件, 内容随便输入。
编写一个名叫 sanity_check.toml 的 toml 配置文件 ,内容如下, 具体配置含义,后面分析:
[LogstreamerInput]
log_directory = "D:\\tmp\\log"
file_match = 'auth\.log'
[PayloadEncoder]
append_newlines = false
[LogOutput]
message_matcher = "TRUE"
encoder = "PayloadEncoder"
这里我把这个文件保存在 D:\tmp\heka 目录下。
在 hekad.exe 目录下执行 命令:
D:\mycodes\golang\src\github.com\mozilla-services\heka\build\heka\bin>hekad.exe -config=D:\tmp\heka\sanity_check.toml
执行效果如下图:
当我们监控的文件发生变化时, 这里也是会实时读取出来的, 下面不同的时间也就标示了这点。
分析:
Heka 最重要组件为 hekad,一个适用于任何主机的轻量级守护程序, 我们这里就是对他进行配置。
Heka 使用的的 TOML格式的配置文件,一般依赖一个或者多个TOML格式的配置文件。 TOML是类似 INI 配置的语法,http://www.tuicool.com/articles/7JZRbq3
除了启动应用是,配置的配置文件的位置外,运行hekad有两个重要的目录, 这里这几个参数我们都没有配置,我们用的都是默认值:
base_dir (string, 默认‘/var/cache/hekad’ 或者 ‘c:\var\cache\hekad’):
base_dir是hekad运行的工作目录(存储hekad工作信息,如查询日志文件的seek位置等信息),运行hekad的用户需要对这个目录有写权限。
share_dir是hekad的静态资源,比如控制仪表盘(dashboard )的Html/js 源文件,以及各种Lua插件文件。运行hekad的用户需要对这个目录有读权限。
golang的GOMAXPROCS环境变量,用于控制几个CPU内核参与到运算。
最佳实践:Heka aggregator 机器(最好是CPU核数,或者核数减一,处理数据的Heka机则是1到2。)
[LogstreamerInput] 配置节
log_directory = "D:\\tmp\\log" 需要监控的目录
file_match = 'auth\.log' 需要监控的文件,
[LogOutput] 配置节
LogOutput 是标示只需要将数据写出到Heka进程的标准输出。
message_matcher = "TRUE" 标示我们这个输出应该捕获途径Heka管道的每一个消息。
encoder = "PayloadEncoder" 标示我们捕获的每个消息,都作为原始数据进行输出发送。
[PayloadEncoder] 配置节
append_newlines = false 标示,我们输出时,是否在每行后面补加换行符。
参考资料:
Heka logstreamer 说明文档
http://hekad.readthedocs.org/en/latest/pluginconfig/logstreamer.html#logstreamerplugin
Heka inputs 说明文档
http://hekad.readthedocs.org/en/latest/config/inputs/index.html
Heka getting started
https://hekad.readthedocs.org/en/latest/getting_started.html
Heka:Go编写,来自Mozilla,高效、灵活的插件式数据挖掘工具
http://www.csdn.net/article/2013-05-02/2815116-introduce-from-mozilla-heka-go
http://blog.mozilla.org/services/2013/04/30/introducing-heka/
PPT介绍
https://cdn.rawgit.com/gophercon/2014-talks/master/rob_miller_heka/index.html#/
Heka, 一个高可扩展的实时数据收集和处理工具
http://skoo.me/system/2014/04/02/hekad/
Heka插件开发
http://skoo.me/system/2014/04/30/heka-plugin-devel/
http://youngsterxyf.github.io/sphinx/work_note/operations/heka.html#id1
Heka 最简单例子的更多相关文章
- Hibernate4.2.4入门(一)——环境搭建和简单例子
一.前言 发下牢骚,这段时间要做项目,又要学框架,搞得都没时间写笔记,但是觉得这知识学过还是要记录下.进入主题了 1.1.Hibernate简介 什么是Hibernate?Hibernate有什么用? ...
- AgileEAS.NET SOA 中间件平台.Net Socket通信框架-简单例子-实现简单的服务端客户端消息应答
一.AgileEAS.NET SOA中间件Socket/Tcp框架介绍 在文章AgileEAS.NET SOA 中间件平台Socket/Tcp通信框架介绍一文之中我们对AgileEAS.NET SOA ...
- spring mvc(注解)上传文件的简单例子
spring mvc(注解)上传文件的简单例子,这有几个需要注意的地方1.form的enctype=”multipart/form-data” 这个是上传文件必须的2.applicationConte ...
- ko 简单例子
Knockout是在下面三个核心功能是建立起来的: 监控属性(Observables)和依赖跟踪(Dependency tracking) 声明式绑定(Declarative bindings) 模板 ...
- mysql定时任务简单例子
mysql定时任务简单例子 ? 1 2 3 4 5 6 7 8 9 如果要每30秒执行以下语句: [sql] update userinfo set endtime = now() WHE ...
- java socket编程开发简单例子 与 nio非阻塞通道
基本socket编程 1.以下只是简单例子,没有用多线程处理,只能一发一收(由于scan.nextLine()线程会进入等待状态),使用时可以根据具体项目功能进行优化处理 2.以下代码使用了1.8新特 ...
- 一个简单例子:贫血模型or领域模型
转:一个简单例子:贫血模型or领域模型 贫血模型 我们首先用贫血模型来实现.所谓贫血模型就是模型对象之间存在完整的关联(可能存在多余的关联),但是对象除了get和set方外外几乎就没有其它的方法,整个 ...
- [转] 3个学习Socket编程的简单例子:TCP Server/Client, Select
以前都是采用ACE的编写网络应用,最近由于工作需要,需要直接只用socket接口编写CS的代码,重新学习这方面的知识,给出自己所用到的3个简单例子,都是拷贝别人的程序.如果你能完全理解这3个例子,估计 ...
- jsonp的简单例子
jsonp的简单例子 index.html <!DOCTYPE html> <html> <head> <meta charset="UTF-8&q ...
随机推荐
- NVIDIA | 一种重建照片的 AI 图像技术
简评:或许可以称之为「擦擦乐」~ 建议大家看看视频示例 ~ 前几天,NVIDIA 的研究人员介绍了一种新的 深度学习 方法,使用该方法可以重建缺失像素的图像内容. 这种方法被称为「image inpa ...
- P5038 [SCOI2012]奇怪的游戏 二分+网络流
$ \color{#0066ff}{ 题目描述 }$ Blinker最近喜欢上一个奇怪的游戏. 这个游戏在一个 \(N \times M\) 的棋盘上玩,每个格子有一个数.每次\(Blinker\)会 ...
- flask实战-个人博客-使用类组织配置
使用类组织配置 在实际需求中,我们往往需要不同的配置组合.例如,开发用的配置,测试用的配置,生产环境用的配置.为了能方便地在这些配置中切换,你可以把配置文件升级为包,然后为这些使用场景分别创建不同的配 ...
- 认识CSS中css引入方式、选择器、文本样式设置以及显示模式
前端之HTML.CSS(三) CSS CSS-Cascading Styles Sheets,层叠样式表.用于网页的表现,主要用于布局和修饰网页. CSS引入方式 CSS的三种引入方式:行内样式,内部 ...
- jq扩展获取表单值、设置值
不多说,直接上代码 //jq添加插件 (function (window, $) { $.fn.serializeJson = function () { var serializeObj = {}; ...
- 整理的最全 python常见面试题
整理的最全 python常见面试题(基本必考)① ②③④⑤⑥⑦⑧⑨⑩ 1.大数据的文件读取: ① 利用生成器generator: ②迭代器进行迭代遍历:for line in file; 2.迭代 ...
- Java_方法的定义以及分类
什么叫方法? 方法也叫做函数,实现某个功能 方法分类: 系统提供的方法: 常用的系统提供的方法:如:nextInt() next() nextDouble() print println()..... ...
- 2019.03.29 读书笔记 关于params与可选参数
void Method1(string str, object a){} void Method2(string str, object a,object b) { } void Method3(st ...
- 2019.03.29 读书笔记 关于override与new
差异:override:覆盖父类分方法,new 隐藏父类方法. 共同:都不能改变父类自身方法. public class Test { public string Name { get; set; } ...
- Revit二次开发_快速显示隐藏剖面框
最近遇到一种状况需要经常切换剖面框的可见性,于是想将剖面框的显示与隐藏做成一个按钮,方便切换. 其他类似元素想做成快速切换可见性应该可以使用类似做法. 这次的隐藏对象是剖面框,所以我直接就隐藏元素了. ...