flume 是 cloudera公司研发的日志收集系统,采用3层结构:1. agent层,用于直接收集日志;2.connect 层,用于接受日志; 3. 数据存储层,用于保存日志.由一到多个master管理1和2层节点. 本文采用单节点试用flume日志处理. flume 单节点使用示例 flume号称水道,其设计思路是水源(source)和水槽(sink)都是可以人意组合的.这样在汇集水的过程是非常灵活的.每一个逻辑节点由事件生产(source)和事件消费(sink)组成.从源拉取数据,从si…