为什么翻flume的代码,一方面是确实遇到了问题,另一方面是想翻一下flume的源码,看看有什么收获,现在收获还谈不上,因为要继续总结.不够已经够解决问题了,而且确实有好的代码,后续会继续慢慢分享,这里先把启动的流程分析一下,这也是找到问题症结的关键. 至于遇到的问题如下: Caused by: org.apache.flume.ChannelException: Put queue for MemoryTransaction of capacity 100 full, consider com…

[root@dtpweb data]#tar -zxvf apache-flume-1.7.0-bin.tar.gz[root@dtpweb conf]# cp flume-env.sh.template flume-env.sh 修改java_home[root@dtpweb conf]# cp flume-env.shexport JAVA_HOME=/data/jdkexport JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxr…

最近项目在用到flume,因此翻了下flume的代码, 启动脚本: nohup bin/flume-ng agent -n tsdbflume -c conf -f conf/配置文件.conf -Dflume.root.logger=DEBUG,console & 翻下flume-ng的脚本, FLUME_AGENT_CLASS="org.apache.flume.node.Application" 从Application进入: 写了下flume-agent启动的时序图:…

1 官网内容 上面的配置是r1获取到的内容会同时复制到c1 c2 c3 三个channel里面 2 详细配置信息 # Name the components on this agent a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 c2 # Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command = tail -F /tmp/logs/cmcc…

1 官网内容 上面配置的是根据不同的heder当中state值走不同的channels,如果是CZ就走c1 如果是US就走c2 c3 其他默认走c4 2 我的详细配置信息 一个监听http端口 然后 配置两个channel,根据不同的Header中的state值走不同的channel 监听source的配置 #配置文件: a1.sources= r1 a1.sinks= k1 k2 a1.channels= c1 c2 #Describe/configure the source a1.sour…

# http://archive.apache.org/dist/flume/1.8.0/# ==================================================================安装 flume tar -zxvf ~/apache-flume-1.8.0-bin.tar.gz -C /usr/local mv /usr/local/apache-flume-1.8.0-bin /usr/local/flume-1.8.0 rm -r ~/apac…

Flume是什么 收集.聚合事件流数据的分布式框架 通常用于log数据 采用ad-hoc方案,明显优点如下: 可靠的.可伸缩.可管理.可定制.高性能 声明式配置,可以动态更新配置 提供上下文路由功能 支持负载均衡和故障转移 功能丰富 完全的可扩展 核心概念 Event Client Agent Sources.Channels.Sinks 其他组件:Interceptors.Channel Selectors.Sink      Processor 核心概念:Event Event是Flume数…

1.下载flume,解压到自建文件夹 2.修改flume-env.sh文件 在文件中添加JAVA_HOME 3.修改flume.conf 文件(原名好像不叫这个,我自己把模板名改了) 里面我自己配的(具体配置参见 http://flume.apache.org/FlumeUserGuide.html) agent1 是我的代理名称 source是netcat (数据源) channel 是memory(内存) sink是hdfs(输出) 注意配置中添加 agent1.sinks.k1.hdfs.…

1.监控端口数据: flume启动: [bingo@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger=INFO,console 参数说明: --conf conf/  :表示配置文件存储在conf/目录 --name a1 :表示给agent起名为a1 --conf-file job/flume-telne…

1 官网内容 2 看一张图一目了然 3 详细配置 source配置文件 #配置文件: a1.sources= r1 a1.sinks= k1 k2 a1.channels= c1 #负载平衡 a1.sinkgroups = g1 a1.sinkgroups.g1.sinks = k1 k2 a1.sinkgroups.g1.processor.type = failover a1.sinkgroups.g1.processor.priority.k1 = 5 a1.sinkgroups.g1.p…