Flume入门案例

首先需要通过一个配置文件来配置Agent。

通过flume提供的工具启动agent就可以工作了。

 

(1)编写配置文件

＃example.conf：单节点Flume配置

＃命名Agent a1的组件

a1.sources  =  r1

a1.sinks  =  k1

a1.channels  =  c1

 

＃描述/配置Source

a1.sources.r1.type  =  netcat

a1.sources.r1.bind  =  0.0.0.0

a1.sources.r1.port  =  44444

 

＃描述Sink

a1.sinks.k1.type  =  logger

 

＃描述内存Channel

a1.channels.c1.type  =  memory

a1.channels.c1.capacity  =  1000 

a1.channels.c1.transactionCapacity  =  100

 

＃为Channle绑定Source和Sink

a1.sources.r1.channels  =  c1

a1.sinks.k1.channel  =  c1

 

**一个配置文件中可以配置多个Agent，一个Agent中可以包含多个Source Sink Channel

**一个Source 可以绑定到多个通道，一个Sink只能绑定到一个通道

 

(2)通过flume的工具启动agent

$ bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console

 

(3)在windows中通过telnet命令连接flume所在机器的44444端口发送数据。

发现，flume确实收集到了该信息。