Flume Source 实例

  1. Avro Source

    监听avro端口，接收外部avro客户端数据流。跟前面的agent的Avro Sink可以组成多层拓扑结构。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    a1.sources=s1
    a1.sinks=k1
    a1.channels=c1
       
    a1.sources.s1.channels=c1
    a1.sinks.k1.channel=c1
       
    a1.sources.s1.type=avro
    a1.sources.s1.bind=vm1
    a1.sources.s1.port=41414
       
    a1.sinks.k1.type=logger
       
    a1.channels.c1.type=memory
    a1.channels.c1.capacity=1000
    a1.channels.c1.transactionCapacity=100

    启动命令：

    1
    flume-ng agent --conf conf/ --conf-file conf/a1.conf --name a1 -Dflume.root.logger=INFO,console

    测试方法：

    1
    flume-ng avro-client --host vm1 --port 41414 --filename a.log

  2. Exec Source

    启动source的时候执行unix命令，并期望不断获取数据，比如tail -f命令。

    Exec Source有可能会丢失数据，可以考虑使用Spooling Dircetory Source。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    a1.sources=s1
    a1.sinks=k1
    a1.channels=c1
       
    a1.sources.s1.channels=c1
    a1.sinks.k1.channel=c1
       
    a1.sources.s1.type=exec
    a1.sources.s1.command= tail -f /home/flume/a.log
       
    a1.sinks.k1.type=logger
       
    a1.channels.c1.type=memory
    a1.channels.c1.capacity=1000
    a1.channels.c1.transactionCapacity=100

    执行命令：

    1
    flume-ng agent --conf conf/ --conf-file conf/a1.conf --name a1 -Dflume.root.logger=INFO,console

    测试方法：

    向unix命令监听的文件追加内容，

    1
    echo 'hello, everyone!' >> a.log

  3. Spooling Directory Source

    监控某个文件夹，将新产生的文件解析成event，解析方式是可插拔的，默认是LINE，将新文件中的每行数据转换成一个event。文件解析完成后，该文件名字被追加.completed。

    Spooling Dircetory Source相对于Exec Source更可靠，它不会丢失数据（甚至被重启或杀死）。为了这种特性，只能是不可修改的、名字不重复的文件才可使用这个source：

    1）监控文件夹内的文件被flume使用后不能进行修改。

    2）文件名字不能重复，如果已经存在了xx.completed，不能在放入名字叫xx的文件。否则报错，停止。

    3）被监控文件夹里的子文件夹不处理

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    a1.sources=s1
    a1.sinks=k1
    a1.channels=c1
       
    a1.sources.s1.channels=c1
    a1.sinks.k1.channel=c1
       
    a1.sources.s1.type=spooldir
    a1.sources.s1.spoolDir=/home/flume/a
       
    a1.sinks.k1.type=logger
       
    a1.channels.c1.type=memory
    a1.channels.c1.capacity=1000
    a1.channels.c1.transactionCapacity=100

    启动命令：

    1
    flume-ng agent --conf conf/ --conf-file conf/a1.conf --name a1 -Dflume.root.logger=INFO,console

    测试方法：

    向/home/flume/a文件夹内放入文件。

  4. Netcat Source

    监听端口数据。类似于nc -k -l [host] [port]命令.

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    a1.sources=s1
    a1.sinks=k1
    a1.channels=c1
       
    a1.sources.s1.channels=c1
    a1.sinks.k1.channel=c1
       
    a1.sources.s1.type=netcat
    a1.sources.s1.bind=localhost
    a1.sources.s1.port=41414
       
    a1.sinks.k1.type=logger
       
    a1.channels.c1.type=memory
    a1.channels.c1.capacity=1000
    a1.channels.c1.transactionCapacity=100

    启动命令：

    1
    flume-ng agent --conf conf/ --conf-file conf/a1.conf --name a1 -Dflume.root.logger=INFO,console

    测试方式：

    1
    telnet localhost 41414

  5. Sequence Generator Source

    不断生成从0开始的数字，主要用于测试

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    a1.sources=s1
    a1.sinks=k1
    a1.channels=c1
       
    a1.sources.s1.channels=c1
    a1.sinks.k1.channel=c1
       
    a1.sources.s1.type=seq
       
    a1.sinks.k1.type=logger
       
    a1.channels.c1.type=memory
    a1.channels.c1.capacity=1000
    a1.channels.c1.transactionCapacity=100

    启动命令：

    1
    flume-ng agent --conf conf/ --conf-file conf/a1.conf --name a1 -Dflume.root.logger=INFO,console

  6. Syslog Source

    读取syslog数据，它分为：Syslog TCP Source、Multiport Syslog TCP Source、Syslog UDP Source

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    a1.sources=s1
    a1.sinks=k1
    a1.channels=c1
       
    a1.sources.s1.channels=c1
    a1.sinks.k1.channel=c1
       
    a1.sources.s1.type=syslogtcp
    a1.sources.s1.host=localhost
    a1.sources.s1.port=41414
       
    a1.sinks.k1.type=logger
       
    a1.channels.c1.type=memory
    a1.channels.c1.capacity=1000
    a1.channels.c1.transactionCapacity=100

    启动命令：

    1
    flume-ng agent --conf conf/ --conf-file conf/a1.conf --name a1 -Dflume.root.logger=INFO,console

    测试方法：

    需要syslog服务

  7. Http Source

    通过Http获取event，可以是GET、POST方式，GET方式应该在测试时使用。一个HTTP Request被handler解析成若干个event，这组event在一个事务里。

    如果handler抛异常，http状态是400；如果channel满了，http状态是503。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    a1.sources=s1
    a1.sinks=k1
    a1.channels=c1
       
    a1.sources.s1.channels=c1
    a1.sinks.k1.channel=c1
       
    a1.sources.s1.type=http
    a1.sources.s1.port=41414
       
    a1.sinks.k1.type=logger
       
    a1.channels.c1.type=memory
    a1.channels.c1.capacity=1000
    a1.channels.c1.transactionCapacity=100

    启动命令：

    1
    flume-ng agent --conf conf/ --conf-file conf/a1.conf --name a1 -Dflume.root.logger=INFO,console

    测试方法：

    1
    curl -XPOST http://vm1:41414 -d '[{"headers" : {"timestamp" : "434324343","host" : "random_host.example.com"},"body" : "random_body"},{"headers" : {"namenode" : "namenode.example.com","datanode" : "random_datanode.example.com"},"body" : "really_random_body"}]'

    参数的格式是：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    [{
        "headers" : {
             "timestamp" : "434324343",
             "host" : "random_host.example.com"
        },
        "body" : "random_body"
    }, {
        "headers" : {
             "namenode" : "namenode.example.com",
             "datanode" : "random_datanode.example.com"
         },
        "body" : "really_random_body"
    }]

    Http Source Handler：

    Handler类型 说明
    JSONHandler 默认值，将文本输入的每行转换成一个event
    BlobHandler 读取avro文件，将其中的每条avro记录转换成一个event，每个event都附带着模式信息

Flume Source 实例的更多相关文章

  1. Flume source 支持的type类型

    Flume是一个分布式的高可用的消费组件.通过修改配置文件,可以启动不同的agent处理不同来源的数据. agent包含source,channel,sink三个组件.今天我们学习下source的ty ...

  2. flume-ng 自定义sink消费flume source

    如何从一个已经存在的Flume source消费数据 1.下载flume wget http://www.apache.org/dist/flume/stable/apache-flume-1.5.2 ...

  3. Flume Source官网剖析(博主推荐）

    不多说,直接上干货! 一切来源于flume官网 http://flume.apache.org/FlumeUserGuide.html Flume Sources Avro Source Thrift ...

  4. <Flume><Source Code><Flume源码阅读笔记>

    Overview source采集的日志首先会传入ChannelProcessor, 在其内首先会通过Interceptors进行过滤加工,然后通过ChannelSelector选择channel. ...

  5. 《OD大数据实战》Flume入门实例

    一.netcat source + memory channel + logger sink 1. 修改配置 1)修改$FLUME_HOME/conf下的flume-env.sh文件,修改内容如下 e ...

  6. flume+sparkStreaming实例 实时监控文件demo

    1,flume所在的节点不和spark同一个集群  v50和 10-15节点 flume在v50里面 flume-agent.conf spark是开的work节点,就是单点计算节点,不涉及到mast ...

  7. Flume（3）source组件之NetcatSource使用介绍

    一.概述: 本节首先提供一个基于netcat的source+channel(memory)+sink(logger)的数据传输过程.然后剖析一下NetcatSource中的代码执行逻辑. 二.flum ...

  8. Flume概述和简单实例

    Flume概述 Flume是一个分布式.可靠.和高可用的海量日志采集.聚合和传输的系统.支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方( ...

  9. flume组件汇总 source、sink、channel

    Flume Source Source类型 说明 Avro Source 支持Avro协议(实际上是Avro RPC),内置支持 Thrift Source 支持Thrift协议,内置支持 Exec  ...

随机推荐

  1. Docker 与 虚拟机比较

    1, 更高效的利用系统资源2,更快速的启动时间3,一致的运行环境4,持续交付(Continuous Integration)和部署(Continuous Delivery) 5, 更轻松的迁移 6,更 ...

  2. C语言中volatile的作用和使用方法

    在程序设计中,尤其是在C语言.C++.C#和Java语言中,使用volatile关键字声明的变量或对象通常具有与优化.多线程相关的特殊属性. 通常,volatile关键字用来阻止(伪)编译器认为的无法 ...

  3. jenkins 集成钉钉机器人通知

    公司使用钉钉做为公司内部的通讯工具,所以想通过Jenkins发布完成以后通过钉钉来通知大家,研究发现钉钉提供机器人,所以我把机器人集成进来通知相关人员. 1.创建通知人群组,添加机器人(钉钉默认自带了 ...

  4. window7利用Nexus搭建maven私有服务器

    下载地址 https://www.sonatype.com/oss-thank-you-win64.zip: cmd管理员运行命令 nexus.exe/install Nexus Service:(n ...

  5. Python常用模块os & sys & shutil模块

    OS模块 import os ''' os.getcwd() 获取当前工作目录,即当前python脚本工作的目录路径 os.chdir("dirname") 改变当前脚本工作目录: ...

  6. undefined 和 undeclared 的区别

    var a; //undefined b; // b is not defined 区别:在变量作用域中已经申明但没有赋值的变量(如 a),是undefined.相反,在变量作用域中没有申明过的变量, ...

  7. .NET Core跨平台微服务学习资源

    一.Asp.net Core基础 微软英文官网:https://docs.microsoft.com/en-us/aspnet/core/?view=aspnetcore-2.1 .NET Core: ...

  8. Dapper内部分享ppt

    http://www.knowsky.com/887446.htmlhttp://www.tritac.com/bp-24-dapper-net-by-examplehttp://www.cnblog ...

  9. 使用 Portainer UI 管理 Docker 主机

    Docker 使用命令行的方式来管理有时候并没有那么直观,可以使用 Portainer 的 UI 来管理 Docker 主机和 Docker Swarm 集群. 安装 Portainer 环境:cen ...

  10. mysql遇见contains nonaggregated column 'information_schema.PROFILING.SEQ'异常

    报错如下:[Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggrega ...