1.flume概念

flume是分布式的，可靠的，高可用的，用于对不同来源的大量的日志数据进行有效收集、聚集和移动，并以集中式的数据存储的系统。

flume目前是apache的一个顶级项目。

flume需要java运行环境，要求java1.6以上，推荐java1.7.

将下载好的flume安装包解压到指定目录即可。

2.flume中的重要模型

2.1.1.flume Event：

flume 事件，被定义为一个具有有效荷载的字节数据流和可选的字符串属性集。

2.1.2.flume Agent：

flume 代理，是一个进程承载从外部源事件流到下一个目的地的过程。包含source channel 和 sink。

2.1.3.Source

数据源，消耗外部传递给他的事件，外部源将数据按照flume Source 能识别的格式将Flume 事件发送给flume Source。

2.1.4.Channel

数据通道，是一个被动的存储，用来保持事件，直到由一个flume Sink消耗。

2.1.5.Sink

数据汇聚点，代表外部数据存放位置。发送flume event到指定的外部目标。

1024x768

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

/* Style Definitions */
table.MsoNormalTable
{mso-style-name:普通表格;
mso-tstyle-rowband-size:0;
mso-tstyle-colband-size:0;
mso-style-noshow:yes;
mso-style-priority:99;
mso-style-qformat:yes;
mso-style-parent:"";
mso-padding-alt:0cm 5.4pt 0cm 5.4pt;
mso-para-margin:0cm;
mso-para-margin-bottom:.0001pt;
mso-pagination:widow-orphan;
font-size:10.0pt;
font-family:"Times New Roman","serif";}

2.2. flume流动模型

1024x768

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

2.3. flume的特点

2.3.1. 复杂流动性

Flume允许用户进行多级流动到最终目的地，也允许扇出流（一到多）、扇入流(多到一)的、故障转移和失败处理。

2.3.2. 可靠性

事务性的数据传递，保证了数据的可靠性。

2.3.3. 可恢复性

通道可以以内存或文件的方式实现，内存更快，但是不可恢复，而文件虽然比较慢但提供了可恢复性。

1024x768

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

入门案例

1.首先编写一个配置文件：

    ＃example.conf：单节点Flume配置

		＃命名Agent a1的组件

		a1.sources  =  r1

		a1.sinks  =  k1

		a1.channels  =  c1

		＃描述/配置Source

		a1.sources.r1.type  =  netcat

		a1.sources.r1.bind  =  0.0.0.0

		a1.sources.r1.port  =  44444

		＃描述Sink

		a1.sinks.k1.type  =  logger

		＃描述内存Channel

		a1.channels.c1.type  =  memory

		a1.channels.c1.capacity  =  1000

		a1.channels.c1.transactionCapacity  =  100

		＃为Channle绑定Source和Sink

		a1.sources.r1.channels  =  c1

		a1.sinks.k1.channel  =  c1

2.通过flume的工具启动agent

$ bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console

3、发送数据

1024x768

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

在windows中通过telnet命令连接flume所在机器的44444端口发送数据。

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

4. Source详解

现在介绍几种比较重要的Source

1024x768

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

4.1. Avro Source

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

监听AVRO端口来接受来自外部AVRO客户端的事件流。利用Avro Source可以实现多级流动、扇出流、扇入流等效果。另外也可以接受通过flume提供的Avro客户端发送的日志信息。

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

4.1.1. Avro Source属性说明

!channels –

!type – 类型名称，"AVRO"

!bind – 需要监听的主机名或IP

!port – 要监听的端口

threads – 工作线程最大线程数

selector.type

selector.*

interceptors – 空格分隔的拦截器列表

interceptors.*

compression-type none 压缩类型，可以是“none”或“default”，这个值必须和AvroSource的压缩格式匹配

sslfalse 是否启用ssl加密，如果启用还需要配置一个“keystore”和一个“keystore-password”。

keystore – 为SSL提供的java密钥文件所在路径。

keystore-password– 为SSL提供的java密钥文件密码。

keystore-typeJKS密钥库类型可以是“JKS”或“PKCS12”。

exclude-protocolsSSLv3 空格分隔开的列表，用来指定在SSL / TLS协议中排除。SSLv3将总是被排除除了所指定的协议。

ipFilter false 如果需要为netty开启ip过滤，将此项设置为true

ipFilterRules– 定义netty的ip过滤设置表达式规则

案例：

编写配置文件修改上面给出的配置文件，除了Source部分配置不同，其余部分都一样。不同的地方如下：

＃描述/配置Source

	a1.sources.r1.type  =  avro

	a1.sources.r1.bind  =  0.0.0.0

	a1.sources.r1.port  =  44444

启动flume：

./flume-ng agent --conf ../conf --conf-file ../conf/template2.conf --name a1 -Dflume.root.logger=INFO,console

通过flume提供的avro客户端向指定机器指定端口发送日志信息：

./flume-ng avro-client --conf ../conf --host 0.0.0.0 --port 44444 --filename ../mydata/log1.txt

会发现确实收集到日志

1024x768

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

4.2. Spooling Directory Source

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

这个Source允许你将将要收集的数据放置到"自动搜集"目录中。这个Source将监视该目录，并将解析新文件的出现。事件处理逻辑是可插拔的，当一个文件被完全读入通道，它会被重命名或可选的直接删除。

要注意的是，放置到自动搜集目录下的文件不能修改，如果修改，则flume会报错。另外，也不能产生重名的文件，如果有重名的文件被放置进来，则flume会报错。

属性说明：（由于比较长这里只给出了必须给出的属性，全部属性请参考官方文档）：

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

!channels –

!type – 类型，需要指定为"spooldir"

!spoolDir – 读取文件的路径，即"搜集目录"

fileSuffix.COMPLETED对处理完成的文件追加的后缀

案例：

编写配置文件修改上面给出的配置文件，除了Source部分配置不同，其余部分都一样。不同的地方如下：

＃描述/配置Source

a1.sources.r1.type  = spooldir

a1.sources.r1.spoolDir=/home/park/work/apache-flume-1.6.0-bin/mydata

启动flume：

./flume-ng agent --conf ../conf --conf-file ../conf/template4.conf --name a1 -Dflume.root.logger=INFO,console

向指定目录中传输文件，发现flume收集到了该文件，将文件中的每一行都作为日志来处理

1024x768

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

4.3. NetCat Source

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

一个NetCat Source用来监听一个指定端口，并将接收到的数据的每一行转换为一个事件。

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

4.3.1. NetCat Source属性说明

！channels–

！type– 类型名称，需要被设置为"netcat"

！bind– 指定要绑定到的ip或主机名。

！port– 指定要绑定到的端口号

max-line-length 512单行最大字节数

1024x768

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

案例：上面完整的例子即是

1024x768

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

4.4.
HTTP Source

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

HTTP Source接受HTTP的GET和POST请求作为Flume的事件,其中GET方式应该只用于试验。

该Source需要提供一个可插拔的"处理器"来将请求转换为事件对象，这个处理器必须实现HTTPSourceHandler接口，该处理器接受一个
HttpServletRequest对象，并返回一个Flume Envent对象集合。

从一个HTTP请求中得到的事件将在一个事务中提交到通道中。因此允许像文件通道那样对通道提高效率。

如果处理器抛出一个异常，Source将会返回一个400的HTTP状态码。

如果通道已满，无法再将Event加入Channel，则Source返回503的HTTP状态码，表示暂时不可用。

1024x768

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

4.4.1.
HTTP Source属性说明

！type 类型，必须为"HTTP"

！port– 监听的端口

bind 0.0.0.0 监听的主机名或ip

handler
org.apache.flume.source.http.JSONHandler处理器类，需要实现HTTPSourceHandler接口

handler.* – 处理器的配置参数

selector.type

selector.*

interceptors –

interceptors.*

enableSSL false 是否开启SSL,如果需要设置为true。注意，HTTP不支持SSLv3。

excludeProtocols SSLv3 空格分隔的要排除的SSL/TLS协议。SSLv3总是被排除的。

keystore 密钥库文件所在位置。

keystorePassword
Keystore 密钥库密码

案例：

编写配置文件修改上面给出的配置文件，除了Source部分配置不同，其余部分都一样。不同的地方如下：

＃描述/配置Source

	a1.sources.r1.type  = http

	a1.sources.r1.port  = 66666

启动flume:

./flume-ng agent --conf ../conf --conf-file ../conf/template6.conf --name a1 -Dflume.root.logger=INFO,console

通过命令发送HTTP请求到指定端口：

curl -X POST -d '[{ "headers" :{"a" : "a1","b" : "b1"},"body" : "hello~http~flume~"}]' http://0.0.0.0:6666

Normal
0

7.8 磅
0
2

false
false
false

EN-US
ZH-CN
X-NONE

Flume 入门--几种不同的Sources的更多相关文章

Flume 入门--几种不同的Sinks
主要介绍几种常见Flume的Sink--汇聚点 1.Logger Sink 记录INFO级别的日志,一般用于调试.前面介绍Source时候用到的Sink都是这个类型的Sink 必须配置的属性: 属性说 ...
大数据学习day35----flume01-------1 agent（关于agent的一些问题），2 event，3 有关agent和event的一些问题，4 transaction(事务控制机制)，5 flume安装 6.Flume入门案例
具体见文档,以下只是简单笔记(内容不全) 1.agent Flume中最核心的角色是agent,flume采集系统就是由一个个agent连接起来所形成的一个或简单或复杂的数据传输通道.对于每一个Age ...
大数据系列之Flume--几种不同的Sources
1.flume概念 flume是分布式的,可靠的,高可用的,用于对不同来源的大量的日志数据进行有效收集.聚集和移动,并以集中式的数据存储的系统. flume目前是apache的一个顶级项目. flum ...
Flume入门
1.Flume是什么? ○ Flume是由cloudera开发的实时日志收集系统 ○ 核心概念是由一个叫做Agent(代理节点)的java进程运行在日志收集节点 ○ Flume在0.94. ...
Apache Flume入门指南[翻译自官方文档]
声明: 根据官方文档选择性的翻译了下,不对请指正 https://flume.apache.org/FlumeUserGuide.html
Flume入门：安装、部署
一.什么是Flume? flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用.Flume 初始的发行版本目前被统称为 Flume OG(original genera ...
Flume入门——Selector、Chanel等
1.selector (http://blog.csdn.net/looklook5/article/details/40430965) (http://blog.csdn.net/xiao_jun_ ...
Flume入门样例
Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用.Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 clo ...
《OD大数据实战》Flume入门实例
一.netcat source + memory channel + logger sink 1. 修改配置 1)修改$FLUME_HOME/conf下的flume-env.sh文件,修改内容如下 e ...

随机推荐

scrapy使用爬取多个页面
scrapy是个好玩的爬虫框架,基本用法就是:输入起始的一堆url,让爬虫去get这些网页,然后parse页面,获取自己喜欢的东西.. 用上去有django的感觉,有settings,有field.还 ...
内网DMZ外网之间的访问规则
当规划一个拥有DMZ的网络时候,我们可以明确各个网络之间的访问关系,可以确定以下六条访问控制策略. 1.内网可以访问外网内网的用户显然需要自由地访问外网.在这一策略中,防火墙需要进行源地址转换. 2 ...
css实现网页布局随滚轮变化响应移动
_position:absolute; _top:expression(eval(document.documentElement.scrollTop)); 1.第一句代码 _position:abs ...
poj 1284 Primitive Roots
从来没有接触过完全剩余系,不会证明,知道看了别人的题解才知道要用欧拉函数: 下面是证明过程: p是奇素数,如果{xi%p | 1 <= i <= p - 1} = {1,2,...,p-1 ...
C语言中的volatile
转自C语言的那些小秘密之volatile volatile的重要性对于搞嵌入式的程序员来说是不言而喻的,对于volatile的了解程度常常被不少公司在招聘嵌入式编程人员面试的时候作为衡量一个应聘者是否 ...
OA学习笔记-002-Sruts2.1配置
一.jar commons-fileupload-1.2.1.jarcommons-io-1.3.2.jarfreemarker-2.3.15.jarognl-2.7.3.jarstruts2-cor ...
[cocos2d demo]认字小游戏
2013.9.5更新第二版游戏分三个场景,分别为主场景,加载场景以及游戏场景,游戏场景分为背景层,逻辑层以及UI层 1.背景:旋转太阳,移动波浪,漂浮的云 2.UI层:随机生成字附带在帆船上移动,当 ...
delphi非IE内核浏览器控件TEmbeddedChrome下载|TEmbeddedChrome代码
下载地址: 点击下载代码示例: 在TForm的oncreate方法中写入一些代码 procedure TForm1.FormCreate(Sender: TObject); begin Chromi ...
Library Cache Lookup
Libraey Cache Data Access library cache是关于SQL语句的SGA中的一系列的链表, library cache是通过访问一系列的hash buckets,实现使用 ...
ASP.NET MVC4 UEditor 的上传图片配置路径
ASP.NET MV4下,使用UEditor1.4.3最新版本,网址就不说了,去百度官网下载即可,关于在Controler下如何配置,直接上图: 然后再Views下面来个页面引用如下: < ...

Flume 入门--几种不同的Sources

1.flume概念

2.flume中的重要模型

2.1.1.flume Event：

2.1.2.flume Agent：

2.1.3.Source

2.1.4.Channel

2.1.5.Sink

2.2. flume流动模型

2.3. flume的特点

2.3.1. 复杂流动性

2.3.2. 可靠性

2.3.3. 可恢复性

入门案例

4. Source详解

4.1. Avro Source

4.1.1. Avro Source属性说明

4.2. Spooling Directory Source

4.3. NetCat Source

4.3.1. NetCat Source属性说明

4.4. HTTP Source

4.4.1. HTTP Source属性说明

Flume 入门--几种不同的Sources的更多相关文章

随机推荐

热门专题

4.4.
HTTP Source

4.4.1.
HTTP Source属性说明