Flume架构

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统：

Flume 介绍

Flume是由cloudera软件公司产出的高可用、高可靠、分布式的海量日志收集系统、聚合和传输的系统、于2009年被捐赠了apache软件基金会，为Hadoop相关组件之一。Flume初始发行版本目前统称为Flume OG，2011年10月在完成了里程碑的改动：重构核心组件、核心配置以及代码架构之后、Flume NG 推出，它是Flume1.X版本的统称。

Apache Flume 是一个系统，用于从大量数据产生商那里移动海量数据到存储、索引或者分析数据的系统，它可以将数据的消费者和是生产者解耦，是的在一方不知情的情况下改变另外一方变得很容易，除了解耦还可而已提供故障隔离，并在生产商和存储系统之间添加一个额外的缓冲区，Flume支持在日志系统中定制各类数据的发送方，用于收集数据，如控制台、文件、Thrift—RPC、syslog日志系统等，也支持对数据进行简单的处理，并发送到各种数据接收方，如HDFS、Hbase等。

　备注：Flume参考资料

　　　　官方网站： http://flume.apache.org/
　　　　用户文档： http://flume.apache.org/FlumeUserGuide.html
　　　　开发文档： http://flume.apache.org/FlumeDeveloperGuide.html

Flume 的特点

可靠性

当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。），Store
on
failure（这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢复后，继续发送），Besteffort（数据发送到接收方后，不会进行确认）。

flume的可恢复性

靠Channel。推荐使用FileChannel，事件持久化在本地文件系统里(性能较差)。

Flume 架构

Client

生产数据，运行在一个独立线程

Event

Flume将数据表示成Event，数据结构很简单，具有一个主题和一个报头的集合、事件的主题是一个字节数组,通常通过Flume传送的负载。报头被称为一个map，其中有字符串key和字符串value，报头不是用来传输数据的，而是为了路由和跟踪发送事件的优先级和严重性。报头也可以用给事件增加事件ID或者UUUID。每个事件本质上必须是一个独立的记录，而不是记录的一部分。这也要求每个事件要适应Flume
Agent JVM的内存，如果使用File Channel
应该有足够的硬盘空间来支持。如果数据不能表示为多个独立记录，Flume可能不适用于这样的案例。

Agent

Flume运行的核心是Agent，Agent本身是一个Java进程，也是最小独立运行的单位，运行在日志收集节点Agent是一个完整的数据收集工具，含有三个核心组件，分别是Source、Channel、Sink，Flume基于数据流将进行设计，数据流由事件（Event）贯穿始终。事件作为Flume的基本数据单位，携带日志数据（以字节数组形式）并且携带有头信息，由Agent
外部的数据源如图中的Web Server 生成。

Source

Source是从一些生产数据的应用中接收数据的活跃组件。也有自己产生数据的Source，不过通常用于测试目的。Source可以监听一个或者多个网络端口，用于接收数据或者可以从本地文件系统读取数据，每一个Source必须至少链接一个Channel。基于一些标准，一个Source可以写入多个Channel，复制事件到所有或者部分的Channel。flume提供了很多内置的Source，
支持 Avro， log4j， syslog 和 http post(body为json格式)

Source类型	描述
Avro	支持Avro协议，即Avro RPC,内置支持
Thrift	支持Thrift协议，内置支持
Exec	基于Unix的命令在标准输出上产生数据
JMS	从 JMS系统中读取数据
Spooling Directory	监控指定目录内数据变化
Netcat	监控某个端口，将流经端口的文本行数据作为Event输入
Sequence Gennerator	序列生产器的数据源，生产序列数据
Syslog	读取syslog数据，产生Event，支持UDP和TCP协议
HTTP	基于HTTP POST 或者GT 方式的数据源，支持JSON等格式
Legacy	兼容Flume OG 中的Source(0.9 x 版本)

Avro源

属性名	默认值	描述
channels	-
type	-	类型名称Avro
bind	-	需要监听的主机名或者ip
port	-	需要监听端口
threads	-	工作线程最大线程数
selector.type
selector.*
interceptors	-	空格分隔的拦截器地址
interceptors.*
compression-type	none	压缩类型必须和AvroSource值相同
ssl	false	是否启用ssl加密同时还要配置keystroe和keystore-password
keystore	-	为SSL提供java密钥文件所在路径
keystore-password	–	为SLL提供的java密钥文件 密码
keystore-type	JKS	密钥库类型可以是“JKS”或者”PKCS12”
exclude-protocols	SSLv3	空格指定分开的列表，用来指定在SSL/TLS协议中排除。SSLv3将总是被排除除了所指定的协议
ipFilter	false	如果需要为netty开启ip过滤，将此选项设置为true
ipFilterRules	–	配netty的ip过滤设置表达式规则

a1.sources = r1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141

exec 源

属性名	默认值	描述
channels	-
type	-	类型名称 exec
command	-	要执行的命令
shell	-	用于执行命令的shell
restartThrottle	1000	毫秒为单位，用于声明等待多久后尝试重试命令
restart	false	如果cmd挂了是否重启cmd
logStdErr	false	无论是否是标准错误都应该被记录
batchSize	20	同时发送到通道中的最大行数
batchTimeout	3000	如果缓冲区没有满，经过多长时间发送数据
selector.type		复制还是多路复制
selector.*		依赖于selector.type的值
interceptors	-	空格分隔的拦截器列表
interceptors.*

示例：

a1.sources = r1
a1.channels = c1
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /var/log/secure
a1.sources.r1.channels = c1

Channel

Channel一般地被认为是被动的组件，负责缓存Agent已经接收但尚未写出到另外一个Agent或者存储系统的数据，虽然他们可以为了清理或者垃圾回收运行自己的线程。Channel的行为很像是队列，Source把数据写入到他们，Sink从他们中读取数据，多个Source可以安全地写入到相同的Channel，并且多个Sink可以从相同的Channel进行读取，一个Sink只能从一个Channel，多个Sink可以从相同的Channel读取，它可以保证只有一个Sink 会从Channel读取一个指定的事件。

Channel类型	描述
Memory	Event数据存储在内存中
JDBC	Event数据存储在持久化存储中
File	Event数据存储在磁盘文件中
Spilable Memory	Event数据存储在内存和硬盘上，当内存队列已满，将持久化到磁盘文件(不建议生产环境使用)
Pseudo Transaction	测试用途
Customm	自定义

memory Channel

属性名称	默认值	描述
type	–	名称memory
capacity	100	存储在channel中的最大容量
transactionCapacity	100	从一个source中去或者给一个sink，每个事务中最大的事件数
keep-alive	3	对于添加或者删除一个事件超时的秒钟
byteCapacityBufferPercentage	20	对于添加或者删除一个事件的超时的秒钟
byteCapacity	see description	最大内存所有事件允许的总字节数

a1.channels = c1
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 10000
a1.channels.c1.byteCapacityBufferPercentage = 20
a1.channels.c1.byteCapacity = 800000
JDBC Channel

Sink

连续轮询各自的Channel来读取和删除事件,Sink将事件提送到下一阶段,(RPC Sink 的情况下,)活到最终目的地.一旦在下一阶段或其目的地中的数据是安全的,Sink通过的事务提交通知Channel,可以从Channel中删除这些事件。

Sink类型	描述
HDFS	数据写入HDFS
Hbase	数据写入HBase
Logger	数据被转换成Avro Event，然后发送到配置的RPC端口上
Avro	数据被转换成Thrift Event，然后发送到配置的RPC端口上
IRC	数据在IRC上进行回收
File Roll	数据存储到本地文件系统
Null	丢弃所有数据
Morphine Solor	数据发送到Solr搜索服务器（集群）
ElasticSearch	数据发送到ElasticSearch搜索服务器（集群）
Custome sink	自定义

HDFS sink

channel	-	描述
type	-	HDFS
hdfs.path	-	写入hdfs的路径，需要包含文件系统表示，比如：hdfs://namenode/flume/webdata/ 可以使用flume提供日期及%{host}表达式
hdfs.filePrefix	FlumeData	写入hdfs的文件名前缀，可以使用flume提供的日期及%{host}表达式
hdfs.fileSuffix	-	写入hdfs的文件名后缀，比如：： .lzo .log
hdfs.inUsePrefix	-	临时文件的文件名前缀，hdfs sink 会先往 目标目录中写临时文件再根据相关规则重命名成最终文件
hdfs.inUseSuffix	.tmp	临时文件的后缀名
hdfs.rollInterval	30	hdfs sink 间隔多长时间将临时文件滚动成最终文明考吗，再根据相关的明明规则重命名为最终目标文件
hdfs.rollSize	1024	当临时文件达到该大小（单位：bytes）时，滚动成为目标文件，如果设置成0，则表示不根据临时文件大小来滚动文件
hdfs.rollCount	10	当events数据达到该数量时候，将临时文件滚动成为目标文件；如果设置为0，则表示部根据临时文件大小来滚动该文件
hdfs.idleTimeout	0	当目前被打开的临时文件在该参数指定的事件秒内没有任何数据写入，则将该临时文件关闭并重新命名。
hdfs.batchSize	100	每个批次刷新到hdfs上的events 数量
hdfs.codeC	-	文件的压缩格式，包括：gzip,bzip lzo lzop snappy
hdfs.fileType	SequenceFile	文件格式 包括：SequenceFile, DataStream ，CompressedStream，当使用DataStream的时候，文本不会被压缩，不需要设置hdfs.codeC，当使用CompressedStream的时候必须设置一个正确的hdfs.codeC的值
hdfs.maxOpenFiles	5000	最大允许打开的HDFS文件数，当打开的文件数到达该值，最早打开的文件将会被关闭
hdfs.minBlockReplicas	-	写入HDFS文件块的最小副本数，该参数会影响文件的滚动配置，一般将该参数设置成1，才可以按照配置正确滚动文件。
hdfs.writeFormat	Writable	写入sequence文件的格式。包括：Text Writable（默认）
hdfs.callTimeout	10000	执行HDFS操作的超时时间（单位：毫秒）
hdfs.threadsPoolSize	10	hhdfs sink 启动的操作 HDFS的线程数
hdfs.rollTimerPoolSize	1	HDFS sink 启动的根据事件滚动文件的线程数
hdfs.kerberosPrincipal	-	HDFS 安全认证kerberos配置
hdfs.kerberosKeytab	-	HDFS 安全认证kerberos配置
hdfs.proxyUser		代理用户
hdfs.round	false	是否启用时间上的“舍弃”，这里的“舍弃”类似于“四舍五入”后面在介绍。如果启用，则会很影响除了除了%t的其他所有时间的表达式。
hdfs.roundValue	1	时间上进行舍弃的值
hdfs.roundUnit	second	单位值 -秒 分 时
hdfs.timeZone	Local Time	解析文件路径的时区名称，例如：美国/洛杉矶
hdfs.closeTries	0	hdfs sink 关闭文件的尝试次数；如果设置为1，当一次关闭文件失败后，hdfs sink 将不会在尝试关闭文件，这个为未关闭的文件，将会一直留在那，并且时打开状态，设置为0，当一次关闭失败后，hdfs sink会继续尝试下一次关闭，直到成功
hdfs.retryInterval	180	hdfs sink 尝试关闭文件的时间间隔，如果设置为0，表示不尝试，相当于将hdfs.closeTries设置为1
serializer	TEXT	序列化类型。其他的还有：avro_event或者是实现了EventSerializer.Builder的类名
serializer.*

a1.channels = c1
a1.sinks = k1
a1.sinks.k1.type = hdfs
a1.sinks.k1.channel = c1
a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%S
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute

分区和拦截器

大型的数据集常常被组织为分区(Partition),这样做的好处是,如果查询仅涉及到数据集的某个子集,查询过程就可以被限制在特定的分区范围内。Flume 事件的数据通常按时间件来分区，因此，我们可以定期运行某个进程来对已经完成分区进行各种数据转换处理（例如，删除重复的数据）

agent.sinks.sink1.hdfs.path=/tmp/flume/year=%Y/month=%m/day=%d

此处，我们选择天作为分区粒度，不过也可是使用其他级别的分区粒度，结果将导致不同的文件目录布局方案，在Flume与HDFS sink相关的文件提供了格式转义序列的完整，一个Flume时间将被写入那个分区是由时间的header中的timestamp（时间戳）决定的，在默认的情况下 事件header 并没有timestamp，但是他可以通过Flume 拦截器（interceptor）来添加，拦截器是一种能够对事件流中的事件进行修改或者删除的组件，他们连接source并在事件被传递到channel之前对时间进行处理。下面的两行卑职用于source1增加一个时间拦截器，它将为source产生的每个时事件添加一个timestamp header：

agent1.sources.source1.interceptors = interceptor1

agent1.sources.source1.interceptors = interceptor1.type = timestamp

事件拦截器可以确保这些是时间戳能够如实反映事件穿件的事件，对于某些数据由时间戳就已经足够了，如果存在多层Flume多层代理，那么事件事件的创建事件和吸入的事件之间可能会存在有明显的差异，尤其是当代理出现停机的情况，针对这种情况我们可以对HDFS sink 中的hdfs。useLocalTimeStamp属性进行设置，以便使用用HDFS Sink的Flume 代理所产生的时间戳。

文件格式

一般而言，使用二进制来存储数据比使用文本格式的文件更小 HDFS sink使用的文件格式由hdfs.fileAType属性及其他一些属性的组合控制。

默认的Hdfs.fileType文件格式为SequenceFile，把事件写入到一个顺序文件，在这个文件中，键的数据类型为LongWritable，它包括的是事件的时间戳(如果事件的header中没有时间戳，就使用当前事件)。值得数据类型为BytesWritable，其中包含的是事件的body。如果hdfs.writeFormat被设置为Text，那么顺序文件中的值就变成Text数据类型

针对Avro文件所使用的配置；収不同它的Hdfs。filetype的属性被设置为DataStream，就像纯文本一样，此外，serializer（之一前面没有前缀hdfs.）必须设置为avro_event。如果想要启动压缩则需要设置serializer.compressionCodes属性。

扇出

指的是从一个source向多个channel，亦即向多个sink传递事物。

案例演示：将事件同时传递到HDFS sink和logger sink。

注意：如上图channel1a，sink1a是到达HDFS,channel1b,sink1b是到达logger

agent1.sources = source1
agent1.sinks= sink1a sink1b  #多个sink，中间用空格
agent1.channels=channel1a  channel1b  #多个channel中间同样空格分割
agent1.sources.source1.channels = channnel1a  channel1b
agent1.sinks.sink1a.channnel = channel1a
agent1.sinks.sink1b.channnel =channel1b
agent1.sources.source1.type = spoodir
agnet1.sources.source1.spooDir = /tmp/spooldir
agent1.sinks.sink1a.type =hdfs
agent1.sinks.sink1a.hdfs.path=/tmp/flume
agent1.sinks.sink1a.hdfs.fileType = DataStream  #默认类型是SequenceFile，顺序文件，dataStream类似纯文本。
agent1.channels.channel1a.type =file
agent1.channels.channel1b.type = memory 

 #注意：上面两个channel配置类型不一样，一个是file,一个是memory。如果同一个机器上，配置两个channel都是file channel。
那么则必须要通过配置使得它们分别指向不同的数据存储目录和检查点目录（因为默认情况下，filechannel 具有持久性，数据会被写入到本地系统，
而默认情况下file channel写入的目录都是用户主目录中的同一个默认文件夹），否则会出现数据重叠覆盖的情况。

交付保证

Flume 使用独立的事物来负责从Spooling Directory source到每一个channel的每批事件的传递，在本例中有一个事物负责从source到链接HDFS sink 的channel的事件交付，另外一个负责从source到链接logger sink的channel 的同一批事件的交付，若其中有任何一个事物失败（例如 channel满溢），这些事件都不会从source中删除，而是等待稍后重试。

复用和复用选择器

正常扇出流是向所有的channel复制事件，但有些时候，人们有更多的行为方式选择，从而使某些事件被发送到这一个channel，而另外一些事件被发送到另外一个channel。

Flume的拓扑结构

lume Agent连接

单source，多channel、sink

Flume负载均衡

Flume Agent聚合