Flume篇---Flume安装配置与相关使用

一.前述

Copy过来一段介绍Apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。官网：http://flume.apache.org/FlumeUserGuide.html

二.架构

1.基本架构

介绍：

Source:（相当于一个来源）

从数据发生器接收数据,并将接收的数据以Flume的event格式传递给一个或者多个通道channal,Flume提供多种数据接收的方式,比如Avro,Thrift,twitter1%等

Channel:（相当于一个中转）

channal是一种短暂的存储容器,它将从source处接收到的event格式的数据缓存起来,直到它们被sinks消费掉,它在source和sink间起着一共桥梁的作用,channal是一个完整的事务,这一点保证了数据在收发的时候的一致性. 并且它可以和任意数量的source和sink链接. 支持的类型有: JDBC channel , File System channel , Memort channel等.

sink:（相当于最后的写出）

sink将数据存储到集中存储器比如Hbase和HDFS,它从channals消费数据(events)并将其传递给目标地. 目标地可能是另一个sink,也可能HDFS,HBase.

2.延伸架构

2.1利用AVRO中转

2.2一般多个来源时可以配置这样

ps:

Avro（[ævrə]）是Hadoop的一个子项目，由Hadoop的创始人Doug Cutting（也是Lucene，Nutch等项目的创始人）牵头开发。Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用。它的主要特点有：支持二进制序列化方式，可以便捷，快速地处理大量数据；动态语言友好，Avro提供的机制使动态语言可以方便地处理Avro数据。

三。具体实施

3.1 安装
1、上传
2、解压
3、修改conf/flume-env.sh 文件中的JDK目录
注意：JAVA_OPTS 配置如果我们传输文件过大报内存溢出时需要修改这个配置项
4、验证安装是否成功 ./flume-ng version
5、配置环境变量
export FLUME_HOME=/home/apache-flume-1.6.0-bin

3.2 Source、Channel、Sink有哪些类型
    Flume Source
   Source类型                   | 说明
   Avro Source                 | 支持Avro协议（实际上是Avro RPC），内置支持
   Thrift Source               | 支持Thrift协议，内置支持
   Exec Source                 | 基于Unix的command在标准输出上生产数据
   JMS Source                   | 从JMS系统（消息、主题）中读取数据
   Spooling Directory Source | 监控指定目录内数据变更
   Twitter 1% firehose Source|   通过API持续下载Twitter数据，试验性质
   Netcat Source               | 监控某个端口，将流经端口的每一个文本行数据作为Event输入
   Sequence Generator Source | 序列生成器数据源，生产序列数据
   Syslog Sources               | 读取syslog数据，产生Event，支持UDP和TCP两种协议
   HTTP Source                 | 基于HTTP POST或GET方式的数据源，支持JSON、BLOB表示形式
   Legacy Sources               | 兼容老的Flume OG中Source（0.9.x版本）

案例1、 A simple example
   http://flume.apache.org/FlumeUserGuide.html#a-simple-example

   配置文件
   ############################################################
   # Name the components on this agent
   a1.sources = r1
   a1.sinks = k1
   a1.channels = c1

# Describe/configure the source
   a1.sources.r1.type = netcat
   a1.sources.r1.bind = localhost
   a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
   a1.channels.c1.type = memory
   a1.channels.c1.capacity = 1000
   a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
   a1.sources.r1.channels = c1
   a1.sinks.k1.channel = c1
   ############################################################

启动flume
flume-ng agent -n a1 -c conf -f simple.conf -Dflume.root.logger=INFO,console 指定配置目录

flume-ng agent -n a1 -f op5 -Dflume.root.logger=INFO,console 不用指定配置目录，将上诉source，channel，sink的文件起名为a1,同时指定这个文件在哪

安装telnet
yum install telnet
退出 ctrl+] quit

Memory Chanel 配置
capacity：默认该通道中最大的可以存储的event数量是100，
trasactionCapacity：每次最大可以source中拿到或者送到sink中的event数量也是100
keep-alive：event添加到通道中或者移出的允许时间
byte**：即event的字节量的限制，只包括eventbody

案例2、两个flume做集群（第一个agent的sink作为第二个agent的source）

node01服务器中，配置文件
   ############################################################
   # Name the components on this agent
   a1.sources = r1
   a1.sinks = k1
   a1.channels = c1

# Describe/configure the source
   a1.sources.r1.type = netcat
   a1.sources.r1.bind = node1
   a1.sources.r1.port = 44444

# Describe the sink
   # a1.sinks.k1.type = logger
   a1.sinks.k1.type = avro
   a1.sinks.k1.hostname = node2
   a1.sinks.k1.port = 60000

# Use a channel which buffers events in memory
   a1.channels.c1.type = memory
   a1.channels.c1.capacity = 1000
   a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
   a1.sources.r1.channels = c1
   a1.sinks.k1.channel = c1
   ############################################################

   node02服务器中，安装Flume（步骤略）
   配置文件
   ############################################################
   # Name the components on this agent
   a1.sources = r1
   a1.sinks = k1
   a1.channels = c1

# Describe/configure the source
   a1.sources.r1.type = avro
   a1.sources.r1.bind = node2
   a1.sources.r1.port = 60000

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
   a1.channels.c1.type = memory
   a1.channels.c1.capacity = 1000
   a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
   a1.sources.r1.channels = c1
   a1.sinks.k1.channel = c1
   ############################################################

   先启动node02的Flume
   flume-ng agent -n a1 -c conf -f avro.conf -Dflume.root.logger=INFO,console

   再启动node01的Flume
   flume-ng agent -n a1 -c conf -f simple.conf2 -Dflume.root.logger=INFO,console

   打开telnet 测试 node02控制台输出结果

案例3、Exec Source（监听一个文件）
       http://flume.apache.org/FlumeUserGuide.html#exec-source

   配置文件
   ############################################################
   a1.sources = r1
   a1.sinks = k1
   a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /home/flume.exec.log

# Describe the sink
   a1.sinks.k1.type = logger

   # Use a channel which buffers events in memory
   a1.channels.c1.type = memory
   a1.channels.c1.capacity = 1000
   a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
   a1.sources.r1.channels = c1
   a1.sinks.k1.channel = c1
   ############################################################

   启动Flume
   flume-ng agent -n a1 -c conf -f exec.conf -Dflume.root.logger=INFO,console

   创建空文件演示 touch flume.exec.log
   循环添加数据
   for i in {1..50}; do echo "$i hi flume" >> flume.exec.log ; sleep 0.1; done

案例4、Spooling Directory Source（监听一个目录）
       http://flume.apache.org/FlumeUserGuide.html#spooling-directory-source
   配置文件
   ############################################################
   a1.sources = r1
   a1.sinks = k1
   a1.channels = c1

# Describe/configure the source
   a1.sources.r1.type = spooldir
   a1.sources.r1.spoolDir = /home/logs
   a1.sources.r1.fileHeader = true

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
   a1.channels.c1.type = memory
   a1.channels.c1.capacity = 1000
   a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
   a1.sources.r1.channels = c1
   a1.sinks.k1.channel = c1
   ############################################################

启动Flume
flume-ng agent -n a1 -c conf -f spool.conf -Dflume.root.logger=INFO,console

拷贝文件演示
mkdir logs
cp flume.exec.log logs/

案例5、hdfs sink
       http://flume.apache.org/FlumeUserGuide.html#hdfs-sink

       配置文件
   ############################################################
   a1.sources = r1
   a1.sinks = k1
   a1.channels = c1

# Describe/configure the source
   a1.sources.r1.type = spooldir
   a1.sources.r1.spoolDir = /home/logs
   a1.sources.r1.fileHeader = true

# Describe the sink
   ***只修改上一个spool sink的配置代码块 a1.sinks.k1.type = logger
   a1.sinks.k1.type=hdfs
   a1.sinks.k1.hdfs.path=hdfs://sxt/flume/%Y-%m-%d/%H%M

   ##每隔60s或者文件大小超过10M的时候产生新文件
   # hdfs有多少条消息时新建文件，0不基于消息个数
   a1.sinks.k1.hdfs.rollCount=0
   # hdfs创建多长时间新建文件，0不基于时间
   a1.sinks.k1.hdfs.rollInterval=60
   # hdfs多大时新建文件，0不基于文件大小
   a1.sinks.k1.hdfs.rollSize=10240
   # 当目前被打开的临时文件在该参数指定的时间（秒）内，没有任何数据写入，则将该临时文件关闭并重命名成目标文件
   a1.sinks.k1.hdfs.idleTimeout=3

   a1.sinks.k1.hdfs.fileType=DataStream

   #时间参数一定要带上 true
   a1.sinks.k1.hdfs.useLocalTimeStamp=true

   ## 每五分钟生成一个目录:
   # 是否启用时间上的”舍弃”，这里的”舍弃”，类似于”四舍五入”，后面再介绍。如果启用，则会影响除了%t的其他所有时间表达式
   a1.sinks.k1.hdfs.round=true
   # 时间上进行“舍弃”的值；
   a1.sinks.k1.hdfs.roundValue=5
   # 时间上进行”舍弃”的单位，包含：second,minute,hour
   a1.sinks.k1.hdfs.roundUnit=minute

# Use a channel which buffers events in memory
   a1.channels.c1.type = memory
   a1.channels.c1.capacity = 1000
   a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
   a1.sources.r1.channels = c1
   a1.sinks.k1.channel = c1（将source,channel,sink关联）
   ############################################################
   创建HDFS目录
   hadoop fs -mkdir /flume

   启动Flume
   flume-ng agent -n a1 -c conf -f hdfs.conf -Dflume.root.logger=INFO,console

查看hdfs文件
hadoop fs -ls /flume/...
hadoop fs -get /flume/...

http://flume.apache.org/

安装
1、上传
2、解压
3、修改conf/flume-env.sh 文件中的JDK目录
注意：JAVA_OPTS 配置如果我们传输文件过大报内存溢出时需要修改这个配置项
4、验证安装是否成功 ./flume-ng version
5、配置环境变量
export FLUME_HOME=/home/apache-flume-1.6.0-bin

# Describe/configure the source
   a1.sources.r1.type = netcat
   a1.sources.r1.bind = localhost
   a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
   a1.channels.c1.type = memory
   a1.channels.c1.capacity = 1000
   a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
   a1.sources.r1.channels = c1
   a1.sinks.k1.channel = c1
   ############################################################

启动flume
flume-ng agent -n a1 -c conf -f simple.conf -Dflume.root.logger=INFO,console

安装telnet
yum install telnet
退出 ctrl+] quit

案例2、两个flume做集群

node01服务器中，配置文件
   ############################################################
   # Name the components on this agent
   a1.sources = r1
   a1.sinks = k1
   a1.channels = c1

# Describe/configure the source
   a1.sources.r1.type = netcat
   a1.sources.r1.bind = node1
   a1.sources.r1.port = 44444

# Describe the sink
   # a1.sinks.k1.type = logger
   a1.sinks.k1.type = avro
   a1.sinks.k1.hostname = node2
   a1.sinks.k1.port = 60000

# Use a channel which buffers events in memory
   a1.channels.c1.type = memory
   a1.channels.c1.capacity = 1000
   a1.channels.c1.transactionCapacity = 100

# Describe/configure the source
   a1.sources.r1.type = avro
   a1.sources.r1.bind = node2
   a1.sources.r1.port = 60000

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
   a1.channels.c1.type = memory
   a1.channels.c1.capacity = 1000
   a1.channels.c1.transactionCapacity = 100

案例3、Exec Source
       http://flume.apache.org/FlumeUserGuide.html#exec-source

   配置文件
   ############################################################
   a1.sources = r1
   a1.sinks = k1
   a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /home/flume.exec.log

# Bind the source and sink to the channel
   a1.sources.r1.channels = c1
   a1.sinks.k1.channel = c1
   ############################################################

   启动Flume
   flume-ng agent -n a1 -c conf -f exec.conf -Dflume.root.logger=INFO,console

   创建空文件演示 touch flume.exec.log
   循环添加数据
   for i in {1..50}; do echo "$i hi flume" >> flume.exec.log ; sleep 0.1; done

案例4、Spooling Directory Source
       http://flume.apache.org/FlumeUserGuide.html#spooling-directory-source
   配置文件
   ############################################################
   a1.sources = r1
   a1.sinks = k1
   a1.channels = c1

# Describe/configure the source
   a1.sources.r1.type = spooldir
   a1.sources.r1.spoolDir = /home/logs
   a1.sources.r1.fileHeader = true

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
   a1.channels.c1.type = memory
   a1.channels.c1.capacity = 1000
   a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
   a1.sources.r1.channels = c1
   a1.sinks.k1.channel = c1
   ############################################################

启动Flume
flume-ng agent -n a1 -c conf -f spool.conf -Dflume.root.logger=INFO,console

拷贝文件演示
mkdir logs
cp flume.exec.log logs/

案例5、hdfs sink
       http://flume.apache.org/FlumeUserGuide.html#hdfs-sink

       配置文件
   ############################################################
   a1.sources = r1
   a1.sinks = k1
   a1.channels = c1

# Describe/configure the source
   a1.sources.r1.type = spooldir
   a1.sources.r1.spoolDir = /home/logs
   a1.sources.r1.fileHeader = true

# Describe the sink
   ***只修改上一个spool sink的配置代码块 a1.sinks.k1.type = logger
   a1.sinks.k1.type=hdfs
   a1.sinks.k1.hdfs.path=hdfs://sxt/flume/%Y-%m-%d/%H%M

   ##每隔60s或者文件大小超过10M的时候产生新文件
   # hdfs有多少条消息时新建文件，0不基于消息个数
   a1.sinks.k1.hdfs.rollCount=0
   # hdfs创建多长时间新建文件，0不基于时间
   a1.sinks.k1.hdfs.rollInterval=60
   # hdfs多大时新建文件，0不基于文件大小
   a1.sinks.k1.hdfs.rollSize=10240
   # 当目前被打开的临时文件在该参数指定的时间（秒）内，没有任何数据写入，则将该临时文件关闭并重命名成目标文件
   a1.sinks.k1.hdfs.idleTimeout=3

   a1.sinks.k1.hdfs.fileType=DataStream
   a1.sinks.k1.hdfs.useLocalTimeStamp=true

   ## 每五分钟生成一个目录:
   # 是否启用时间上的”舍弃”，这里的”舍弃”，类似于”四舍五入”，后面再介绍。如果启用，则会影响除了%t的其他所有时间表达式
   a1.sinks.k1.hdfs.round=true
   # 时间上进行“舍弃”的值；
   a1.sinks.k1.hdfs.roundValue=5
   # 时间上进行”舍弃”的单位，包含：second,minute,hour
   a1.sinks.k1.hdfs.roundUnit=minute

# Use a channel which buffers events in memory
   a1.channels.c1.type = memory
   a1.channels.c1.capacity = 1000
   a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
   a1.sources.r1.channels = c1
   a1.sinks.k1.channel = c1
   ############################################################
   创建HDFS目录
   hadoop fs -mkdir /flume

   启动Flume
   flume-ng agent -n a1 -c conf -f hdfs.conf -Dflume.root.logger=INFO,console

查看hdfs文件
hadoop fs -ls /flume/...
hadoop fs -get /flume/...

作业：
1、flume如何收集java请求数据
2、项目当中如何来做？日志存放/log/目录下以yyyyMMdd为子目录分别存放每天的数据

Flume篇---Flume安装配置与相关使用的更多相关文章

具体图解 Flume介绍、安装配置
写在前面一: 本文总结"Hadoop生态系统"中的当中一员--Apache Flume 写在前面二: 所用软件说明: 一.什么是Apache Flume 官网:Flume is a ...
[转载] 纯手打第一篇：安装配置gradle
本文转载自: http://www.cnblogs.com/uncle2000/p/4276833.html 一个bug 一个脚印的叫你们用gradle. 1介于网络上的很多资料都是老的不适用与现在 ...
gradle教程 [原创]（eclipse/ADT下非插件非Android Studio/AS）纯手打第一篇：安装配置gradle
一个bug 一个脚印的叫你们用gradle. 1介于网络上的很多资料都是老的不适用与现在的新版本gradle 尤其是有些gradle方法改名了老的用不了 2介于网上都是粘贴复制并且零碎我很蛋疼啊,走 ...
Jboss安装配置以及相关的问题
下载地址:(目前最新版本是jboss-as-7.1.1.Final) http://download.jboss.org/jbossas/7.1/jboss-as-7.1.1.Final/jboss- ...
基于WIN8.1:新手篇→tomcat安装配置
一.JDK配置下载安装JDK和tomcat 打开电脑属性,高级系统设置进行环境变量配置新建系统变量,变量值为JDK安装路径,并在系统变量path最后加上“%JAVA_HOME%\bin;%JAVA ...
基于centOS7:新手篇→tomcat安装配置
1.新环境,还没有安装lrzsz和unzip,先安装 yum -y install lrzsz yum -y install unzip 2.进入tomcat官网下载安装包,使用rz上传到服务器opt ...
第一篇 Charles的配置及相关使用
// Charles Proxy License // 适用于Charles任意版本的注册码,谁还会想要使用破解版呢. // Charles 4.2目前是最新版,可用. Registered Na ...
Linux安装配置VPN服务器
一.实验简介 VPN ,中文翻译为虚拟专有网络,英文全称是 Virtual Private Network .现在 VPN 被普遍定义为通过一个公用互联网络建立一个临时的.安全的连接,是一条穿过混乱 ...
浅入深出Vue：工具准备之WebStorm安装配置
浅入深出Vue之工具准备(一):WebStorm安装配置工欲善其事必先利其器,让我们先做好准备工作吧导航篇 WebStorm安装配置所有工具的下载地址都可以在导航篇中找到,这里我们下载的是最新版 ...

随机推荐

浏览器音频兼容和ffmpeg的音频转码使用
浏览器对各音/视频格式的支持问题浏览器测试效果图 ffmpeg在音频格式转换,和从视频中提取音频的简单实用 1.百度搜索浏览器对于音频文件的兼容,排在前面的文章大部分是复制粘贴很久以前的文章,容易误 ...
Python数据可视化之Matplotlib实现各种图表
数据分析就是将数据以各种图表的形式展现给领导,供领导做决策用,因此熟练掌握饼图.柱状图.线图等图表制作是一个数据分析师必备的技能.Python有两个比较出色的图表制作框架,分别是Matplotlib和 ...
nand flash和nor flash的区别
NOR和NAND是现在市场上两种主要的非易失闪存技术. Intel于1988年首先开发出NOR flash技术,彻底改变了原先由EPROM和EEPROM一统天下的局面. 东芝于1989年开发出NAND ...
base加密解密工具类
public class MLDUtil { public static Key DEFAULT_KEY = null; public static final String DEFAULT_SECR ...
Dalvik和ART
--摘自<Android进阶解密> DVM和ART都是在Zygote进程中诞生的 *DVM和JVM的区别* 1.基于的架构不同 DVM是基于寄存器的,它没有基于栈的虚拟机在复制数据时而使用 ...
HEX SDUT 3896 17年山东省赛D题
HEX SDUT 3896 17年山东省赛D题这个题是从矩形的左下角走到右上角的方案数的变形题,看来我对以前做过的题理解还不是太深,或者是忘了.对于这种题目,直接分析它的性质就完事了.从(1,1)走到 ...
Git 如何解决部署远程仓库出现 fatal: refusing to merge unrelated histories 问题
想把本地仓库的文件搬到Github,先将远程仓库和本地仓库关联起来: 先到Github上复制远程仓库的SSH地址: 运行 git remote add origin 你复制的地址理论上—如果在创建 ...
powershell_基础篇
powershell 想必大家对windows操作系统下的cmd命令提示符可能并不陌生,大多数人都应该使用过它.而对于今天我们要学习的PowerShell跟cmd有什么关系呢?可以简单地说,Power ...
如何查找MySQL中查询慢的SQL语句(转载)
转载自https://www.cnblogs.com/qmfsun/p/4844472.html 如何在mysql查找效率慢的SQL语句呢?这可能是困然很多人的一个问题,MySQL通过慢查询日志定位那 ...
【原创】XAF ITreeNode+NonPersistent 使用方式
在XAF中使用非持久化对象创建出TreeList这种树形结构 private void SetShowRFID(TArchivesBorrow archivesInStorage, string rf ...

Flume篇---Flume安装配置与相关使用

Flume篇---Flume安装配置与相关使用的更多相关文章

随机推荐

热门专题