使用 Flume-1 监控文件变动,Flume-1 使用 Replicating Channel Selector 将变动内容传递给 Flume-2,Flume-2 负责存储到 HDFS.同时 Flume-1 将变动内容传递给 Flume-3,Flume-3 负责输出到 Local FileSystem. 一.创建配置文件 1.flume-file-flume.conf 配置 1 个接收日志文件的 source 和两个 channel.两个 sink,分别输送给 flume-flume-hdfs…

1 官网内容 上面的配置是r1获取到的内容会同时复制到c1 c2 c3 三个channel里面 2 详细配置信息 # Name the components on this agent a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 c2 # Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command = tail -F /tmp/logs/cmcc…

Flume 基于Channel Selector可以实现扇入.扇出. 同一个数据源分发到不同的目的,如下图. 在source上可以定义channel selector: 1 2 3 4 5 6 7 8 9 a1.sources=r1 ... a1.channels=c1 c2 ... a1.sources.r1.selector.type=multiplexing a1.sources.r1.selector.header=type a1.sources.r1.selector.mapping.…

新项目要用到mongodb,于是在个人电脑上的虚拟环境linux上安装了下mongodb,练习熟悉下. 1.虚拟机上启动mongodb. 首先查看虚拟机ip地址,忘了哈~~ 命令行>ifconfig mongodb安装目录bin>sudo ./mongod -f mongodb.conf 检查是否已经启动:>netstat -lanp|grep "27017" 也可以用客户端连接: 2.用SpringBoot建立mongoProj工程: 2.1.配置文件设置 pom.…

1 官网内容 上面配置的是根据不同的heder当中state值走不同的channels,如果是CZ就走c1 如果是US就走c2 c3 其他默认走c4 2 我的详细配置信息 一个监听http端口 然后 配置两个channel,根据不同的Header中的state值走不同的channel 监听source的配置 #配置文件: a1.sources= r1 a1.sinks= k1 k2 a1.channels= c1 c2 #Describe/configure the source a1.sour…

flume内置的ChannelSelector有两种,分别是Replicating和Multiplexing. Replicating类型的ChannelSelector会针对每一个Event,拷贝到所有的Channel中,这是默认的ChannelSelector. replicating类型的ChannelSelector例子如下 a1.sources = r1 a1.channels = c1 c2 # 如果有100个Event,那么c1和c2中都会有这100个事件 a1.channels.…

Flume NG概述: Flume NG是一个分布式,高可用,可靠的系统,它能将不同的海量数据收集,移动并存储到一个数据存储系统中.轻量,配置简单,适用于各种日志收集,并支持 Failover和负载均衡.其中Agent包含Source,Channel和 Sink,三者组建了一个Agent.三者的职责如下所示: Source:用来消费(收集)数据源到Channel组件中 Channel:中转临时存储,保存所有Source组件信息 Sink:从Channel中读取,读取成功后会删除Channel中的…

1. 错误提示 -- ::, (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:)] Unable to deliver event. Exception follows. java.lang.IllegalStateException: Channel closed [channel=channel1]. D…

一.Memory Channel 事件将被存储在内存中(指定大小的队列里) 非常适合那些需要高吞吐量且允许数据丢失的场景下 属性说明: 二.JDBC Channel 事件会被持久化(存储)到可靠的数据库里,目前支持嵌入式Derby数据库.即source=>channel=>sink.在传输的过程中,会先把事件存到关系型数据库里.但是Derby数据库不太好用,所以JDBC Channel目前仅用于测试,不能用于生产环境. 三.FileChannel 好处:数据不丢失 坏处:极大的降低flume的…

java的NIO和AIO Buffer position.limit.capacity 初始化 Buffer 填充 Buffer 提取 Buffer 中的值 mark() & reset() rewind() & clear() & compact() Channel FileChannel SocketChannel ServerSocketChannel DatagramChannel Selector Buffer 一个 Buffer 本质上是内存中的一块,我们可以将数据写入…