• 需求

    实现flume监控某个目录下面的所有文件,然后将文件收集发送到kafka消息系统中

  • 一、Flume下载地址

    http://archive.cloudera.com/cdh5/cdh/5

  • 二、上传解压Flume

    cd /export/softwares

    tar -zxvf apache-flume-1.6.0-cdh5.14.0 -C ../servers

  • 三、配置flume.conf

    使用flume监控一个文件夹,一旦文件夹下面有了数据,就将数据发送到Kafka里面去

    mkdir -p /export/servers/flumedata 先创建要监控的文件夹

    cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/conf

    vim flume_kafka.conf

    1. # 给各个组件起名
    2. a1.sources = r1
    3. a1.channels = c1
    4. a1.sinks = k1
    5. # 指定source收集到的数据发送到哪个管道
    6. a1.sources.r1.channels = c1
    7. # 指定source数据收集策略
    8. a1.sources.r1.type = spooldir
    9. a1.sources.r1.spoolDir = /export/servers/flumedata
    10. a1.sources.r1.deletePolicy = never
    11. a1.sources.r1.fileSuffix = .COMPLETED
    12. a1.sources.r1.ignorePattern = ^(.)*\\.tmp$
    13. a1.sources.r1.inputCharset = UTF-8
    14. #指定channel为memory,即表示所有的数据都装进memory当中
    15. a1.channels.c1.type = memory
    16. #指定sink为kafka sink,并指定sink从哪个channel当中读取数据
    17. a1.sinks.k1.channel = c1
    18. a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
    19. a1.sinks.k1.kafka.topic = test
    20. a1.sinks.k1.kafka.bootstrap.servers = node01:9092,node02:9092,node03:9092
    21. a1.sinks.k1.kafka.flumeBatchSize = 20
    22. a1.sinks.k1.kafka.producer.acks = 1
  • 四、启动flume

    bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name a1 -Dflume.root.logger=INFO,console

  • 五、测试整合

    启动flume成功后,再启动kafka bin/kafka-console-consumer.sh --from-beginning --bootstrap-server node01:9092 --topic test

    然后像/export/servers/flumedata目录下上传文本文件即可

【Kafka】Flume整合Kafka的更多相关文章

  1. flume 整合 kafka

    flume 整合 kafka:   flume:高可用的,高可靠的,分布式的海量日志采集.聚合和传输的系统. kafka:分布式的流数据平台.   flume 采集业务日志,发送到kafka   一. ...

  2. 入门大数据---Flume整合Kafka

    一.背景 先说一下,为什么要使用 Flume + Kafka? 以实时流处理项目为例,由于采集的数据量可能存在峰值和峰谷,假设是一个电商项目,那么峰值通常出现在秒杀时,这时如果直接将 Flume 聚合 ...

  3. flume整合kafka

    # Please paste flume.conf here. Example: # Sources, channels, and sinks are defined per # agent name ...

  4. flume 整合kafka

    背景:系统的数据量越来越大,日志不能再简单的文件的保存,如此日志将会越来越大,也不方便查找与分析,综合考虑下使用了flume来收集日志,收集日志后向kafka传递消息,下面给出具体的配置 # The ...

  5. flume和kafka整合(转)

    原文链接:Kafka flume 整合 前提 前提是要先把flume和kafka独立的部分先搭建好. 下载插件包 下载flume-kafka-plus:https://github.com/beyon ...

  6. flume与kafka整合

    flume与kafka整合 前提: flume安装和测试通过,可参考:http://www.cnblogs.com/rwxwsblog/p/5800300.html kafka安装和测试通过,可参考: ...

  7. Flume+Kafka+Storm整合

    Flume+Kafka+Storm整合 1. 需求: 有一个客户端Client可以产生日志信息,我们需要通过Flume获取日志信息,再把该日志信息放入到Kafka的一个Topic:flume-to-k ...

  8. ambari下的flume和kafka整合

    1.配置flume #扫描指定文件配置 agent.sources = s1 agent.channels = c1 agent.sinks = k1 agent.sources.s1.type=ex ...

  9. Flume和Kafka整合安装

    版本号: RedHat6.5   JDK1.8    flume-1.6.0   kafka_2.11-0.8.2.1 1.flume安装 RedHat6.5安装单机flume1.6:http://b ...

随机推荐

  1. tensorflow基础--LeNet-5测试模型遇到TypeError: Failed to convert object of type <class 'list'> to Tensor

    最近在看<TensorFlow 实战Google深度学习框架第二版>这本书,测试LeNet-5这个模型时遇到了TypeError: Failed to convert object of ...

  2. ROM定制开发教程-Android adb命令用法与实例解析

    一.什么是ADB Android Debug Bridge(adb)是一个命令行工具,可让您与模拟器或连接的Android设备进行通信.您可以在android sdk / platform-tools ...

  3. vue axios post请求下载文件,后台springmvc完整代码

     注意请求时要设置responseType,不加会中文乱码,被这个坑困扰了大半天... axios post请求:     download(index,row){         var ts =  ...

  4. 4.加密与token(node+express)

    一. 敏感数据加密1.安装并引入中间件     npm install utility     const utils = require('utility')2.加密方法     function ...

  5. [git] github上传项目(使用git)、删除项目、添加协作者

    来源:http://www.cnblogs.com/sakurayeah/p/5800424.html (怕链接失败,所以直接就就复制过来啦,感谢作者) 一.注册github账号 github网址ht ...

  6. 如何将dotnet core webapi发布到docker中…

    如何将dotnet core webapi发布到docker中 今天想起来撸一下docker,中途还是遇到些问题,但是这些问题都是由于路径什么的导致不正确,在这儿还是记录下操作过程,今天是基于wind ...

  7. 【轮询】【ajax】【js】【spring boot】ajax超时请求:前端轮询处理超时请求解决方案 + spring boot服务设置接口超时时间的设置

    场景描述: ajax设置timeout在本机测试有效,但是在生产环境等外网环境无效的问题 1.ajax的timeout属性设置 前端请求超时事件[网络连接不稳定时候,就无效了] var data = ...

  8. 闲聊http1.1的6个方法

    GET :获取资源GET 方法用来请求访问已被 URI 识别的资源.指定的资源经服务器端解析后返回响应内容. POST :传输实体主体POST 方法用来传输实体的主体.虽然用 GET 方法也可以传输实 ...

  9. WANNACRY病毒中的加密技术分析

    WANNACRY病毒中的加密技术分析 2019/11/6 16:56:46 分析WANNACRY病毒中的加解密技术的应用.分析内容包括但不限于:对称密码技术和公钥密码技术的作用:受害者支付赎金后就会恢 ...

  10. 不论是 Basic Auth 还是 Digest Auth,都会有 Authorization 字段

    GET /dir/index.html HTTP/1.0 Host: localhost Authorization: Digest username="Mufasa", real ...