1. Redis 服务器是Logstash 推荐的Broker选择,Broker 角色就意味会同时存在输入和输出两个插件。
  2.  
  3. 5.1.1 读取Redis 数据
  4.  
  5. LogStash::Input::Redis 支持三种data_type(实际上是redis_type),
  6.  
  7. 不同的数据类型会导致实际采用不同的Redis命令操作:
  8.  
  9. 1. 配置示例:
  10.  
  11. zjtest7-frontend:/usr/local/logstash-2.3.4/config/redis# cat redis01.conf
  12. input {
  13. redis {
  14. data_type =>"pattern_channel"
  15. key=>"logstash-redis01"
  16. host => "192.168.32.67"
  17. password => "1234567"
  18. port =>"6379"
  19. }
  20. }
  21.  
  22. output {
  23. stdout {
  24. codec => rubydebug
  25. }
  26. }
  27.  
  28. redis 输入:
  29. 127.0.0.1:6379> PUBLISH logstash-redis01 "hello 20160912 world"
  30. (integer) 1
  31. 127.0.0.1:6379>
  32.  
  33. [elk@zjtest7-frontend redis]$ ../../bin/logstash -f redis01.conf
  34. Settings: Default pipeline workers: 1
  35. Pipeline main started
  36. {
  37. "message" => "hello 20160912 world",
  38. "tags" => [
  39. [0] "_jsonparsefailure"
  40. ],
  41. "@version" => "1",
  42. "@timestamp" => "2016-09-12T01:31:47.292Z"
  43. }
  44.  
  45. 5.1.2 采用list类型扩展Logstash
  46.  
  47. 通过频道发布的一条消息,会被所有订阅了该频道的Logstash 进程同时接收到,然后输出重复内容:
  48.  
  49. 1.
  50. [elk@zjtest7-frontend redis]$ ../../bin/logstash -f redis01.conf
  51. Settings: Default pipeline workers: 1
  52. Pipeline main started
  53. {
  54. "message" => "hello 20160912 world",
  55. "tags" => [
  56. [0] "_jsonparsefailure"
  57. ],
  58. "@version" => "1",
  59. "@timestamp" => "2016-09-12T01:31:47.292Z"
  60. }
  61.  
  62. {
  63. "message" => "hello 20160912 aaaa bbbb world",
  64. "tags" => [
  65. [0] "_jsonparsefailure"
  66. ],
  67. "@version" => "1",
  68. "@timestamp" => "2016-09-12T01:40:12.672Z"
  69. }
  70.  
  71. 2.
  72. [elk@zjtest7-frontend redis]$ ../../bin/logstash -f redis01.conf
  73. Settings: Default pipeline workers: 1
  74. Pipeline main started
  75.  
  76. {
  77. "message" => "hello 20160912 aaaa bbbb world",
  78. "tags" => [
  79. [0] "_jsonparsefailure"
  80. ],
  81. "@version" => "1",
  82. "@timestamp" => "2016-09-12T01:40:13.466Z"
  83. }
  84.  
  85. 这种情况下,就需要使用list类型,在这种类型下,数据输入到Redis 服务器上暂存,Logstash 则连上Redis 服务器取走数据

5.1.1 读取Redis 数据的更多相关文章

  1. Flink读写Redis(三)-读取redis数据

    自定义flink的RedisSource,实现从redis中读取数据,这里借鉴了flink-connector-redis_2.11的实现逻辑,实现对redis读取的逻辑封装,flink-connec ...

  2. logstash读取redis数据

    类型设置: logstash中的redis插件,指定了三种方式来读取redis队列中的信息. list=>BLPOP                                    (相当 ...

  3. CentOS6.4 安装OpenResty和Redis 并在Nginx中利用lua简单读取Redis数据

    1.下载OpenResty和Redis OpenResty下载地址:wget http://openresty.org/download/ngx_openresty-1.4.3.6.tar.gz Re ...

  4. Jmeter获取redis数据

    背景:jmeter写注册登录接口时,需要获取验短信验证码,一般都是存在数据库,但我们的开发把验证码存到redis里面了 步骤:1.写个redis工具类 2.打成jar包,导入jmeter lib\ex ...

  5. redis数据持久化内存不足

    原因:写数据到redis里面写不进去,查看redis日志显示: Can't save in background: fork: Cannot allocate memory 在小内存的进程上做一个fo ...

  6. 读取redis中的数据时出现:MISCONF Redis is configured to save RDB snapshots

    读取redis中的数据时出现:MISCONF Redis is configured to save RDB snapshots   以下为异常详细信息: Exception in thread &q ...

  7. Redis数据导入工具优化过程总结

    Redis数据导入工具优化过程总结 背景 使用C++开发了一个Redis数据导入工具 从oracle中将所有表数据导入到redis中: 不是单纯的数据导入,每条oracle中的原有记录,需要经过业务逻 ...

  8. Redis数据备份和重启恢复

    一.对Redis持久化的探讨与理解 目前Redis持久化的方式有两种: RDB 和 AOF 首先,我们应该明确持久化的数据有什么用,答案是用于重启后的数据恢复. Redis是一个内存数据库,无论是RD ...

  9. Redis学习笔记(5)——Redis数据持久化

    出处http://www.cnblogs.com/xiaoxi/p/7065328.html 一.概述 Redis的强大性能很大程度上都是因为所有数据都是存储在内存中的,然而当Redis重启后,所有存 ...

随机推荐

  1. sicily 1155 Can I Post the letter

    题意:判断有向图两点之间是否可通达! 解法:深搜或广搜(注意避免旧路重行) DFS: #include<iostream> #include<vector> #include& ...

  2. 如何备份及恢复Linux文件权限

    你可能听说或碰到过这样的事情:一个系统管理员菜鸟不小心输入"chmod -R 777 /"从而导致了巨大的悲剧,使得整个系统遭到了严重的破坏.在日常管理中,我们有许多工具可以用来备 ...

  3. jQuery 各种选择器 $.()用法

    jQuery 元素选择器jQuery 使用 CSS 选择器来选取 HTML 元素. $("p") 选取 <p> 元素. $("p.intro") 选 ...

  4. [iOS] 创建第一个应用程序项目

    开发环境:MacBook Pro XCode 5.0.1 1. 创建新的空的工程 2. 手动添加Controller 3. 将Controller添加到AppDelegate 4. 编辑.xib 5. ...

  5. 布局神器:Flexbox

    最近的工作内容大多是移动端网页的开发,百分比布局,Media Queries,Bootstrap等常规的响应式/自适应的开发技术皆一一试过,但觉以上都不够灵活,所以,一直再尝试寻求更加灵活的精确的移动 ...

  6. iOS中自动释放问题?

    --前言:iOS开发中关于对象的释放问题,虽然知道规则,但总不清楚自动释放的对象什么时候彻底消失?它存在的多久?什么情况会消失?都不清楚,每次用自动释放对象,总有点心虚的感觉,以下是一些例子.研究. ...

  7. CSS元素 之 float

    1. float 设计的初衷 Float 设计的初衷是为了文字环绕的效果 使得文字可以围绕着 图片.就像下面这样 2. float 的包裹和 破坏 A) 包裹性 和 破坏性 例如下图   我们原本是希 ...

  8. zookeeper应用——集中配置管理系统的实现

    http://blog.csdn.net/huangfengxiao/article/details/8844239

  9. ewebeditor下利用ckplayer增加html5 (mp4)全平台的支持

    学校数字化平台富文本编辑器一直用的ewebeditor,应该说非常的好,支持常用office文档的直接导入,极大的方便了老师们资料的上传,最近在规划整个数字化校园向全平台改版,框架采用bootstra ...

  10. 使用DataReader

    string sqlStr="select * from tb_news"; SqlCommand myCmd=new SqlCommand(sqlStr,myConn); myC ...