5.1.1 读取Redis 数据
- Redis 服务器是Logstash 推荐的Broker选择,Broker 角色就意味会同时存在输入和输出两个插件。
- 5.1.1 读取Redis 数据
- LogStash::Input::Redis 支持三种data_type(实际上是redis_type),
- 不同的数据类型会导致实际采用不同的Redis命令操作:
- 1. 配置示例:
- zjtest7-frontend:/usr/local/logstash-2.3.4/config/redis# cat redis01.conf
- input {
- redis {
- data_type =>"pattern_channel"
- key=>"logstash-redis01"
- host => "192.168.32.67"
- password => "1234567"
- port =>"6379"
- }
- }
- output {
- stdout {
- codec => rubydebug
- }
- }
- redis 输入:
- 127.0.0.1:6379> PUBLISH logstash-redis01 "hello 20160912 world"
- (integer) 1
- 127.0.0.1:6379>
- [elk@zjtest7-frontend redis]$ ../../bin/logstash -f redis01.conf
- Settings: Default pipeline workers: 1
- Pipeline main started
- {
- "message" => "hello 20160912 world",
- "tags" => [
- [0] "_jsonparsefailure"
- ],
- "@version" => "1",
- "@timestamp" => "2016-09-12T01:31:47.292Z"
- }
- 5.1.2 采用list类型扩展Logstash
- 通过频道发布的一条消息,会被所有订阅了该频道的Logstash 进程同时接收到,然后输出重复内容:
- 1.
- [elk@zjtest7-frontend redis]$ ../../bin/logstash -f redis01.conf
- Settings: Default pipeline workers: 1
- Pipeline main started
- {
- "message" => "hello 20160912 world",
- "tags" => [
- [0] "_jsonparsefailure"
- ],
- "@version" => "1",
- "@timestamp" => "2016-09-12T01:31:47.292Z"
- }
- {
- "message" => "hello 20160912 aaaa bbbb world",
- "tags" => [
- [0] "_jsonparsefailure"
- ],
- "@version" => "1",
- "@timestamp" => "2016-09-12T01:40:12.672Z"
- }
- 2.
- [elk@zjtest7-frontend redis]$ ../../bin/logstash -f redis01.conf
- Settings: Default pipeline workers: 1
- Pipeline main started
- {
- "message" => "hello 20160912 aaaa bbbb world",
- "tags" => [
- [0] "_jsonparsefailure"
- ],
- "@version" => "1",
- "@timestamp" => "2016-09-12T01:40:13.466Z"
- }
- 这种情况下,就需要使用list类型,在这种类型下,数据输入到Redis 服务器上暂存,Logstash 则连上Redis 服务器取走数据
5.1.1 读取Redis 数据的更多相关文章
- Flink读写Redis(三)-读取redis数据
自定义flink的RedisSource,实现从redis中读取数据,这里借鉴了flink-connector-redis_2.11的实现逻辑,实现对redis读取的逻辑封装,flink-connec ...
- logstash读取redis数据
类型设置: logstash中的redis插件,指定了三种方式来读取redis队列中的信息. list=>BLPOP (相当 ...
- CentOS6.4 安装OpenResty和Redis 并在Nginx中利用lua简单读取Redis数据
1.下载OpenResty和Redis OpenResty下载地址:wget http://openresty.org/download/ngx_openresty-1.4.3.6.tar.gz Re ...
- Jmeter获取redis数据
背景:jmeter写注册登录接口时,需要获取验短信验证码,一般都是存在数据库,但我们的开发把验证码存到redis里面了 步骤:1.写个redis工具类 2.打成jar包,导入jmeter lib\ex ...
- redis数据持久化内存不足
原因:写数据到redis里面写不进去,查看redis日志显示: Can't save in background: fork: Cannot allocate memory 在小内存的进程上做一个fo ...
- 读取redis中的数据时出现:MISCONF Redis is configured to save RDB snapshots
读取redis中的数据时出现:MISCONF Redis is configured to save RDB snapshots 以下为异常详细信息: Exception in thread &q ...
- Redis数据导入工具优化过程总结
Redis数据导入工具优化过程总结 背景 使用C++开发了一个Redis数据导入工具 从oracle中将所有表数据导入到redis中: 不是单纯的数据导入,每条oracle中的原有记录,需要经过业务逻 ...
- Redis数据备份和重启恢复
一.对Redis持久化的探讨与理解 目前Redis持久化的方式有两种: RDB 和 AOF 首先,我们应该明确持久化的数据有什么用,答案是用于重启后的数据恢复. Redis是一个内存数据库,无论是RD ...
- Redis学习笔记(5)——Redis数据持久化
出处http://www.cnblogs.com/xiaoxi/p/7065328.html 一.概述 Redis的强大性能很大程度上都是因为所有数据都是存储在内存中的,然而当Redis重启后,所有存 ...
随机推荐
- sicily 1155 Can I Post the letter
题意:判断有向图两点之间是否可通达! 解法:深搜或广搜(注意避免旧路重行) DFS: #include<iostream> #include<vector> #include& ...
- 如何备份及恢复Linux文件权限
你可能听说或碰到过这样的事情:一个系统管理员菜鸟不小心输入"chmod -R 777 /"从而导致了巨大的悲剧,使得整个系统遭到了严重的破坏.在日常管理中,我们有许多工具可以用来备 ...
- jQuery 各种选择器 $.()用法
jQuery 元素选择器jQuery 使用 CSS 选择器来选取 HTML 元素. $("p") 选取 <p> 元素. $("p.intro") 选 ...
- [iOS] 创建第一个应用程序项目
开发环境:MacBook Pro XCode 5.0.1 1. 创建新的空的工程 2. 手动添加Controller 3. 将Controller添加到AppDelegate 4. 编辑.xib 5. ...
- 布局神器:Flexbox
最近的工作内容大多是移动端网页的开发,百分比布局,Media Queries,Bootstrap等常规的响应式/自适应的开发技术皆一一试过,但觉以上都不够灵活,所以,一直再尝试寻求更加灵活的精确的移动 ...
- iOS中自动释放问题?
--前言:iOS开发中关于对象的释放问题,虽然知道规则,但总不清楚自动释放的对象什么时候彻底消失?它存在的多久?什么情况会消失?都不清楚,每次用自动释放对象,总有点心虚的感觉,以下是一些例子.研究. ...
- CSS元素 之 float
1. float 设计的初衷 Float 设计的初衷是为了文字环绕的效果 使得文字可以围绕着 图片.就像下面这样 2. float 的包裹和 破坏 A) 包裹性 和 破坏性 例如下图 我们原本是希 ...
- zookeeper应用——集中配置管理系统的实现
http://blog.csdn.net/huangfengxiao/article/details/8844239
- ewebeditor下利用ckplayer增加html5 (mp4)全平台的支持
学校数字化平台富文本编辑器一直用的ewebeditor,应该说非常的好,支持常用office文档的直接导入,极大的方便了老师们资料的上传,最近在规划整个数字化校园向全平台改版,框架采用bootstra ...
- 使用DataReader
string sqlStr="select * from tb_news"; SqlCommand myCmd=new SqlCommand(sqlStr,myConn); myC ...