使用Redis实现延时任务(一) 前提 最近在生产环境刚好遇到了延时任务的场景,调研了一下目前主流的方案,分析了一下优劣并且敲定了最终的方案.这篇文章记录了调研的过程,以及初步方案的实现. 候选方案对比 下面是想到的几种实现延时任务的方案,总结了一下相应的优势和劣势. 方案 优势 劣势 选用场景 JDK内置的延迟队列DelayQueue 实现简单 数据内存态,不可靠 一致性相对低的场景 调度框架和MySQL进行短间隔轮询 实现简单,可靠性高 存在明显的性能瓶颈 数据量较少实时性相对低的场景 Ra

Lilishop 技术栈 官方公众号 & 开源不易,如有帮助请点Star 介绍 官网:https://pickmall.cn Lilishop 是一款Java开发,基于SpringBoot研发的B2B2C多用户商城,前端使用 Vue.uniapp开发 系统全端全部代码开源 本系统用于教大家如何运用系统中的每一个细节,如:支付.第三方登录.日志收集.分布式事务.秒杀场景等各个场景学习方案 git地址 https://gitee.com/beijing_hongye_huicheng/lilisho

引言 在开发中,往往会遇到一些关于延时任务的需求.例如 生成订单30分钟未支付,则自动取消 生成订单60秒后,给用户发短信 对上述的任务,我们给一个专业的名字来形容,那就是延时任务.那么这里就会产生一个问题,这个延时任务和定时任务的区别究竟在哪里呢?一共有如下几点区别 定时任务有明确的触发时间,延时任务没有 定时任务有执行周期,而延时任务在某事件触发后一段时间内执行,没有执行周期 定时任务一般执行的是批处理操作是多个任务,而延时任务一般是单个任务 下面,我们以判断订单是否超时为例,进行方案分析

一. slow log慢查询日志 Redis监控工具,命令和调优 slowlog是 Redis 用来记录查询执行时间的日志系统.slowlog-log-slower-than设置慢操作的阈值,单位是微妙,默认是10000微妙,也就是10msslowlog-max-len设置保存个数 127.0.0.1:6379> config set slowlog-log-slower-than 500 基本语法 SLOWLOG subcommand [argument] 查看日志信息:slowlog get

目录 一.业务场景 二.Redis延时队列 一.业务场景 所谓延时队列就是延时的消息队列,下面说一下一些业务场景比较好理解 1.1 实践场景 订单支付失败,每隔一段时间提醒用户 用户并发量的情况,可以延时2分钟给用户发短信 ... 1.2 实现方式 这些情况都可以使用延时队列来做,实现延时队列比较场景的有使用消息队列MQ来实现,比如RocketMQ等等,也可以使用Redis来实现,本博客主要介绍一下Redis实现延时队列 二.Redis延时队列 2.1 Redis列表实现 Redis实现延时队列

一.在与redis同一个内网的服务器上A的nginx做了下面的设置 stream { upstream redis { server  redis.rds.aliyuncs.com:6379 max_fails=3 fail_timeout=30s; } server { listen 6379; proxy_connect_timeout 1s; proxy_timeout 3s; proxy_pass redis; } } 二.服务器B上通过A:6379 来连接到阿里云的redis 三.re

基于redis有序集合,实现简单的延时任务 延时任务的场景很多,开发过程中我们经常会遇到,比如说: 1.订单未付款,5分钟后自动取消,这是电商网站非常普遍的需求: 2.用户创建订单不付款,3分钟后自动发短信.微信消息提醒: 3.会员到期提醒 等等,这些都算延时任务提醒. 实现延时任务功能的方式很多,我们公司的业务不大,没打算用中间件,所以,我干脆直接用redis实现. redis实现延时任务有2种方式,一种是根据有序集合去实现,还有种是根据键的过期,去触发延时任务,两个方式都可以,今天我主要说的

写在前面 我一直以来使用redis的时候,很多低烈度需求(并发要求不是很高)需要用到消息队列的时候,在项目本身已经使用了Redis的情况下都想直接用Redis来做消息队列,而不想引入新的服务,kafka和RabbitMQ等: 奈何这兄弟一直不给力: 虽然 Redis 的Pub/Sub 是实现了发布/订阅的,但这家伙最坑的是:丢数据 由于Pub/Sub 只是简单的实现了发布订阅模式,简单的沟通起生产者和消费者,当接收生产者的数据后并立即推送或者说转发给订阅消费者,并不会做任何的持久化.存储操作.由

上回说到使用 Redis 的 List 实现消息队列有很多局限性,比如: 没有良好的 ACK 机制: 没有 ConsumerGroup 消费组概念: 消息堆积. List 是线性结构,想要查询指定数据需要遍历整个列表: Stream 是 Redis 5.0 引入的一种专门为消息队列设计的数据类型,Stream 是一个包含 0 个或者多个元素的有序队列,这些元素根据 ID 的大小进行有序排列. 它实现了大部分消息队列的功能: 消息 ID 系列化生成: 消息遍历: 消息的阻塞和非阻塞读: Consu

# Redis configuration file example. # # Note that in order to read the configuration file, Redis must be # started with the file path as first argument: # redis启动命令 # # ./redis-server /path/to/redis.conf # Note on units: when memory size is needed, i

安装redis 下载redis wget http://download.redis.io/releases/redis-3.0.7.tar.gz 解压redis tar -xvf redis-.tar.gz 安装redis cd redis-3.0.7 “有可能需要安装gcc插件:yum install -y gcc ” make “如果make有报错,则执行,没有报错就不需要 make MALLOC=libc ” redis.conf相关参数 ##Redis默认不是以守护进程的方式运行,可以

redis主从集群搭建及容灾部署(哨兵sentinel) Redis也用了一段时间了,记录一下相关集群搭建及配置详解,方便后续使用查阅. 提纲 l  Redis安装 l  整体架构 l  Redis主从结构搭建 l  Redis容灾部署(哨兵sentinel) l  Redis常见问题 Redis安装 发行版:CentOS-6.6 64bit 内核:2.6.32-504.el6.x86_64 CPU:intel-i7 3.6G 内存:2G 下载redis,选择合适的版本 [root@rocket

在实际项目中遇到redis读取时报错. 报错是 [ERROR]  redis.clients.jedis.exceptions.JedisConnectionException: Unexpected end of stream. [ERROR]  redis.clients.util.RedisInputStream.ensureFill(RedisInputStream.java:198) [ERROR]  redis.clients.util.RedisInputStream.readBy

我们说 Redis 相对于 Memcache 等其他的缓存产品,有一个比较明显的优势就是 Redis 不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储.本篇博客我们就将介绍这些数据类型的详细使用以及顺带介绍Redis系统的相关命令用法. 注意:Redis的命令不区分大小写,但是key 严格区分大小写!!! 1.string 数据类型 string 是Redis的最基本的数据类型,可以理解为与 Memcached 一模一样的类型,一个ke

最近搭建了redis集群及哨兵模式,为方便以后查看特此记录下来: 1.Redis安装 2.主从架构 2.1 Redis主从架构图 2.2Redis主从结构搭建 Redis集群不用安装多个Redis,只需复制多个配置文件,修改即可: 搭建redis master 进入redis安装目录,创建redis_master文件夹,并且拷贝redis的可执行文件 cd redis-4.0.8 mkdir redis_master cp redis-4.0.8/src/redis-cli . cp redis

redis.conf配置: 配置主要分为几类:基础.快照.复制.安全.限制.详细日志.虚拟内存.高级配置.文件包含 ##------------------------------------基础配置--------------------------------------------------##Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程,后台运行 daemonize no ##当Redis以守护进程方式运行时,Redis默认会把pid写入/var

Redis也用了一段时间了,记录一下相关集群搭建及配置详解,方便后续使用查阅. 提纲 Redis安装 整体架构 Redis主从结构搭建 Redis容灾部署(哨兵sentinel) Redis常见问题 Redis安装 发行版:CentOS-6.6 64bit 内核:2.6.32-504.el6.x86_64 CPU:intel-i7 3.6G 内存:2G 下载redis,选择合适的版本 [root@rocket software]# wget http://download.redis.io/re

对于Redis服务器的输出(也就是命令的返回值)来说,其大小通常是不可控制的.有可能一个简单的命令,能够产生体积庞大的返回数据.另外也有可能因为执行了太多命令,导致产生返回数据的速率超过了往客户端发送的速率,这是也会导致服务器堆积大量消息,从而导致输出缓冲区越来越大,占用过多内存,甚至导致系统崩溃. 所幸,Redis设置了一些保护机制来避免这种情况的出现,不同类型的客户端有不同的限制参数.限制方式有如下两种: (1).大小限制,当某一个客户端的缓冲区超过某一个大小值时,直接关闭这个客户端的连接:

一.redis cluster环境搭建: 1.了解Redis Cluster原理: 详细了解可参考:http://doc.redisfans.com/topic/cluster-tutorial.html#id5 Redis Cluster 是Redis的集群实现,内置数据自动分片机制,集群内部将所有的key映射到16384个Slot中,集群中的每个Redis Instance负责其中的一部分的Slot的读写.集群客户端连接集群中任一Redis Instance即可发送命令,当Redis Ins

Redis用那些数据结构? 字符串类型String 字典Hash 列表List 集合Set 有序集合SortedSet HyperLogLog.Geo.Pub/Sub Redis Module.BloomFilter.RedisSearch.Redis-ML Redis分布式锁,是什么? 先拿setnx来争抢锁,抢到之后,再用expire给锁加一个过期时间防止锁忘记了释放. 如果在setnx之后,执行expire之前进程意外crash或重启维护, 那么就需要把setnx和 expire合成一条指

安装 redis 到 /usr/目录下 我这里安装的是redis-3.2.9.tar.gz tar zxvf  redis-3.2.9.tar.gz  -C  /usr 然后进行 执行编译命令 make   执行安装  make install 进入redis目录   ll查看所有文件 将 redis.conf文件 移动到usr/local/redis/etc目录下 再进入redis/src 目录 将以下文件移动到 usr/local/redis/bin目录下  方便以后管理 此时进入 usr/