1.需求

业务中需要实现在两个集合中搜索数据，并返回交集。

用SQL的伪代码可以描述如下：

select key from set1 where sorted_key between min and max

INTERSECT

select key from set2 where sorted_key between min and max

2.现有存储格式

业务使用了redis的有序集合(sorted set)来存储数据：

set1 ->

  field1 -> value1

  field2 -> value2

set2 ->

  field1 -> value1

  field2 -> value2

常规的思路是：

# 分页拉取KEY1，然后分页拉取KEY2，然后计算交集

ZRANGEBYSCORE set1 ${min} ${max} WITHSCORES LIMIT 0 1000

ZRANGEBYSCORE set1 ${min} ${max} WITHSCORES LIMIT 1000 1000

3.lua实现

看了一下redis的lua脚本功能，可以完全在redis服务器端完成：



--like sql: insert ...select， 实现类似SQL中的insert select语句

local function select_and_insert(from_key, min_value, max_value, to_key)

    local cnt = redis.call("ZCOUNT", from_key, min_value, max_value)

    local start = 0

    local limit = 1000

    while(start<cnt)

    do

        local value = redis.call("ZRANGEBYSCORE", from_key, min_value, max_value, "WITHSCORES", "LIMIT", start, limit)

        start = start + (#value)/2

        local idx = 1

        while( idx<=#value )

        do

            value[idx], value[idx+1] = value[idx+1], value[idx]

            idx = idx + 2

        end

        local ret = redis.call("ZADD", to_key, unpack(value))

        if(ret==false)

        then

            return false, "zadd fail"

        end

    end

    return true,"success"

end

--like select intersect，实现类似SQL中的select intersect

local function intersect(key1, min1, max1, key2, min2, max2, to_key)

    local temp_key_1 = "___temp_1"

    redis.call("DEL", temp_key_1)

    local ret,msg = select_and_insert(key1, min1, max1, temp_key_1)

    if(ret==false)

    then

        return false, key1.." fail:"..msg

    end

    --

    local temp_key_2 = "___temp_2"

    redis.call("DEL", temp_key_2)

    ret,msg = select_and_insert(key2, min2, max2, temp_key_2)

    if(ret==false)

    then

        redis.call("DEL", temp_key_1)

        return false, key2.." fail:"..msg

    end

    --

    ret = redis.call("ZINTERSTORE", to_key, 2, temp_key_1, temp_key_2)

    redis.call("DEL", temp_key_1)

    redis.call("DEL", temp_key_2)

    if(ret==false)

    then

        return false, "ZINTERSTORE fail"

    end

    return true, string.format("intersect count is %d", ret)

end

local function main()

    return intersect("set1", 10, 100, "set2", 200, 400, "my_result")

end

return main()

在命令行测试一下：

redis-cli -h 192.168.0.2 -p 6379 -a "my_password" --eval test_intersect.lua

达到了预期的效果。

4.做一个script load工具

按照网上的方法这样导入脚本，始终不成功：

redis-cli -h 192.168.0.2 -p 6379 -a "my_password" SCRIPT LOAD "`cat test_intersect.lua`"

于是用golang基于gin框架来做一个脚本保存功能：

上传表单：

//注册

my_gin.GET("/redis_script_form", redisScriptForm)

func redisScriptForm(c *gin.Context){

    c.Data(200, "text/html; charset=utf-8", []byte(`

        <html>

        <body>

        <form method="POST" enctype="application/x-www-form-urlencoded" action="/redis_script_load">

        <textarea name="lua" style="width:100%; height:300px"></textarea><br/>

        <input type="submit" value="upload script"/>

        </form>

        </body>

        </html>

    `))

}

保存接口

//

import "github.com/go-redis/redis/v7"

//

my_gin.POST("/redis_script_load", redisScriptLoad)

func redisScriptLoad(c *gin.Context){

    code := c.PostForm("lua")

    redis := utils.GetRedisClient()

    val, err := redis.ScriptLoad(code).Result()

    if err!=nil{

        c.Data(200, "text/plain", []byte(fmt.Sprintf("redis.ScriptLoad fail:%s", err.Error() )))

        return

    }

    c.Data(200, "text/plain", []byte(fmt.Sprintf("redis.ScriptLoad success:sha=%s", val )))

}

保存成功会返回代码的SHA hash值。

5.用golang调用redis中的lua脚本

lua的main()改一改

首先要再修改之前lua代码中的main()，不要写死参数：

local function main()

    local set1_param={KEYS[1], ARGV[1], ARGV[2]}

    local set2_param={KEYS[2], ARGV[3], ARGV[4]}

    local temp_key = "__temp_3"

    --

    redis.call("DEL", temp_key)

    local ret,msg = intersect(set1_param[1], set1_param[2], set1_param[3], set2_param[1], cpu_param[2], set2_param[3], temp_key)

    if(ret==false)

    then

        return msg

    end

    local values = redis.call("ZRANGE", temp_key, "0", "100000000000")

    redis.call("DEL", temp_key)

    return values

end

命令行测试

再次保存代码，得到SHA值。

用命令行进行测试：

EVALSHA f2f7d1b5439b8bb4c8320a7dce4b54c133a3d47d 2 "set1" "set2" "10" "1000" "100" "3000"

得到了预想的结果。

golang代码测试：

//注册

my_gin.GET("/redis_eval_script", redisEvalScript)

func redisEvalScript(c *gin.Context){

    redis := utils.GetRedisClient()

    val, err := redis.Do("EVALSHA",

        "f2f7d1b5439b8bb4c8320a7dce4b54c133a3d47d",

        2, "set1", "set2", 10, 1000,

        100, 3000).Result()

    if err!=nil{

        ResponseError(c, err.Error())

        return

    }

    j,err := json.Marshal(val)

    if err!=nil{

        c.Data(200, "text/plain", []byte(fmt.Sprintf("EVALSHA:%s", err.Error() )))

        return

    }

    c.Data(200, "text/plain; charset=utf-8",

        []byte(fmt.Sprintf("json:\n%s", string(j))))

}

have fun!

======

2020-05-11补充：

  • 这个东东可以玩玩，使用前需要认真测试
  • 建议运行在slave上，不要在master上
  • 创造临时KEY的时候可能会产生大量的IO，而目前我还没找到一种临时KEY只存在于内存的方法

使用redis+lua实现SQL中的select intersect的效果的更多相关文章

  1. 教您如何使用SQL中的SELECT LIKE like语句

    LIKE语句在SQL有着不可替代的重要作用,下文就将为您介绍SQL语句中SELECT LIKE like的详细用法,希望对您能有所帮助. LIKE语句的语法格式是:select * from 表名 w ...

  2. mysql中select into 和sql中的select into 对比

    现在有张表为student,我想将这个表里面的数据复制到一个为dust的新表中去.answer 01: create table dust select * from student;//用于复制前未 ...

  3. 关于SQL中SELECT *（星号）的危害论

    听闻有许多人是禁止开发人员在SQL中使用SELECT *的,这里翻译一下StackOverflow的一篇提问,个人认为相当客观 [SELECT *]危害主要有以下几点: 给数据消费者传数据的低效.当你 ...

  4. oracle PL/SQL（procedure language/SQL）程序设计(在PL/SQL中使用SQL)

    在PL/SQL程序中,允许使用的SQL语句只有DML和事务控制语句,使用DDL语句是非法的.使用SELECT语句从数据库中选取数据时,只能返回一行数据.使用COMMIT,  ROLLBACK, 和SA ...

  5. Mysql训练：两个表中使用 Select 语句会导致产生 笛卡尔乘积 ，两个表的前后顺序决定查询之后的表顺序

    力扣:超过经理收入的员工 Employee 表包含所有员工,他们的经理也属于员工.每个员工都有一个 Id,此外还有一列对应员工的经理的 Id. +----+-------+--------+----- ...

  6. 正则表达式小技巧，sql中in的字符串处理

    工作中我经常写sql,当写带in的语句时,需要敲好多单引号,逗号,敲写起来容易易出错.因此,我写了一个小工具,处理这种繁琐工作.原理简单,利用正则表达式匹配.替换. 先看界面,一个html页面,包含三 ...

  7. 【代码分享】用redis+lua实现多个集合取交集并过滤，类似于: select key from set2 where key in (select key from set1) and value>=xxx

    redis中的zset结构可以看成一个个包含数值的集合,或者认为是一个关系数据库中用列存储方式存储的一列. 需求 假设我有这样一个数据筛选需求,用SQL表示为: select key from set ...

  8. SQL中SET和SELECT赋值的区别

    最近的项目写的SQL比较多,经常会用到对变量赋值,而我使用SET和SELECT都会达到效果. 那就有些迷惑,这两者有什么区别呢?什么时候哪该哪个呢? 经过网上的查询,及个人练习,总结两者有以下几点主要 ...

  9. sql 中set和select区别

    基于SQL中SET与SELECT赋值的区别详解 2012年09月06日 ⁄ 综合 ⁄ 共 912字 ⁄ 字号 小 中 大 ⁄ 评论关闭 最近的项目写的SQL比较多,经常会用到对变量赋值,而我使用SET ...

随机推荐

  1. Python 计算AWS4签名，Header鉴权与URL鉴权

    AWS4 版本签名计算参考 #!/usr/bin/env python3 # -*- coding:utf-8 -*- # @Time: 2021/7/24 8:12 # @Author:zhangm ...

  2. RPA项目POC指南：概念、步骤与技巧

    "为什么部署RPA前要进行POC?RPA不是开箱即用吗?" 其实,RPA的实施并非总是一帆风顺,"碰坑"在所难免. 据安永报告显示,30%至50%的初始RPA项 ...

  3. 解决appt.exe finished with non- zero exit value 1问题

    解决appt.exe finished with non- zero exit value 1问题 最近使用Android Studio时,经常遇到appt.exe finished with non ...

  4. J. Bottles

    J. Bottles time limit per test 2 seconds memory limit per test 512 megabytes input standard input ou ...

  5. TKE 用户故事 - 作业帮 PB 级低成本日志检索服务

    作者 吕亚霖,2019年加入作业帮,作业帮架构研发负责人,在作业帮期间主导了云原生架构演进.推动实施容器化改造.服务治理.GO微服务框架.DevOps的落地实践. 莫仁鹏,2020年加入作业帮,作业帮 ...

  6. 【Web前端】css属性cursor注意事项

    注意使用cursor的url时url的括号后面必须+   ,auto: 错误示范:cursor:url('../picture/head.cur'); 正确示范:cursor: url(". ...

  7. Cython编译动态库、引用C/C++文件

    将某些.py 编译成动态库 设置好要编译的module们: compile_to_c_modules = [ 'package.module' ] 将它们转换成cythonize可识别的参数: def ...

  8. uniapp动态修改导航栏

    1.修改导航栏buttons 如图动态修改角标 <template> <view> </view> </template> <script> ...

  9. 通过kaggle api下载数据集

    Kaggle API使用教程 https://www.kaggle.com 的官方 API ,可使用 Python 3 中实现的命令行工具访问. Beta 版 - Kaggle 保留修改当前提供的 A ...

  10. [数学]高数部分-Part VII 微分方程

    Part VII 微分方程 回到总目录 Part VII 微分方程 微分方程的概念 一阶微分方程求解-变量可分离型 一阶微分方程求解-齐次型 一阶微分方程求解-一阶线性型 二阶常系数齐次D.E.求解: ...