redis（二）--用Redis作MySQL数据库缓存

用Redis作MySQL 数据库缓存，必须解决2个问题。首先，应该确定用何种数据结构存储来自mysql的数据；在确定数据结构之后，还要考虑用什么标识作为该数据结构的键。

直观上看，Mysql中的数据都是按表存储的；更微观地看，这些表都是按行存储的。每执行一次select查询，Mysql都会返回一个结果集，这个结果集由若干行组成。所以，一个自然而然的想法就是在redis中找到一种对应于Mysql行的数据结构。Redis中提供了五种基本数据结构，即字符串（string）、列表（list）、哈希（hash）、集合（set）和有序集合（sorted set）。经过调研，发现适合存储行的数据结构有两种，即string和hash。

要把Mysql的行数据存入string，首先需要对行数据进行格式化。事实上，结果集的每一行都可以看做若干由字段名和其对应值组成的键值对集合。这种键值对结构很容易让我们想起Json格式。因此，这里选用Json格式作为结果集每一行的格式化模板。根据这一想法，我们可以实现将结果集格式化为若干Json对象，并将Json对象转化为字符串存入Redis的代码：

// 该函数把结果集中的每一行转换为一个Json格式的字符串并存入Redis的STRING结构中，
// STRING键应该包含结果集标识符和STRING编号，形式如“cache.string:123456:1”
string Cache2String(sql::Connection *mysql_connection,
redisContext *redis_connection,
sql::ResultSet *resultset,
const string &resultset_id, int ttl) {
if (resultset->rowsCount() == 0) {
throw runtime_error("FAILURE - no rows");
}
// STRING键的前缀，包含了结果集的标识符
string prefix("cache.string:" + resultset_id + ":");
unsigned int num_row = 1; // STRING编号，附加于STRING键的末尾，从1开始
sql::ResultSetMetaData *meta = resultset->getMetaData();
unsigned int num_col = meta->getColumnCount();
// 将结果集中所有行对应的所有STRING键存入该SET，SET键包含了结果集的标识符
string redis_row_set_key("resultset.string:" + resultset_id);
redisReply *reply;
string ttlstr;
stringstream ttlstream;
ttlstream << ttl;
ttlstr = ttlstream.str();
resultset->beforeFirst();
// 将结果集中的每一行转为Json格式的字符串，将这些Json字符串存入STRING，
// 每个STRING对应结果集中的一行
while (resultset->next()) {
string redis_row_key; // STRING键名，由前缀和STRING编号组成
stringstream keystream;
keystream << prefix << num_row;
redis_row_key = keystream.str();
Json::Value row;
for (int i = 1; i <= num_col; ++i) {
string col_label = meta->getColumnLabel(i);
string col_value = resultset->getString(col_label);
row[col_label] = col_value;
}
Json::FastWriter writer;
string redis_row_value = writer.write(row);
// 将STRING键及Json格式的对应值对存入Redis
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SET %s %s",
redis_row_key.c_str(),
redis_row_value.c_str()));
freeReplyObject(reply);
// 将STRING键加入SET中
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SADD %s %s",
redis_row_set_key.c_str(),
redis_row_key.c_str()));
freeReplyObject(reply);
// 设置STRING的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
++num_row;
}
// 设置SET的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_set_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
return redis_row_set_key; // 返回SET键，以便于其他函数获取该SET中的内容
}

// 该函数把结果集中的每一行转换为一个Json格式的字符串并存入Redis的STRING结构中，

// STRING键应该包含结果集标识符和STRING编号，形式如“cache.string:123456:1”

string Cache2String(sql::Connection *mysql_connection,

                    redisContext *redis_connection,

                    sql::ResultSet *resultset,

                    const string &resultset_id, int ttl) {

  if (resultset->rowsCount() == 0) {

    throw runtime_error("FAILURE - no rows");

  }

  // STRING键的前缀，包含了结果集的标识符

  string prefix("cache.string:" + resultset_id + ":");

  unsigned int num_row = 1;  // STRING编号，附加于STRING键的末尾，从1开始

  sql::ResultSetMetaData *meta = resultset->getMetaData();

  unsigned int num_col = meta->getColumnCount();

  // 将结果集中所有行对应的所有STRING键存入该SET，SET键包含了结果集的标识符

  string redis_row_set_key("resultset.string:" + resultset_id);

  redisReply *reply;

  string ttlstr;

  stringstream ttlstream;

  ttlstream << ttl;

  ttlstr = ttlstream.str();

  resultset->beforeFirst();

  // 将结果集中的每一行转为Json格式的字符串，将这些Json字符串存入STRING，

  // 每个STRING对应结果集中的一行

  while (resultset->next()) {

    string redis_row_key;  // STRING键名，由前缀和STRING编号组成

    stringstream keystream;

    keystream << prefix << num_row;

    redis_row_key = keystream.str();

    Json::Value row;

    for (int i = 1; i <= num_col; ++i) {

      string col_label = meta->getColumnLabel(i);

      string col_value = resultset->getString(col_label);

      row[col_label] = col_value;

    }

    Json::FastWriter writer;

    string redis_row_value = writer.write(row);

	// 将STRING键及Json格式的对应值对存入Redis

    reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                 "SET %s %s",

                                                 redis_row_key.c_str(),

                                                 redis_row_value.c_str()));

    freeReplyObject(reply);

    // 将STRING键加入SET中

    reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                 "SADD %s %s",

                                                 redis_row_set_key.c_str(),

                                                 redis_row_key.c_str()));

    freeReplyObject(reply);

    // 设置STRING的过期时间

    reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                 "EXPIRE %s %s",

                                                 redis_row_key.c_str(),

                                                 ttlstr.c_str()));

    freeReplyObject(reply);

    ++num_row;

  }

  // 设置SET的过期时间

  reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                               "EXPIRE %s %s",

                                               redis_row_set_key.c_str(),

                                               ttlstr.c_str()));

  freeReplyObject(reply);

  return redis_row_set_key;  // 返回SET键，以便于其他函数获取该SET中的内容

}

要把Mysql的行数据存入hash，过程要比把数据存入string直观很多。这是由hash的结构性质决定的——hash本身就是一个键值对集合：一个“父键”下面包含了很多“子键”，每个“子键”都对应一个值。根据前面的分析可知，结果集中的每一行实际上也是键值对集合。用Redis键值对集合表示Mysql键值对集合应该再合适不过了：对于结果集中的某一行，字段对应于hash的“子键”，字段对应的值就是hash“子键”对应的值，即结果集的一行刚好对应一个hash。这一想法的实现代码如下：

// 该函数把结果集中的每一行都存入一个HASH结构。HASH键应当包括结果集标识符和HASH编号，
// 形如“cache.string:123456:1”
string Cache2Hash(sql::Connection *mysql_connection,
redisContext *redis_connection,
sql::ResultSet *resultset,
const string &resultset_id, int ttl) {
if (resultset->rowsCount() == 0) {
throw runtime_error("FAILURE - no rows");
}
// HASH键的前缀，包含了结果集的标识符
string prefix("cache.hash:" + resultset_id + ":");
unsigned int num_row = 1; // HASH编号，附加于HASH键的末尾，从1开始
sql::ResultSetMetaData *meta = resultset->getMetaData();
unsigned int num_col = meta->getColumnCount();
// 将结果集中所有行对应的所有HASH键存入该SET，SET键包含了结果集的标识符
string redis_row_set_key("resultset.hash:" + resultset_id);
redisReply *reply;
string ttlstr;
stringstream ttlstream;
ttlstream << ttl;
ttlstr = ttlstream.str();
// 结果集中的每一行对应于一个HASH，将结果集的所有行都存入相应HASH中
resultset->beforeFirst();
while (resultset->next()) {
string redis_row_key; // HASH键名，由前缀和HASH编号组成
stringstream keystream;
keystream << prefix << num_row;
redis_row_key = keystream.str();
for (int i = 1; i <= num_col; ++i) {
string col_label = meta->getColumnLabel(i);
string col_value = resultset->getString(col_label);
// 将结果集中一行的字段名和对应值存入HASH
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"HSET %s %s %s",
redis_row_key.c_str(),
col_label.c_str(),
col_value.c_str()));
freeReplyObject(reply);
}
// 将HASH键加入SET中
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SADD %s %s",
redis_row_set_key.c_str(),
redis_row_key.c_str()));
freeReplyObject(reply);
// 设置HASH的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
++num_row;
}
// 设置SET的过期时间
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"EXPIRE %s %s",
redis_row_set_key.c_str(),
ttlstr.c_str()));
freeReplyObject(reply);
return redis_row_set_key; // 返回SET键，以便于其他函数获取该SET中的内容
}

// 该函数把结果集中的每一行都存入一个HASH结构。HASH键应当包括结果集标识符和HASH编号，

// 形如“cache.string:123456:1”

string Cache2Hash(sql::Connection *mysql_connection,

                  redisContext *redis_connection,

                  sql::ResultSet *resultset,

                  const string &resultset_id, int ttl) {

  if (resultset->rowsCount() == 0) {

    throw runtime_error("FAILURE - no rows");

  }

  // HASH键的前缀，包含了结果集的标识符

  string prefix("cache.hash:" + resultset_id + ":");

  unsigned int num_row = 1;  // HASH编号，附加于HASH键的末尾，从1开始

  sql::ResultSetMetaData *meta = resultset->getMetaData();

  unsigned int num_col = meta->getColumnCount();

  // 将结果集中所有行对应的所有HASH键存入该SET，SET键包含了结果集的标识符

  string redis_row_set_key("resultset.hash:" + resultset_id);

  redisReply *reply;

  string ttlstr;

  stringstream ttlstream;

  ttlstream << ttl;

  ttlstr = ttlstream.str();

  // 结果集中的每一行对应于一个HASH，将结果集的所有行都存入相应HASH中

  resultset->beforeFirst();

  while (resultset->next()) {

    string redis_row_key;  // HASH键名，由前缀和HASH编号组成

    stringstream keystream;

    keystream << prefix << num_row;

    redis_row_key = keystream.str();

    for (int i = 1; i <= num_col; ++i) {

      string col_label = meta->getColumnLabel(i);

      string col_value = resultset->getString(col_label);

	  // 将结果集中一行的字段名和对应值存入HASH

      reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                   "HSET %s %s %s",

                                                   redis_row_key.c_str(),

                                                   col_label.c_str(),

                                                   col_value.c_str()));

      freeReplyObject(reply);

    }

	// 将HASH键加入SET中

    reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                 "SADD %s %s",

                                                 redis_row_set_key.c_str(),

                                                 redis_row_key.c_str()));

    freeReplyObject(reply);

	// 设置HASH的过期时间

    reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                                 "EXPIRE %s %s",

                                                 redis_row_key.c_str(),

                                                 ttlstr.c_str()));

    freeReplyObject(reply);

    ++num_row;

  }

  // 设置SET的过期时间

  reply = static_cast<redisReply*>(redisCommand(redis_connection,

                                               "EXPIRE %s %s",

                                               redis_row_set_key.c_str(),

                                               ttlstr.c_str()));

  freeReplyObject(reply);

  return redis_row_set_key;  // 返回SET键，以便于其他函数获取该SET中的内容

}

至此，我们已经给出了两种存储Mysql结果集的方案，这就是我们在篇首提出的第一个问题，即选择何种数据结构存储Mysql结果集的答案。下一篇文章将研究第二个问题，即数据结构键的标识符选择问题。

redis（二）--用Redis作MySQL数据库缓存的更多相关文章

用Redis作Mysql数据库缓存
使用redis作mysql数据库缓存时,需要考虑两个问题: 1.确定用何种数据结构存储来自Mysql的数据; 2.在确定数据结构之后,用什么标识作为该数据结构的键. 直观上看,Mysql中的数据都是按 ...
MySql数据库缓存
对MySql查询缓存及SQL Server过程缓存的理解及总结一.MySql的Query Cache 1.Query Cache MySQL Query Cache是用来缓存我们所执行的SELE ...
mysql 数据库缓存调优之解决The total number of locks exceeds the lock table size错误
环境: mysql5.6.2 主从同步(备注:需操作主库和从库) 一.InnoDB表执行大批量数据的更新,插入,删除操作时会出现这个问题,需要调整InnoDB全局的innodb_buffer_poo ...
【数据库】mysql数据库缓存
配置文件在 /etc/mysql/my.cnf ################### 第一部分:查询数据库缓存相关变量 ################### show variables like ...
python-操作MySQL数据库
1.安装MySQLdb? 为了用DB-API编写MySQL脚本,必须确保已经安装了MySQL.复制以下代码,并执行: #!/usr/bin/python # -*- coding: UTF-8 -*- ...
MySQL实验准备(二)--Python模拟数据(MySQL数据库)
Python模拟数据(MySQL数据库) 数据模拟目的:模拟多个表的插入和查询数据的模拟,再通过基准测试脚本测试服务器性能和收集数据,仿真模拟. 备注: 如果需要基础的python环境,可以查看&l ...
python + docker, 实现天气数据从FTP获取以及持久化（二）-- python操作MySQL数据库
前言在这一节中,我们主要介绍如何使用python操作MySQL数据库. 准备 MySQL数据库使用的是上一节中的docker容器 “test-mysql”. Python 操作 MySQL 我们使用 ...
FLUME安装&环境（二）:拉取MySQL数据库数据到Kafka
Flume安装成功,环境变量配置成功后,开始进行agent配置文件设置. 1.agent配置文件(mysql+flume+Kafka) #利用Flume将MySQL表数据准实时抽取到Kafka a1. ...
Redis(二)、Redis持久化RDB和AOF
一.Redis两种持久化方式对Redis而言,其数据是保存在内存中的,一旦机器宕机,内存中的数据会丢失,因此需要将数据异步持久化到硬盘中保存.这样,即使机器宕机,数据能从硬盘中恢复. 常见的数据持久 ...

随机推荐

SQLSERVER 设置默认值
DECLARE @test intSET @test=nullselect isnull(@test,0)
linux下chmod使用
用法 chmod使用语法 $ chmod [options] mode[,mode] file1 [file2 ...] 使用ls命令的查看文件或目录的属性 $ ls -l file 八进制语法 ch ...
〖Android〗Android App项目资源字符串检查（检查是否缺少对应的翻译，导致系统切换语言后崩溃）
Android项目开发过程中,容易出现缺少对应中英文翻译的情况,这个Python脚本是用于检查字符串是否缺少了对应的翻译 #!/usr/bin/env python # encoding: utf-8 ...
C#:网络传输问题
1.Http Post Header 中文数据值,服务端接收Header 中文数据值乱码问题: 客户端: Encoding utf8Encoding = Encoding.GetEncoding ...
R语言编程艺术#04#数据框（data.frame）
从直观上看,数据框类似矩阵
Java list对象列表排序实例
package com.test; public class Bean { private String name; private int priority; public String getNa ...
Mybatis 记录
1. #{}, ${}两种传参数方式的区别 1) ${} 会将传入的参数完全拼接到sql语句中,也就是相当于一个拼接符号. 也就是,最后的处理方式就相当于 String sql = select * ...
Django-启动文件的制作
在Django项目下的app.py中写入这几行代码,当启动的时候会找项目下名为:stark.py的文件并先加载 #app.py from django.apps import AppConfig cl ...
T-Pot平台cowrie蜜罐暴力破解探测及实现自动化邮件告警
前言:Cowrie是基于kippo更改的中交互ssh蜜罐, 可以对暴力攻击账号密码等记录,并提供伪造的文件系统环境记录黑客操作行为, 并保存通过wget/curl下载的文件以及通过SFTP.SCP上传 ...
[Big Data - ELK] ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台
ELK平台介绍在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段: 以下内容来自: http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志. ...

redis（二）--用Redis作MySQL数据库缓存

redis（二）--用Redis作MySQL数据库缓存的更多相关文章

随机推荐

热门专题