初学Redis(2)——用Redis作为Mysql数据库的缓存

用Redis作Mysql数据库缓存,必须解决2个问题。首先,应该确定用何种数据结构存储来自Mysql的数据;在确定数据结构之后,还要考虑用什么标识作为该数据结构的键。

直观上看,Mysql中的数据都是按表存储的;更微观地看,这些表都是按行存储的。每执行一次select查询,Mysql都会返回一个结果集,这个结果集由若干行组成。所以,一个自然而然的想法就是在Redis中找到一种对应于Mysql行的数据结构。Redis中提供了五种基本数据结构,即字符串(string)、列表(list)、哈希(hash)、集合(set)和有序集合(sorted set)。经过调研,发现适合存储行的数据结构有两种,即string和hash。

要把Mysql的行数据存入string,首先需要对行数据进行格式化。事实上,结果集的每一行都可以看做若干由字段名和其对应值组成的键值对集合。这种键值对结构很容易让我们想起Json格式。因此,这里选用Json格式作为结果集每一行的格式化模板。根据这一想法,我们可以实现将结果集格式化为若干Json对象,并将Json对象转化为字符串存入Redis的代码:

// 该函数把结果集中的每一行转换为一个Json格式的字符串并存入Redis的STRING结构中,
// STRING键应该包含结果集标识符和STRING编号,形式如“cache.string:123456:1”
string Cache2String(sql::Connection *mysql_connection,
                    redisContext *redis_connection,
                    sql::ResultSet *resultset,
                    const string &resultset_id, int ttl) {
  if (resultset->rowsCount() == 0) {
    throw runtime_error("FAILURE - no rows");
  }
  // STRING键的前缀,包含了结果集的标识符
  string prefix("cache.string:" + resultset_id + ":");
  unsigned int num_row = 1;  // STRING编号,附加于STRING键的末尾,从1开始
  sql::ResultSetMetaData *meta = resultset->getMetaData();
  unsigned int num_col = meta->getColumnCount();
  // 将结果集中所有行对应的所有STRING键存入该SET,SET键包含了结果集的标识符
  string redis_row_set_key("resultset.string:" + resultset_id);
  redisReply *reply;
  string ttlstr;
  stringstream ttlstream;
  ttlstream << ttl;
  ttlstr = ttlstream.str();
  resultset->beforeFirst();
  // 将结果集中的每一行转为Json格式的字符串,将这些Json字符串存入STRING,
  // 每个STRING对应结果集中的一行
  while (resultset->next()) {
    string redis_row_key;  // STRING键名,由前缀和STRING编号组成
    stringstream keystream;
    keystream << prefix << num_row;
    redis_row_key = keystream.str();
    Json::Value row;
    for (int i = 1; i <= num_col; ++i) {
      string col_label = meta->getColumnLabel(i);
      string col_value = resultset->getString(col_label);
      row[col_label] = col_value;
    }
    Json::FastWriter writer;
    string redis_row_value = writer.write(row);
	// 将STRING键及Json格式的对应值对存入Redis
    reply = static_cast<redisReply*>(redisCommand(redis_connection,
                                                 "SET %s %s",
                                                 redis_row_key.c_str(),
                                                 redis_row_value.c_str()));
    freeReplyObject(reply);
    // 将STRING键加入SET中
    reply = static_cast<redisReply*>(redisCommand(redis_connection,
                                                 "SADD %s %s",
                                                 redis_row_set_key.c_str(),
                                                 redis_row_key.c_str()));
    freeReplyObject(reply);
    // 设置STRING的过期时间
    reply = static_cast<redisReply*>(redisCommand(redis_connection,
                                                 "EXPIRE %s %s",
                                                 redis_row_key.c_str(),
                                                 ttlstr.c_str()));
    freeReplyObject(reply);
    ++num_row;
  }
  // 设置SET的过期时间
  reply = static_cast<redisReply*>(redisCommand(redis_connection,
                                               "EXPIRE %s %s",
                                               redis_row_set_key.c_str(),
                                               ttlstr.c_str()));
  freeReplyObject(reply);
  return redis_row_set_key;  // 返回SET键,以便于其他函数获取该SET中的内容
}

要把Mysql的行数据存入hash,过程要比把数据存入string直观很多。这是由hash的结构性质决定的——hash本身就是一个键值对集合:一个“父键”下面包含了很多“子键”,每个“子键”都对应一个值。根据前面的分析可知,结果集中的每一行实际上也是键值对集合。用Redis键值对集合表示Mysql键值对集合应该再合适不过了:对于结果集中的某一行,字段对应于hash的“子键”,字段对应的值就是hash“子键”对应的值,即结果集的一行刚好对应一个hash。这一想法的实现代码如下:

// 该函数把结果集中的每一行都存入一个HASH结构。HASH键应当包括结果集标识符和HASH编号,
// 形如“cache.string:123456:1”
string Cache2Hash(sql::Connection *mysql_connection,
                  redisContext *redis_connection,
                  sql::ResultSet *resultset,
                  const string &resultset_id, int ttl) {
  if (resultset->rowsCount() == 0) {
    throw runtime_error("FAILURE - no rows");
  }
  // HASH键的前缀,包含了结果集的标识符
  string prefix("cache.hash:" + resultset_id + ":");
  unsigned int num_row = 1;  // HASH编号,附加于HASH键的末尾,从1开始
  sql::ResultSetMetaData *meta = resultset->getMetaData();
  unsigned int num_col = meta->getColumnCount();
  // 将结果集中所有行对应的所有HASH键存入该SET,SET键包含了结果集的标识符
  string redis_row_set_key("resultset.hash:" + resultset_id);
  redisReply *reply;
  string ttlstr;
  stringstream ttlstream;
  ttlstream << ttl;
  ttlstr = ttlstream.str();
  // 结果集中的每一行对应于一个HASH,将结果集的所有行都存入相应HASH中
  resultset->beforeFirst();
  while (resultset->next()) {
    string redis_row_key;  // HASH键名,由前缀和HASH编号组成
    stringstream keystream;
    keystream << prefix << num_row;
    redis_row_key = keystream.str();
    for (int i = 1; i <= num_col; ++i) {
      string col_label = meta->getColumnLabel(i);
      string col_value = resultset->getString(col_label);
	  // 将结果集中一行的字段名和对应值存入HASH
      reply = static_cast<redisReply*>(redisCommand(redis_connection,
                                                   "HSET %s %s %s",
                                                   redis_row_key.c_str(),
                                                   col_label.c_str(),
                                                   col_value.c_str()));
      freeReplyObject(reply);
    }
	// 将HASH键加入SET中
    reply = static_cast<redisReply*>(redisCommand(redis_connection,
                                                 "SADD %s %s",
                                                 redis_row_set_key.c_str(),
                                                 redis_row_key.c_str()));
    freeReplyObject(reply);
	// 设置HASH的过期时间
    reply = static_cast<redisReply*>(redisCommand(redis_connection,
                                                 "EXPIRE %s %s",
                                                 redis_row_key.c_str(),
                                                 ttlstr.c_str()));
    freeReplyObject(reply);
    ++num_row;
  }
  // 设置SET的过期时间
  reply = static_cast<redisReply*>(redisCommand(redis_connection,
                                               "EXPIRE %s %s",
                                               redis_row_set_key.c_str(),
                                               ttlstr.c_str()));
  freeReplyObject(reply);
  return redis_row_set_key;  // 返回SET键,以便于其他函数获取该SET中的内容
}

至此,我们已经给出了两种存储Mysql结果集的方案,这就是我们在篇首提出的第一个问题,即选择何种数据结构存储Mysql结果集的答案。下一篇文章将研究第二个问题,即数据结构键的标识符选择问题。

时间: 2024-10-09 08:33:20

初学Redis(2)——用Redis作为Mysql数据库的缓存的相关文章

初学Redis(3)——用Redis作为Mysql数据库的缓存

把Mysql结果集缓存到Redis的字符串或哈希结构中以后,我们面临一个新的问题,即如何为这些字符串或哈希命名,也就是如何确定它们的键.因为这些数据结构所对应的行都属于某个结果集,假如可以找到一种唯一标识结果集的方法,那么只需为这些数据结构分配一个唯一的序号,然后把结果集标识符与该序号结合起来,就能唯一标识一个数据结构了.于是,为字符串和哈希命名的问题就转化为确定结果集标识符的问题. 经过调研,发现一种较为通用的确定结果集标识符的方法.正如我们所知道的,缓存在Redis中的结果集数据都是利用se

用Redis作为Mysql数据库的缓存【转】

用Redis作Mysql数据库缓存,必须解决2个问题.首先,应该确定用何种数据结构存储来自Mysql的数据:在确定数据结构之后,还要考虑用什么标识作为该数据结构的键. 直观上看,Mysql中的数据都是按表存储的:更微观地看,这些表都是按行存储的.每执行一次select查询,Mysql都会返回一个结果集,这个结果集由若干行组成.所以,一个自然而然的想法就是在Redis中找到一种对应于Mysql行的数据结构.Redis中提供了五种基本数据结构,即字符串(string).列表(list).哈希(has

用Redis作为Mysql数据库的缓存

看到一篇不错的博文,记录下: http://blog.csdn.net/qtyl1988/article/details/39553339 http://blog.csdn.net/qtyl1988/article/details/39519951 http://blog.csdn.net/qtyl1988/article/details/39524713 http://blog.csdn.net/qtyl1988/article/details/39545531 该文是采用C++写的,PHP的

转载:使用canal让redis中的数据与mysql数据库中的保持同步

转载:http://blog.csdn.net/tb3039450/article/details/53928351?locationNum=7&fps=1

mysql 数据库的基本操作1

mysql数据库管理 day01相关概念问题数据库介绍? 存储数据的仓库 数据库服务都那些公司在使用? 购物网站 游戏网站 金融网站 数据服务存储的是什么数据?帐号信息 对应的数据信息 提供数据库服务的软件有那些?开源软件 mysql . mongodb . redis 商业软件 oracle . db2 . SQL SERVER 软件是否跨平台? Linux Unix Windows 软件包的来源: 官网下载 使用操作系统安装光盘自带软件包 mysql软件介绍? mysql mariadb关系

mysql 数据库的主从复制及备份、恢复

##远程登录MySql mysql -h62.234.124.229 -P31306 -ucrab -p123456 mysql --host=62.234.124.229 --user=yq --password=123456 ##给远程登录的用户授权: grant all on *.* to [email protected]'114.248.166.196' identified by '123456'; grant select,update,delete on *.* to [emai

MySQL 数据库中MyISAM 和 InnoDB 的区别

首先要明白,在MySQL数据库忠中的存储引擎是基于表的,而不是基于数据库的. 讲述两者区别: InnoDB 存储引擎,主要面向 OLTP(Online Transaction Processing,在线事务处理)方面的应用,是第一个完整支持 ACID 事务的存储引擎(BDB 第一个支持事务的存储引擎,已经停止开发). 特点: 行锁设计.支持外键: 支持类似于 Oracle 风格的一致性非锁定读(默认情况下读取操作不会产生锁): InnoDB 将数据放在一个逻辑的表空间中,由 InnoDB 自身进

MySQL数据库的查询缓冲机制

MySQL数据库的查询缓冲机制 2011-08-10 11:07 佚名 火魔网 字号:T | T 使用查询缓冲机制,可以极大地提高MySQL数据库查询的效率,节省查询所用的时间.那么查询缓冲机制是怎样设置的呢?本文我们就来介绍这部分内容,希望能够对您有所帮助. AD: MySQL数据库提供了查询缓冲机制.使用该查询缓冲机 制,MySQL将SELECT语句和查询结果存放在缓冲区中,以后对于同样的SELECT语句(区分大小写),将直接从缓冲区中读取结果.以节省查询时 间,提高了SQL查询的效率.本文

用Redis作Mysql数据库缓存

使用redis作mysql数据库缓存时,需要考虑两个问题: 1.确定用何种数据结构存储来自Mysql的数据; 2.在确定数据结构之后,用什么标识作为该数据结构的键. 直观上看,Mysql中的数据都是按表存储的;更微观地看,这些表都是按行存储的.每执行一次select查询,Mysql都会返回一个结果集,这个结果集由若干行组成.所以,一个自然而然的想法就是在Redis中找到一种对应于Mysql行的数据结构.Redis中提供了五种基本数据结构,即字符串(string).列表(list).哈希(hash