查询缓存

gdb支持对查询结果的缓存处理,常用于多读少写的查询缓存场景,并支持手动的缓存清理。需要注意的是,查询缓存仅支持链式操作,且在事务操作下不可用。

相关方法:

type CacheOption struct {
	// Duration is the TTL for the cache.
	// If the parameter `Duration` < 0, which means it clear the cache with given `Name`.
	// If the parameter `Duration` = 0, which means it never expires.
	// If the parameter `Duration` > 0, which means it expires after `Duration`.
	Duration time.Duration

	// Name is an optional unique name for the cache.
	// The Name is used to bind a name to the cache, which means you can later control the cache
	// like changing the `duration` or clearing the cache with specified Name.
	Name string

	// Force caches the query result whatever the result is nil or not.
	// It is used to avoid Cache Penetration.
	Force bool
}

// Cache sets the cache feature for the model. It caches the result of the sql, which means
// if there's another same sql request, it just reads and returns the result from cache, it
// but not committed and executed into the database.
//
// Note that, the cache feature is disabled if the model is performing select statement
// on a transaction.
func (m *Model) Cache(option CacheOption) *Model

缓存管理

缓存对象

ORM对象默认情况下提供了缓存管理对象,该缓存对象类型为*gcache.Cache,也就是说同时也支持*gcache.Cache的所有特性。可以通过GetCache() *gcache.Cache  接口方法获得该缓存对象,并通过返回的对象实现自定义的各种缓存操作,例如:g.DB().GetCache().Keys()

缓存适配(Redis缓存)

默认情况下ORM*gcache.Cache缓存对象提供的是单进程内存缓存,虽然性能非常高效,但是只能在单进程内使用。如果服务如果采用多节点部署,多节点之间的缓存可能会产生数据不一致的情况,因此大多数场景下我们都是通过Redis服务器来实现对数据库查询数据的缓存。*gcache.Cache对象采用了适配器设计模式,可以轻松实现从单进程内存缓存切换为分布式的Redis缓存。使用示例:

redisCache := gcache.NewAdapterRedis(g.Redis())
g.DB().GetCache().SetAdapter(redisCache)

更多介绍请参考:缓存管理-Redis缓存

管理方法

为简化数据库的查询缓存管理,从v2.2.0版本开始,提供了两个缓存管理方法:

// ClearCache removes cached sql result of certain table.
func (c *Core) ClearCache(ctx context.Context, table string) (err error)

// ClearCacheAll removes all cached sql result from cache
func (c *Core) ClearCacheAll(ctx context.Context) (err error)

方法介绍如注释。可以看到这两个方法是挂载Core对象上的,而底层的Core对象已经通过DB接口暴露,因此我们这么来获取Core对象:

g.DB().GetCore()

使用示例

数据表结构

CREATE TABLE `user` (
  `uid` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `name` varchar(30) NOT NULL DEFAULT '' COMMENT '昵称',
  `site` varchar(255) NOT NULL DEFAULT '' COMMENT '主页',
  PRIMARY KEY (`uid`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

示例代码

package main

import (
	"time"

	"github.com/gogf/gf/v2/database/gdb"
	"github.com/gogf/gf/v2/frame/g"
	"github.com/gogf/gf/v2/os/gctx"
)

func main() {
	var (
		db  = g.DB()
		ctx = gctx.New()
	)

	// 开启调试模式,以便于记录所有执行的SQL
	db.SetDebug(true)

	// 写入测试数据
	_, err := g.Model("user").Ctx(ctx).Data(g.Map{
		"name": "john",
		"site": "https://goframe.org",
	}).Insert()

	// 执行2次查询并将查询结果缓存1小时,并可执行缓存名称(可选)
	for i := 0; i < 2; i++ {
		r, _ := g.Model("user").Ctx(ctx).Cache(gdb.CacheOption{
			Duration: time.Hour,
			Name:     "vip-user",
			Force:    false,
		}).Where("uid", 1).One()
		g.Log().Debug(ctx, r.Map())
	}

	// 执行更新操作,并清理指定名称的查询缓存
	_, err = g.Model("user").Ctx(ctx).Cache(gdb.CacheOption{
		Duration: -1,
		Name:     "vip-user",
		Force:    false,
	}).Data(gdb.Map{"name": "smith"}).Where("uid", 1).Update()
	if err != nil {
		g.Log().Fatal(ctx, err)
	}

	// 再次执行查询,启用查询缓存特性
	r, _ := g.Model("user").Ctx(ctx).Cache(gdb.CacheOption{
		Duration: time.Hour,
		Name:     "vip-user",
		Force:    false,
	}).Where("uid", 1).One()
	g.Log().Debug(ctx, r.Map())
}

执行后输出结果为(测试表数据结构仅供示例参考):

2022-02-08 17:36:19.817 [DEBU] {c0424c75f1c5d116d0df0f7197379412} {"name":"john","site":"https://goframe.org","uid":1} 
2022-02-08 17:36:19.817 [DEBU] {c0424c75f1c5d116d0df0f7197379412} {"name":"john","site":"https://goframe.org","uid":1} 
2022-02-08 17:36:19.817 [DEBU] {c0424c75f1c5d116d0df0f7197379412} [  0 ms] [default] [rows:1  ] UPDATE `user` SET `name`='smith' WHERE `uid`=1 
2022-02-08 17:36:19.818 [DEBU] {c0424c75f1c5d116d0df0f7197379412} [  1 ms] [default] [rows:1  ] SELECT * FROM `user` WHERE `uid`=1 LIMIT 1 
2022-02-08 17:36:19.818 [DEBU] {c0424c75f1c5d116d0df0f7197379412} {"name":"smith","site":"https://goframe.org","uid":1}

可以看到:

  1. 为了方便展示缓存效果,这里开启了数据debug特性,当有任何的SQL操作时将会输出到终端。
  2. 执行两次One方法数据查询,第一次走了SQL查询,第二次直接使用到了缓存,SQL没有提交到数据库执行,因此这里只打印了一条查询SQL,并且两次查询的结果也是一致的。
  3. 注意这里为该查询的缓存设置了一个自定义的名称vip-user,以便于后续清空更新缓存。如果缓存不需要清理,那么可以不用设置缓存名称。
  4. 当执行Update更新操作时,同时根据名称清空指定的缓存。
  5. 随后再执行One方法数据查询,这时重新缓存新的数据。


Content Menu

  • No labels

20 Comments

  1. 缓存的自定义的名称是需要不同的SQL不同的名称吗?还是说,它是代表一组SQL?比如,下面这种是否正确?uid=2是否会覆盖uid=1的缓存?

    r, _ := db.Table("user").Cache(time.Hour, "vip-user").Where("uid", 1).One()
    r, _ := db.Table("user").Cache(time.Hour, "vip-user").Where("uid", 2).One()
    1. 如果给定了缓存名称就会使用缓存名称作为缓存的键名。你这个例子中uid=2会将uid=1的值覆盖。

      1. ruo

        这个设计还是不太方便,是否可以支持根据查询条件生成唯一签名作为cache key,保证数据使用的安全性和方便性

  2. xx

    这个Cache会有出现缓存击穿,当出现缓存击穿时怎么办?好像没看到有给定缓存名称是否存在的api给我们调用判断是否加锁等待。或者这个能不等做在公共的地方

    1. 嗯,下个版本就好了。

  3. 请问怎么在update/insert/delete时删除多个缓存呢?我看Cache()只是设定了一个cache name

    1. 有特殊的需求可以通过GetCache方法获取缓存对象然后手动清理。

  4. v2版本gocache 如何接入使用redis作为缓存?试过文档中的一些方法都无法实现。

    1. 文档已更新

  5. 在事务操作下,默认的内存缓存不可用,redis缓存是可用的

  6. 今天发现一个问题,也不知道是不是我用法有问题。我是使用redis进行缓存的。我发现在清某个表的缓存时,它会清掉redis中的所有key。所以,我的session会话就在清了缓存后丢失了。

    1. 正常来讲不应该这样,我记得数据库的缓存对象和全局缓存对象是分开的。我建议你的session缓存和数据库缓存在使用redis时设置使用不同的db哈:缓存管理-Redis缓存


  7. ClearCache与ClearCacheAll的实现是一样的,都是清空所有。这个是半成品?啥时候能真实实现?而且redis时,清掉所有key这个太危险了。按前缀清缓存安全些吧?
    1. redis目前的实现不会按照前缀清理缓存key,那种实现会很复杂,执行效率也比较低。目前是清空当前db的缓存,所以建议不同的业务缓存使用不同的redis db哈,请参考注意事项:缓存管理-Redis缓存

      1. Redis Cluster集群实例一般不支持多个库使用,不能按你的说法做呀 郭强 

        现在db缓存直接执行 FlushDB 太危险了。。。


  8. 越用越觉得方便, 自己找插件拼凑, 想实现这些, 多少有点麻烦.

  9. 可不可以加个配置表示是否强制从数据库读(从数据库读后更新缓存)

  10. 想问问,

    使用了 _ = c.Ctx(ctx).Cache(gdb.CacheOption{
    Duration: 0,
    Name: key,
    Force: false,
    }).Where(do.Gf430Child{
    ChildId: childId,
    }).Scan(&childModel) 缓存后,redis 的key都会多一个前缀SelectCache: 这样导致其他想要获取这个key的缓存获取不到,有没有一个配置可以禁用前缀的呢
  11. 这里是不是有问题,如果使用的redis适配器,从redis里面查询出来的结果是字符串,这里会报类型转换错误是不是可以改成如下:

    还有这个过期时间永不过期,如果服务重启之后或者配置文件里面使用了(updatedAt: "(可选)自动更新时间字段名称")地址变了是不是又重新缓存了一样的数据,只是key值的指针地址不同