Gorm源码学习-数据库连接
1 前言
gorm源码地址: Gorm , 本文基于commit:cef3de694d9615c574e82dfa0b50fc7ea2816f3e
官方入门指南: Dosc
2 连接数据库代码示例
目前Gorm官方支持的数据库类型有:MySQL, PostgreSQL, SQLite, SQL Server.
目前Go官方支持MySQL驱动,代码地址:mysql-driver
下面来看连接MySQL的数据库的基本代码
package main
import (
"fmt"
"time"
"gorm.io/driver/mysql"
"gorm.io/gorm"
)
func main() {
// 参考 https://github.com/go-sql-driver/mysql#dsn-data-source-name 获取详情
dsn := fmt.Sprintf("%s:%s@tcp(%s:%s)/%s?timeout=%s&readTimeout=%s&writeTimeout=%s",
"root", "zbwmysql", "127.0.0.1", "3306", "user_db", "100ms", "2s", "3s")
db, err := gorm.Open(mysql.Open(dsn), &gorm.Config{})
if err != nil {
fmt.Printf("gorm open fail, err:%v dsn:%v\n", err, dsn)
}
mysqlDB, err := db.DB()
if err != nil {
fmt.Printf("get mysql db fail, err:%v\n", err)
}
// 参考 https://github.com/go-sql-driver/mysql#important-settings 获取详情
mysqlDB.SetConnMaxLifetime(time.Minute * 3) // 客户端将空闲连接主动断开的超时时间,官方建议小于5分钟
mysqlDB.SetMaxOpenConns(10) // 取决于服务器的配置
mysqlDB.SetMaxIdleConns(10) // 官方建议和SetMaxOpenConns相同
}
这里有必要看下 timeout
,readTimeout
,writeTimeout
,SetConnMaxLifetime
三个参数
timeout
是指 建立连接的一个超时时间
readTimeout
是指 I/O 读操作的超时时间
writeTimeout
是指 I/O 写操作的超时时间
SetConnMaxLifetime
是指客户端将空闲连接主动断开的超时时间,
如果设置为0,则连接池的连接将这一直被复用,但是系统会主动将长时间的连接杀掉,
因此若客户端再次使用长时间空闲的连接将会报错,driver: bad connection
,具体如下
问题的修复记录,可以看 issues-1120
3 连接数据库代码分析
从上一节看,Gorm连接数据库的过程只需要调用一个函数,
func Open(dialector Dialector, opts ...Option) (db *DB, err error)
但是Gorm目前是MySQL, PostgreSQL, SQLite, SQL Server,四种类型的数据库的,这个是怎么做到的呢?
这就需要具体看下请求参数Dialector
和 返回参数DB
及Open
函数内部实现
首先让我们先看看Golang的interface
类型
3.1 interface
理解
An interface type is defined as a set of method signatures.
A value of interface type can hold any value that implements those methods.
A type implements an interface by implementing its methods. There is no explicit declaration of intent, no "implements" keyword.
以上摘抄自A Tour of Go , interface
是一种包含方法定义的类型,通过实现该interface
的所有方法来隐式实现该接口。
3.2 Dialector
接口定义
Dialector
定义如下,这里对部分方法加了注释,方便理解。
// Dialector GORM database dialector
type Dialector interface {
Name() string // 驱动名称
Initialize(*DB) error // 初始化连接
Migrator(db *DB) Migrator
DataTypeOf(*schema.Field) string // 类型映射
DefaultValueOf(*schema.Field) clause.Expression // 类型默认值
BindVarTo(writer clause.Writer, stmt *Statement, v interface{})
QuoteTo(clause.Writer, string)
Explain(sql string, vars ...interface{}) string // SQL语句格式化输出
}
不仅仅Mysql驱动,PostgreSQL, SQLite, SQL Server驱动都得实现Dialector
中定义的全部方法。
并且这些方法恰恰是不同数据库的区别所在,比如不同数据库的数据类型是有差异的,即使含义相同,写法也可能不同,
因此gorm的数据类型映射到不同数据库能识别的类型,这就是DataTypeOf
实现的功能。
可以在go-gorm找到各种数据库的Dialector实现,如PostgreSQL Dialector
,MySQL Dialector
3.3 DB
结构体定义
DB
定义如下,这里对部分方法加了注释,方便理解。
// DB GORM DB definition
type DB struct {
*Config // 连接及其连接相关信息等
Error error
RowsAffected int64
Statement *Statement // SQL语句执行相关信息
clone int
}
其中,Config
中会保留连接ConnPool
、CRUD相关的函数callbacks
等信息,部分代码代码如下,完整代码见gorm.Config
// Config GORM config
type Config struct {
// ClauseBuilders clause builder
ClauseBuilders map[string]clause.ClauseBuilder
// ConnPool db conn pool
ConnPool ConnPool
// Dialector database dialector
Dialector
// Plugins registered plugins
Plugins map[string]Plugin
callbacks *callbacks
cacheStore *sync.Map
}
看了Open
函数的请求参数和返回参数,接下来我们看看内部的具体实现
3.3 Gorm.Open
实现分析
Gorm.Open
完整代码可以在Github上看到。这里重点关注两个地方
- 注册CRUD的回调函数,
db.callbacks = initializeCallbacks(db)
,具体实现如下
func initializeCallbacks(db *DB) *callbacks {
return &callbacks{
processors: map[string]*processor{
"create": {db: db},
"query": {db: db},
"update": {db: db},
"delete": {db: db},
"row": {db: db},
"raw": {db: db},
},
}
}
- 调用具体函数的初始化方法
if config.Dialector != nil {
err = config.Dialector.Initialize(db)
}
这里会根据具体Dialector
的具体值调用对应的Initialize
方法。
如果Dialector
为 mysql.Open(dsn)
的返回值,那就会调用Gorm MySQL
驱动的Initialize
方法。
3.4MySQL Dialector
的 Initialize
方法实现分析
Initialize
主要干了两件事情,调用sql.Open
、注册CRUD的处理函数及对应的钩子函数。
钩子函数是在创建、查询、更新、删除等操作之前、之后调用的函数。
3.4.1 调用sql.Open,该函数可能只是校验下参数,并没有实际建立连接
db.ConnPool, err = sql.Open(dialector.DriverName, dialector.DSN)
其中,sql.Open
声明如下
func Open(driverName, dataSourceName string) (*DB, error)
db.ConnPool
是interface
类型,定义如下
// ConnPool db conns pool interface
type ConnPool interface {
PrepareContext(ctx context.Context, query string) (*sql.Stmt, error)
ExecContext(ctx context.Context, query string, args ...interface{}) (sql.Result, error)
QueryContext(ctx context.Context, query string, args ...interface{}) (*sql.Rows, error)
QueryRowContext(ctx context.Context, query string, args ...interface{}) *sql.Row
}
sql.DB
是结构体类型,gorm.ConnPool
是 interface
类型,因此sql.DB
实现了gorm.ConnPool
定义的四个方法,因此CRUD操作会通过gorm.ConnPool
调用到sql.DB
实现的这四个函数实现。
这里也应证了前面的说明
A value of interface type can hold any value that implements those methods.
通过看源码,sql.Conn
和sql.Tx
也实现了gorm.ConnPool
定义的四个方法。
3.4.2 注册CRUD相关函数,这里只截取callbacks.RegisterDefaultCallbacks
的部分实现。
func RegisterDefaultCallbacks(db *gorm.DB, config *Config) {
createCallback := db.Callback().Create()
createCallback.Match(enableTransaction).Register("gorm:begin_transaction", BeginTransaction)
createCallback.Register("gorm:before_create", BeforeCreate)
createCallback.Register("gorm:save_before_associations", SaveBeforeAssociations(true))
createCallback.Register("gorm:create", Create(config))
createCallback.Register("gorm:save_after_associations", SaveAfterAssociations(true))
createCallback.Register("gorm:after_create", AfterCreate)
createCallback.Match(enableTransaction).Register("gorm:commit_or_rollback_transaction", CommitOrRollbackTransaction)
createCallback.Clauses = config.CreateClauses
}
在gorm.Open的过程中注册了创建记录时的回调函数createCallback.Register("gorm:create", Create(config))
具体的细节在后续章节展开,这里就细说。
此外,从代码可以看出,这里注册了在创建操作之前、之后调用的钩子方法。
Gorm源码学习-数据库连接的更多相关文章
- Dubbo源码学习--优雅停机原理及在SpringBoot中遇到的问题
Dubbo源码学习--优雅停机原理及在SpringBoot中遇到的问题 相关文章: Dubbo源码学习文章目录 前言 主要是前一阵子换了工作,第一个任务就是解决目前团队在 Dubbo 停机时产生的问题 ...
- Mybatis源码学习之DataSource(七)_2
接上节数据源,本节我们将继续学习未完成的部分,包括无连接池情况下的分析.为什么使用连接池.及mybatis连接池的具体管理原理 不使用连接池的UnpooledDataSource 当 的type属性为 ...
- Mybatis源码学习之整体架构(一)
简述 关于ORM的定义,我们引用了一下百度百科给出的定义,总体来说ORM就是提供给开发人员API,方便操作关系型数据库的,封装了对数据库操作的过程,同时提供对象与数据之间的映射功能,解放了开发人员对访 ...
- Seata 1.5.2 源码学习
文章有点长,我决定用半个小时来给您分享~ 基于Seata 1.5.2,项目中用 seata-spring-boot-starter 1. SeataDataSourceAutoConfiguratio ...
- Java集合专题总结(1):HashMap 和 HashTable 源码学习和面试总结
2017年的秋招彻底结束了,感觉Java上面的最常见的集合相关的问题就是hash--系列和一些常用并发集合和队列,堆等结合算法一起考察,不完全统计,本人经历:先后百度.唯品会.58同城.新浪微博.趣分 ...
- jQuery源码学习感想
还记得去年(2015)九月份的时候,作为一个大四的学生去参加美团霸面,结果被美团技术总监教育了一番,那次问了我很多jQuery源码的知识点,以前虽然喜欢研究框架,但水平还不足够来研究jQuery源码, ...
- MVC系列——MVC源码学习:打造自己的MVC框架(四:了解神奇的视图引擎)
前言:通过之前的三篇介绍,我们基本上完成了从请求发出到路由匹配.再到控制器的激活,再到Action的执行这些个过程.今天还是趁热打铁,将我们的View也来完善下,也让整个系列相对完整,博主不希望烂尾. ...
- MVC系列——MVC源码学习:打造自己的MVC框架(三:自定义路由规则)
前言:上篇介绍了下自己的MVC框架前两个版本,经过两天的整理,版本三基本已经完成,今天还是发出来供大家参考和学习.虽然微软的Routing功能已经非常强大,完全没有必要再“重复造轮子”了,但博主还是觉 ...
- MVC系列——MVC源码学习:打造自己的MVC框架(二:附源码)
前言:上篇介绍了下 MVC5 的核心原理,整篇文章比较偏理论,所以相对比较枯燥.今天就来根据上篇的理论一步一步进行实践,通过自己写的一个简易MVC框架逐步理解,相信通过这一篇的实践,你会对MVC有一个 ...
- MVC系列——MVC源码学习:打造自己的MVC框架(一:核心原理)
前言:最近一段时间在学习MVC源码,说实话,研读源码真是一个痛苦的过程,好多晦涩的语法搞得人晕晕乎乎.这两天算是理解了一小部分,这里先记录下来,也给需要的园友一个参考,奈何博主技术有限,如有理解不妥之 ...
随机推荐
- KingbaseES 绑定变量与游标共享
对于重复执行的SQL,需要使用绑定变量,避免SQL的重复解析.但是,并不是说使用了绑定变量,就一定能避免硬解析.具体可以参见:https://www.cnblogs.com/kingbase/p/16 ...
- dp-位移模型(数字三角形演变)
由数字三角形问题演变而来下面的题: https://www.cnblogs.com/sxq-study/p/12303589.html 一:规定位移方向 题目: Hello Kitty想摘点花生送给她 ...
- Docker与Containerd使用区别
文章转载自:https://cloud.tencent.com/developer/article/1984040 Kubernetes 在 1.24 版本里弃用并移除 docker shim,这导致 ...
- 在 Kubernetes 集群中使用 NodeLocal DNSCache
转载自:https://www.qikqiak.com/post/use-nodelocal-dns-cache/ NodeLocal DNSCache 通过在集群节点上运行一个 DaemonSet ...
- 通过Metricbeat实现外部对Elastic Stack的监控
对于Elastic Stack监视的所有用户,建议使用外部数据收集. 概括一下: 关闭Elastic Stack自带的监控功能,然后使用metricbeat收集Elastic Stack数据传输到另外 ...
- 洛谷P4197 Peaks (Kruskal重构树)
读题,只经过困难值小于等于x的路径,容易想到用Kruskal重构树:又要查询第k高的山峰,我们选择用主席树求解. 先做一棵重构树,跑一遍dfs,重构树中每一个非叶子节点对应一段区间,我们开range[ ...
- Kafka 之 Streams
Kafka 之 Streams 一.概述 1.1 Kafka Streams Kafka Streams.Apache Kafka开源项目的一个组成部分.是一个功能强大,易于使用的库.用于在Kafka ...
- linux操作系统运行一个java程序并外网访问
(一)安装jdk 1.新建文档java : mkdir java 2.进入java并且下载jdk 下载jdk : wget --no-check-certificate --no-cooki ...
- JSP+servlet+mybatis+layui服装库存管理系统(大三上学期课程设计)
阿西吧.自从学会使用框架.再看以前写的.我真的是要死了.项目用的还不是maven.整理项目能给我搞死.更要命的是这个项目还是用eclipse写的.数据库还是SQL server.阿西吧 这个系统代码不 ...
- 齐博x1万能数据统计接口
为何叫万能数据统计接口呢?因为可以调用全站任何数据表的数据总条数,并且可以设置查询条件http://qb.net/index.php/index/wxapp.count.html?table=memb ...