Go语言mgo使用情况
文重点介绍mgo使用,仅简单介绍mongodb。
mongodb特性
注意: 上图已经告知我们mongo不支持事务,在开发项目应用时,想要保证数据的完整性请考虑关系型数据库(经典例子银行转账)。 mongo提供了许多原子操作,比如文档的保存,修改,删除等,都是原子操作。所谓原子操作就是要么这个文档保存到mongodb,要么没有保存到mongodb,不会出现查询到的文档不完整的情况。
mgo简介
mgo 是 mongodb 的 GO 语言驱动包。
mgo官网:http://labix.org/mgo
mgo使用
mgo方案一
package mgo
import (
"flag"
"gopkg.in/mgo.v2"
"log"
"study/conf"
)
var session *mgo.Session
var database *mgo.Database
func init() {
/*配置mongodb的josn文件,配置内容如下:
{
"hosts": "localhost",
"database": "user"
}*/
filename := flag.String("config", "./conf/config.json", "Path to configuration file")
flag.Parse()
config := &conf.ConfigurationDatabase{}
config.Load(*filename)
var err error
dialInfo := &mgo.DialInfo{
Addrs: []string{config.Hosts},
Direct: false,
Timeout: time.Second * 1,
PoolLimit: 4096, // Session.SetPoolLimit }
//创建一个维护套接字池的session
session, err = mgo.DialWithInfo(dialInfo)
if err != nil {
log.Println(err.Error())
}
session.SetMode(mgo.Monotonic, true)
//使用指定数据库
database = session.DB(config.Database)
}
func GetMgo() *mgo.Session {
return session
}
func GetDataBase() *mgo.Database {
return database
}
func GetErrNotFound() error {
return mgo.ErrNotFound
}
这里的 session 能够和 mongodb 集群中的所有Server通讯。
session设置的模式分别为:
- Strong
session 的读写一直向主服务器发起并使用一个唯一的连接,因此所有的读写操作完全的一致。 - Monotonic
session 的读操作开始是向其他服务器发起(且通过一个唯一的连接),只要出现了一次写操作,session 的连接就会切换至主服务器。由此可见此模式下,能够分散一些读操作到其他服务器,但是读操作不一定能够获得最新的数据。 - Eventual
session 的读操作会向任意的其他服务器发起,多次读操作并不一定使用相同的连接,也就是读操作不一定有序。session 的写操作总是向主服务器发起,但是可能使用不同的连接,也就是写操作也不一定有序。
//个人项目部分代码
type User struct {
ID bson.ObjectId `bson:"_id"`
UserName string `bson:"username"`
Summary string `bson:"summary"`
Age int `bson:"age"`
Phone int `bson:"phone"`
PassWord string `bson:"password"`
Sex int `bson:"sex"`
Name string `bson:"name"`
Email string `bson:"email"`
}
func Register(password string, username string) (err error) {
con := mgo.GetDataBase().C("user")
//可以添加一个或多个文档
/* 对应mongo命令行
db.user.insert({username:"13888888888",summary:"code",
age:20,phone:"13888888888"})*/
err = con.Insert(&User{ID: bson.NewObjectId(), UserName: username, PassWord: password})
return
}
func FindUser(username string) (User, error) {
var user User
con := mgo.GetDataBase().C("user")
//通过bson.M(是一个map[string]interface{}类型)进行
//条件筛选,达到文档查询的目的
/* 对应mongo命令行
db.user.find({username:"13888888888"})*/
if err := con.Find(bson.M{"username": username}).One(&user); err != nil {
if err.Error() != mgo.GetErrNotFound().Error() {
return user, err
}
}
return user, nil
}
通过find()可以进行单个或者全部的查询,并且可以进行分页处理。下面为简单代码展示:con.Find(nil).Limit(5).Skip(0).All(&user)
package models
import (
"gopkg.in/mgo.v2/bson"
"study/library/mgo"
"time"
)
type Diary struct {
Uid bson.ObjectId `bson:"uid"`
ID bson.ObjectId `bson:"_id"`
CreatTime time.Time `bson:"creattime"`
UpdateTime time.Time `bson:"updatetime"`
Title string `bson:"title"`
Content string `bson:"content"`
Mood int `bson:'Mood"`
Pic []string `bson:'pic'`
}
//通过uid查找本作者文章,并且显示文章作者名字
func FindDiary(uid string) ([]interface{}, error) {
con := mgo.GetDataBase().C("diary")
// 其中的lookup功能可以实现类似于mysql中的join操作,方便于关联查询。
/*对应mongo命令行
db.diary.aggregate([{$match:{uid: ObjectId("58e7a1b89b5099fdc585d370")}},
{$lookup{from:"user",localField:"uid",foreignField:"_id",as:"user"}},
{$project:{"user.name":1,title:1,content:1,mood:1}}]).pretty()
*/
pipeline := []bson.M{
bson.M{"$match": bson.M{"uid": bson.ObjectIdHex(uid)}},
bson.M{"$lookup": bson.M{"from": "user", "localField": "uid", "foreignField": "_id", "as": "user"}},
bson.M{"$project": bson.M{"user.name": 1, "title": 1, "content": 1, "mood": 1, "creattime": 1}},
}
pipe := con.Pipe(pipeline)
var data []interface{}
err := pipe.All(&data)
if err != nil {
return nil, err
}
return data, nil
}
func ModifyDiary(id, title, content string) (err error) {
con := mgo.GetDataBase().C("diary")
//更新
/*对应mongo命令行
db.diary.update({_id:ObjectId("58e7a1b89b5099fdc585d370")},
{$set:{title:"modify title",content:"modify content",
updatetime:new Date()})*/
err = con.Update(bson.M{"_id": id}, bson.M{"$set": bson.M{"title": title, "content": content, "updatetime": time.Now().Add(8 * time.Hour)}})
return
}
mgo更新方法很多,如批量更新con.UpdateAll(selector, update)
,更新或插入数据con.Upsert(selector, update)
。
mgo方案二
思考: session 会被全局使用,当在实际的程序中,我们可以开启goroutine 来处理每个连接,多个goroutine 可以通过 session.Clone() 来创建或复用连接,使用完成之后通过 session.Close() 来关闭这个连接。当并发很高时,看起来可以提高效率。
下面部分代码修改 :
import (
"flag"
"gopkg.in/mgo.v2"
"log"
"study/conf"
)
var session *mgo.Session
var config *conf.ConfigurationDatabase
func init() {
filename := flag.String("config", "./conf/config.json", "Path to configuration file")
flag.Parse()
config = &conf.ConfigurationDatabase{}
config.Load(*filename)
var err error
dialInfo := &mgo.DialInfo{
Addrs: []string{config.Hosts},
Direct: false,
Timeout: time.Second * 1,
PoolLimit: 4096, // Session.SetPoolLimit
}
session, err = mgo.DialWithInfo(dialInfo)
if err != nil {
log.Println(err.Error())
}
session.SetMode(mgo.Monotonic, true)
}
type SessionStore struct {
session *mgo.Session
}
//获取数据库的collection
func (d * SessionStore) C(name string) *mgo.Collection {
return d.session.DB(config.Database).C(name)
}
//为每一HTTP请求创建新的DataStore对象
func New SessionStore() * SessionStore {
ds := & SessionStore{
session: session.Copy(),
}
return ds
}
func (d * SessionStore) Close() {
d.session.Close()
}
func GetErrNotFound() error {
return mgo.ErrNotFound
}
对查找进行了修改
func FindUser(username string) (User, error) {
var user User
ds := mgo.NewSessionStore()
defer ds.Close()
con := ds.C("user")
if err := con.Find(bson.M{"username": username}).One(&user); err != nil {
if err.Error() != mgo.GetErrNotFound().Error() {
return user, err
}
}
return user, nil
}
mgo方案一和二测试:
使用boom进行并发测试,并在每个 goroutine 里面sleep 5秒,这样是让连接暂时不释放,就可以看到 mgo 方案二 会不断创建新连接,方案一不会创建新连接。可以使用mongo shell 的db.serverStatus().connections来查看连接数。
mgo方案一测试连接数: 1000 并发:mongo 3个连接 5000 并发:mongo 3个连接。
mgo方案二测试连接数: 1000 并发:mongo 500多个连接 5000 并发:mongo 1400多个连接。
提示: mgo 默认连接池是 4096,在高并发下,如果每个 session都不调用 close(),会导致连接数会很快就达到 4096,并堵死其他请求,所以在使用clone() 或 copy()时 session 时一定要使用 defer close() 把连接关闭。启用 maxPoolLimit 参数会限制总连接大小,当连接超过限制总数当前协程 等待,直到可以创建连接。
测试结果:mgo方案一和方案二在并发下,效率差不多。
可能性,由于数据少或者处理的单个mongo无法看出效果。
由于目前自己项目只使用了一个mongo,后期使用多个mongo进行或在大量数据下测试。如果大家有什么好的建议,提出来进行学习思考。
推荐学习:
http://goinbigdata.com/how-to-build-microservice-with-mongodb-in-golang/
官方博客详讲了mgo并发处理,如下:
https://www.mongodb.com/blog/post/running-mongodb-queries-concurrently-with-go
Go语言mgo使用情况的更多相关文章
- Go语言mgo
本文重点介绍mgo使用,仅简单介绍mongodb. mongodb特性 mongdb简单介绍 注意: 上图已经告知我们mongo不支持事务,在开发项目应用时,想要保证数据的完整性请考虑关系型数据库 ...
- Linux下查看Go语言软件运行情况
在Linux下,使用"jps"可以查看用Java语言写的软件的运行情况,如果要查看GO语言写的软件的运行情况,可以使用"gops",但这不是系统自带的,需要进行 ...
- Windows server 2012 添加中文语言包(英文转为中文)(离线)
Windows server 2012 添加中文语言包(英文转为中文)(离线) 相关资料: 公司环境:亚马孙aws虚拟机 英文版Windows2012 中文SQL Server2012安装包,需要安装 ...
- Windows内核 语言选择注意点
调用约定: 调用约定指的是函数被调用时,会按照不同规则,翻译成不同的汇编代码.当一个函数被调用时,首先会将返回地址压入堆栈,紧接着会将函数的参数依次压入堆栈.不同的调用约定,会指明不同的参数入栈顺序, ...
- C语言基础--函数
函数概念: 1. C语言程序是由函数组成 2. 什么是函数? 函数就是一段具备特定功能的程序段 定义函数的目的: 定义函数的目的: 将一个功能封装以来方便复用 不使用函数的弊端: 1.重复代码太多, ...
- C# 支持多种语言
通过Resource文件建立本地化. net 资源文件名(这里是Resource1.resx)由根名称(即Resource1),本地语言名称(默认情况下还没有)及扩展名组成,在读取资源时,资源管理器会 ...
- 华为C语言编程规范
DKBA华为技术有限公司内部技术规范DKBA 2826-2011.5C语言编程规范2011年5月9日发布 2011年5月9日实施华为技术有限公司Huawei Technologies Co., Ltd ...
- 关于C语言知识调查
因为上一篇随笔对这一部分写得不够清楚,因此在这篇做一些补充. 你是怎么学习C语言的? 起初,对于C语言的学习主要是通过老师课堂的教学,完成相关的课后作业.与我的技能相比的话,他们都有一个共同点需要去实 ...
- C语言的函数类型
C语言的函数类型与返回值类型不一致时出现,是以函数类型为标准; 而如果在java与c#语言中上述情况是编译错误的;
随机推荐
- 【spoj 5971】lcmsum
全场都 AK 了就我爆 0 了 题意 \(t\) 组询问,每组询问给定 \(n\),求 \(\sum\limits_{k=1}^n [n,k]\).其中 \([a,b]\) 表示 \(a\) 和 \( ...
- 【2019.3.20】NOI模拟赛
题目 这里必须标记一下那个傻逼问题,再不解决我人就没了! 先放一个 $T3$ $20$ 分暴力 #include<bits/stdc++.h> #define rep(i,x,y) for ...
- 手摸手带你实现 小游戏<别踩白块儿 -- 内有游戏链接>
别踩白块儿 使用(白鹭引擎)Egret编写的游戏 游戏地址 准备工作 了解白鹭引擎 并安装编写工具 安装游戏引擎 安装Egret Wing3 创建项目 创建项目可以选择不同版本的引擎,创建成功之后还可 ...
- feign请求远程接口时报Caused by: java.net.UnknownHostException
报错全文如下 feign.RetryableException: host10.local executing POST http://TIBMAS2-WEBAPI/tibmas2-webapi/ap ...
- python继承小demo
# -*- coding: utf-8 -*- """ 继承的意义:实现代码重用,数据函数都可以重用 子类覆盖,子类与父类同名 选择性继承 super().__init_ ...
- JAVA笔记8-对象转型casting
1.规则 (1)基类(父类)的引用类型变量可以指向其子类对象:(向上转型) (2)基类的引用不可以访问其子类对象新增加的成员(属性和方法): (3)可以使用“引用变量 instanceof 类名”来判 ...
- Python语法汇总
如果你之前学过任何一门编程语言,因为每种语言的基础语法要做的事情其实基本是相同的,只是表示方式或某些地方稍稍不同,因此在学Python的时候将它与其它你已经掌握的编程语言对比着学,这样学起来更快,效果 ...
- Tomcat非root身份运行制作Linux系统服务管理
理论知识怱略,马上开始实战 一.首先准备好tomcat 启动.关闭.重启Shell脚本: 以下Shell脚本主要修改值 tomcatPath:tomcat目录 runUser:以哪个身份运行 此处测试 ...
- [CSP-S模拟测试]:蛇(DP+构造+哈希)
题目传送门(内部题140) 输入格式 前两行有两个长度相同的字符串,描述林先森花园上的字母. 第三行一个字符串$S$. 输出格式 输出一行一个整数,表示有多少种可能的蛇,对$10^9+7$取模. 样例 ...
- RedisTemplate中zset类型的使用
简述 上一文中简述了使用StringRedisTemplate操作redis中的set类型,今天来记录一下操作zset类型的主要方法 代码 @RunWith(SpringRunner.class) @ ...