文重点介绍mgo使用,仅简单介绍mongodb。

mongodb特性

 
mongdb简单介绍

注意: 上图已经告知我们mongo不支持事务,在开发项目应用时,想要保证数据的完整性请考虑关系型数据库(经典例子银行转账)。 mongo提供了许多原子操作,比如文档的保存,修改,删除等,都是原子操作。所谓原子操作就是要么这个文档保存到mongodb,要么没有保存到mongodb,不会出现查询到的文档不完整的情况。

mgo简介

mgo 是 mongodb 的 GO 语言驱动包。
mgo官网:http://labix.org/mgo

mgo使用

mgo方案一
package mgo

import (
"flag"
"gopkg.in/mgo.v2"
"log"
"study/conf"
) var session *mgo.Session
var database *mgo.Database func init() {
/*配置mongodb的josn文件,配置内容如下:
{
"hosts": "localhost",
"database": "user"
}*/
filename := flag.String("config", "./conf/config.json", "Path to configuration file")
flag.Parse()
config := &conf.ConfigurationDatabase{}
config.Load(*filename)
var err error dialInfo := &mgo.DialInfo{
Addrs: []string{config.Hosts},
Direct: false,
Timeout: time.Second * 1,
PoolLimit: 4096, // Session.SetPoolLimit }
//创建一个维护套接字池的session
session, err = mgo.DialWithInfo(dialInfo) if err != nil {
log.Println(err.Error())
}
session.SetMode(mgo.Monotonic, true)
//使用指定数据库
database = session.DB(config.Database) } func GetMgo() *mgo.Session {
return session
} func GetDataBase() *mgo.Database {
return database
} func GetErrNotFound() error {
return mgo.ErrNotFound
}

这里的 session 能够和 mongodb 集群中的所有Server通讯。

session设置的模式分别为:
  • Strong
    session 的读写一直向主服务器发起并使用一个唯一的连接,因此所有的读写操作完全的一致。
  • Monotonic
    session 的读操作开始是向其他服务器发起(且通过一个唯一的连接),只要出现了一次写操作,session 的连接就会切换至主服务器。由此可见此模式下,能够分散一些读操作到其他服务器,但是读操作不一定能够获得最新的数据。
  • Eventual
    session 的读操作会向任意的其他服务器发起,多次读操作并不一定使用相同的连接,也就是读操作不一定有序。session 的写操作总是向主服务器发起,但是可能使用不同的连接,也就是写操作也不一定有序。
//个人项目部分代码
type User struct {
ID bson.ObjectId `bson:"_id"`
UserName string `bson:"username"`
Summary string `bson:"summary"`
Age int `bson:"age"`
Phone int `bson:"phone"`
PassWord string `bson:"password"`
Sex int `bson:"sex"`
Name string `bson:"name"`
Email string `bson:"email"`
} func Register(password string, username string) (err error) {
con := mgo.GetDataBase().C("user")
//可以添加一个或多个文档
/* 对应mongo命令行
db.user.insert({username:"13888888888",summary:"code",
age:20,phone:"13888888888"})*/
err = con.Insert(&User{ID: bson.NewObjectId(), UserName: username, PassWord: password})
return
} func FindUser(username string) (User, error) {
var user User
con := mgo.GetDataBase().C("user")
//通过bson.M(是一个map[string]interface{}类型)进行
//条件筛选,达到文档查询的目的
/* 对应mongo命令行
db.user.find({username:"13888888888"})*/
if err := con.Find(bson.M{"username": username}).One(&user); err != nil {
if err.Error() != mgo.GetErrNotFound().Error() {
return user, err
} }
return user, nil
}

通过find()可以进行单个或者全部的查询,并且可以进行分页处理。下面为简单代码展示:
con.Find(nil).Limit(5).Skip(0).All(&user)

package models

import (
"gopkg.in/mgo.v2/bson"
"study/library/mgo"
"time"
) type Diary struct {
Uid bson.ObjectId `bson:"uid"`
ID bson.ObjectId `bson:"_id"`
CreatTime time.Time `bson:"creattime"`
UpdateTime time.Time `bson:"updatetime"`
Title string `bson:"title"`
Content string `bson:"content"`
Mood int `bson:'Mood"`
Pic []string `bson:'pic'`
} //通过uid查找本作者文章,并且显示文章作者名字
func FindDiary(uid string) ([]interface{}, error) {
con := mgo.GetDataBase().C("diary")
// 其中的lookup功能可以实现类似于mysql中的join操作,方便于关联查询。
/*对应mongo命令行
db.diary.aggregate([{$match:{uid: ObjectId("58e7a1b89b5099fdc585d370")}},
{$lookup{from:"user",localField:"uid",foreignField:"_id",as:"user"}},
{$project:{"user.name":1,title:1,content:1,mood:1}}]).pretty()
*/
pipeline := []bson.M{
bson.M{"$match": bson.M{"uid": bson.ObjectIdHex(uid)}},
bson.M{"$lookup": bson.M{"from": "user", "localField": "uid", "foreignField": "_id", "as": "user"}},
bson.M{"$project": bson.M{"user.name": 1, "title": 1, "content": 1, "mood": 1, "creattime": 1}},
}
pipe := con.Pipe(pipeline)
var data []interface{}
err := pipe.All(&data)
if err != nil {
return nil, err
}
return data, nil } func ModifyDiary(id, title, content string) (err error) {
con := mgo.GetDataBase().C("diary")
//更新
/*对应mongo命令行
db.diary.update({_id:ObjectId("58e7a1b89b5099fdc585d370")},
{$set:{title:"modify title",content:"modify content",
updatetime:new Date()})*/
err = con.Update(bson.M{"_id": id}, bson.M{"$set": bson.M{"title": title, "content": content, "updatetime": time.Now().Add(8 * time.Hour)}})
return }

mgo更新方法很多,如批量更新con.UpdateAll(selector, update),更新或插入数据con.Upsert(selector, update) 。

 
思路一会儿
mgo方案二

思考: session 会被全局使用,当在实际的程序中,我们可以开启goroutine 来处理每个连接,多个goroutine 可以通过 session.Clone() 来创建或复用连接,使用完成之后通过 session.Close() 来关闭这个连接。当并发很高时,看起来可以提高效率。

下面部分代码修改 :

import (
"flag"
"gopkg.in/mgo.v2"
"log"
"study/conf"
) var session *mgo.Session
var config *conf.ConfigurationDatabase func init() {
filename := flag.String("config", "./conf/config.json", "Path to configuration file")
flag.Parse() config = &conf.ConfigurationDatabase{}
config.Load(*filename)
var err error dialInfo := &mgo.DialInfo{
Addrs: []string{config.Hosts},
Direct: false,
Timeout: time.Second * 1,
PoolLimit: 4096, // Session.SetPoolLimit
}
session, err = mgo.DialWithInfo(dialInfo) if err != nil {
log.Println(err.Error())
}
session.SetMode(mgo.Monotonic, true) } type SessionStore struct {
session *mgo.Session
} //获取数据库的collection
func (d * SessionStore) C(name string) *mgo.Collection {
return d.session.DB(config.Database).C(name)
} //为每一HTTP请求创建新的DataStore对象
func New SessionStore() * SessionStore {
ds := & SessionStore{
session: session.Copy(),
}
return ds
} func (d * SessionStore) Close() {
d.session.Close()
} func GetErrNotFound() error {
return mgo.ErrNotFound
}

对查找进行了修改

func FindUser(username string) (User, error) {
var user User
ds := mgo.NewSessionStore()
defer ds.Close()
con := ds.C("user")
if err := con.Find(bson.M{"username": username}).One(&user); err != nil {
if err.Error() != mgo.GetErrNotFound().Error() {
return user, err
} }
return user, nil
}

mgo方案一和二测试:
使用boom进行并发测试,并在每个 goroutine 里面sleep 5秒,这样是让连接暂时不释放,就可以看到 mgo 方案二 会不断创建新连接,方案一不会创建新连接。可以使用mongo shell 的db.serverStatus().connections来查看连接数。

mgo方案一测试连接数: 1000 并发:mongo 3个连接 5000 并发:mongo 3个连接。

mgo方案二测试连接数: 1000 并发:mongo 500多个连接 5000 并发:mongo 1400多个连接。

提示: mgo 默认连接池是 4096,在高并发下,如果每个 session都不调用 close(),会导致连接数会很快就达到 4096,并堵死其他请求,所以在使用clone() 或 copy()时 session 时一定要使用 defer close() 把连接关闭。启用 maxPoolLimit 参数会限制总连接大小,当连接超过限制总数当前协程 等待,直到可以创建连接。

测试结果:mgo方案一和方案二在并发下,效率差不多。

 
为什么

可能性,由于数据少或者处理的单个mongo无法看出效果。
由于目前自己项目只使用了一个mongo,后期使用多个mongo进行或在大量数据下测试。如果大家有什么好的建议,提出来进行学习思考。
推荐学习:
http://goinbigdata.com/how-to-build-microservice-with-mongodb-in-golang/
官方博客详讲了mgo并发处理,如下:
https://www.mongodb.com/blog/post/running-mongodb-queries-concurrently-with-go

Go语言mgo使用情况的更多相关文章

  1. Go语言mgo

    本文重点介绍mgo使用,仅简单介绍mongodb. mongodb特性   mongdb简单介绍 注意: 上图已经告知我们mongo不支持事务,在开发项目应用时,想要保证数据的完整性请考虑关系型数据库 ...

  2. Linux下查看Go语言软件运行情况

    在Linux下,使用"jps"可以查看用Java语言写的软件的运行情况,如果要查看GO语言写的软件的运行情况,可以使用"gops",但这不是系统自带的,需要进行 ...

  3. Windows server 2012 添加中文语言包(英文转为中文)(离线)

    Windows server 2012 添加中文语言包(英文转为中文)(离线) 相关资料: 公司环境:亚马孙aws虚拟机 英文版Windows2012 中文SQL Server2012安装包,需要安装 ...

  4. Windows内核 语言选择注意点

    调用约定: 调用约定指的是函数被调用时,会按照不同规则,翻译成不同的汇编代码.当一个函数被调用时,首先会将返回地址压入堆栈,紧接着会将函数的参数依次压入堆栈.不同的调用约定,会指明不同的参数入栈顺序, ...

  5. C语言基础--函数

    函数概念: 1. C语言程序是由函数组成 2. 什么是函数? 函数就是一段具备特定功能的程序段 定义函数的目的: 定义函数的目的: 将一个功能封装以来方便复用 不使用函数的弊端: 1.重复代码太多, ...

  6. C# 支持多种语言

    通过Resource文件建立本地化. net 资源文件名(这里是Resource1.resx)由根名称(即Resource1),本地语言名称(默认情况下还没有)及扩展名组成,在读取资源时,资源管理器会 ...

  7. 华为C语言编程规范

    DKBA华为技术有限公司内部技术规范DKBA 2826-2011.5C语言编程规范2011年5月9日发布 2011年5月9日实施华为技术有限公司Huawei Technologies Co., Ltd ...

  8. 关于C语言知识调查

    因为上一篇随笔对这一部分写得不够清楚,因此在这篇做一些补充. 你是怎么学习C语言的? 起初,对于C语言的学习主要是通过老师课堂的教学,完成相关的课后作业.与我的技能相比的话,他们都有一个共同点需要去实 ...

  9. C语言的函数类型

    C语言的函数类型与返回值类型不一致时出现,是以函数类型为标准; 而如果在java与c#语言中上述情况是编译错误的;

随机推荐

  1. STARTUPINFO结构体

    typedef struct _STARTUPINFO { DWORD cb; //包含STARTUPINFO结构中的字节数.如果Microsoft将来扩展该结构,它可用作版本控制手段.应用程序必须将 ...

  2. 〇一——body内标签之交互输入标签一

    今天来搞一下body内的input标签 在一般的网页中,我们经常会遇到一些交互界面,比如注册.登录.评论等环境.在这些交互界面里最常使用的就是input标签. 一.input标签基本使用 input标 ...

  3. redis集群搭建及java(jedis)链接

    1.创建一个redis-cluster 目录 mkdir -p /usr/local/redis-cluster 创建6台redis服务器(单机下学习) mkdir 7001.mkdir 7002.m ...

  4. tornado下pandas ndarray乱试

    from tornado.web import RequestHandler from pymongo import MongoClient import pandas,xlrd from panda ...

  5. 15.DRF学习以及相关源码阅读

    1.http请求协议 代码很枯燥,结果和奇妙. 1.cbv django.vuews import View classs LoginView(View): def get(self,requset) ...

  6. react 中的路由 Link 和Route和NavLink

    route是配置,link是使用 https://blog.csdn.net/chern1992/article/details/77186118(copy) 嵌套路由一般使用Route,类似于vue ...

  7. C语言 - strlen的编程实现及总结

    一.函数strlen的编程实现 1.strlen函数的实现 原型: size_t strlen(const char *str); 头文件:#include <string.h> 功能:计 ...

  8. HGOI20190710 题解

    Problem A 游戏 有$n (1 \leq n \leq 5)$个硬币初始以"0"(正面),"1"(反面) $m (1 \leq m \leq m)$种操 ...

  9. make文件基础用法

    参照:https://www.jianshu.com/p/0b2a7cb9a469 创建工作目录,包含一下文件 main.c person.c b.h c.h /*** c.h ***/ //this ...

  10. R_Studio(决策树算法)鸢尾花卉数据集Iris是一类多重变量分析的数据集【精】

    鸢尾花卉数据集Iris是一类多重变量分析的数据集 通过花萼长度,花萼宽度,花瓣长度,花瓣宽度4个属性预测鸢尾花卉属于(Setosa,Versicolour,Virginica)三个种类中的哪一类 针对 ...