mongodb 慕课网

------------------------------------------------mongodb简述---------------------------------------------------------

----------------------------------------------mongodb编译----------------------------------------------------------

本次课程运行环境介绍

cd mongo-r2.6.5    //进入目录

scons all    //编译 ， 如果编译失败，自行安装相关扩展如果多次失败，可以直接下载编译好的二进制文件

编译完成，看一下编译后的文件  ls

mongod  数据库执行程序

mongo  连接数据库的客户端

mongoimport   mongoexport       mongodb的导入导出

mongodump   mongorestore       导入导出的二进制数据，不能被直接读取，一般做数据备份和恢复

mongooplog   操作日志回访，复制集会用到

mongostat    查看mongo服务器的各种状态，监控部分会用到

其他的可以查看官方文档

----------------------------------------------------------搭建mongodb服务器-------------------------------------------

mkdir mongodb_simple

cd mongodb_simple

mkdir  data

mkdir  log

mkdir conf

mkdir bin

cp ../mongo-r2.6.5/mongod bin/      //先将准备好的mongod 程序拷贝到bin目录下

cd conf/

vim mongod.conf        在这个文件中我们将输入mongodb启动的配置参数

port    //mongodb启动时要监听的端口

dbpath   //mongod数据存储的目录，可以使用相对或者绝对路径

logpath   //需要指明一个实际的文件

fork = true  //在linux下启动后台进程，win下无效

wq 保存

cd ..   进入上层目录

./bin/mongod -f conf/mongod.conf   //指定初始化所使用的配置文件

显示以下信息说明被成功初始化

cd data   //查看目录下生成的文件

ls

cd ../log

ls

tail mongod.log   //查看日志，mongod已经在正常打印日志

mongo服务就搭建好了

看一下视频中完整的截图

----------------------------------------------用客户端进行连接--------------------------------------------------------------------

cd mongodb_simp/          //进入安装好的mongo文件

cp  ../mongo-r2.6.5/mongo bin/         //为方便操作将编译文件中的  mongo  拷贝到 bin 目录下

./bin/mongo --help       //查看mongo 的使用说明

版本号， 连接mongo的几种方式。

用户名密码，因为我们没有用户名密码暂时先不输入

./bin/mongo 127.0.0.1:12345/test

db.shutdownServer()    //关闭mongod服务，需要admin权限

-----------------------------------

numactl 服务报出的错误

此处的错误提示意思是，要禁用 numactl 否则将影响性能

db.shutdownServer()     //关闭mongo服务  需要使用admin权限，参照下图

（kill命令也可以关闭服务。kill -15。最好不要用kill -9）

numactl --interleave=all bin/mongod -f conf/mongod.conf       //重新启动mongod服务

./bin/mongo 127.0.0.1:12345/test     //再次连接没有报出警告

---------------------------------------------

---------------------------------------------mongo基本数据库操作-------------------------------------------------------------------

./bin/mongo 127.0.0.1:12345      //连接mongod服务

show dbs       //显示mongod 中的数据库

use imooc     //使用数据库

show collections   //查看当前数据库的集合

db.dropDatabase()   //删除当前的数据库

创建数据库， 需要的时候会自己创建。

写入，用的是json格式 db.集合名.动作({json数据})

db.imooc_collection.insert({x:1})   //向imooc_collection插入x:1的文档

db.imooc_collection.find()   //默认为空，默认返回所有数据

_id 是mongo生成的字段，不可以重复

db.imooc_collection.insert({_id:1,x:2})  //插入_id为1的数据

error :   db.imooc_collection.insert({_id:1,x:3}) //_id重复会报错

db.imooc_collection.find({x:1})   //查询x为1 的数据

for(i=3;i<100;i++)db.imooc_collection.insert({x:1})   //将插入97条数据

db.imooc_collection.count()   //查询有多少条数据

db.imooc_collection.find().skip().limit().sort({x:1})   //skip 跳过多少条数据，limit 返回多少条数据， sort 根据“x” 的正序排序 1代表的是正序

db.imooc_collection.update({x:1},{x:999})   //将x为1 的数据 更新城 x为999

db.imooc_collection.update({x:1},$set{x:999})     //如果要更新部分字段,其他字段保持不变。$set 只更新存在的部分，其他字段不变

db.imooc_collection.update({y:100},{y:999})      //更新一条不存在的数据，y:100  并不存在，修改完后find()查询y:999并不存在

db.imooc_collection.update({y:100},{y:999},true)  //更新一条不存在的数据，如果不存在则创建使用true ，  find()查询y:999存在

假设现在有3条{c:1}的数据

db.imooc_collection.update({c;1},{c:2})    //只会更新第一条数据，这么设计是为了放着误操作

db.imooc_collection.update({c:1},{$set{c:2}},false,true)    //更新所有{c:1}的数据

db.imooc_collection.remove()   //不传递参数，会报错。 remove必须有参数

db.imooc_collection.remove({c:1})    //默认删除所有数据

db.imooc_collection.drop()     //删除文档

db.imooc_collection.find({x{$exists:true}})    //查找只存在x字段的记录

索引

数据量较小时，不使用索引查询是很快的。数据量较大时，不使用索引查询会变得非常缓慢，几千万，几亿条数据，不适用索引，将无法返回相应的结果。

如果文档索引数目较多，创建索引需要消耗一定时间。如果负载较重，不能直接创建索引，需要在使用之前就创建索引。

性能会大幅度提高，常用的查询需要创建索引，影响写入和更新。

对已存在的索引再次进行创建，直接返回成功。

索引的分类

db.imooc_collection.getIndexes()     //查询集合的索引情况

db.imooc_collection.ensureIndex({x:1})     // 给  x 建立索引， 1 为正向排序，-1 为逆向排序。

多键索引这个概念不太好理解，仔细阅读下面内容。

创建形式是一样的，都是       db.imooc_collection.ensureIndex({x:1})   创建索引

但是值如果是数组，就是多键索引

db.imooc_collection.ensureIndex({x:1})          //创建索引

db.imooc_collection.insert({x:[1,2,3,4,5]})       //这里就是多键索引 ， 他们只有值类型不相同

当索引的字段是数组时候，才会"自动的给数组内字段的每一个元素"设置索引，这才是多key索引，自动指的是给数组内部的元素自动设置；

db.imooc_collection.ensureIndex({x:1,y:1})     //创建复合索引，x是字段名，1代表的是顺序，-1代表的是倒序

db.imooc_collection.find({x:1,y:2})   //就可以使用索引了

db.imooc_collection.ensureIndex({time:1},{expireAfterSconds:10})   // 设置10秒后过期，过期后数据自动删除

db.imooc_collection.insert({time:new Date()})    //将当前时间插入到数据库

db.articles.ensureIndex({key:"text"})    //在key这个字段上，创建“text” 全文索引

db.articles.ensureIndex({key_1:"text",key_2:"text"})    //创建多个 全文索引

db.articles.ensureIndex({"$**":"text"})    // $**  对集合中所有字段创建一个大的全文索引，创建“text” 全文索引

db.articles.find({$text:{$search:"coffee"}})          //最简单的使用全文索引

db.articles.find({$text:{$search:"aa bb cc"}})       //包含aa   或者 bb  或者 cc 的全文索引

db.articles.find({$text:{$search:"aa bb -cc"}})      // -cc 表示不包含cc的字符串

db.articles.find({$text:{$search:"\"aa\" \"bb\" \"cc\""}})     //加上双引号，表示 即包含 aa 又包含  bb  又包含cc 的字符串，双引号需要转义

有时候百度查询，与你查询越相关的越排在前面。 mongo不仅能告诉你相似的查询文档，还能告诉你有多相似

全文索引相似度

score是相似度，后面是相似度的值

根据相似度排序，用sort来实现

------------------------------------------------索引的属性-------------------------------------------------------------------

名字，name指定

db.imooc_2.ensureIndex({x:1})       //创建一个单键索引

db.imooc_2.getIndexes()       //获取索引的名字

名字的格式是  "键" + "_" + "排序方式"

复合索引  （"键" + "_" + "排序方式"） + （"_"） + （"键" + "_" + "排序方式"）例：x_1_y_1

名字的长度最大是125字节

为了避免超限，可以自定义索引名字

db.imooc_2.ensureIndex({x:1,y:1,z:1,m:1},{name:"normal_index"})

删除索引的时候也可以直接使用索引的名字

db.imooc_2.dropIndex("normal_index")

倒序

复合索引

索引自定义命名

删除索引

 唯一性，unique指定

db.imooc_2.ensureIndex({m:1,n:1},{unique:true})      //这个索引是唯一索引，不可以在同一个集合插入两条具有同一唯一索引的字段。

 稀疏性，sparse指定

什么是稀疏：mongodb在处理索引中存在在，文档中不存在的两种方法。

例如： x字段创建了索引，但是插入了一条数据中并没有x字段，默认mongodb会为这个不存在的字段创建索引

如果你不想这件事情发生，就设置sparse：true来避免。

不必为不存在的数据创建索引，如果文档中这个字段很多都没有值，可以减少磁盘占用，会加快插入速度。

sparse：true是稀疏     false 不是稀疏 。  默认是不稀疏的，自行创建的索引都是不稀疏的

过期索引：会在一段时间后删除(参照上文的过期索引讲解)

-----------------------------------------地理位置索引-----------------------------------------------------------------------

区别：计算距离时。是计算平面距离，还是计算球面距离

创建方式，查询方式，支持的参数都有些不同

例如：打车软件查找附近的出租车， 或者查找附近的餐馆，都可以用距离某个点来查找

或者包含在哪个区域内的所有店铺

2D索引的创建方式

db.collection.ensureIndex({w:"2d"})       //创建2d索引

创建2d索引，字段的值一旦超过取值范围是不会报错的，但是会引起其他的错误，避免这样做

db.location.find({w:{$near:[1,1]}})       //$near  默认会返回100条距离最近的数据

db.location.find({w:{$near:[1,1]},$maxDistence:10})      //限制最远的距离      (通常会想到 $minDistence，但是这里并不起作用)

goWithin                       //查询形状内的点

db.location.find(w:{$goWithin:{$box[[0,0],[3,3]]}})         //goWithin 查询形状内的某个点。 $box 矩形[坐标] 。查询矩形中0,0 到3,3 的点

db.location.find(w:{$goWithin:{$center[[0,0],5]}})          //$center查找圆形中的某个点，0.0 是圆心的位置，5 是半径

db.location.find(w:{$goWithin:{$polygon[[0,0],[0,1],[2,5],[6,1]]}})  //查找多边形中的某个点

插入示例

geoNear返回了更多的数据，比如一些团购网

使用方式可以去查看文档

因为他支持多边形保存方式，查询某个性状中的点，或者某个多边形内交叉的点

---------------------------------------------------------索引构建评判分析---------------------------------------------------

mongostat  --help

第一部分是参数

第二部分是返回值说明 Fields

mongostat 输出部分字段的含义：
inserts/query/update/delete: 分别指当前mongodb插入、查询、更新、删除 数量，以每秒计；
getmore: MongoDB返回结果时，每次只会返回一定量；当我们继续用find()查询更多数据时，系统就会自动用getmore来获取之后的数据；
command: 执行的命令数量；
flushes: MongoDB使用虚拟内存映射的方式管理数据，我们在向MongoDB写入或查询数据时，MongoDB会做一次虚拟内存映射，有些数据其实是在硬盘上的；每隔一段时间，MongoDB会把我们写到内存的数据flush到硬盘上；这个数据大的话，会导致mongodb的性能较差；
mapped/vsize/res: 与磁盘空间大小有关，申请的内存大小；
faults：如果我们查询的数据，没有提前被MongoDB加载到内存中，我们就必须到硬盘上读取，叫做“换页”；如果faults比较高，也会造成性能下降；
idx miss: 表示我们的查询没有命中索引的比率；如果很高，说明索引构建有问题，索引不合适或者索引数量不够；
qr|qw: 说明MongoDB的写队列或者读队列的情况。我们向MongoDB读写时，这些请求会被放到队列中等待。数量大（几百上千）说明MongoDB处理速度慢或者读写请求太多，性能会下降。
ar|aw: 当前活跃的读写客户端的个数。
示例：

性能分析工具mongostat -h ip地址:端口

查询结果中需要注意的表列值
qr/qw 表示读队列和写队列值，较高时数据库存在性能问题
idx miss 表示查询时索引命中情况，较高时影响查询效率

　profile集合

查看当前数据库的profile状态
db.getProfilingStatus()
{ "was" : 0, "slowms" : 100 }
查看当前数据库的记录级别
db.getProfilingLevel()
0|1|2
设置当前数据库的profile记录级别
db.setProfilingLevel(0|1|2)
was    --profile记录级别，0关闭，1记录所有超过slowms的慢查询，2记录所有操作 
slowms --慢查询阀值

查看profile文件
如果profile数据量非差大，会影响数据库性能，一般是在上线前，或者刚上线的时候使用。
上线环境不建议运行
show tables    //会多出两个集合

db.system.profile.find()

{ "op" : "query",--操作类型
 "ns" : "imooc.system.profile",  --集合的名字    // --查询的命名空间，;databasename.collectionname'
 "query" : { "query" : {  }, --查询条件
"orderby" : { "$natural" : -1 } }, --约束条件
 "ntoreturn" : 1, --返回数据数目
 "ntoskip" : 0,  --跳过数条目
 "nscanned" : 1, --扫描的数目   索引+实体
"nscannedObjects" : 1, --扫描的 实体 数据数目。如果扫描索引就能得到数据就不会扫描实体
 "keyUpdates" : 0,  --
 "numYield" : 0, --其他情况
 "lockStats" : {  --锁状态
	"timeLockedMicros" : { --锁占用时间（微秒）
 		"r" : NumberLong(82), --读锁
 		"w" : NumberLong(0)   --写锁
			     },
 	"timeAcquiringMicros" : {
		 "r" : NumberLong(2), "w" : NumberLong(2)
				}
 	       },
 "nreturned" : 1,
 "responseLength" : 651,   --返回长度
 "millis" : 0, --查询时间

mongo日志设置，配置文件berbose参数，"v" 越多，详细度越高1-5个 "v"

vim conf/mongod.conf

verbose = vvvvv 日志记录级别

explain分析
会查询此次查询的详细信息

db.colltction.find({x:1}).explain()

{
        "cursor" : "BasicCursor",   --使用的索引
        "isMultiKey" : false,
        "n" : 1,
        "nscannedObjects" : 100000,  --扫描的数据量
        "nscanned" : 100000,         --包含索引的扫描量
        "nscannedObjectsAllPlans" : 100000,
        "nscannedAllPlans" : 100000,
        "scanAndOrder" : false,
        "indexOnly" : false,
        "nYields" : 781,
        "nChunkSkips" : 0,
        "millis" : 25,              --查询消耗时间（毫秒）
        "server" : "XXX",
        "filterSet" : false
}

cursor 如果使用索引会在后面显示  "BasicCursor" 就是没有使用索引  "BasicCursor x_1" 使用了x字段正序索引

millis 消耗时间越高，性能越差。

nscanned 扫描 索引+实体的 条数。 扫描的越高，性能越差

------------------------------------------------------------mongodb 安全------------------------------------------------------

物理隔离

物理隔离： 最安全的是物理隔离，任何手段都不能链接到我们的主机，这样是不现实的

网络隔离：开发及测试及都在自己的内网中，是比较安全的。

防火墙隔离： 配置只允许某些IP链接我的主机

用户名密码：安全机制比较弱，如果密码设计的不负责，可能会被别人尝试出来。我们还是大多是用用户名密码

默认mongodb并没有开启权限认证

开启认证的两种方法

vim conf/mongo.conf

auth = true  //开启权限认证

ps -ef|grep mongod|grep 12345

kill 9528

./bin/mongod      //重启mongod服务

创建用户

mame : 用户名

pwd：密码

customData ：说明,对中文支持不太好

roles：[{role:角色类型，db:作用在哪个数据库上}]

角色类型可以设置为

read: 对指定的db，读取操作,

readWrite：读写操作，不可操作索引，不能删除数据库等;

dbAdmin：可对数据库类型进行操作，

dbOwner：具有前三个的权限；

userAdmin：可以管理其他用户权限

db.createUser({user:"imooc",pwd:"imooc",roles:[{role:"userAdmin",db:"admin"},{role:"read",db:"test"}]})

无密码还是可以登陆mongod 的。但是不能进行任何操作

./bin/mongo 127.0.0.1:12345 -u imooc -p imooc

    1. 数据库用户角色：read、readWrite;
    2. 数据库管理角色：dbAdmin、dbOwner、userAdmin；
    3. 集群管理角色：clusterAdmin、clusterManager、clusterMonitor、hostManager；
    4. 备份恢复角色：backup、restore；
    5. 所有数据库角色：readAnyDatabase、readWriteAnyDatabase、userAdminAnyDatabase、dbAdminAnyDatabase

    6. 超级用户角色：root
    // 这里还有几个角色间接或直接提供了系统超级用户的访问（dbOwner 、userAdmin、userAdminAnyDatabase）
    7. 内部角色：__system

createRole 来创建权限

_id: 唯一的id

role: 用户的权限名字

db:数据库的名字

privileges ：在这个数据库中的权限操作

图中的第一个resource 解释

数据库myApp上， 任意集合 ，具有find...

logs 具有 insert 权限