MongoDB 分片集群的用户和权限一般操作步骤
步骤总结:
- 按照mongos路由、配置副本集服务,分片副本集服务的先后顺序关闭所有节点服务
- 创建副本集认证的key文件,复制到每个服务所在目录
- 修改每个服务的配置文件,增加参数
- 启动每个服务
- 创建账号和认证(存储在配置副本集中)
另一种操作步骤:
- 创建超管账号和普通用户账号
- 按照mongos路由、配置副本集服务,分片副本集服务的先后顺序关闭所有节点服务
- 创建副本集认证的key文件,复制到每个服务所在目录
- 修改每个服务的配置文件,增加参数
- 启动每个服务
关闭已开启的集群服务(可选)
分片集群环境下的安全认证和副本集环境下基本上一样。
但分片集群的服务器环境和架构较为复杂,建议在搭建分片集群的时候,直接加入安全认证和服务器间的鉴权,如果之前有数据,可先将之前的数据备份出来,再还原回去。
本文使用之前搭建好的集群服务,因此,先停止之前的集群服务
停止服务的方式有两种:快速关闭和标准关闭,下面依次说明:
(1)快速关闭方法(快速,简单,数据可能会出错)
目标:通过系统的kill命令直接杀死进程:
#通过进程编号关闭节点
kill -2 54410
实际操作命令:
ps -ef|grep "mongod -f "|grep -v grep|cut -c 9-15|xargs kill -9
ps -ef|grep "mongos -f "|grep -v grep|cut -c 9-15|xargs kill -9
依次杀死 mongos路由、配置副本集服务,分片副本集服务,从次节点开始。直到所有成员都离线。
副本集杀的时候,建议先杀仲裁者,再杀副本节点,最后是主节点,以避免潜在的回滚。
杀完要检查一下,避免有的没有杀掉。
【补充】
如果一旦是因为数据损坏,则需要进行如下操作(了解):
1)删除lock文件:
rm -f /home/mongodb/sharded_cluster/myshardrs01_27018/data/db/*.lock \
/home/mongodb/sharded_cluster/myshardrs01_27118/data/db/*.lock \
/home/mongodb/sharded_cluster/myshardrs01_27218/data/db/mongod.lock \
/home/mongodb/sharded_cluster/myshardrs02_27318/data/db/mongod.lock \
/home/mongodb/sharded_cluster/myshardrs02_27418/data/db/mongod.lock \
/home/mongodb/sharded_cluster/myshardrs02_27518/data/db/mongod.lock \
/home/mongodb/sharded_cluster/myconfigrs_27019/data/db/mongod.lock \
/home/mongodb/sharded_cluster/myconfigrs_27119/data/db/mongod.lock \
/home/mongodb/sharded_cluster/myconfigrs_27219/data/db/mongod.lock
2 )依次修复数据:
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myshardrs01_27018/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myshardrs01_27118/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myshardrs01_27218/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myshardrs02_27318/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myshardrs02_27418/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myshardrs02_27518/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myconfigrs_27019/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myconfigrs_27119/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myconfigrs_27219/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/mymongos_27017/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/mymongos_27117/data/db
(2)标准的关闭方法(数据不容易出错,但麻烦):
目标:通过mongo客户端中的shutdownServer命令来依次关闭各个服务
关闭分片服务器副本集中的服务,建议依次关闭仲裁节点、副本节点、主节点。主要的操作步骤参考如下:
//客户端登录服务,注意,这里通过localhost登录,如果需要远程登录,必须先登录认证才行。
mongo --port 27018
//告知副本集说本机要下线
rs.stepDown()
//#切换到admin库
use admin
//关闭服务
db.shutdownServer()
关闭配置服务器副本集的服务,建议依次关闭副本节点、主节点。主要的操作步骤参考如下:
//客户端登录服务,注意,这里通过localhost登录,如果需要远程登录,必须先登录认证才行。
mongo --port 27019
//告知副本集说本机要下线
rs.stepDown()
//#切换到admin库
use admin
//关闭服务
db.shutdownServer()
关闭路由服务器的服务,建议依次关闭两个路由节点。主要的操作步骤参考如下:
//客户端登录服务,注意,这里通过localhost登录,如果需要远程登录,必须先登录认证才行。
mongo --port 27017
//告知副本集说本机要下线
rs.stepDown()
//#切换到admin库
use admin
//关闭服务
db.shutdownServer()
创建副本集认证的key文件
第一步:生成一个key文件到当前文件夹中。
可以使用任何方法生成密钥文件。例如,以下操作使用openssl生成密码文件,然后使用chmod来更改文件权限,仅为文件所有者提供读取权限
# cd /home/mongodb/sharded_cluster
# openssl rand -base64 90 -out ./mongo.keyfile
# chmod 400 ./mongo.keyfile
# ll mongo.keyfile
-r--------. 1 root root 122 8月 14 14:23 mongo.keyfile
提示:所有副本集节点都必须要用同一份keyfile,一般是在一台机器上生成,然后拷贝到其他机器上,且必须有读的权限,否则将来会报错: permissions on /home/mongodb/replica_sets/myrs_27017/mongo.keyfile are too open
一定要保证密钥文件一致,文件位置随便。但是为了方便查找,建议每台机器都放到一个固定的位置,都放到和配置文件一起的目录中。这里将该文件分别拷贝到多个目录中:
echo '/home/mongodb/sharded_cluster/myshardrs01_27018/mongo.keyfile
/home/mongodb/sharded_cluster/myshardrs01_27118/mongo.keyfile
/home/mongodb/sharded_cluster/myshardrs01_27218/mongo.keyfile
/home/mongodb/sharded_cluster/myshardrs02_27318/mongo.keyfile
/home/mongodb/sharded_cluster/myshardrs02_27418/mongo.keyfile
/home/mongodb/sharded_cluster/myshardrs02_27518/mongo.keyfile
/home/mongodb/sharded_cluster/myconfigrs_27019/mongo.keyfile
/home/mongodb/sharded_cluster/myconfigrs_27119/mongo.keyfile
/home/mongodb/sharded_cluster/myconfigrs_27219/mongo.keyfile
/home/mongodb/sharded_cluster/mymongos_27017/mongo.keyfile
/home/mongodb/sharded_cluster/mymongos_27117/mongo.keyfile' | xargs -n 1 cp -v /home/mongodb/sharded_cluster/mongo.keyfile
修改配置文件指定keyfile
分别编辑几个服务的mongod.conf文件,添加相关内容:
# vim /home/mongodb/sharded_cluster/myshardrs01_27018/mongod.conf
security:
#KeyFile鉴权文件
keyFile: /home/mongodb/sharded_cluster/myshardrs01_27018/mongo.keyfile
#开启认证方式运行
authorization: enabled
其他配置文件参考上面的添加,注意mongo.keyfile文件路径别写错了
mongos使用的mongod.conf添加如下相关内容:
# /home/mongodb/sharded_cluster/mymongos_27117/mongos.conf
security:
#KeyFile鉴权文件
keyFile: /home/mongodb/sharded_cluster/mymongos_27117/mongo.keyfile
mongos 比mongod少了authorization:enabled的配置。
原因是,副本集加分片的安全认证需要配置两方面的,副本集各个节点之间使用内部身份验证,用于内部各个mongo实例的通信,只有相同keyfile才能相互访问。所以都要开启 keyFile:/mongodb/sharded_cluster/mymongos_27117/mongo.keyfile 。
然而对于所有的mongod,才是真正的保存数据的分片。
mongos只做路由,不保存数据。所以所有的mongod开启访问数据的授权authorization:enabled。这样用户只有账号密码正确才能访问到数据。
重新启动节点
必须依次启动配置节点、分片节点、路由节点:
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myconfigrs_27019/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 8753
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myconfigrs_27119/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 8862
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myconfigrs_27219/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 8974
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myshardrs01_27018/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 9115
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myshardrs01_27118/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 9243
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myshardrs01_27218/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 9384
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myshardrs02_27318/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 9493
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myshardrs02_27418/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 9633
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myshardrs02_27518/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 9804
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongos -f /home/mongodb/sharded_cluster/mymongos_27017/mongos.conf
about to fork child process, waiting until server is ready for connections.
forked process: 9895
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongos -f /home/mongodb/sharded_cluster/mymongos_27117/mongos.conf
about to fork child process, waiting until server is ready for connections.
forked process: 9963
注意:
这里有个非常特别的情况,就是启动顺序。先启动配置节点,再启动分片节点,最后启动路由节点。
如果先启动分片节点,会卡住,提示:
about to fork child process, waiting until server is ready for connections
这也许是个 bug。原因未知。
创建帐号和认证
客户端mongo,通过localhost登录任意一个mongos路由,
# mongo --port 27017
提示:相当于一个后门,只能在 admin下添加用户。
创建一个管理员帐号:
mongos> use admin
switched to db admin
mongos> db.createUser({user:"myroot",pwd:"123456",roles:["root"]})
Successfully added user: { "user" : "myroot", "roles" : [ "root" ] }
提示:如果在开启认证之前已经创建了管理员账号,这里可以忽略
创建一个普通权限帐号:
mongos> use admin
switched to db admin
mongos> db.auth("myroot","123456")
1
mongos> use articledb
switched to db articledb
mongos> db.createUser({user: "bobo", pwd: "123456", roles: [{ role: "readWrite",db: "articledb" }]})
mongos> db.auth("bobo","123456")
1
提示:通过mongos添加的账号信息,只会保存到配置节点的服务中,具体的数据节点不保存账号信息,因此,分片中的账号信息不涉及到同步问题。
mongo客户端登录mongos路由,用管理员帐号登录可查看分片情况:
mongos> use admin
switched to db admin
mongos> db.auth("myroot","123456")
1
mongos> sh.status()
退出连接,重新连接服务,使用普通权限帐号访问数据:
# mongo --host=192.168.0.253 --port=27017
mongos> use articledb
switched to db articledb
mongos> db.auth("bobo","123456")
1
mongos> show collections
comment
comment2
mongos> db.comment.count()
10001
MongoDB 分片集群的用户和权限一般操作步骤的更多相关文章
- 关于MongoDB副本集和分片集群有关用户和权限的说明分析
1.MongoDB副本集 可以先创建超管用户,然后再关闭服务,创建密钥文件,修改配置文件,启动服务,使用超管用户登录验证,然后创建普通用户 2.MongoDB分片集群 先关闭服务,创建密钥文件,修改配 ...
- Mongodb分片集群技术+用户验证
随着数据量持续增多,后续迟早会出现一台机器硬件瓶颈问题的.而mongodb主打的就是海量数据架构,“分片”就用这个来解决这个问题. 从图中可以看到有四个组件:mongos.config server. ...
- mongodb分片集群
第一章 1.mongodb 分片集群解释和目的 一组Mongodb复制集,就是一组mongod进程,这些进程维护同一个数据集合.复制集提供了数据冗余和高等级的可靠性,这是生产部署的基础. 第二章 1. ...
- 网易云MongoDB分片集群(Sharding)服务已上线
此文已由作者温正湖授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. MongoDB sharding cluster(分片集群)是MongoDB提供的数据在线水平扩展方案,包括 ...
- MongoDB 分片集群实战
背景 在如今的互联网环境下,海量数据已随处可见并且还在不断增长,对于如何存储处理海量数据,比较常见的方法有两种: 垂直扩展:通过增加单台服务器的配置,例如使用更强悍的 CPU.更大的内存.更大容量的磁 ...
- MongoDB分片集群原理、搭建及测试详解
随着技术的发展,目前数据库系统对于海量数据的存储和高效访问海量数据要求越来越高,MongoDB分片机制就是为了解决海量数据的存储和高效海量数据访问而生. MongoDB分片集群由mongos路由进程( ...
- Windows 搭建MongoDB分片集群(一)
一.角色说明 要构建一个MongoDB分片集群,需要三个角色: shard server 即存储实际数据得分片,每个shard 可以是一个Mongod实例,也可以是一组mongod实例构成得Repl ...
- 分布式文档存储数据库之MongoDB分片集群
前文我们聊到了mongodb的副本集以及配置副本集,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/13953598.html:今天我们来聊下mongodb的分片 ...
- TiDB和MongoDB分片集群架构比较
此文已由作者温正湖授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 最近阅读了TiDB源码的说明文档,跟MongoDB的分片集群做了下简单对比. 首先展示TiDB的整体架构 M ...
随机推荐
- 手机APP无法抓包HTTPS解决方案
问题表现:某个APP的HTTPS流量抓取不到,Fiddler报错,但可以正常抓取其它的HTTPS流量 可能原因: 1.Flutter应用,解决方案:https://www.cnblogs.com/lu ...
- 5-9 Leaf 分布式ID
Leaf 什么Leaf leaf是叶子的意思 我们使用的Leaf是美团公司开源的一个分布式序列号(id)生成系统 我们可以在Github网站上下载项目直接使用 为什么需要Leaf 上面的图片中 是一个 ...
- 2022.7.9 单向链表&数组优化
相比起数组,链表解决了数组不方便移动,插入,删除元素的弊端,但相应的,链表付出了更加大的内存牺牲换来的这些功能的实现. 链表概述 包含单链表,双链表,循环单链表,实际应用中的功能不同,但实现方式都差不 ...
- 【Kaggle】如何有效避免OOM(out of memory)和漫长的炼丹过程
本文介绍一些避免transformers的OOM以及训练等流程太漫长的方法,主要参考了kaggle notebook Optimization approaches for Transformers ...
- js基础学习-正则表达式
正则表达式用于对字符串模式匹配及检索替换,是对字符串执行模式匹配的强大工具. 定义的方法: var patt = new RegExp(pattern, modifiers) // var patt ...
- 转换流的原理和OutputStreamWriter介绍&代码实现
转换流的原理 OutputStreamWriter介绍&代码实现 package com.yang.Test.ReverseStream; import java.io.FileNotFoun ...
- HMS Core音频编辑服务音源分离与空间音频渲染,助力快速进入3D音频的世界
从单声道.立体声.环绕声发展到三维声,音频回放技术的迭代演进是为了还原真实世界的声音.其中,三维声技术使用信号处理的方法对到达两耳的声音信号进行模拟,将声场还原为三维空间,更接近真实世界.凭借这个技术 ...
- POJ2201 Cartesian Tree (cartesian tree)
#include <iostream> #include <cstdio> #include <cstring> #include <algorithm> ...
- PerfView专题 (第八篇):洞察 C# 内存泄漏之寻找静态变量名和GC模式
一:背景 这篇我们来聊一下 PerfView 在协助 WinDbg 分析 Dump 过程中的两个超实用技巧,可能会帮助我们快速定位最后的问题,主要有如下两块: 洞察内存泄漏中的静态大集合变量名. 验证 ...
- [网鼎杯 2018]Comment-1|SQL注入|二次注入
1.打开之后只有一个留言页面,很自然的就想到了二次注入得问题,顺带查看了下源代码信息,并没有什么提示,显示界面如下: 2.那先扫描一下目录,同时随便留言一个测试以下,但是显示需要登录,账户.密码给出了 ...