MongoDB 分片集群的用户和权限一般操作步骤
步骤总结:
- 按照mongos路由、配置副本集服务,分片副本集服务的先后顺序关闭所有节点服务
- 创建副本集认证的key文件,复制到每个服务所在目录
- 修改每个服务的配置文件,增加参数
- 启动每个服务
- 创建账号和认证(存储在配置副本集中)
另一种操作步骤:
- 创建超管账号和普通用户账号
- 按照mongos路由、配置副本集服务,分片副本集服务的先后顺序关闭所有节点服务
- 创建副本集认证的key文件,复制到每个服务所在目录
- 修改每个服务的配置文件,增加参数
- 启动每个服务
关闭已开启的集群服务(可选)
分片集群环境下的安全认证和副本集环境下基本上一样。
但分片集群的服务器环境和架构较为复杂,建议在搭建分片集群的时候,直接加入安全认证和服务器间的鉴权,如果之前有数据,可先将之前的数据备份出来,再还原回去。
本文使用之前搭建好的集群服务,因此,先停止之前的集群服务
停止服务的方式有两种:快速关闭和标准关闭,下面依次说明:
(1)快速关闭方法(快速,简单,数据可能会出错)
目标:通过系统的kill命令直接杀死进程:
#通过进程编号关闭节点
kill -2 54410
实际操作命令:
ps -ef|grep "mongod -f "|grep -v grep|cut -c 9-15|xargs kill -9
ps -ef|grep "mongos -f "|grep -v grep|cut -c 9-15|xargs kill -9
依次杀死 mongos路由、配置副本集服务,分片副本集服务,从次节点开始。直到所有成员都离线。
副本集杀的时候,建议先杀仲裁者,再杀副本节点,最后是主节点,以避免潜在的回滚。
杀完要检查一下,避免有的没有杀掉。
【补充】
如果一旦是因为数据损坏,则需要进行如下操作(了解):
1)删除lock文件:
rm -f /home/mongodb/sharded_cluster/myshardrs01_27018/data/db/*.lock \
/home/mongodb/sharded_cluster/myshardrs01_27118/data/db/*.lock \
/home/mongodb/sharded_cluster/myshardrs01_27218/data/db/mongod.lock \
/home/mongodb/sharded_cluster/myshardrs02_27318/data/db/mongod.lock \
/home/mongodb/sharded_cluster/myshardrs02_27418/data/db/mongod.lock \
/home/mongodb/sharded_cluster/myshardrs02_27518/data/db/mongod.lock \
/home/mongodb/sharded_cluster/myconfigrs_27019/data/db/mongod.lock \
/home/mongodb/sharded_cluster/myconfigrs_27119/data/db/mongod.lock \
/home/mongodb/sharded_cluster/myconfigrs_27219/data/db/mongod.lock
2 )依次修复数据:
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myshardrs01_27018/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myshardrs01_27118/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myshardrs01_27218/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myshardrs02_27318/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myshardrs02_27418/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myshardrs02_27518/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myconfigrs_27019/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myconfigrs_27119/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/myconfigrs_27219/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/mymongos_27017/data/db
/usr/bin/mongod --repair --dbpath=/home/mongodb/sharded_cluster/mymongos_27117/data/db
(2)标准的关闭方法(数据不容易出错,但麻烦):
目标:通过mongo客户端中的shutdownServer命令来依次关闭各个服务
关闭分片服务器副本集中的服务,建议依次关闭仲裁节点、副本节点、主节点。主要的操作步骤参考如下:
//客户端登录服务,注意,这里通过localhost登录,如果需要远程登录,必须先登录认证才行。
mongo --port 27018
//告知副本集说本机要下线
rs.stepDown()
//#切换到admin库
use admin
//关闭服务
db.shutdownServer()
关闭配置服务器副本集的服务,建议依次关闭副本节点、主节点。主要的操作步骤参考如下:
//客户端登录服务,注意,这里通过localhost登录,如果需要远程登录,必须先登录认证才行。
mongo --port 27019
//告知副本集说本机要下线
rs.stepDown()
//#切换到admin库
use admin
//关闭服务
db.shutdownServer()
关闭路由服务器的服务,建议依次关闭两个路由节点。主要的操作步骤参考如下:
//客户端登录服务,注意,这里通过localhost登录,如果需要远程登录,必须先登录认证才行。
mongo --port 27017
//告知副本集说本机要下线
rs.stepDown()
//#切换到admin库
use admin
//关闭服务
db.shutdownServer()
创建副本集认证的key文件
第一步:生成一个key文件到当前文件夹中。
可以使用任何方法生成密钥文件。例如,以下操作使用openssl生成密码文件,然后使用chmod来更改文件权限,仅为文件所有者提供读取权限
# cd /home/mongodb/sharded_cluster
# openssl rand -base64 90 -out ./mongo.keyfile
# chmod 400 ./mongo.keyfile
# ll mongo.keyfile
-r--------. 1 root root 122 8月 14 14:23 mongo.keyfile
提示:所有副本集节点都必须要用同一份keyfile,一般是在一台机器上生成,然后拷贝到其他机器上,且必须有读的权限,否则将来会报错: permissions on /home/mongodb/replica_sets/myrs_27017/mongo.keyfile are too open
一定要保证密钥文件一致,文件位置随便。但是为了方便查找,建议每台机器都放到一个固定的位置,都放到和配置文件一起的目录中。这里将该文件分别拷贝到多个目录中:
echo '/home/mongodb/sharded_cluster/myshardrs01_27018/mongo.keyfile
/home/mongodb/sharded_cluster/myshardrs01_27118/mongo.keyfile
/home/mongodb/sharded_cluster/myshardrs01_27218/mongo.keyfile
/home/mongodb/sharded_cluster/myshardrs02_27318/mongo.keyfile
/home/mongodb/sharded_cluster/myshardrs02_27418/mongo.keyfile
/home/mongodb/sharded_cluster/myshardrs02_27518/mongo.keyfile
/home/mongodb/sharded_cluster/myconfigrs_27019/mongo.keyfile
/home/mongodb/sharded_cluster/myconfigrs_27119/mongo.keyfile
/home/mongodb/sharded_cluster/myconfigrs_27219/mongo.keyfile
/home/mongodb/sharded_cluster/mymongos_27017/mongo.keyfile
/home/mongodb/sharded_cluster/mymongos_27117/mongo.keyfile' | xargs -n 1 cp -v /home/mongodb/sharded_cluster/mongo.keyfile
修改配置文件指定keyfile
分别编辑几个服务的mongod.conf文件,添加相关内容:
# vim /home/mongodb/sharded_cluster/myshardrs01_27018/mongod.conf
security:
#KeyFile鉴权文件
keyFile: /home/mongodb/sharded_cluster/myshardrs01_27018/mongo.keyfile
#开启认证方式运行
authorization: enabled
其他配置文件参考上面的添加,注意mongo.keyfile文件路径别写错了
mongos使用的mongod.conf添加如下相关内容:
# /home/mongodb/sharded_cluster/mymongos_27117/mongos.conf
security:
#KeyFile鉴权文件
keyFile: /home/mongodb/sharded_cluster/mymongos_27117/mongo.keyfile
mongos 比mongod少了authorization:enabled的配置。
原因是,副本集加分片的安全认证需要配置两方面的,副本集各个节点之间使用内部身份验证,用于内部各个mongo实例的通信,只有相同keyfile才能相互访问。所以都要开启 keyFile:/mongodb/sharded_cluster/mymongos_27117/mongo.keyfile 。
然而对于所有的mongod,才是真正的保存数据的分片。
mongos只做路由,不保存数据。所以所有的mongod开启访问数据的授权authorization:enabled。这样用户只有账号密码正确才能访问到数据。
重新启动节点
必须依次启动配置节点、分片节点、路由节点:
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myconfigrs_27019/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 8753
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myconfigrs_27119/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 8862
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myconfigrs_27219/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 8974
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myshardrs01_27018/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 9115
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myshardrs01_27118/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 9243
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myshardrs01_27218/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 9384
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myshardrs02_27318/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 9493
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myshardrs02_27418/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 9633
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongod -f /home/mongodb/sharded_cluster/myshardrs02_27518/mongod.conf
about to fork child process, waiting until server is ready for connections.
forked process: 9804
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongos -f /home/mongodb/sharded_cluster/mymongos_27017/mongos.conf
about to fork child process, waiting until server is ready for connections.
forked process: 9895
child process started successfully, parent exiting
------------------------------------------------------------------------------------------------------------------------------------------------------------
/home/mongodb/sharded_cluster # /usr/bin/mongos -f /home/mongodb/sharded_cluster/mymongos_27117/mongos.conf
about to fork child process, waiting until server is ready for connections.
forked process: 9963
注意:
这里有个非常特别的情况,就是启动顺序。先启动配置节点,再启动分片节点,最后启动路由节点。
如果先启动分片节点,会卡住,提示:
about to fork child process, waiting until server is ready for connections
这也许是个 bug。原因未知。
创建帐号和认证
客户端mongo,通过localhost登录任意一个mongos路由,
# mongo --port 27017
提示:相当于一个后门,只能在 admin下添加用户。
创建一个管理员帐号:
mongos> use admin
switched to db admin
mongos> db.createUser({user:"myroot",pwd:"123456",roles:["root"]})
Successfully added user: { "user" : "myroot", "roles" : [ "root" ] }
提示:如果在开启认证之前已经创建了管理员账号,这里可以忽略
创建一个普通权限帐号:
mongos> use admin
switched to db admin
mongos> db.auth("myroot","123456")
1
mongos> use articledb
switched to db articledb
mongos> db.createUser({user: "bobo", pwd: "123456", roles: [{ role: "readWrite",db: "articledb" }]})
mongos> db.auth("bobo","123456")
1
提示:通过mongos添加的账号信息,只会保存到配置节点的服务中,具体的数据节点不保存账号信息,因此,分片中的账号信息不涉及到同步问题。
mongo客户端登录mongos路由,用管理员帐号登录可查看分片情况:
mongos> use admin
switched to db admin
mongos> db.auth("myroot","123456")
1
mongos> sh.status()
退出连接,重新连接服务,使用普通权限帐号访问数据:
# mongo --host=192.168.0.253 --port=27017
mongos> use articledb
switched to db articledb
mongos> db.auth("bobo","123456")
1
mongos> show collections
comment
comment2
mongos> db.comment.count()
10001
MongoDB 分片集群的用户和权限一般操作步骤的更多相关文章
- 关于MongoDB副本集和分片集群有关用户和权限的说明分析
1.MongoDB副本集 可以先创建超管用户,然后再关闭服务,创建密钥文件,修改配置文件,启动服务,使用超管用户登录验证,然后创建普通用户 2.MongoDB分片集群 先关闭服务,创建密钥文件,修改配 ...
- Mongodb分片集群技术+用户验证
随着数据量持续增多,后续迟早会出现一台机器硬件瓶颈问题的.而mongodb主打的就是海量数据架构,“分片”就用这个来解决这个问题. 从图中可以看到有四个组件:mongos.config server. ...
- mongodb分片集群
第一章 1.mongodb 分片集群解释和目的 一组Mongodb复制集,就是一组mongod进程,这些进程维护同一个数据集合.复制集提供了数据冗余和高等级的可靠性,这是生产部署的基础. 第二章 1. ...
- 网易云MongoDB分片集群(Sharding)服务已上线
此文已由作者温正湖授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. MongoDB sharding cluster(分片集群)是MongoDB提供的数据在线水平扩展方案,包括 ...
- MongoDB 分片集群实战
背景 在如今的互联网环境下,海量数据已随处可见并且还在不断增长,对于如何存储处理海量数据,比较常见的方法有两种: 垂直扩展:通过增加单台服务器的配置,例如使用更强悍的 CPU.更大的内存.更大容量的磁 ...
- MongoDB分片集群原理、搭建及测试详解
随着技术的发展,目前数据库系统对于海量数据的存储和高效访问海量数据要求越来越高,MongoDB分片机制就是为了解决海量数据的存储和高效海量数据访问而生. MongoDB分片集群由mongos路由进程( ...
- Windows 搭建MongoDB分片集群(一)
一.角色说明 要构建一个MongoDB分片集群,需要三个角色: shard server 即存储实际数据得分片,每个shard 可以是一个Mongod实例,也可以是一组mongod实例构成得Repl ...
- 分布式文档存储数据库之MongoDB分片集群
前文我们聊到了mongodb的副本集以及配置副本集,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/13953598.html:今天我们来聊下mongodb的分片 ...
- TiDB和MongoDB分片集群架构比较
此文已由作者温正湖授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 最近阅读了TiDB源码的说明文档,跟MongoDB的分片集群做了下简单对比. 首先展示TiDB的整体架构 M ...
随机推荐
- Tomcat日志乱码解决方法
将配置文件logging.properties所有含有UTF-8的删除
- 如何优雅的升级 Flink Job?
Flink 作为有状态计算的流批一体分布式计算引擎,会在运行过程中保存很多的「状态」数据,并依赖这些数据完成任务的 Failover 以及任务的重启恢复. 那么,请思考一个问题:如果程序升级迭代调整了 ...
- SpringBoot到底是什么?
摘要:Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程. 本文分享自华为云社区<SpringBoot到底是什么?如何理解p ...
- 作业一、安装Ubuntu系统
Ubuntu1804安装 一.安装环境 1.VMware Workstation 16 Pro 2.Ubuntu 18.04.6 LTS 二.部署系统 步骤1.进入VMware,点击创建新的虚拟机 步 ...
- 小红书携手HMS Core,畅玩高清视界,种草美好生活
在相同流量消耗的情况下,540p可秒变1080p?这不是魔法,通过视频超分辨率技术(简称视频超分),就能让视频变得更清晰. 7月20日,在小红书最新版本7.48的App中,用户就能体验到这项技术带来的 ...
- HashSet存储自定义数据类型和LinkedHashSet集合
HashSet存储自定义数据类型 public class Test{ /** * HashSet存储自定义数据类型 * set集合保证元素唯一:存储的元素(String,Integer,Studen ...
- 【AGC】引导用户购买提升用户留存率
借助AGC的云数据库.云托管.应用内消息.App Linking等服务,您可以给不同价值用户设置不同的优惠套餐活动,引导用户持续购买,增强用户黏性.判断用户价值,发送营销短信,引导用户参与营销活动,提 ...
- Windows 查看端口占用并关闭
在启动服务的时候,可能会遇到端口被占用的情况. 这时候就需要知道哪个服务占用了这个端口,并将其关闭. 然后再启动服务就不会存在端口占用了. 这里以 Tomcat 的默认端口 8080 为例. 打开命令 ...
- Druid学习之查询语法
写在前面 最近一段时间都在做druid实时数据查询的工作,本文简单将官网上的英文文档加上自己的理解翻译成中文,同时将自己遇到的问题及解决方法list下,防止遗忘. 本文的demo示例均来源于官网. D ...
- Vue3中defineEmits、defineProps 是怎么做到不用引入就能直接用的
最近正在将一个使用单文件组件的 Options API 的 Vue2 JavaScript 项目升级为 Vue3 typescript,并利用 Composition API 的优势. 比如,下面这种 ...