MongoDB-03-分片集群

分片集群(Sharding Cluster)

架构图

规划

10个实例：38017-38026

1 configserver:38018-38020

3台构成的复制集（1主两从，不支持arbiter）38018-38020（复制集名字configsvr）

2 shard节点：

sh1：38021-23    （1主两从，其中一个节点为arbiter，复制集名字sh1）

sh2：38024-26    （1主两从，其中一个节点为arbiter，复制集名字sh2）

3 mongos:

38017

Shard节点配置

1 目录创建：

mkdir -p /mongodb/38021/conf  /mongodb/38021/log  /mongodb/38021/data

mkdir -p /mongodb/38022/conf  /mongodb/38022/log  /mongodb/38022/data

mkdir -p /mongodb/38023/conf  /mongodb/38023/log  /mongodb/38023/data

mkdir -p /mongodb/38024/conf  /mongodb/38024/log  /mongodb/38024/data

mkdir -p /mongodb/38025/conf  /mongodb/38025/log  /mongodb/38025/data

mkdir -p /mongodb/38026/conf  /mongodb/38026/log  /mongodb/38026/data

2 修改配置文件：

第一组复制集搭建：21-23（1主 1从 1Arb）

cat >  /mongodb/38021/conf/mongodb.conf  <<EOF

systemLog:

  destination: file

  path: /mongodb/38021/log/mongodb.log

  logAppend: true

storage:

  journal:

    enabled: true

  dbPath: /mongodb/38021/data

  directoryPerDB: true

  #engine: wiredTiger

  wiredTiger:

    engineConfig:

      cacheSizeGB: 1

      directoryForIndexes: true

    collectionConfig:

      blockCompressor: zlib

    indexConfig:

      prefixCompression: true

net:

  bindIp: 10.0.0.51,127.0.0.1

  port: 38021

replication:

  oplogSizeMB: 2048

  replSetName: sh1

sharding:

  clusterRole: shardsvr

processManagement:

  fork: true

EOF

\cp  /mongodb/38021/conf/mongodb.conf  /mongodb/38022/conf/

\cp  /mongodb/38021/conf/mongodb.conf  /mongodb/38023/conf/

sed 's#38021#38022#g' /mongodb/38022/conf/mongodb.conf -i

sed 's#38021#38023#g' /mongodb/38023/conf/mongodb.conf -i

第二组节点：24-26(1主1从1Arb)

cat > /mongodb/38024/conf/mongodb.conf <<EOF

systemLog:

  destination: file

  path: /mongodb/38024/log/mongodb.log

  logAppend: true

storage:

  journal:

    enabled: true

  dbPath: /mongodb/38024/data

  directoryPerDB: true

  wiredTiger:

    engineConfig:

      cacheSizeGB: 1

      directoryForIndexes: true

    collectionConfig:

      blockCompressor: zlib

    indexConfig:

      prefixCompression: true

net:

  bindIp: 10.0.0.51,127.0.0.1

  port: 38024

replication:

  oplogSizeMB: 2048

  replSetName: sh2

sharding:

  clusterRole: shardsvr

processManagement:

  fork: true

EOF

\cp  /mongodb/38024/conf/mongodb.conf  /mongodb/38025/conf/

\cp  /mongodb/38024/conf/mongodb.conf  /mongodb/38026/conf/

sed 's#38024#38025#g' /mongodb/38025/conf/mongodb.conf -i

sed 's#38024#38026#g' /mongodb/38026/conf/mongodb.conf -i

3 启动所有节点，并搭建复制集

mongod -f  /mongodb/38021/conf/mongodb.conf

mongod -f  /mongodb/38022/conf/mongodb.conf

mongod -f  /mongodb/38023/conf/mongodb.conf 

mongod -f  /mongodb/38024/conf/mongodb.conf

mongod -f  /mongodb/38025/conf/mongodb.conf

mongod -f  /mongodb/38026/conf/mongodb.conf  

ps -ef |grep mongod

mongo --port 38021

use  admin

config = {_id: 'sh1', members: [

                          {_id: 0, host: '10.0.0.51:38021'},

                          {_id: 1, host: '10.0.0.51:38022'},

                          {_id: 2, host: '10.0.0.51:38023',"arbiterOnly":true}]

           }

rs.initiate(config)

mongo --port 38024

use admin

config = {_id: 'sh2', members: [

                          {_id: 0, host: '10.0.0.51:38024'},

                          {_id: 1, host: '10.0.0.51:38025'},

                          {_id: 2, host: '10.0.0.51:38026',"arbiterOnly":true}]

           }

rs.initiate(config)

config节点配置

1 目录创建

mkdir -p /mongodb/38018/conf  /mongodb/38018/log  /mongodb/38018/data

mkdir -p /mongodb/38019/conf  /mongodb/38019/log  /mongodb/38019/data

mkdir -p /mongodb/38020/conf  /mongodb/38020/log  /mongodb/38020/data

2修改配置文件：

cat > /mongodb/38018/conf/mongodb.conf <<EOF

systemLog:

  destination: file

  path: /mongodb/38018/log/mongodb.conf

  logAppend: true

storage:

  journal:

    enabled: true

  dbPath: /mongodb/38018/data

  directoryPerDB: true

  #engine: wiredTiger

  wiredTiger:

    engineConfig:

      cacheSizeGB: 1

      directoryForIndexes: true

    collectionConfig:

      blockCompressor: zlib

    indexConfig:

      prefixCompression: true

net:

  bindIp: 10.0.0.51,127.0.0.1

  port: 38018

replication:

  oplogSizeMB: 2048

  replSetName: configReplSet

sharding:

  clusterRole: configsvr

processManagement:

  fork: true

EOF

\cp /mongodb/38018/conf/mongodb.conf /mongodb/38019/conf/

\cp /mongodb/38018/conf/mongodb.conf /mongodb/38020/conf/

sed 's#38018#38019#g' /mongodb/38019/conf/mongodb.conf -i

sed 's#38018#38020#g' /mongodb/38020/conf/mongodb.conf -i

3启动节点，并配置复制集

mongod -f /mongodb/38018/conf/mongodb.conf

mongod -f /mongodb/38019/conf/mongodb.conf

mongod -f /mongodb/38020/conf/mongodb.conf 

mongo --port 38018

use  admin

 config = {_id: 'configReplSet', members: [

                          {_id: 0, host: '10.0.0.51:38018'},

                          {_id: 1, host: '10.0.0.51:38019'},

                          {_id: 2, host: '10.0.0.51:38020'}]

           }

rs.initiate(config)  

注：configserver 可以是一个节点，官方建议复制集。configserver不能有arbiter

新版本中，要求必须是复制集

注：mongodb 3.4之后，虽然要求config server为replica set，但是不支持arbiter

mongos节点配置

1创建目录：

mkdir -p /mongodb/38017/conf  /mongodb/38017/log 

2配置文件：

cat > /mongodb/38017/conf/mongos.conf <<EOF

systemLog:

  destination: file

  path: /mongodb/38017/log/mongos.log

  logAppend: true

net:

  bindIp: 10.0.0.51,127.0.0.1

  port: 38017

sharding:

  configDB: configReplSet/10.0.0.51:38018,10.0.0.51:38019,10.0.0.51:38020

processManagement:

  fork: true

EOF

3启动mongos

mongos -f /mongodb/38017/conf/mongos.conf

分片集群添加节点

连接到其中一个mongos（10.0.0.51），做以下配置

1 连接到mongs的admin数据库

# su - mongod

$ mongo 10.0.0.51:38017/admin

2 添加分片

db.runCommand( { addshard : "sh1/10.0.0.51:38021,10.0.0.51:38022,10.0.0.51:38023",name:"shard1"} )

db.runCommand( { addshard : "sh2/10.0.0.51:38024,10.0.0.51:38025,10.0.0.51:38026",name:"shard2"} )

3 列出分片

mongos> db.runCommand( { listshards : 1 } )

4 整体状态查看

mongos> sh.status();

使用分片集群

1 RANGE分片配置及测试

1、激活数据库分片功能

mongo --port 38017 admin

admin>  db.runCommand( { enablesharding : "数据库名称" } )

eg：

admin> db.runCommand( { enablesharding : "test" } )

2、指定分片键对集合分片

### 创建索引

use test

> db.vast.ensureIndex( { id: 1 } )

### 开启分片

use admin

> db.runCommand( { shardcollection : "test.vast",key : {id: 1} } )

3、集合分片验证

admin> use test

test> for(i=1;i<1000000;i++){ db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }

test> db.vast.stats()

4、分片结果测试

shard1:

mongo --port 38021

db.vast.count();

shard2:

mongo --port 38024

db.vast.count();

2 Hash分片例子

对oldboy库下的vast大表进行hash

创建哈希索引

（1）对于oldboy开启分片功能

mongo --port 38017 admin

use admin

admin> db.runCommand( { enablesharding : "oldboy" } )

（2）对于oldboy库下的vast表建立hash索引

use oldboy

oldboy> db.vast.ensureIndex( { id: "hashed" } )

（3）开启分片

use admin

admin > sh.shardCollection( "oldboy.vast", { id: "hashed" } )

（4）录入10w行数据测试

use oldboy

for(i=1;i<100000;i++){ db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }

（5）hash分片结果测试

mongo --port 38021

use oldboy

db.vast.count();

mongo --port 38024

use oldboy

db.vast.count();

分片集群的查询及管理

1 判断是否Shard集群

在mongos节点admin库下查看

mongos> db.runCommand({ isdbgrid : 1})

{

	"isdbgrid" : 1,

	"hostname" : "db01",

	"ok" : 1,

	"operationTime" : Timestamp(1577935398, 1),

	"$clusterTime" : {

		"clusterTime" : Timestamp(1577935398, 1),

		"signature" : {

			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

			"keyId" : NumberLong(0)

		}

	}

}

2 列出所有分片信息

mongos> db.runCommand({ listshards : 1})

{

	"shards" : [

		{

			"_id" : "shard1",

			"host" : "sh1/10.0.0.51:38021,10.0.0.51:38022",

			"state" : 1

		},

		{

			"_id" : "shard2",

			"host" : "sh2/10.0.0.51:38024,10.0.0.51:38025",

			"state" : 1

		}

	],

	"ok" : 1,

	"operationTime" : Timestamp(1577935451, 2),

	"$clusterTime" : {

		"clusterTime" : Timestamp(1577935451, 2),

		"signature" : {

			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

			"keyId" : NumberLong(0)

		}

	}

}

3 列出开启分片的数据库

mongos> use config

switched to db config

mongos> db.databases.find( { "partitioned": true } )

{ "_id" : "test", "primary" : "shard1", "partitioned" : true }

{ "_id" : "oldboy", "primary" : "shard2", "partitioned" : true }

或者：

mongos>  db.databases.find()  //列出所有数据库分片情况

{ "_id" : "test", "primary" : "shard1", "partitioned" : true }

{ "_id" : "oldboy", "primary" : "shard2", "partitioned" : true }

4 查看分片的片键

mongos> use config

switched to db config

mongos> db.collections.find().pretty()

{

	"_id" : "test.vast",

	"lastmodEpoch" : ObjectId("5e0d5a382a8d2bf1d78d945f"),

	"lastmod" : ISODate("1970-02-19T17:02:47.296Z"),

	"dropped" : false,

	"key" : {

		"id" : 1

	},

	"unique" : false,

	"uuid" : UUID("865e6cc9-2422-4d95-a367-c6c071b39527")

}

{

	"_id" : "config.system.sessions",

	"lastmodEpoch" : ObjectId("5e0d5a8f2a8d2bf1d78d96df"),

	"lastmod" : ISODate("1970-02-19T17:02:47.296Z"),

	"dropped" : false,

	"key" : {

		"_id" : 1

	},

	"unique" : false,

	"uuid" : UUID("8a4ad34b-089e-426c-b464-2b1b211d3d9d")

}

{

	"_id" : "oldboy.vast",

	"lastmodEpoch" : ObjectId("5e0d5fe32a8d2bf1d78dbb8b"),

	"lastmod" : ISODate("1970-02-19T17:02:47.297Z"),

	"dropped" : false,

	"key" : {

		"id" : "hashed"

	},

	"unique" : false,

	"uuid" : UUID("083570c8-ea78-4163-a6c3-7d33d35135dc")

}

5 查看分片的详细信息

mongos> sh.status()

6 删除分片节点（谨慎）

（1）确认blance是否在工作

mongos> sh.getBalancerState()

true

（2）删除shard2节点(谨慎)

mongos> db.runCommand( { removeShard: "shard2" } )

注意：删除操作一定会立即触发blancer。

balancer操作*****

1 介绍

mongos的一个重要功能，自动巡查所有shard节点上的chunk的情况，自动做chunk迁移

什么时候工作？

1、自动运行，会检测系统不繁忙的时候做迁移

2、在做节点删除的时候，立即开始迁移工作

3、balancer只能在预设定的时间窗口内运行

有需要时可以关闭和开启blancer（备份的时候）

mongos> sh.stopBalancer()

mongos> sh.startBalancer()

2 自定义 自动平衡进行的时间段

https://docs.mongodb.com/manual/tutorial/manage-sharded-cluster-balancer/#schedule-the-balancing-window

mongos> use config

mongos> sh.setBalancerState( true )

{

	"ok" : 1,

	"operationTime" : Timestamp(1577935877, 3),

	"$clusterTime" : {

		"clusterTime" : Timestamp(1577935877, 3),

		"signature" : {

			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

			"keyId" : NumberLong(0)

		}

	}

}

mongos> db.settings.update({ _id : "balancer" }, { $set : { activeWindow : { start : "3:00", stop : "5:00" } } }, true )

WriteResult({ "nMatched" : 1, "nUpserted" : 0, "nModified" : 1 })

mongos> sh.getBalancerWindow()

{ "start" : "3:00", "stop" : "5:00" }

sh.status()

关于集合的balancer（了解下）

关闭某个集合的balance

sh.disableBalancing("students.grades")

打开某个集合的balancer

sh.enableBalancing("students.grades")

确定某个集合的balance是开启或者关闭

db.getSiblingDB("config").collections.findOne({_id : "students.grades"}).noBalance;

MongoDB-03-分片集群的更多相关文章

【MongoDB】在windows平台下mongodb的分片集群（五）
本篇接着上面的四篇继续讲述在window平台下mongodb的分片集群搭建. 在分片集群中也照样能够创建索引,创建索引的方式与在单独数据库中创建索引的方式一样.因此这不再多说.本篇主要聚焦在分片键的选 ...
MongoDB之分片集群（Sharding）
MongoDB之分片集群(Sharding) 一.基本概念分片(sharding)是一个通过多台机器分配数据的方法.MongoDB使用分片支持大数据集和高吞吐量的操作.大数据集和高吞吐量的数据库系统 ...
MongoDB 搭建分片集群
在MongoDB(版本 3.2.9)中,分片是指将collection分散存储到不同的Server中,每个Server只存储collection的一部分,服务分片的所有服务器组成分片集群.分片集群(S ...
MongoDB之分片集群与复制集
分片集群 1.1.概念分片集群是将数据存储在多台机器上的操作,主要由查询路由mongos.分片.配置服务器组成. ●查询路由根据配置服务器上的元数据将请求分发到相应的分片上,本身不存储集群的元数据, ...
【MongoDB】在windows平台下搭建mongodb的分片集群(二)
在上一片博客中我们讲了Mongodb数据库中分片集群的主要原理. 在本篇博客中我们主要讲描写叙述分片集群的搭建过程.配置分片集群主要有两个步骤.第一启动全部须要的mongod和mongos进程. 第二 ...
MongoDB笔记: 分片集群
MongoDB分片集群由三个模块组成 shard: 分片(或者分区)模块, 每个分片分别存储一部分数据, 从MongoDB 3.6开始, 分片必须是replica set(副本集) mongos: m ...
【MongoDB】在windows平台下mongodb的分片集群（六）
在本篇博客中我们主要讨论下博客的管理.因为已经在前面五篇中写了具体的实例,因此这里就不再举例说明. 一.监控分片集群是整个体系中比較复杂的一块,因此更应该须要监控. 主要命令: serverstat ...
MongoDB的分片集群搭建
MongoDB的最为自豪的一个特色之一,分片. 参考官方文档: https://docs.mongodb.com/manual/sharding/ 单机压力,高频查询CPU,IO 单表压力,百万千万 ...
Mongodb分片集群技术+用户验证
随着数据量持续增多,后续迟早会出现一台机器硬件瓶颈问题的.而mongodb主打的就是海量数据架构,“分片”就用这个来解决这个问题. 从图中可以看到有四个组件:mongos.config server. ...
MongoDB 分片集群技术
在了解分片集群之前,务必要先了解复制集技术! 1.1 MongoDB复制集简介一组Mongodb复制集,就是一组mongod进程,这些进程维护同一个数据集合.复制集提供了数据冗余和高等级的可靠性,这 ...

随机推荐

12 shell case in语句
Shell也支持两种分支结构(选择结构),分别是 if else 语句和 case in 语句.当分支较多,并且判断条件比较简单时,使用 case in 语句就比较方便了. if else 语句与ca ...
Linux学习之路第十天（磁盘情况查询）
一.查询系统整体磁盘使用情况 :基本语法 df -h 二.查询指定目录的磁盘占用情况 :基本语法 du -h /目录查询指定目录的磁盘占用情况,默认为当前目录选项应用案例查询/opt目录,深度 ...
buu signin
一.拖入ida,来静态分析F5大法好要注意的点: 1._gmz_init_set_str() 这个函数,也是看师傅的wp,学到的,以后还是得多google, 本质上是这个函数: int mpz_in ...
MQTT介绍与使用(转载)
物联网是新一代信息技术的重要组成部分,也是"信息化"时代的重要发展阶段.其英文名称是:"Internet of things(IoT)".顾名思义,物联网就是物 ...
【论文小综】基于外部知识的VQA（视觉问答）
我们生活在一个多模态的世界中.视觉的捕捉与理解,知识的学习与感知,语言的交流与表达,诸多方面的信息促进着我们对于世界的认知.作为多模态领域的一个典型场景,VQA旨在结合视觉的信息来回答所提出的问题 ...
Docker以过时，看Containerd怎样一统天下
Docker作为非常流行的容器技术,之前经常有文章说它被K8S弃用了,取而代之的是另一种容器技术containerd!其实containerd只是从Docker中分离出来的底层容器运行时,使用起来和D ...
C语言的编译与链接
C语言源文件要经过编译.链接才能生成可执行程序:编译(Compile)会将源文件(.c文件)转换为目标文件.对于 VC/VS,目标文件后缀为.obj:对于GCC,目标文件后缀为.o.编译是针对单个源文 ...
Spring boot+Mybatis+MySQL插入中文乱码
转载:https://www.jianshu.com/p/bd0311a33c16 现象: 搭建spring boot+mybatis+mysql时出现插入mysql的中文出现乱码???. mys ...
论文阅读：Robust Visual SLAM with Point and Line Features
本文提出了使用异构点线特征的slam系统,继承了ORB-SLAM,包括双目匹配.帧追踪.局部地图.回环检测以及基于点线的BA.使用最少的参数对线特征采用标准正交表示,推导了线特征重投影误差的雅克比矩阵 ...
CF404D-DP【成就达成】
CF404D-DP 正经的东西题意给定一个字符串,只包含'0','1','2','*','?'五种字符,其中'?'可被替换为其他任何一种,求使序列符合扫雷地图定义的方案数. 一个数字字符大小表示与 ...

MongoDB-03-分片集群

分片集群(Sharding Cluster)

架构图

规划

Shard节点配置

config节点配置

mongos节点配置

分片集群添加节点

使用分片集群

分片集群的查询及管理

balancer操作*****

MongoDB-03-分片集群的更多相关文章

随机推荐

热门专题