MongoDB-03-分片集群

分片集群(Sharding Cluster)

架构图

规划

10个实例：38017-38026

1 configserver:38018-38020

3台构成的复制集（1主两从，不支持arbiter）38018-38020（复制集名字configsvr）

2 shard节点：

sh1：38021-23    （1主两从，其中一个节点为arbiter，复制集名字sh1）

sh2：38024-26    （1主两从，其中一个节点为arbiter，复制集名字sh2）

3 mongos:

38017

Shard节点配置

1 目录创建：

mkdir -p /mongodb/38021/conf  /mongodb/38021/log  /mongodb/38021/data

mkdir -p /mongodb/38022/conf  /mongodb/38022/log  /mongodb/38022/data

mkdir -p /mongodb/38023/conf  /mongodb/38023/log  /mongodb/38023/data

mkdir -p /mongodb/38024/conf  /mongodb/38024/log  /mongodb/38024/data

mkdir -p /mongodb/38025/conf  /mongodb/38025/log  /mongodb/38025/data

mkdir -p /mongodb/38026/conf  /mongodb/38026/log  /mongodb/38026/data

2 修改配置文件：

第一组复制集搭建：21-23（1主 1从 1Arb）

cat >  /mongodb/38021/conf/mongodb.conf  <<EOF

systemLog:

  destination: file

  path: /mongodb/38021/log/mongodb.log

  logAppend: true

storage:

  journal:

    enabled: true

  dbPath: /mongodb/38021/data

  directoryPerDB: true

  #engine: wiredTiger

  wiredTiger:

    engineConfig:

      cacheSizeGB: 1

      directoryForIndexes: true

    collectionConfig:

      blockCompressor: zlib

    indexConfig:

      prefixCompression: true

net:

  bindIp: 10.0.0.51,127.0.0.1

  port: 38021

replication:

  oplogSizeMB: 2048

  replSetName: sh1

sharding:

  clusterRole: shardsvr

processManagement:

  fork: true

EOF

\cp  /mongodb/38021/conf/mongodb.conf  /mongodb/38022/conf/

\cp  /mongodb/38021/conf/mongodb.conf  /mongodb/38023/conf/

sed 's#38021#38022#g' /mongodb/38022/conf/mongodb.conf -i

sed 's#38021#38023#g' /mongodb/38023/conf/mongodb.conf -i

第二组节点：24-26(1主1从1Arb)

cat > /mongodb/38024/conf/mongodb.conf <<EOF

systemLog:

  destination: file

  path: /mongodb/38024/log/mongodb.log

  logAppend: true

storage:

  journal:

    enabled: true

  dbPath: /mongodb/38024/data

  directoryPerDB: true

  wiredTiger:

    engineConfig:

      cacheSizeGB: 1

      directoryForIndexes: true

    collectionConfig:

      blockCompressor: zlib

    indexConfig:

      prefixCompression: true

net:

  bindIp: 10.0.0.51,127.0.0.1

  port: 38024

replication:

  oplogSizeMB: 2048

  replSetName: sh2

sharding:

  clusterRole: shardsvr

processManagement:

  fork: true

EOF

\cp  /mongodb/38024/conf/mongodb.conf  /mongodb/38025/conf/

\cp  /mongodb/38024/conf/mongodb.conf  /mongodb/38026/conf/

sed 's#38024#38025#g' /mongodb/38025/conf/mongodb.conf -i

sed 's#38024#38026#g' /mongodb/38026/conf/mongodb.conf -i

3 启动所有节点，并搭建复制集

mongod -f  /mongodb/38021/conf/mongodb.conf

mongod -f  /mongodb/38022/conf/mongodb.conf

mongod -f  /mongodb/38023/conf/mongodb.conf 

mongod -f  /mongodb/38024/conf/mongodb.conf

mongod -f  /mongodb/38025/conf/mongodb.conf

mongod -f  /mongodb/38026/conf/mongodb.conf  

ps -ef |grep mongod

mongo --port 38021

use  admin

config = {_id: 'sh1', members: [

                          {_id: 0, host: '10.0.0.51:38021'},

                          {_id: 1, host: '10.0.0.51:38022'},

                          {_id: 2, host: '10.0.0.51:38023',"arbiterOnly":true}]

           }

rs.initiate(config)

mongo --port 38024

use admin

config = {_id: 'sh2', members: [

                          {_id: 0, host: '10.0.0.51:38024'},

                          {_id: 1, host: '10.0.0.51:38025'},

                          {_id: 2, host: '10.0.0.51:38026',"arbiterOnly":true}]

           }

rs.initiate(config)

config节点配置

1 目录创建

mkdir -p /mongodb/38018/conf  /mongodb/38018/log  /mongodb/38018/data

mkdir -p /mongodb/38019/conf  /mongodb/38019/log  /mongodb/38019/data

mkdir -p /mongodb/38020/conf  /mongodb/38020/log  /mongodb/38020/data

2修改配置文件：

cat > /mongodb/38018/conf/mongodb.conf <<EOF

systemLog:

  destination: file

  path: /mongodb/38018/log/mongodb.conf

  logAppend: true

storage:

  journal:

    enabled: true

  dbPath: /mongodb/38018/data

  directoryPerDB: true

  #engine: wiredTiger

  wiredTiger:

    engineConfig:

      cacheSizeGB: 1

      directoryForIndexes: true

    collectionConfig:

      blockCompressor: zlib

    indexConfig:

      prefixCompression: true

net:

  bindIp: 10.0.0.51,127.0.0.1

  port: 38018

replication:

  oplogSizeMB: 2048

  replSetName: configReplSet

sharding:

  clusterRole: configsvr

processManagement:

  fork: true

EOF

\cp /mongodb/38018/conf/mongodb.conf /mongodb/38019/conf/

\cp /mongodb/38018/conf/mongodb.conf /mongodb/38020/conf/

sed 's#38018#38019#g' /mongodb/38019/conf/mongodb.conf -i

sed 's#38018#38020#g' /mongodb/38020/conf/mongodb.conf -i

3启动节点，并配置复制集

mongod -f /mongodb/38018/conf/mongodb.conf

mongod -f /mongodb/38019/conf/mongodb.conf

mongod -f /mongodb/38020/conf/mongodb.conf 

mongo --port 38018

use  admin

 config = {_id: 'configReplSet', members: [

                          {_id: 0, host: '10.0.0.51:38018'},

                          {_id: 1, host: '10.0.0.51:38019'},

                          {_id: 2, host: '10.0.0.51:38020'}]

           }

rs.initiate(config)  

注：configserver 可以是一个节点，官方建议复制集。configserver不能有arbiter

新版本中，要求必须是复制集

注：mongodb 3.4之后，虽然要求config server为replica set，但是不支持arbiter

mongos节点配置

1创建目录：

mkdir -p /mongodb/38017/conf  /mongodb/38017/log 

2配置文件：

cat > /mongodb/38017/conf/mongos.conf <<EOF

systemLog:

  destination: file

  path: /mongodb/38017/log/mongos.log

  logAppend: true

net:

  bindIp: 10.0.0.51,127.0.0.1

  port: 38017

sharding:

  configDB: configReplSet/10.0.0.51:38018,10.0.0.51:38019,10.0.0.51:38020

processManagement:

  fork: true

EOF

3启动mongos

mongos -f /mongodb/38017/conf/mongos.conf

分片集群添加节点

连接到其中一个mongos（10.0.0.51），做以下配置

1 连接到mongs的admin数据库

# su - mongod

$ mongo 10.0.0.51:38017/admin

2 添加分片

db.runCommand( { addshard : "sh1/10.0.0.51:38021,10.0.0.51:38022,10.0.0.51:38023",name:"shard1"} )

db.runCommand( { addshard : "sh2/10.0.0.51:38024,10.0.0.51:38025,10.0.0.51:38026",name:"shard2"} )

3 列出分片

mongos> db.runCommand( { listshards : 1 } )

4 整体状态查看

mongos> sh.status();

使用分片集群

1 RANGE分片配置及测试

1、激活数据库分片功能

mongo --port 38017 admin

admin>  db.runCommand( { enablesharding : "数据库名称" } )

eg：

admin> db.runCommand( { enablesharding : "test" } )

2、指定分片键对集合分片

### 创建索引

use test

> db.vast.ensureIndex( { id: 1 } )

### 开启分片

use admin

> db.runCommand( { shardcollection : "test.vast",key : {id: 1} } )

3、集合分片验证

admin> use test

test> for(i=1;i<1000000;i++){ db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }

test> db.vast.stats()

4、分片结果测试

shard1:

mongo --port 38021

db.vast.count();

shard2:

mongo --port 38024

db.vast.count();

2 Hash分片例子

对oldboy库下的vast大表进行hash

创建哈希索引

（1）对于oldboy开启分片功能

mongo --port 38017 admin

use admin

admin> db.runCommand( { enablesharding : "oldboy" } )

（2）对于oldboy库下的vast表建立hash索引

use oldboy

oldboy> db.vast.ensureIndex( { id: "hashed" } )

（3）开启分片

use admin

admin > sh.shardCollection( "oldboy.vast", { id: "hashed" } )

（4）录入10w行数据测试

use oldboy

for(i=1;i<100000;i++){ db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }

（5）hash分片结果测试

mongo --port 38021

use oldboy

db.vast.count();

mongo --port 38024

use oldboy

db.vast.count();

分片集群的查询及管理

1 判断是否Shard集群

在mongos节点admin库下查看

mongos> db.runCommand({ isdbgrid : 1})

{

	"isdbgrid" : 1,

	"hostname" : "db01",

	"ok" : 1,

	"operationTime" : Timestamp(1577935398, 1),

	"$clusterTime" : {

		"clusterTime" : Timestamp(1577935398, 1),

		"signature" : {

			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

			"keyId" : NumberLong(0)

		}

	}

}

2 列出所有分片信息

mongos> db.runCommand({ listshards : 1})

{

	"shards" : [

		{

			"_id" : "shard1",

			"host" : "sh1/10.0.0.51:38021,10.0.0.51:38022",

			"state" : 1

		},

		{

			"_id" : "shard2",

			"host" : "sh2/10.0.0.51:38024,10.0.0.51:38025",

			"state" : 1

		}

	],

	"ok" : 1,

	"operationTime" : Timestamp(1577935451, 2),

	"$clusterTime" : {

		"clusterTime" : Timestamp(1577935451, 2),

		"signature" : {

			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

			"keyId" : NumberLong(0)

		}

	}

}

3 列出开启分片的数据库

mongos> use config

switched to db config

mongos> db.databases.find( { "partitioned": true } )

{ "_id" : "test", "primary" : "shard1", "partitioned" : true }

{ "_id" : "oldboy", "primary" : "shard2", "partitioned" : true }

或者：

mongos>  db.databases.find()  //列出所有数据库分片情况

{ "_id" : "test", "primary" : "shard1", "partitioned" : true }

{ "_id" : "oldboy", "primary" : "shard2", "partitioned" : true }

4 查看分片的片键

mongos> use config

switched to db config

mongos> db.collections.find().pretty()

{

	"_id" : "test.vast",

	"lastmodEpoch" : ObjectId("5e0d5a382a8d2bf1d78d945f"),

	"lastmod" : ISODate("1970-02-19T17:02:47.296Z"),

	"dropped" : false,

	"key" : {

		"id" : 1

	},

	"unique" : false,

	"uuid" : UUID("865e6cc9-2422-4d95-a367-c6c071b39527")

}

{

	"_id" : "config.system.sessions",

	"lastmodEpoch" : ObjectId("5e0d5a8f2a8d2bf1d78d96df"),

	"lastmod" : ISODate("1970-02-19T17:02:47.296Z"),

	"dropped" : false,

	"key" : {

		"_id" : 1

	},

	"unique" : false,

	"uuid" : UUID("8a4ad34b-089e-426c-b464-2b1b211d3d9d")

}

{

	"_id" : "oldboy.vast",

	"lastmodEpoch" : ObjectId("5e0d5fe32a8d2bf1d78dbb8b"),

	"lastmod" : ISODate("1970-02-19T17:02:47.297Z"),

	"dropped" : false,

	"key" : {

		"id" : "hashed"

	},

	"unique" : false,

	"uuid" : UUID("083570c8-ea78-4163-a6c3-7d33d35135dc")

}

5 查看分片的详细信息

mongos> sh.status()

6 删除分片节点（谨慎）

（1）确认blance是否在工作

mongos> sh.getBalancerState()

true

（2）删除shard2节点(谨慎)

mongos> db.runCommand( { removeShard: "shard2" } )

注意：删除操作一定会立即触发blancer。

balancer操作*****

1 介绍

mongos的一个重要功能，自动巡查所有shard节点上的chunk的情况，自动做chunk迁移

什么时候工作？

1、自动运行，会检测系统不繁忙的时候做迁移

2、在做节点删除的时候，立即开始迁移工作

3、balancer只能在预设定的时间窗口内运行

有需要时可以关闭和开启blancer（备份的时候）

mongos> sh.stopBalancer()

mongos> sh.startBalancer()

2 自定义 自动平衡进行的时间段

https://docs.mongodb.com/manual/tutorial/manage-sharded-cluster-balancer/#schedule-the-balancing-window

mongos> use config

mongos> sh.setBalancerState( true )

{

	"ok" : 1,

	"operationTime" : Timestamp(1577935877, 3),

	"$clusterTime" : {

		"clusterTime" : Timestamp(1577935877, 3),

		"signature" : {

			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

			"keyId" : NumberLong(0)

		}

	}

}

mongos> db.settings.update({ _id : "balancer" }, { $set : { activeWindow : { start : "3:00", stop : "5:00" } } }, true )

WriteResult({ "nMatched" : 1, "nUpserted" : 0, "nModified" : 1 })

mongos> sh.getBalancerWindow()

{ "start" : "3:00", "stop" : "5:00" }

sh.status()

关于集合的balancer（了解下）

关闭某个集合的balance

sh.disableBalancing("students.grades")

打开某个集合的balancer

sh.enableBalancing("students.grades")

确定某个集合的balance是开启或者关闭

db.getSiblingDB("config").collections.findOne({_id : "students.grades"}).noBalance;

MongoDB-03-分片集群的更多相关文章

【MongoDB】在windows平台下mongodb的分片集群（五）
本篇接着上面的四篇继续讲述在window平台下mongodb的分片集群搭建. 在分片集群中也照样能够创建索引,创建索引的方式与在单独数据库中创建索引的方式一样.因此这不再多说.本篇主要聚焦在分片键的选 ...
MongoDB之分片集群（Sharding）
MongoDB之分片集群(Sharding) 一.基本概念分片(sharding)是一个通过多台机器分配数据的方法.MongoDB使用分片支持大数据集和高吞吐量的操作.大数据集和高吞吐量的数据库系统 ...
MongoDB 搭建分片集群
在MongoDB(版本 3.2.9)中,分片是指将collection分散存储到不同的Server中,每个Server只存储collection的一部分,服务分片的所有服务器组成分片集群.分片集群(S ...
MongoDB之分片集群与复制集
分片集群 1.1.概念分片集群是将数据存储在多台机器上的操作,主要由查询路由mongos.分片.配置服务器组成. ●查询路由根据配置服务器上的元数据将请求分发到相应的分片上,本身不存储集群的元数据, ...
【MongoDB】在windows平台下搭建mongodb的分片集群(二)
在上一片博客中我们讲了Mongodb数据库中分片集群的主要原理. 在本篇博客中我们主要讲描写叙述分片集群的搭建过程.配置分片集群主要有两个步骤.第一启动全部须要的mongod和mongos进程. 第二 ...
MongoDB笔记: 分片集群
MongoDB分片集群由三个模块组成 shard: 分片(或者分区)模块, 每个分片分别存储一部分数据, 从MongoDB 3.6开始, 分片必须是replica set(副本集) mongos: m ...
【MongoDB】在windows平台下mongodb的分片集群（六）
在本篇博客中我们主要讨论下博客的管理.因为已经在前面五篇中写了具体的实例,因此这里就不再举例说明. 一.监控分片集群是整个体系中比較复杂的一块,因此更应该须要监控. 主要命令: serverstat ...
MongoDB的分片集群搭建
MongoDB的最为自豪的一个特色之一,分片. 参考官方文档: https://docs.mongodb.com/manual/sharding/ 单机压力,高频查询CPU,IO 单表压力,百万千万 ...
Mongodb分片集群技术+用户验证
随着数据量持续增多,后续迟早会出现一台机器硬件瓶颈问题的.而mongodb主打的就是海量数据架构,“分片”就用这个来解决这个问题. 从图中可以看到有四个组件:mongos.config server. ...
MongoDB 分片集群技术
在了解分片集群之前,务必要先了解复制集技术! 1.1 MongoDB复制集简介一组Mongodb复制集,就是一组mongod进程,这些进程维护同一个数据集合.复制集提供了数据冗余和高等级的可靠性,这 ...

随机推荐

用java实现斐波那契数列
斐波那契数列源于数学家列昂纳多·斐波那契(Leonardoda Fibonacci)以兔子繁殖为例子而引入的计算问题.假设某种兔子兔子,出生第一个月变成大兔子,大兔子再过一个月能生下一对小兔子,且一年 ...
Java：Apache Commons 工具类介绍及简单使用
Apache Commons包含了很多开源的工具,用于解决平时编程经常会遇到的问题,减少重复劳动.下面是我这几年做开发过程中自己用过的工具类做简单介绍. Commons简介组件功能介绍 commo ...
Linux：CentOS7防火墙开放端口配置
查看已开放的端口 firewall-cmd --list-ports 开放端口(开放后需要要重启防火墙才生效) firewall-cmd --zone=public --add-port=3338/t ...
可执行jar包在windows server2008下的自启动
最近要部署项目的服务端在windows server2008下面,所以把项目打包成可执行的jar包,然后希望它能开机自启动,毕竟每次都在cmd下输入java -jar xxx.jar才能启动太繁琐了. ...
php漏洞 sha1函数
0x01: 绕过技巧是传入的是数组时,会报错,返回为NULL,当传入的两个参数都是数组直接相等
重新梳理调度器——GMP 调度模型
调度器--GMP 调度模型 Goroutine 调度器,它是负责在工作线程上分发准备运行的 goroutines. 首先在讲 GMP 调度模型之前,我们先了解为什么会有这个模型,之前的调度模型是什么样 ...
C++ 标准模板库（STL）——迭代器（iterators）的用法及理解
C++ STL中迭代器(iterators)用于遍历对象集合的元素.由于容器大小随着插入删除等操作动态改变,无法像静态数组那样获取数组长度然后遍历容器里的所有元素:这时就需要迭代器,每次从容器内第一个 ...
关于高校表白App的NABCD项目分析
N(Need,需求) 首先,针对本校男多女少的具体情况,为广大本校大学生提供一个更加宽广的平台: 其次,针对当前各高校均有校园表白墙的实际情况,各表白墙难以整合在一起,使得信息不够集中的现状,我们小 ...
JDK安装与环境搭建.
卸载JDK 1.删除Java安装目录 2.删除Java Home 3.删除path下Java的目录 4.打开cmd命令输入java-version 出现''不是内部或外部命令,也不是可运行的程序或批 ...
怎么实现系统调用wait和exit
例程 #include <unistd.h> #include <stdlib.h> #include <stdio.h> #include <sys/wai ...

MongoDB-03-分片集群

分片集群(Sharding Cluster)

架构图

规划

Shard节点配置

config节点配置

mongos节点配置

分片集群添加节点

使用分片集群

分片集群的查询及管理

balancer操作*****

MongoDB-03-分片集群的更多相关文章

随机推荐

热门专题