单台机器做sharding --单机配置集群服务(Sharding) --shard1_1 mongod --install --serviceName MongoDBServerShard1 --serviceDisplayName MongoDBServerShard1 --shardsvr --port 27017 --dbpath "G:\MongoData\shard1_1" --oplogSize 100 --logpath "G:\MongoData\log\s…
随着mongodb数据量的增多,可能会达到单个节点的存储能力限制,以及application较大的访问量也会导致单个节点无法承担,所以此时需要构建集群环境,并通过sharding方案将整个数据集拆分成多个更小的chunk,并分布在集群中多个mongod节点上,最终达到存储和负载能力扩容.压力分流的作用.在sharding架构中,每个负责存储一部分数据的mongod节点称为shard(分片),shard上分布的数据块称为chunk,collections可以根据“shard key”(称为分片键)…
首先说一下,无论是CentOS/RedHat还是Ubuntu都可以按源码方式.安装包方式编译安装. 1.   规划 192.168.4.93(h93)       1个主master  2个主segment.2个镜像segment 192.168.4.94(h94)       1个备master  2个主segment.2个镜像segment 都安装在/home/wslu/gp/gpsql目录. 2.   安装依赖 在h93和h94安装以下依赖: 2.1.  Ubuntu apt-get in…
rabbitmq版本:3.6.12 rabbitmq安装 1.安装openssl wget http://www.openssl.org/source/openssl-1.0.0a.tar.gz && tar zxvf openssl-1.0.0a.tar.gz && cd openssl-1.0.0a && ./config -fPIC --prefix=/usr/local/openssl && make && make…
Linux系统下安装Redis和Redis集群配置 一. 下载.安装.配置环境: 1.1.>官网下载地址: https://redis.io/download (本人下载的是3.2.8版本:redis-3.2.8.tar.gz) 1.2.>上传至Linux系统进行编译:/app/int44/tmp/xzh/Redis目录下 int44@/app/int44/tmp/xzh/Redis>tar xzvf redis-3.2.8.tar.gz   //执行解压命令tar xzvf redis…
一.安装mysql(contorller)controller ~]# yum -y install mariadb mariadb-server python2-PyMySQL 配置my.cnf文件:controller ~]# vim /etc/my.cnf[mysqld] default-storage-engine = innodbinnodb_file_per_table = onmax_connections = 4096collation-server = utf8_general…
Ceph可以说是当今最流行的分布式存储系统了,本文记录一下安装和配置Ceph的详细步骤. 提前配置工作 从第一个集群节点开始的,然后逐渐加入其它的节点.对于Ceph,我们加入的第一个节点应该是Monitor,我们设置为Monitor1. 我使用的操作系统是Ubuntu Server 19.10,目前没有对应的包地址,于是就是用了bionic,应该是18.04的.还有地址也换成了中科大的镜像http://mirrors.ustc.edu.cn/ceph/,而不是默认的https://downloa…
1. 获取spark下载链接 登录官网:http://spark.apache.org/downloads.html 选择要下载的版本 2. 执行命令下载并安装 cd /usr/local/src/ wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz -bin-hadoop2..tgz -bin-hadoop2. /usr/local/spark cd /u…
下载Hadoop安装包 登录 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 镜像站,找到我们要安装的版本,点击进去复制下载链接 安装Hadoop时要注意版本与后续安装的HBase.Spark等相关组件的兼容,不要安装了不匹配的版本,而导致某些组件需要重装 输入命令进行安装操作 cd /usr/local/src/ wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/…
本篇文章为原创,仅供参考使用,如果需要文章中提到的所有软件安装包和依赖包(即data),请以博客园邮箱联系获取链接. 准备资料 软件 主要软件包版本 路径 系统镜像 CentOS-6.10-x86_64-bin-DVD1.iso JDK jdk-8u211-linux-x64.rpm /data/soft/jdk Oracle linuxamd64_12102_database_1of2.zipllinuxamd64_12102_database_2of2.zip /data/soft/orac…