不卸载ceph重新获取一个干净的集群环境 标签(空格分隔): ceph ceph环境搭建 运维 部署了一个ceph集群环境,由于种种原因需要回到最开始完全clean的状态,而又不想卸载ceph客户端或者重新搭建虚拟机,此篇博客的目的就是为了解决这一问题. 我的环境:node1的角色为osd,mon,node2和node3的角色都为osd.每个host的系统为centos7,每个host上部署两个osd.ceph版本为luminous (12.4.1 ).之外有一个host作为专门部署ceph的a

redis集群数据备份迁移方案 n  迁移环境描述及分析 当前我们面临的数据迁移环境是:集群->集群. 源集群: 源集群为6节点,3主3备 主 备 192.168.112.33:8001 192.168.112.33:8004-8006 192.168.112.33:8002 无 192.168.112.33:8003 无 值得注意的是:所有的槽位都分配在192.168.112.33:8001节点上,这样更方便我们迁移. 目标集群: 也是6节点,3主3备 主 备 192.168.112.33:6

Redis通过对KEY计算hash,将KEY映射到slot,集群中每个节点负责一部分slot的方式管理数据,slot最大个数为16384. 在集群节点对应的结构体变量clusterNode中可以看到slots数组,数组的大小为CLUSTER_SLOTS除以8,CLUSTER_SLOTS的值是16384: #define CLUSTER_SLOTS 16384 typedef struct clusterNode { unsigned char slots[CLUSTER_SLOTS/8]; //

阅读目录 序 导入文件到Hive 将其他表的查询结果导入表 动态分区插入 将SQL语句的值插入到表中 模拟数据文件下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一篇,我们介绍了Hive的表操作做了简单的描述和实践.在实际使用中,可能会存在数据的导入导出,虽然可以使用sqoop等工具进行关系型数据导入导出操作,但有的时候只需要很简便的方式进行导入导出即可   下面我们开始

参考文档: Install-guide:https://docs.openstack.org/install-guide/ OpenStack High Availability Guide:https://docs.openstack.org/ha-guide/index.html 理解Pacemaker:http://www.cnblogs.com/sammyliu/p/5025362.html Ceph: http://docs.ceph.com/docs/master/start/int

摘要:Redis-Migrate-Tool(后面都简称RMT),是唯品会开源的redis数据迁移工具,主要用于异构redis集群间的数据在线迁移,即数据迁移过程中源集群仍可以正常接受业务读写请求,无业务中断服务时间.这篇blog主要内容包括工具特性简介.使用方法以及注意的要点.关于实现的原理,可以自行阅读源码理解或者联系我们交流. 目前该项目已经开源在GitHub上(https://github.com/vipshop/redis-migrate-tool 链接入口可点击原文阅读). 一.RMT

本地ES集群数据通过_reindex方式迁移到腾讯云服务器(亲测有效) 随着业务量的增加,本地的ES集群服务器性能和磁盘空间有点不够使用,项目组考虑使用腾讯云服务器,以下是我测试的使用_reindex方式迁移ES数据的具体步骤. 1.在腾讯云的ES上建立新索引 可根据业务需求,自行删减mappings无用的字段,更改字段类型和settings的设置,重新设置新索引. PUT /test1 { "mappings" : { "properties" : { "

阅读目录 序 将查询的结果写入文件系统 集群数据迁移一 集群数据迁移二 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一篇,我们介绍了Hive的数据多种方式导入,这样我们的Hive就有了数据来源了,但有时候我们可能需要纯粹的导出,或者集群Hive数据的迁移(不同集群,不同版本),我们就可以通过这两章的知识来实现.   下面我们开始介绍hive的数据导出,以及集群Hive数据的

1.使用mongodump备份小量分片集群数据 如果一个分片集群的数据集比较小,可以直接使用mongodump连接到mongos实例进行数据备份.默认情况下,mongodump到非primary的节点进行数据查询. 2.备份全库 mongodump --host 192.168.1.195 --port 28000 -o . 2.备份集群库(test库) [root@localhost datatest]# mongodump --host 192.168.1.195 --port 28000

一.服务器准备 目前有两台128G内存服务器,故准备每台启动两个es实例,再加一台虚机,共五个节点,保证down一台服务器两个节点数据不受影响. 二.系统初始化 参见我上一篇kafka系统初始化:https://www.cnblogs.com/mkxfs/p/12030331.html 三.安装elasticsearch7.5.0 1.因zookeeper和kafka需要java启动 首先安装jdk1.8环境 yum install java-1.8.0-openjdk-devel.x86_64

在之前的EurekaClient自动装配及启动流程解析一文中我们提到过,在构造DiscoveryClient类时,会把自身注册到服务端,本文就来分析一下这个注册流程 客户端发起注册 boolean register() throws Throwable { logger.info(PREFIX + "{}: registering service...", appPathIdentifier); EurekaHttpResponse<Void> httpResponse;

有时多个Elasticsearch集群避免不了要同步数据,网上查找了下数据同步工具还挺多,比较常用的有:elasticserach-dump.elasticsearch-exporter.logstash等,其中dump工具有两个版本,一个是nodejs版本,一个是go版本.这里我们使用go版本,详细使用参见:https://github.com/medcl/esm-abandoned 下载:https://github.com/medcl/esm-abandoned/releases/tag/

谷歌集群数据 clusterdata-2011-2 https://github.com/google/cluster-data/blob/master/ClusterData2011_2.md 链接:https://pan.baidu.com/s/1GziKrfsKAhn8yZ34fhlmNA  提取码:qb2e

使用Spring Data ElasticSearch+Jsoup操作集群数据存储 1.使用Jsoup爬取京东商城的商品数据 1)获取商品名称.价格以及商品地址,并封装为一个Product对象,代码截图: 2)创建Product实体类,完成对索引.类型.映射以及文档的配置,代码截图: 3)将爬取到的商品对象存储到集群中,代码截图: 4)完成对商品信息的查询.分页.删除和更新操作,代码截图: applicationContext.xml 1 <?xml version="1.0"

通过memberlist库实现gossip管理集群以及集群数据交互 概述 memberlist库的简单用法如下,注意下面使用for循环来执行list.Join,原因是一开始各节点都没有runing,直接执行Join会出现连接拒绝的错误. package main import ( "fmt" "github.com/hashicorp/memberlist" "time" ) func main() { /* Create the initial

基本环境 操作系统版本 RedHat6.7 数据库版本 12.1.0.2 数据库名称 testdb 数据库实例 testdb1.testdb2 (一)安装服务器硬件要求 配置项目 参数要求 网卡 每台服务器至少2个网卡:--公网网卡:带宽至少1GB--私网网卡:带宽至少1GB,建议使用10GB,用于集群节点之间的内部通信 注意:所有节点的网卡接口名称必须相同.必然要节点1使用网卡eth0来做公网网卡,那么节点2也必须使用eth0来做公网网卡. 内存 根据是否安装GI,内存要求为:--如果只安装单

回到目录 关于redis-sentinel出现的原因 Redis集群的主从模式有个最大的弊端,就是当主master挂了之前,它的slave从服务器无法提升为主,而在redis-sentinel出现之后,有效的解决了这个问题,它相当于是一个投票者或者哨兵,它时刻监视着redis集群的各个服务器,当主master挂了之后,它将进行投票进行新master的选举,一般地,我们会建立多个redis-sentinel服务器,它们都会进行主master的选举工作,当多个redis-sentinal都选择同一个

Hadoop集群搭建之Linux主机环境 创建虚拟机包含1个主节点master,2个从节点slave1,slave2 虚拟机网络连接模式为host-only(非虚拟机环境可跳过) 集群规划如下表: 主机名 IP 子网掩码 安装的软件 master 192.168.1.201 255.255.255.0 jdk.hadoop.zookeeper slave1 192.168.1.202 255.255.255.0 jdk.hadoop.zookeeper slave2 192.168.1.203

介绍,目前已经创建一个名为ceph的Ceph集群,和一个backup(单节点)Ceph集群,是的这两个集群的数据可以同步,做备份恢复功能 一.配置集群的相互访问 1.1 安装rbd mirror rbd-mirror是一个新的守护进程,负责将一个镜像从一个集群同步到另一个集群 如果是单向同步,则只需要在备份集群上安装 如果是双向同步,则需要在两个集群上都安装 rbd-mirror需要连接本地和远程集群 每个集群只需要运行一个rbd-mirror进程,必须手动按章 [root@ceph5 ceph

一.背景 在目前规模比较大的互联网公司中,总数据量能达到10PB甚至几十PB数据量的公司,我认为中国已经有超过了20家了.而在这些公司中,也有很多家公司的 日数据增长达到100TB+ 了. 所以我们每天都要观察集群的数据增长,观察是否有哪一天.哪个路径增长过猛了,是否增长了很多垃圾数据:继续深挖下去,看看是不是可以删掉无用的数据. 此外我们还要做“容量预估“,把未来的数据增长规划出来,主要是依靠数据增长斜率计算出未来一个季度后的数据量,再把机器采购需求汇报出去. 在上一篇<基于FsImage的H

简介 Prometheus 最初是 SoundCloud 构建的开源系统监控和报警工具,是一个独立的开源项目,于2016年加入了 CNCF 基金会,作为继 Kubernetes 之后的第二个托管项目. 特征 ​ Prometheus 相比于其他传统监控工具主要有以下几个特点: ​ 具有由 metric 名称和键/值对标识的时间序列数据的多维数据模型 ​ 有一个灵活的查询语言 ​ 不依赖分布式存储,只和本地磁盘有关 ​ 通过 HTTP 的服务拉取时间序列数据 ​ 也支持推送的方式来添加时间序列数据