Fastdfs数据迁移方案
1. 方案背景描述
环境迁移,需要迁移旧环境的fastdfs集群的数据到新环境,由于之前数据迁移仅仅是针对mysql和mongodb,对fastdfs数据的迁移了解甚少,本文档主要是针对fastdfs数据迁移和恢复的几种方式以及具体操作流程做详细阐述。
2. 方案实现的目标
实现fastdfs集群数据完整迁移,保证在新环境正常使用,以及保证fastdfs集群高可用。
3. 方案说明
Fstdfs整体架构
Fastdfs数据迁移
数据迁移是指旧的fastdfs可以继续正常运行的情况下,将旧环境的fastdfs的数据恢复到新的环境fastdfs服务中。
同IP数据迁移
1) 首先关闭fdfs_storage和fdfs_tracker服务。
2) 拷贝fdfs_storage目录中的所有数据到新目录。
3) 修改storage配置文件中的store_path和base_path到新位置。
4) 修改mod_fastdfs.conf配置文件中的store_path和base_path到新位置。
5) 根据情况,选择是否修改client配置文件。
6) 重启fdfs_tracker和fdfs_storage服务
不同IP数据迁移
不同IP之间迁移采用FastDFS的扩容机制。
1) 在新服务器安装FastDFS。
2) 将新FastDFS的storage服务实例关联到以前的tracker服务。
3) 拷贝以前的storage服务配置为新服务实例的配置文件。
4) 启动storage服务。
FastDFS会自动同步以前服务器上的数据
5) 停止storage服务,将storage配置文件中的tracker地址修改为新的tracer 地址,同时修改storage 中/data/fast_data/data/.data_init_flag文件,sync_src_server=空即可。
6) 启动新的tracker服务和storage服务。
Fastdfs数据恢复
数据恢复是指旧的FastDFS服务已经不能运行,需要将已有的FastDFS数据恢复到新的FastDFS服务中。
1) 如果FastDFS服务使用了V4的ServerID特性,修改storage_ids.conf文件,调整对应关系即可。
2) 如果采用IP地址进行标识,则需要修改tracker 和storage下data目录中的数据文件中的ip地址。
tracker server 需要修改 :
tracker/data/storage_groups_new.dat
tracker/data/storage_servers_new.dat
tracker/data/storage_sync_timestamp.dat
storage server 需要修改:
storage/data/.data_init_flag
storage/data/sync/${ip_addr}_${port}.mark
4. 数据同步以及验证
本次迁移考虑到我们旧环境依旧可以使用并且是不同网段之间的fastdfs集群,所以采用的是FastDFS的扩容机制来迁移fastdfs的数据。
查看数据同步的进度:
在旧环境storage服务base_path 目录下有一个 data/sync目录,里面的文件如下:
10.10.101.135_23000.mark 这个是 new_storage 的同步数据的情况
binlog.000 旧tracker的binlog
binlog.index 记录着当前正在使用哪个 binlog 文件
查看 10.10.101.135_23000.mark 的文件内容就可看到 数据同步的情况,从 scan_row_count 和 sync_row_count 的数量对比可以知道同步的进度,当两者一致的时候同步完成。
binlog_index=0
binlog_offset=1689076 binlog.xxx的偏移量,可以从这个偏移量获取下一行记录
need_sync_old=1 本storage是否是对侧storage(110.119.19.21)的源结点,同时是否需要从起点同步所有的记录
sync_old_done=1 是否同步完成过
until_timestamp=1614235090 上次同步时间结点
scan_row_count=29122 binlog总记录数
sync_row_count=29122 同步的binlog行数
5. fastdfs文件上传下载以及基础操作命令
文件上传测试
1) 修改Tracker服务器客户端配置文件
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
修改以下配置,其它保持默认
base_path=/data/fastdfs/tracker
tracker_server= 10.10.8.85:22122 # tracker服务器IP和端口
tracker_server= 10.10.8.86:22122 #tracker服务器IP和端口
2) 执行文件上传命令
#/root/test.png 是需要上传文件路径
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/test.png
返回文件ID号:group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
(能返回以上文件ID,说明文件已经上传成功)
基础操作命令:
查看集群信息:
/usr/bin/fdfs_monitor /usr/local/storage.conf Storage节点都启动之后,可以在任一 Storage 节点上使用如下命令查看集群信息。
上传命令:
fdfs_upload_file /etc/fdfs/client.conf [文件名称](需全路径)
或
/usr/local/bin/fdfs_upload_file [文件名称](需全路径)
下载命令:
fdfs_download_file /etc/fdfs/client.conf [filename]
filename:为保存到fdfs的文件;上传的时候返回的路径是什么,这边filename就写什么;默认下载到当前执行命令的目录
删除命令:
fdfs_delete_file /etc/fdfs/client.conf [filename]
删除storage节点:
fdfs_monitor /etc/fdfs/client.conf delete group1 [节点IP]
Fastdfs数据迁移方案的更多相关文章
- HBase 数据迁移方案介绍
一.前言 HBase数据迁移是很常见的操作,目前业界主要的迁移方式主要分为以下几类: 图1.HBase数据迁移方案 从上面图中可看出,目前的方案主要有四类,Hadoop层有一类,HBase层有三类.下 ...
- HBase 数据迁移方案介绍 (转载)
原文地址:https://www.cnblogs.com/ballwql/p/hbase_data_transfer.html 一.前言 HBase数据迁移是很常见的操作,目前业界主要的迁移方式主要分 ...
- 4.HBASE数据迁移方案(之snapshot):
4.HBASE数据迁移方案: 4.1 Import/Export 4.2 distcp 4.3 CopyTable 4.4 snapshot 快照方式迁移(以USER_info:user_lo ...
- HBase 数据迁移方案介绍(转载)
原文链接:https://www.cnblogs.com/ballwql/p/hbase_data_transfer.html 一.前言 HBase数据迁移是很常见的操作,目前业界主要的迁移方式主要分 ...
- Redis数据迁移方案
场景 Redis实例A ---> Redis实例B,整库全量迁移 方案一: mac环境 brew install npm npm install redis-dump -g 针对RedisA: ...
- FastDFS数据迁移
参考:https://blog.csdn.net/frvxh/article/details/56293502 FastDFS安装配置参考:https://www.cnblogs.com/minseo ...
- 多es 集群数据迁移方案
前言 加入新公司的第二个星期的星期二 遇到另一个项目需要技术性支持:验证es多集群的数据备份方案,需要我参与验证,在这个项目中需要关注到两个集群的互通性.es集群是部署在不同的k8s环境中,K8s环境 ...
- 【linux】【FastDFS】FastDFS数据迁移
后来同步的时候发现有的没有同步过来,应该是没有同步完成我就停止服务了. 最后尝试直接把fastdfs storage的data文件迁移过去即可. 1.在新的storage server服务器上停止所有 ...
- 从零自学Hadoop(17):Hive数据导入导出,集群数据迁移下
阅读目录 序 将查询的结果写入文件系统 集群数据迁移一 集群数据迁移二 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephis ...
随机推荐
- Nestjs 路程 之 异常过滤器Exceptionfilter
参考文档:docs.nestjs.cn 说起Nestjs的异常过滤器,不能不提.Net的全局过滤器Filter,功能那是相当的强悍,用理论话说叫AOP 面向切面编程,可谓方便了太多需要异常处理的场景. ...
- 从零开始教你安装Oracle数据库
1.数据库安装 1.1下载 根据自己的操作系统位数,到oracle官网下载(以oracle 11g 为例) 之后把两个压缩包解压到同一个文件夹内(需要注意的是,这个文件夹路径名称中最好不要出现中文.空 ...
- CodeForces - 1140C
题意: 给你n首歌,每首歌有一个长度ti和一个愉悦度bi,你最多可以从中挑选出来k首歌.那么你挑选出来这首歌会为你增加sum歌愉悦度,sum的求法就是:挑选出来所有歌的长度之和,乘与挑选出来所有歌中愉 ...
- Codeforces Round #672 (Div. 2) D. Rescue Nibel! (思维,组合数)
题意:给你\(n\)个区间,从这\(n\)区间中选\(k\)个区间出来,要求这\(k\)个区间都要相交.问共有多少种情况. 题解:如果\(k\)个区间都要相交,最左边的区间和最右边的区间必须要相交,即 ...
- Codeforces Round #655 (Div. 2) C. Omkar and Baseball (思维)
题意:有一个数组,每次可以修改子数组,但是修改后每个元素的位置都必须变化,求最少修改多少次使得这个数组有序. 题解:假如这个数组本来就有序,我们直接输出0.否则,对于数组两端,假如它们有序,那么我们可 ...
- ES中文分词器安装以及自定义配置
之前我们创建索引,查询数据,都是使用的默认的分词器,分词效果不太理想,会把text的字段分成一个一个汉字,然后搜索的时候也会把搜索的句子进行分词,所以这里就需要更加智能的分词器IK分词器了. ik分词 ...
- 怎样优化SQL
[原则一:选择需要优化的SQL] 1,选择需要优化的SQL:不是所有的SQL都需要优化,在优化的过程中,首选更需要优化的SQL; 怎么选择?优先选择优化高并发低消耗的SQL: 1,1小时请求1W次,1 ...
- ucosIII学习笔记——钩子函数
一开始听见钩子函数感觉很莫名其妙,更不知道它有何作用,这是第一篇博客,也是学习ucosIII操作系统的一个开始吧. 在系统中有开发者自己创建的任务也有系统内部任务 ,UCOSIII中有五个系统任务,分 ...
- Dubbo和SpringCloud的优劣势比较--总体架构
从整体架构上来看 二者模式接近,都需要服务提供方,注册中心,服务消费方.差异不大.详见下方: Dubbo Provider: 暴露服务的提供方,可以通过jar或者容器的方式启动服务 Consumer: ...
- Python 相关
循环使用迭代器 Python中使用for循环时,内置容器的默认循环都是有迭代器的.使用迭代器每次只会读出一小部分到内存,不断往后next. 通常建议在没有必要的情况下不使用for key,value ...