01.FastDFS的安装部署
1.FastDFS简介
(1)FastDFS的功能介绍
FastDFS是一个开源的分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。其下载地址:http://fastdfs.sourceforge.net/
(2)FastDFS的工作原理
- FastDFS
服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。存储节点存储文件,完成文
件管理的所有功能:存储、同步和提供存取接口,FastDFS同时对文件的meta data进行管理。所谓文件的meta
data就是文件的相关属性,以键值对(key value
pair)方式表示,如:width=1024,其中的key为width,value为1024。文件meta
data是文件属性列表,可以包含多个键值对。 - 跟踪器和存储节点都可以由一台多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少。
- 为
了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷
的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起
到了冗余备份和负载均衡的作用。 - 在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。
- 当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。
- FastDFS中的文件标识分为两个部分:卷名和文件名,二者缺一不可。
(3)FastDFS系统架构
1.FastDFS系统结构如下图所示:
2.上传文件交互过程:
1.client询问tracker上传到的storage,不需要附加参数;
2.tracker返回一台可用的storage;
3.client直接和storage通讯完成文件上传。
3.下载文件交互过程:
1.client询问tracker下载文件的storage,参数为文件标识(卷名和文件名);
2.tracker返回一台可用的storage;
3.client直接和storage通讯完成文件下载。
4.同步机制
1.同一组内的storage server之间是对等的,文件上传、删除等操作可以在任意一台storage server上进行;
2.文件同步只在同组内的storage server之间进行,采用push方式,即源服务器同步给目标服务器;
3.源头数据才需要同步,备份数据不需要再次同步,否则就构成环路了;
4.上述第二条规则有个例外,就是新增加一台storage server时,由已有的一台storage server将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器。
(4)运行时目录结构
1.tracker server目录结构:
${base_path}
|__data
| |__storage_groups.dat:存储分组信息
| |__storage_servers.dat:存储服务器列表
|__logs
|__trackerd.log:tracker server日志文件
2.storage server 目录结构:
${base_path}
|__data
| |__.data_init_flag:当前storage server初始化信息
| |__storage_stat.dat:当前storage server统计信息
| |__sync:存放数据同步相关文件
| | |__binlog.index:当前的binlog文件索引号
| | |__binlog.###:存放更新操作记录(日志)
| | |__${ip_addr}_${port}.mark:存放同步的完成情况
| |
| |__一级目录:256个存放数据文件的目录,如:00, 1F
| |__二级目录:256个存放数据文件的目录
|__logs
|__storaged.log:storage server日志文件
2.FastDFS的安装过程
(1)准备工作-安装libevent
FastDFS内部绑定了libevent作为http服务器,必须安装libevent。
1.判断是否安装了libevent
命令:rpm -qa|grep libevent。如果有输出,则说明已经安装了libevent;Fastdfs对libevent版本有要求,所以先删除系统自带的libevent,然后安装最新稳定版本。
2.卸载已有的libevent
命令:rpm -e libevent –nodeps
3.安装最新的libevent(例如:libevent-2.0.21-stable.tar.gz)
命令:tar zvxf libevent-2.0.21-stable.tar.gz
命令:cd libevent-2.0.21-stable
命令:./configure --prefix=/usr
命令:make
命令:make install
4.检查是否安装成功
命令:ls –al /usr/lib |grep libevent(或者ls –al /usr/local/lib |grep libevent) 若有结果,则说明安装正确
5.为libevent创建软链接到/lib库下(64位系统对应/lib64)
假设libevent 的安装目录在/usr/local/lib/下
命令:ln –s /usr/local/lib/libevent-2.0.so.5 /usr/lib/libevent-2.0.so.5
命令:ln –s /usr/local/lib/libevent-2.0.so.5 /usr/lib64/libevent-2.0.so.5(64位系统)
(2)安装 FastDFS
1.下载 FastDFS 源程序FastDFS_v3.11.tar.gz(FastDFS_v4.06.tar.gz)。
2.解压FastDFS_v3.11.tar.gz
3.修改make.sh文件
由于要使用内置的 http 服务,因此编辑 %FastDFS%/make.sh 文件,找到#WITH_HTTPD=1修改成WITH_HTTPD=1以支持 http。支持HTTP服务可以使用浏览器下载文件。
4.安装
进入 %FastDFS% 目录,执行:
sudo ./make.sh
sudo ./make.sh install
(3)修改配置文件
1.FastDFS的配置文件在/etc/fdfs目录下包含如下文件
client.conf 客户端上传配置文件
storage.conf 文件存储服务器配置文件
tracker.conf 负责均衡调度服务器配置文件
http.conf http服务器配置文件
2.配置tracker Server(tracker.conf)
修改用于存储日志及storage server等文件的目录:
base_path=/home/yuqing/fastdfs --> base_path=/home/soar/fastdfs_tracker
修改将来http下载文件的端口号:
http.server_port= 8080 --> http.server_port= 8090
设置http服务支持:
##include http.conf --> #include http.conf
3.配置storage server(storage.conf)
修改用于存储storage相关的log、group内的相关信息的目录:
base_path=/home/yuqing/fastdfs -> /home/soar/fastdfs_storge
设置tracker Server的端口号:
tracker_server=192.168.209.121 : 22122 -> tracker_server=10.0.2.15 : 22122
设置http服务支持:
##include http.conf ->#include http.conf
4.配置client(client.conf)
设置tracker Server的端口号:
tracker_server=192.168.209.121:22122 -> tracker_server=10.0.2.15:22122
修改将来http下载文件的端口号:
http.tracker_server_port=8080 ->http.tracker_server_port=8090
设置http服务支持:
##include http.conf ->#include http.conf
(4)启服动务与停止服务
1.tracker Server
启动命令:/usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf
停止命令:/usr/local/bin/stop.sh /usr/local/bin/fdfs_trackerd/etc/fdfs/tracker.conf
重启命令:/usr/local/bin/restart.sh /usr/local/bin/fdfs_trackered
2.storage server
启动命令:/usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf
停止命令:/usr/local/bin/stop.sh /usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf
重启命令:/usr/local/bin/restart.sh /usr/local/bin/fdfs_storaged
(5)测试功能
文件上传:/usr/local/bin/fdfs_test /etc/fdfs/client.conf upload /etc/fdfs/test.jpg
下载文件:/usr/local/bin/fdfs_download_file /etc/fdfs/client.conf download
group1/00/00/CowXd1BQhA7jF-mjAAAALrcEX_4772.txt
(6)常用命令
文件上传:fdfs_upload_file <config_file> upload <local_filename>
/usr/local/bin/fdfs_upload_file /etc/fdfs/client.conf upload /home/test.jpg
文件下载:fdfs_download_file <config_file> <file_id> download <local_filename>
/usr/local/bin/fdfs_download_file /etc/fdfs/client.conf download
group1/00/00/CowXd1BQhA7jF-mjAAAALrcEX_4772.txt文件删除:fdfs_delete_file <config_file>
groupid/file_name /usr/local/bin/fdfs_delete_file /etc/fdfs/client.conf <file_url>(group3/…)
文件查看:dfs_file_info <config_file> <remote_file-id>
/usr/local/bin/fdfs_file_info /etc/fdfs/client.conf <file_url>(group3/…)
文件附加:fdfs_append_file <config_filename> <appender_file_id> <local_filename>
/usr/local/bin/fdfs_append_file /etc/fdfs/client.conf <file_url>(group3/…)
存储服务器信息查看:fdfs_monitor <config_file> [-h <tracker_server>] [list|delete <group_name> [storage_ip]]
/usr/local/bin/fdfs_monitor /etc/fdfs/storage.conf -h 10.192.64.103 list
存储服务器踢出集群:fdfs_monitor <config_file> [-h <tracker_server>] [list|delete <group_name> [storage_ip]]
fdfs_monitor /etc/fdfs/storage.tracker -h 10.192.64.103 delete group1 10.192.64.104
查看集群整体状态:/usr/local/bin/fdfs_monitor /etc/fdfs/storage.conf
注意:如果被删除(踢出)的storage server的状态是ACTIVE,也就是该storage server还在线上服务的情况下,是无法删除掉的
3.其他参考
Trackerd的详细配置
http://blog.csdn.net/poechant/article/details/6995697
Storage的详细配置
http://blog.csdn.net/poechant/article/details/6996047
FastDFS项目的FAQ
http://bbs.chinaunix.net/thread-1920470-1-1.html
FastDFS参考网站
CSDN
http://blog.csdn.net/citysheep/article/details/6034982
http://blog.csdn.net/poechant/article/details/7209313
官方博客
http://bbs.chinaunix.net/forum-240-1.html
http://bbs.chinaunix.net/thread-1920470-1-1.html
http://bbs.chinaunix.net/thread-1941456-1-1.html
博客园
http://www.cnblogs.com/Seapeak/archive/2010/05/17/1737336.html
其他
http://www.programmer.com.cn/4380/
http://www.oschina.net/p/fastdfs/
http://blog.163.com/023_dns/blog/static/1187273662012101711031704
-------------------------------------------------------------------------------------------------------------------------------
01.FastDFS的安装部署的更多相关文章
- 01 . 分布式存储之FastDFS简介及部署
分布式存储简介 现代的互联网已经进入大数据时代,每天都有数以万计的数据产生,这些数据的规模轻轻松松地可以达到几P的级别,传统的的单机存储早已捉襟见肘,根本无法满足大数据对存储系统的要求.这时,各种分布 ...
- 分布式文件系统之FastDFS安装部署
前面我们了解了分布式文件系统mogilefs的框架以及安装部署和简单使用,回顾请参考https://www.cnblogs.com/qiuhom-1874/tag/MogileFS/:今天我们来了解下 ...
- 分布式文件系统 - FastDFS 在 CentOS 下配置安装部署
少啰嗦,直接装 看过上一篇分布式文件系统 - FastDFS 简单了解一下的朋友应该知道,本次安装是使用目前余庆老师开源的最新 V5.05 版本,是余庆老师放在 Github 上的,和目前你能在网络上 ...
- 安装部署FastDFS
安装部署FastDFS 此篇博文是在安装好虚拟机和CentOS7的前提和转自以下几篇博客得来: 1.开启CentOS的网络连接: 1.1.网址:http://blog.csdn.net/white ...
- FastDFS安装部署
博主本人平和谦逊,热爱学习,读者阅读过程中发现错误的地方,请帮忙指出,感激不尽 服务器信息: Storage:192.168.247.20 Traker:192.168.247.21 一.搭建环境准备 ...
- docker安装部署、fastDFS文件服务器搭建与springboot项目接口
一.docker安装部署 1.更新yum包:sudo yum update 2.安装需要的软件包,yum-util 提供yum-config-manager功能,另外两个是devicemapper驱动 ...
- Redis for OPS 01:关于 Redis 基础说明与安装部署
写在前面的话 本章节开始在主要介绍在运维工作中绕不开的一个话题,数据缓存 NoSQL 服务 Redis,搭建很简单,使用很简单,运行也稳定的一批,一般小公司几乎很少出现以为量的问题导致他 down 掉 ...
- FastDFS+Nginx(单点部署)事例
FastDFS是由淘宝的余庆先生所开发,是一个轻量级.高性能的开源分布式文件系统,用纯C语言开发,包括文件存储.文件同步.文件访问(上传.下载).存取负载均衡.在线扩容.相同内容只存储一份等功能,适合 ...
- FastDFS集群部署(转载 写的比较好)
FastDFS集群部署 之前介绍过关于FastDFS单机部署,详见博文:FastDFS+Nginx(单点部署)事例 下面来玩下FastDFS集群部署,实现高可用(HA) 服务器规划: 跟踪服务器1 ...
随机推荐
- 数据包判断是否丢包 ping+tracert+mtr
1.用咱们最常用的Ping命令来查看是不是真的丢包了 这里可以看到数据包发送了4个,返回了4个,丢失=0 证明没有丢失 也有可能中间路由做了策略不给ICMP的回应 这样就ping没法判断了 正常情 ...
- 什么是Ajax无刷新技术?
浏览器实例化一个Ajax对象,这个对象发送一个HTTP请求,并且携带一定的参数,传输到后台.后台服务器接收这些参数,同时过滤一下传过来的参数,做出逻辑判断.如果需要数据库操作参与,就要取出数据,格式化 ...
- python中的remove趣谈
首先我们要知道remove做的操作是顺序遍历list表,找到第一个匹配的项时删掉该项,并不会再往下找,那我们看下面的代码 mylist = [1,2,3] for i in mylist: print ...
- linux内核SPI总线驱动分析(二)(转)
简而言之,SPI驱动的编写分为: 1.spi_device就构建并注册 在板文件中添加spi_board_info,并在板文件的init函数中调用spi_register_board_info(s3 ...
- 5.python的字符串
在前面提起过字符串这个词,现在就来学习什么是字符串. 首先,字符串是python内置的数据类型,其特点是用引号引起来,并且可以是使用单引号('字符串'),双引号("字符串"),三个 ...
- python time 模块详解
Python中time模块详解 发表于2011年5月5日 12:58 a.m. 位于分类我爱Python 在平常的代码中,我们常常需要与时间打交道.在Python中,与时间处理有关的模块就包括: ...
- Outlook打不开? 进程一大堆!
问题描述: ====== 关闭Outlook应用程序后,Outlook.exe进程仍在任务管理器里继续运行,不能关闭. 原因: ====== Outlook的插件或者扩展程序阻止Outlook关闭 解 ...
- Android--启动拍照功能并返回结果
因为没有深入学习拍照这块功能,所以只是简单的调用了一下系统的拍照功能,下面代码: //拍照的方法 private void openTakePhoto(){ /** * 在启动拍照之前最好先判断一下s ...
- poj 3580 SuperMemo
题目连接 http://poj.org/problem?id=3580 SuperMemo Description Your friend, Jackson is invited to a TV sh ...
- android asmack 注册 登陆 聊天 多人聊天室 文件传输
XMPP协议简介 XMPP协议(Extensible Messaging and PresenceProtocol,可扩展消息处理现场协议)是一种基于XML的协议,目的是为了解决及时通信标准而提出来的 ...