FastDFS、nginx配置手记
第一部分 FastDFS介绍
1.FastDFS是什么
FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只能通过 专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。
准确地讲,Google FS以及FastDFS、mogileFS、 HDFS、TFS等类Google FS都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。
FastDFS的作者是余庆,现在淘宝网Java中间件团队从事Java基础平台研发工作。
以上文字引用自<<程序员>> 文章 <<分布式文件系统FastDFS架构剖析>>http://www.programmer.com.cn/tag/fastdfs-架构/
2.FastDFS的体系结构
3.FastDFS工作过程
1. Client询问Tracker server上传到的Storage server;
2. Tracker server返回一台可用的Storage server,返回的数据为该Storage server的IP地址和端口;
3. Client直接和该Storage server建立连接,进行文件上传,Storage server返回新生成的文件ID,文件上传结束。
1. Client询问Tracker server可以下载指定文件的Storage server,参数为文件ID(包含组名和文件名);
2. Tracker server返回一台可用的Storage server;
3. Client直接和该Storage server建立连接,完成文件下载。
FastDFS从V1.20开始,支持通过HTTP协议下载文件。
1.用户浏览器访问Tracker server内置的Web Server,URL中包含文件ID(包含组名和文件名);
2.Tracker server将这个HTTP请求redirect到一台可用的Storage server的Web Server上(可以是apache或nginx);
3.用户浏览器直接与Storage server的Web Serverr建立连接,完成文件下载。
第二部分 FastDFS+nginx_module配置手记
1.系统环境
最小化安装的 CentOS 5.6 x86_64
tracker server: 192.168.3.220
storage server: 192.168.3.226
2.环境准备[所有服务器上操作]
为了速度,配置使用sohu的源
cd /etc/yum.repo.d/
wget http://mirrors.sohu.com/help/CentOS-Base-sohu.repo
安装EPEL源
rpm -ihv http://download.fedora.redhat.com/pub/epel/5/x86_64/epel-release-5-4.noarch.rpm
安装开发工具和编译nginx所需的开发包
yum groupinstall "Development Tools"
yum install libevent-devel.x86_64 pcre-devel.x86_64 zlib-devel.x86_64
3.在tracker上的操作[安装tracker server]
[root@tracker]# wget http://fastdfs.googlecode.com/files/FastDFS_v3.05.tar.gz
[root@tracker]# tar xvzf FastDFS_v3.05.tar.gz
[root@tracker]# cd FastDFS
[root@tracker]# vi make.sh
将如下两行前边的"#"删除
WITH_HTTPD=1
WITH_LINUX_SERVICE=1
[root@tracker]# ./make.sh
[root@tracker]# ./make.sh install
[root@tracker]# vi /etc/fdfs/tracker.conf
修改/etc/fdfs/tracker.conf,主要修改以下两处,如有其他调整,可参考文档自行调整,默认的配置也可以工作。
# the base path to store data and log files
base_path=/home/tracker ====> 放置data和log的目录
##include http.conf ====> #include http.conf 这里一定要注意!是 #include,不是include!!!
[root@tracker]# mkdir -p /home/tracker
启动tracker服务
[root@tracker]# /etc/init.d/fdfs_trackerd start
确认8080,22122端口已经监听
[root@tracker]# netstat -nl|grep -E '8080|22122'
tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:8080 0.0.0.0:* LISTEN
4.在storage上的操作
[root@storage]# wget http://fastdfs.googlecode.com/files/FastDFS_v3.05.tar.gz
[root@storage]# wget http://fastdfs.googlecode.com/files/fastdfs-nginx-module_v1.10.tar.gz
[root@storage]# wget http://nginx.org/download/nginx-1.0.11.tar.gz
[root@storage]# tar xvzf FastDFS_v3.05.tar.gz
[root@storage]# cd FastDFS
[root@storage]# ./make.sh
[root@storage]# ./make.sh install
[root@storage]# tar xvzf nginx-1.0.11.tar.gz
[root@storage]# tar xvzf fastdfs-nginx-module_v1.10.tar.gz
[root@storage]# cd nginx-1.0.11
[root@storage]# ./configure --prefix=/usr/local/nginx --add-module=/root/fastdfs-nginx-module/src
[root@storage]# make
[root@storage]# make install
[root@storage]# vi /etc/fdfs/storage.conf
修改/etc/fdfs/storage.conf,主要修改以下几处,如有其他调整,可参考文档自行调整,默认的配置也可以工作。
# the name of the group this storage server belongs to
group_name=group1 ====> 此台storage server所属的服务器组名
# the base path to store data and log files
base_path=/home/storage ====> 放置data和log的目录
# store_path#, based 0, if store_path0 not exists, it's value is base_path
# the paths must be exist
store_path0=/home/storage ====> 放置文件的目录
# tracker_server can ocur more than once, and tracker_server format is
# "host:port", host can be hostname or ip address
tracker_server=192.168.3.220:22122 ====> tracker server的ip和端口,此处可以写多个tracker server,每行一个
#HTTP settings
http.disabled=true ====> 关闭内置的web server
# the port of the web server on this storage server
http.server_port=80 ====> web server的端口改成80
[root@storage]# cp /root/fastdfs-nginx-module/mod_fastdfs.conf /etc/fdfs/
[root@storage]# vi /etc/fdfs/mod_fastdfs.conf
# the base path to store log files
base_path=/home/storage ====> 放置log的目录
# FastDFS tracker_server can ocur more than once, and tracker_server format is
# "host:port", host can be hostname or ip address
tracker_server=192.168.3.220:22122 ====> tracker server的ip和端口,此处可以写多个tracker server,每行一个
# the group name of storage server
group_name=group1 ====> 此台storage server所属的服务器组名
# if uri including group name
# default value is false
url_have_group_name = true ====> 在URL中包含group名称
# store_path#, based 0, if store_path0 not exists, it's value is base_path
# the paths must be exist
store_path0=/home/storage ====> 放置文件的目录
[root@storage]# mkdir -p /home/storage
在nginx的server配置段中增加M00的location声明
[root@storage]# vi /usr/local/nginx/conf/nginx.conf
location /group1/M00 {
root /home/storage/data;
ngx_fastdfs_module;
}
创建M00目录的软连接
[root@storage]# ln -s /home/storage/data /home/storage/data/M00
启动storage服务
[root@storage]# /etc/init.d/fdfs_storaged start
启动nginx
[root@tracker]# /usr/local/nginx/sbin/nginx
确认8080,22122端口已经监听
[root@storage]# netstat -nl|grep -E '80|23000'
tcp 0 0 0.0.0.0:23000 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN
5.在tracker上的操作[作为client测试]
修改/etc/fdfs/client.conf文件,主要修改以下几处,如有其他调整,可参考文档自行调整,默认的配置也可以工作。
# the base path to store log files
base_path=/tmp
# tracker_server can ocur more than once, and tracker_server format is
# "host:port", host can be hostname or ip address
tracker_server=192.168.3.220:22122
创建一个用于测试的文件demofile.txt
[root@tracker]# vi demofile.txt
内容就一行字: dddddddddd
使用自带的fdfs_test上传文件测试。
[root@tracker]# /usr/local/bin/fdfs_test /etc/fdfs/client.conf upload demofile.txt
This is FastDFS client test program v3.05
Copyright (C) 2008, Happy Fish / YuQing
FastDFS may be copied only under the terms of the GNU General
Public License V3, which may be found in the FastDFS source kit.
Please visit the FastDFS Home Page http://www.csource.org/
for more detail.
[2012-01-20 14:36:04] INFO - base_path=/tmp, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0
tracker_query_storage_store_list_without_group:
server 1. group_name=group1, ip_addr=192.168.3.226, port=23000
group_name=group1, ip_addr=192.168.3.226, port=23000
storage_upload_by_filename
group_name=group1, remote_filename=M00/00/00/wKgD4k8ZC1SNK-NYAAAAC3lx3Rk484.txt
source ip address: 192.168.3.226
file timestamp=2012-01-20 14:36:04
file size=11
file crc32=2037505305
file url: http://192.168.3.220:8080/group1/M00/00/00/wKgD4k8ZC1SNK-NYAAAAC3lx3Rk484.txt
storage_upload_slave_by_filename
group_name=group1, remote_filename=M00/00/00/wKgD4k8ZC1SNK-NYAAAAC3lx3Rk484_big.txt
source ip address: 192.168.3.226
file timestamp=2012-01-20 14:36:04
file size=11
file crc32=2037505305
file url: http://192.168.3.220:8080/group1/M00/00/00/wKgD4k8ZC1SNK-NYAAAAC3lx3Rk484_big.txt
6.使用浏览器打开上传的文件
我们在浏览器中输入http://192.168.3.220:8080/group1/M00/00/00/wKgD4k8ZC1SNK-NYAAAAC3lx3Rk484.txt
可以看到,访问的地址已经被redirect到了storage server的IP(192.168.3.226)了。
FastDFS、nginx配置手记的更多相关文章
- 在虚拟机中配置FastDFS+Nginx模块
先上部署图 提示一下, ip 192.168.72.138 上面部署了两个group, 分别为 group1和g2. 另外, 同组之内的 port 要保持一致. 一.安装准备 1. #每台机器都添加两 ...
- FastDFS+Nginx安装配置
下载相关包: libevent-2.0.22-stable.tar.gz => https://github.com/libevent/libevent/releases/download/re ...
- FastDFS+Nginx(单点部署)事例
FastDFS是由淘宝的余庆先生所开发,是一个轻量级.高性能的开源分布式文件系统,用纯C语言开发,包括文件存储.文件同步.文件访问(上传.下载).存取负载均衡.在线扩容.相同内容只存储一份等功能,适合 ...
- FastDFS+Nginx部署详细教程
本例使用到的所有tar和zip包地址:http://download.csdn.net/detail/corey_jk/9758664 本例中使用CentOS1.CentOS2两台机器实现. 1 GC ...
- fastDFS 安装 配置 使用
fastDFS 安装 配置 使用 关于安装 本文采用的是源码的安装方式,其他安装方式请自行百度 简单介绍 1.背景 FastDFS是一款开源的.分布式文件系统(Distributed File Sys ...
- docker+fastdfs+nginx 实现分布式大文件存储系统以及视频缓存播放
废话不多说,直接开撸 首先是一些准备工作: 1.关闭防火墙 service iptables stop --- fastdfs虽然在docker部署,但是使用的是主机网络,所以关闭防火墙. 2 下载 ...
- 简单的 FastDFS + Nginx 应用实例
版权声明:本文为GitChat作者的原创文章,未经 GitChat 同意不得转载. https://blog.csdn.net/GitChat/article/details/79479148 wx_ ...
- FastDFS+Nginx+fastdfs-nginx-module集群搭建
一.实验环境说明 操作系统: Centos 6.6 x64 FastDFS 相关版本: fastdfs-5.05 fastdfs-nginx-module-v1.16 libfastcommon-v1 ...
- FastDFS+nginx+keepalived集群搭建
安装环境 nginx-1.6.2 libfastcommon-master.zip FastDFS_v5.05.tar.gz(http://sourceforge.net/projects/fastd ...
随机推荐
- 加密算法 - RSA
与DES不同,RSA算法中,每个通信主体都有两个钥匙,一个公钥一个私钥. 就是有2把钥匙1.使用publicKey可以对数据进行加密2.使用Key才能对数据进行解密单方向传输用公钥加密的数据,只有私钥 ...
- JavaScript的OOP编程1
首先要说的是,javascript其实是可以进行OOP编程的,其次javascript的OOP编程实现方式有多种,我写的这一种只是我测试过,可行的一种 version1 // 父类 function ...
- delphi xe5 android 服务端和手机端的源码下载
xe5 android的服务端和手机客户端的源代码下载地址 http://files.cnblogs.com/nywh2008/AndroidTest.rar
- JNI/NDK开发指南(开山篇)
转载请注明出处:http://blog.csdn.net/xyang81/article/details/41759643 相信很多做过Java或Android开发的朋友经常会接触到JNI方面的技术, ...
- bzoj 1761: [Baltic2009]beetle 区间dp
1761: [Baltic2009]beetle Time Limit: 4 Sec Memory Limit: 64 MBSubmit: 255 Solved: 92[Submit][Statu ...
- USB做Host的OTG原理
在介绍USBOTG的基础上,着重介绍Maxim公司的MAX3301E型USBOTG电路的特点.内部结构和工作原理. 1 引言 随着USB2.0版本的发布,USB越来越流行,已经成为一种标准接口.现在, ...
- unicode下各种类型转换CString、string
把最近用到的各种unicode下类型转换总结了一下: 1.string转CString string a=”abc”; CString str=CString(a.c_str()); 或str.for ...
- MySQL优化器cost计算
记录MySQL 5.5上,优化器进行cost计算的方法. 第一篇: 单表的cost计算 数据结构: 1. table_share: 包含了表的元数据,其中索引部分: key_info:一个key的结构 ...
- oracle object_id和data_object_id的区别
Oracle的数据字典表dba_objects包含了两个字段,object_id, data_object_id,官方文档上的解释是: object_id: Dictionary object num ...
- x64 stack walking、调用约定、函数参数识别
k = <rsp> <rip> <frame_count>x64下manual stack walking与x86不同,x86一般情况下有ebp chain,x64 ...