大规模集群FTP代理(基于lvs的vsftpd网络负载均衡方案部署(PASV))
【目的】
在日常工作中,我们经常需要在某服务器上开FTP(Server)服务。但就是这么简单的事情通常也会变得很复杂,原因如下:
1、需要开通FTP的服务器没有公网IP地址;(即不能直接访问到)
2、这样的服务器很多,可能是成百上千台;
3、所有的FTP账号必须为虚拟账号,不能为本地,而且需要集中存储。
这种情况很多,比如企业中通常需要给开发、测试人员相应的开发、测试环境,而这环境里面的机器通常只有有私网地址,开发人员需要通过FTP上传自己 的代码等。
【解决方案】
1、对于问题1(无公网地址),解决的方法其实很多,比如使用Iptables做端口映射,甚至使用VPN,但这都太复杂、维护成本高;更好的办法 是使用一台有公网(同时又有私网)的服务器做FTP代理,而这种代理只要开启即可,不需要为后面每台真正的FTP Server设置NAT。(这和iptables的方式不一样)
2、对于问题2,3只能使用虚拟账号,并将所有账号信息集中存储到某数据库中。
大体架构如下:
此架构假设:
* FTP代理服务器的IP地址为:8.8.8.8(公网)和192.168.1.10(私网)
* FTP Server使用pureftpd,地址为192.168.1.11
* MySQL Server IP地址为192.168.1.15
在这种架构下,用户登陆FTP的流程如图所示:
1. 用户提交用户名和密码给FTP Proxy
2.FTP Proxy访问FTP Server
3.FTP Server访问MySQL Server进行用户名密码验证
【配置过程】
1. 配置FTP Proxy服务器-8.8.8.8
1.1 下载和安装FTP proxy:
wget ftp://ftp.ftpproxy.org/pub/ftp.proxy/ftpproxy-1.2.3.tgz
tar czvf ftpproxy-1.2.3.tgz
cd ftpproxy-1.2.3
make && make install
1.2 启动ftp.proxy
ftp.proxy -D 2121 -e -l -m -t 1800
参数说明如下:
1)-D 2121 指定端口为2121
2)-e 启用客户端服务器选择(非常重要),通常我们的ftp账号为ftpuser这种,那么使用此参数后,我们可 以访问后端的某台服务器,比如192.168.1.15,使用的账号名变成:ftpuser@192.168.1.15
3)-l Logging
4)-m monitor mode
5)-t 1800 超时时间
2.配置MySQL Server(192.168.1.15)
2.1 安装mysql:(假设还没安装)
yum install mysql-server
2.2 修改/etc/my.cnf:
bind-address=192.168.1.15
2.3 service mysqld start
2.4 修改mysql root密码:
mysqladmin -u root password rootpassword
2.5 创建pure-ftpd需要的数据库
mysql -u root -p rootpassword
执行如下SQL语句:
CREATE DATABASE pureftpd;
USE pureftpd;
CREATE TABLE `users` (
`id` int(32) unsigned NOT NULL auto_increment,
`User` varchar(16) NOT NULL default ”,
`Password` varchar(64) NOT NULL default ”,
`Uid` varchar(11) NOT NULL default ‘-1′,
`Gid` varchar(11) NOT NULL default ‘-1′,
`Dir` varchar(128) NOT NULL default ”,
`QuotaSize` smallint(5) NOT NULL default ’0′,
`QuotaFiles` int(11) NOT NULL default ’0′,
`ULBandwidth` smallint(5) NOT NULL default ’0′,
`DLBandwidth` smallint(5) NOT NULL default ’0′,
`ULRatio` smallint(6) NOT NULL default ’0′,
`DLRatio` smallint(6) NOT NULL default ’0′,
`comment` tinytext NOT NULL,
`ipaccess` varchar(15) NOT NULL default ‘*’,
`status` enum(’0′,’1′) NOT NULL default ’0′,
`create_date` datetime NOT NULL default ’0000-00-00 00:00:00′,
`modify_date` datetime NOT NULL default ’0000-00-00 00:00:00′,
PRIMARY KEY (`id`,`User`),
UNIQUE KEY `User` (`User`)
) TYPE=MyISAM AUTO_INCREMENT=5 ;
3. 在FTP Proxy服务器上(8.8.8.8)配置pureftpd PHP Manager:
3.1假设Apache2(没有安装自行安装吧)已经安装在/usr/local/apache2目录下,执行如下命令:
mkdir -p /usr/local/apache2/htdocs/ftp
cd /usr/local/apache2/htdocs/ftp
chown -R nobody:nobody /usr/local/apache2/htdocs/ftp
wget http://bbs.chinaunix.net/attachments/month_0701/pureftpd_php_manager_BbPy87OS0Gaj.zip
unzip pureftpd_php_manager_BbPy87OS0Gaj.zip
cp pureftpd-mysql.conf.sample pureftpd-mysql.conf
3.2修改pureftp.config.php(pureftp_php_manager连接mysqld的配置文件地址)
$PUREFTP_CONFIG_FILE = ‘/usr/local/apache2/htdocs/ftp/pureftpd-mysql.conf’;
3.3 修改/usr/local/apache2/htdocs/ftp/pureftpd-mysql.conf中相关信息:
MYSQLServer 192.168.1.15
MYSQLPort 3306
MYSQLSocket /var/lib/mysql/mysql.sock
MYSQLUser root
MYSQLPassword rootpassword
MYSQLDatabase pureftpd
MYSQLCrypt crypt(密码加密方式)
4. 配置FTP服务器-192.168.1.11(安装和配置pure-ftpd)
4.1 安装pure-ftpd(加入MySQL支持)
wget http://download.pureftpd.org/pub/pure-ftpd/releases/pure-ftpd-1.0.29.tar.bz2
tar jxvf pure-ftpd-1.0.29.tar.bz2
cd pure-ftpd-1.0.29
./configure –prefix=/usr/local/pureftpd –with-mysql –with-shadow –with-pam –with-paranoidmsg –with-welcomemsg –with-uploadscript –with-cookie –with-virtualchroot –with-virtualhosts –with-diraliases –with-quotas –with-sysquotas –with-ratios –with-ftpwho –with-throttling
make && make install
cd configuration-file
cp pure-config.pl /usr/local/pureftpd/bin/
chmod +x/usr/local/pureftpd/bin/pure-config.pl
mkdir -p /usr/local/pureftpd/etc
cp pure-ftpd.conf /usr/local/pureftpd/etc
cd ..
cp pureftpd* /usr/local/pureftpd/etc/
4.2 修改/usr/local/pureftpd/etc/pure-ftpd.conf:
MySQLConfigFile /usr/local/pureftpd/etc/pureftpd-mysql.conf
提示:如果FTP账号为nobody这种权限,UID(通常为99)小于1024,需要修改MinUID参数:
MinUID 98
否则出现错误:
Can’t login as [xxx] account disabled pureftpd
4.3. 修改/us/local/pureftpd/etc/pureftpd-mysql.conf:
和3.3内容完全一样。
4.4 启动pure-ftpd:
/usr/local/pureftpd/bin/pure-config.pl /usr/local/pureftpd/etc/pure-ftpd.conf
5.登陆Pureftpd PHP Manager页面创建FTP虚拟账号:
登陆http://8.8.8.8/ftp,创建账号:
如图创建的账号名为:testftp, 主目录为/opt/wwwroot还可以进行其他的设置,自己看图咯 :)
注意:
1.此账号只是虚拟账号,并不存在于任何FTP Server上(/etc/passwd文件中),而是存储于MySQL中。
2. IP Access设置为*,表示可以访问任何FTP Server
6.测试登陆:
ftp 8.8.8.8 2121
Connected to 8.8.8.8.
220 server ready – login please
530 login first
530 login first
KERBEROS_V4 rejected as an authentication type
Name (8.8.8.8:root): testftp@192.168.1.11(要访问哪台,就加入@ip 后缀)
331 password required
Password:
230 login accepted
Remote system type is UNIX.
Using binary mode to transfer files.
ftp>
注意:如果FTP Server还有192.168.1.12等地址,也可以用testftp@192.168.1.12来登陆192.168.1.12这台FTP Server
一直在用这个,今天终于抽时间总结了下,标题貌似也不是很恰当,凑合著用吧,其他方面同志们挑错吧:)
作者:finalbsd
http://www.ha97.com/906.html
http://bbs.chinaunix.net/thread-1996271-1-1.html
大规模集群FTP代理(基于lvs的vsftpd网络负载均衡方案部署(PASV))的更多相关文章
- 解决 RabbitMQ 集群 Channel shutdown: connection error 错误(HAProxy 负载均衡)
相关文章:搭建 RabbitMQ Server 高可用集群 具体错误信息: 2018-05-04 11:21:48.116 ERROR 60848 --- [.168.0.202:8001] o.s. ...
- service几种访问类型(集群外负载均衡访问LoadBalancer , 集群内访问ClusterIP,VPC内网负载均衡LoadBalancer ,集群外访问NodePort)
一.集群外访问(负载均衡) kind: ServiceapiVersion: v1spec: ports: - protocol: TCP port: 4341 targetPort: 8080 no ...
- 1.rabbitmq 集群版安装及使用nginx进行四层负载均衡设置
1.安装erlang 需要注意erlang的版本是否满足rabbitmq的需求 这里用到的版本是:Erlang 19.0.4 RabbitMQ 3.6.15 wget http://www.rab ...
- LVS : Linux Virtual Server 负载均衡,集群,高并发,robust
1 LVS : Linux Virtual Server http://www.linuxvirtualserver.org/ http://www.linuxvirtualserver.org/zh ...
- 集群高可用之lvs
集群: 随着互联网的发展,大量的客户端的请求,服务器的负载越来越大,单台服务器的负载有限,会导致服务器响应客户端请求的时间越长,甚至产生拒绝服务的情况.目前网站是24小时不间断提供网络服务,仅采用单点 ...
- 配置LVS + Keepalived高可用负载均衡集群之图文教程
负载均衡系统可以选用LVS方案,而为避免Director Server单点故障引起系统崩溃,我们可以选用LVS+Keepalived组合保证高可用性. 重点:每个节点时间都同步哈! C++代码 [r ...
- Heartbeat+LVS构建高可用负载均衡集群
1.heartbeat简介: Heartbeat 项目是 Linux-HA 工程的一个组成部分,它实现了一个高可用集群系统.心跳服务和集群通信是高可用集群的两个关键组件,在 Heartbeat 项目里 ...
- 负载均衡集群企业级应用实战—LVS
一.负载均衡集群介绍 1.集群 ① 集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能.可靠性.灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技 ...
- 项目实战:负载均衡集群企业级应用实战—LVS详解
目录 一.负载均衡集群介绍 二.lvs 的介绍 三.LVS负载均衡四种工作模式 1.NAT工作模式 2.DR工作模式 3.TUN工作模式 4.full-nat 工作模式 5.四者的区别 四.LVS i ...
随机推荐
- 查看mysql字符集及修改表结构--表字符集,字段字符集
MySQL 乱码的根源是的 MySQL 字符集设置不当的问题,本文汇总了有关查看 MySQL 字符集的命令.包括查看 MySQL 数据库服务器字符集.查看 MySQL 数据库字符集,以及数据表和字段的 ...
- C#优秀开源资料收集
1. 把对命令行程序的调用封装起来,通过程序里进行输入,调用命令行程序的输出显示在程序中 http://www.codeproject.com/Articles/335909/Embedding-a- ...
- BufferedReader的ready与readLine使用,以及Premature EOF异常
我的个人主页:http://www.foreyou.net 有些人在读取服务器端返回的数据的时候,使用了BufferedReader类的ready: while(reader.ready()) { / ...
- virtual hard disk
- hdu 1159 Common Subsequence(LCS最长公共子序列)
Common Subsequence Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Other ...
- REVERSE关键字之REVERSE索引
昨天说到REVERSE关键字可以指REVERSE函数和REVERSE索引,简单介绍了下REVERSE函数的含义,今天简单整理下REVERSE索引. REVERSE索引也是一种B树索引,但它物理上将按照 ...
- Unity 单元测试(NUnit,UnityTestTools)
在软件开发中单元测试是非常重要的一个环节, =.=盘子脸去了几家公司都没有单元测试这个概念. 我们的系统虽然从代码看上是分离的, 在多数情况下都需要依赖于其他模块来运行.(单元测试部分内容教我解决这个 ...
- POJ训练计划2777_Count Color(线段树/成段更新/区间染色)
解题报告 题意: 对线段染色.询问线段区间的颜色种数. 思路: 本来直接在线段树上染色,lz标记颜色.每次查询的话訪问线段树,求出颜色种数.结果超时了,最坏的情况下,染色能够染到叶子节点. 换成存下区 ...
- 获取被选择的radio的值
function selectRadio() { var val = $('input:radio[name="address_select"]:checked').val(); ...
- .NET基础拾遗(1)类型语法基础和内存管理基础1
一.基础类型和语法 1.1 .NET中所有类型的基类是什么? 在.NET中所有的内建类型都继承自System.Object类型. 1.2 值类型和引用类型的区别? 在.NET中的类型分为值类型和引用类 ...