Haproxy 安装及配置

Haproxy介绍

HAProxy是一个特别适用于高可用性环境的TCP/HTTP开源的反向代理和负载均衡软件。实现了一种事件驱动，单一进程模型，支持非常大的并发连接，是因为事件驱动模型有更好的资源和时间管理的用户端（user-space）实现这些业务

• 在7层负载均衡方面的功能很强大(支持cookie track, header rewrite等等)
• 支持双机热备
• 支持虚拟主机
• 支持健康检查
• 同时还提供直观的监控页面，可以清晰实时的监控服务集群的运行状况。
• 同时支持Linux 2.6内核中System Epoll，通过简化系统调用，大幅的提高了网络I/O性能。

特征

• 根据静态分配的cookie 分配HTTP请求
• 分配负载到各个服务器，同时保证服务器通过使用HTTP Cookie实现连接保持；
• 当主服务器宕机时切换到备份服务器；允许特殊端口的服务监控；
• 做维护时通过热配置可以保证业务的连续性，更加人性化；
• 添加/修改/删除HTTP Request和Response 头；
• 通过特定表达式Block HTTP请求；
• 根据应用的cookie做连接保持；

• 带有用户验证的详细的HTML监控报告.

负载均衡算法

• roundrobin，表示简单的轮询，服务器根据权重轮流使用，这个是负载均衡基本都具备的；
• static-rr，表示根据权重，根据权重轮流使用，对服务器的数量没有限制；
• leastconn，表示最少连接者先处理，建议用于长回话服务；
• source， 表示根据请求源IP，这个跟Nginx的IP_hash机制类似，我们用其作为解决session问题的一种方法，建议关注；
• uri，    表示根据请求的URI；uri hash算法
• url_param，表示根据请求的URl参数’balance url_param’ requires an URL parameter name；
• hdr(name)， 表示根据HTTP请求头来锁定每一次HTTP请求；
• rdp-cookie(name)， 表示根据据cookie(name)来锁定并哈希每一次TCP请求。

Haproxy部署

• yum安装

yum install haproxy keepalived -y

#配置文件：
/etc/haproxy/haproxy.cfg
/etc/keepalived/keepalived.conf

• 源码安装

#安装依赖包
yum install -y net-tools vim lrzsz tree screen lsof tcpdump nc mtr nmap gcc glib gcc-c++ make

#下载并安装
wget http://www.haproxy.org/download/1.6/src/haproxy-1.6.3.tar.gz

tar zxf haproxy-1.6.3.tar.gz

cd haproxy-1.6.3

make TARGET=linux2628 ARCH=x86_64 PREFIX=/usr/local/haproxy

make install PREFIX=/usr/local/haproxy

cp /usr/local/sbin/haproxy /usr/sbin/

haproxy -v

Haproxy启动脚本

cd /usr/local/src/haproxy-1.6.3  

cp examples/haproxy.init /etc/init.d/haproxy

chmod 755 /etc/init.d/haproxy

配置文件

useradd -r haproxy

mkdir /etc/haproxy   /var/lib/haproxy    /var/run/haproxy

#配置文件
cat /etc/haproxy/haproxy.cfg

global
    log         127.0.0.1 local2
    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon
    stats socket /var/lib/haproxy/stats

defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    option http-server-close
    option forwardfor       except 127.0.0.0/8
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000

frontend  main *:5000
    acl url_static       path_beg       -i /static /images /javascript /stylesheets
    acl url_static       path_end       -i .jpg .gif .png .css .js
    use_backend static          if url_static
    default_backend             app

backend static
    balance     roundrobin
    server      static 127.0.0.1:4331 check

backend app
    balance     roundrobin
    server  app1 127.0.0.1:5001 check
    server  app2 127.0.0.1:5002 check
    server  app3 127.0.0.1:5003 check
    server  app4 127.0.0.1:5004 check

Haproxy日志设置

vim /etc/rsyslog.conf
#rsyslog 默认情况下，需要在514端口监听UDP，所以可以把/etc/rsyslog.conf如下的注释去掉
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514
local3.*         /var/log/haproxy.log

#重启rsyslog
systemctl restart rsyslog

配置案例

###########全局配置#########
global
　　log 127.0.0.1 local0 　　　　　　　　#[日志输出配置，所有日志都记录在本机，通过local0输出]
　　log 127.0.0.1 local3 notice 　　　　#定义haproxy 日志级别[error warringinfo debug]
　　daemon 　　　　　　　　　　　　　　　　c#以后台形式运行harpoxy
　　nbproc 1 　　　　　　　　　　　　　　　　#设置进程数量，应该与服务器的cpu核心数一致
　　maxconn 4096 　　　　　　　　　　　　#默认最大连接数,需考虑ulimit-n限制
　　#user haproxy 　　　　　　　　　　　　#运行haproxy的用户
　　#group haproxy 　　　　　　　　　　　　#运行haproxy的用户所在的组
　　#pidfile /var/run/haproxy.pid 　　　　#haproxy 进程PID文件
　　#ulimit-n 819200 　　　　　　　　　　　　#ulimit 的数量限制
　　#chroot /usr/share/haproxy 　　　　　　#chroot运行路径
　　#debug 　　　　　　　　　　　　　　　　#haproxy 调试级别，建议只在开启单进程的时候调试
　　#quiet

########默认配置############
defaults
　　log global
　　mode http 　　　　　　　　　　　　　　#默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK
　　option httplog 　　　　　　　　　　　　#日志类别,采用httplog
　　option dontlognull 　　　　　　　　　　#不记录健康检查日志信息
　　retries 2 　　　　　　　　　　　　　　#两次连接失败就认为是服务器不可用，也可以通过后面设置
　　#option forwardfor 　　　　　　　　　　#如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip
　　option httpclose 　　　　　　　　　　#每次请求完毕后主动关闭http通道,chaproxy不支持keep-alive,只能模拟这种模式的实现
　　#option redispatch 　　　　　　　　#当serverId对应的服务器挂掉后，强制定向到其他健康的服务器，以后将不支持
　　option abortonclose 　　　　　　#当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接
　　maxconn 4096 　　　　　　　　　　#默认的最大连接数
　　timeout connect 5000ms 　　　　#连接超时
　　timeout client 30000ms 　　　　#客户端超时
　　timeout server 30000ms 　　　　　　#服务器超时
　　#timeout check 2000 　　　　　　　　#心跳检测超时
　　#timeout http-keep-alive10s 　　　　#默认持久连接超时时间
　　#timeout http-request 10s 　　　　　　#默认http请求超时时间
　　#timeout queue 1m 　　　　　　　　#默认队列超时时间
　　balance roundrobin 　　　　　　　　　　#设置默认负载均衡方式，轮询方式
　　#balance source 　　　　　　　　　　#设置默认负载均衡方式，类似于nginx的ip_hash
　　#balnace leastconn 　　　　　　　　#设置默认负载均衡方式，最小连接数

########统计页面配置########
listen stats
　　bind 0.0.0.0:1080 　　　　　　　　#设置Frontend和Backend的组合体，监控组的名称，按需要自定义名称
　　mode http 　　　　　　　　　　　　#http的7层模式
　　option httplog 　　　　　　　　　　#采用http日志格式
　　#log 127.0.0.1 local0 err 　　　　#错误日志记录
　　maxconn 10 　　　　　　　　　　　　#默认的最大连接数
　　stats refresh 30s 　　　　　　　　#统计页面自动刷新时间
　　stats uri /stats 　　　　　　　　#统计页面url
　　stats realm XingCloud\ Haproxy 　　#统计页面密码框上提示文本
　　stats auth admin:admin 　　　　　　#设置监控页面的用户和密码:admin,可以设置多个用户名
　　stats auth Frank:Frank 　　　　　　#设置监控页面的用户和密码：Frank
　　stats hide-version 　　　　　　　　#隐藏统计页面上HAProxy的版本信息
　　stats admin if TRUE 　　　　　　#设置手工启动/禁用，后端服务器(haproxy-1.4.9以后版本)

########设置haproxy 错误页面#####
#errorfile 403 /home/haproxy/haproxy/errorfiles/403.http
#errorfile 500 /home/haproxy/haproxy/errorfiles/500.http
#errorfile 502 /home/haproxy/haproxy/errorfiles/502.http
#errorfile 503 /home/haproxy/haproxy/errorfiles/503.http
#errorfile 504 /home/haproxy/haproxy/errorfiles/504.http

########frontend前端配置##用来匹配接收客户端所请求的域名############
frontend main
　　bind *:80 　　　　　　　　　　　　　　#这里建议使用bind *:80的方式，要不然做集群高可用的时候有问题，vip切换到其他机器就不能访问了。
　　acl web hdr(host) -i www.abc.com   #acl后面是规则名称，-i为忽略大小写，后面跟的是要访问的域名，如果访问www.abc.com这个域名，就触发web规则，。
　　acl img hdr(host) -i img.abc.com   #如果访问img.abc.com这个域名，就触发img规则。
　　use_backend webserver if web   #如果上面定义的web规则被触发，即访问www.abc.com，就将请求分发到webserver这个作用域。
　　use_backend imgserver if img   #如果上面定义的img规则被触发，即访问img.abc.com，就将请求分发到imgserver这个作用域。
　　default_backend dynamic       #不满足则响应backend的默认页面

########backend后端配置######定义后端服务器集群，以及后端服务器的一些权重队列连接数等选项的设置########
backend webserver 　　　　　　　　　　　　#webserver作用域,在frontend下指定设置，为自定义的名称，frontend会引用
　　mode http
　　balance roundrobin 　　　　　　　　　　  #balance roundrobin 负载轮询，balance source 保存session值，支持static-rr，leastconn，first，uri等参数
　　option httpchk /index.html HTTP/1.0    #健康检查, 检测文件，如果分发到后台index.html访问不到就不再分发给它
　　server web1 10.16.0.9:8085  cookie 1 weight 5 check inter 2000 rise 2 fall 3
　　server web2 10.16.0.10:8085 cookie 2 weight 3 check inter 2000 rise 2 fall 3
　　#cookie 1表示serverid为1，check inter 1500 是检测心跳频率
　　#rise 2是2次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重

backend imgserver
　　mode http
　　option httpchk /index.php
　　balance roundrobin
　　server img01 192.168.137.101:80 check inter 2000 fall 3
　　server img02 192.168.137.102:80 check inter 2000 fall 3

backend dynamic
　　balance roundrobin
　　server test1 192.168.1.23:80 check maxconn 2000
　　server test2 192.168.1.24:80 check maxconn 2000

listen tcptest
　　bind 0.0.0.0:5222
　　mode tcp
　　option tcplog  #采用tcp日志格式
　　balance source
　　#log 127.0.0.1 local0 debug
　　server s1 192.168.100.204:7222 weight 1
　　server s2 192.168.100.208:7222 weight 1

Haproxy健康检查

#通过监听端口进行健康检查

listen http_proxy 0.0.0.0:80
        mode http
        cookie SERVERID
        balance roundrobin
        option httpchk
        server web1 192.168.1.1:80 cookie server01 check
        server web2 192.168.1.2:80 cookie server02 check inter 500 rise 1 fall 2 

#通过URI获取进行健康检测

这种检测方式，是用过去GET后端server的的web页面，基本上可以代表后端服务的可用性。

listen http_proxy 0.0.0.0:80
        mode http
        cookie SERVERID
        balance roundrobin
        option httpchk GET /index.html
        server web1 192.168.1.1:80 cookie server01 check
        server web2 192.168.1.2:80 cookie server02 check inter 500 rise 1 fall 2
 相关配置
option httpchk <method><uri><version>

　　#通过request获取的头部信息进行匹配进行健康检测，通过对后端服务访问的头部信息进行匹配检测。

　　listen http_proxy 0.0.0.0:80

　　　　　mode http
　　　　　cookie SERVERID
　　　　　balance roundrobin
　　　　　option httpchk HEAD /index.jsp HTTP/1.1\r\nHost:\ www.xxx.com
　　　　　server web1 192.168.1.1:80 cookie server01 check
　　　　　server web2 192.168.1.2:80 cookie server02 check inter 500 rise 1 fall 2

根据URL后缀进行负载均衡

# 定义一个名叫php_web的acl，当请求的url末尾是以.php结尾的，将会被匹配到，下面两种写法任选其一
acl php_web url_reg /*.php$
#acl php_web path_end .php 

# 定义一个名叫static_web的acl，当请求的url末尾是以.css、.jpg、.png、.jpeg、.js、.gif结尾的，将会被匹配到，下面两种写法任选其一
acl static_web url_reg /*.(css|jpg|png|jpeg|js|gif)$
#acl static_web path_end .gif .png .jpg .css .js .jpeg

# 如果满足策略php_web时，就将请求交予backend php_server
use_backend php_server if php_web

# 如果满足策略static_web时，就将请求交予backend static_server
use_backend static_server if static_web

根据url进行负载均衡

acl invitec url_reg /invitec_pk.do
use_backend b_yxpopo_com_pk if invitec

根据User-Agent实现域名跳转

需求如下:

1：域名www.example.com PC端访问正常显示
2：手机端:Android iPhone 访问首页跳转到wap.example.com,
3：static big_* small_* 这几类文件开头的进行跳转进行跳转效果如下所示:
   访问:http://club.jesse.com/static/20130916/27635260.htm
　　跳转到:http://3g.club.jesse.com/static/20130916/27635260.htm
4:手机端访问:除规则3以外的不跳转:如http://club.xywy.com/top.htm访问URL 不变。

acl static_d path_beg /static /small /big  #匹配XX开始的
acl index_page path_reg ^/$  #匹配首页
acl ua hdr_reg(User-Agent) -i iphone android #匹配User-Agent类型
acl club hdr_reg(host) -i   club.jesse.com #匹配访问的域名
redirect prefix http://3g.club.jesse.com if ua static_d club #匹配相关的ACL策略就进行跳转
redirect prefix http://3g.club.jesse.com if index_page ua club
use_backend club_pool if club

1.6以后版本加入了 resolvers

ACL

########ACL策略定义#########################
1、#如果请求的域名满足正则表达式返回true -i是忽略大小写
acl denali_policy hdr_reg(host) -i ^(www.inbank.com|image.inbank.com)$

2、#如果请求域名满足www.inbank.com 返回 true -i是忽略大小写
acl tm_policy hdr_dom(host) -i www.inbank.com

3、#在请求url中包含sip_apiname=，则此控制策略返回true,否则为false
acl invalid_req url_sub -i sip_apiname=#定义一个名为invalid_req的策略

4、#在请求url中存在timetask作为部分地址路径，则此控制策略返回true,否则返回false
acl timetask_req url_dir -i timetask

5、#当请求的header中Content-length等于0时返回 true
acl missing_cl hdr_cnt(Content-length) eq 0

#########acl策略匹配相应###################
1、#当请求中header中Content-length等于0 阻止请求返回403
block if missing_cl

2、#block表示阻止请求，返回403错误，当前表示如果不满足策略invalid_req，或者满足策略timetask_req，则阻止请求。
block if !invalid_req || timetask_req

3、#当满足denali_policy的策略时使用denali_server的backend
use_backend denali_server if denali_policy

4、#当满足tm_policy的策略时使用tm_server的backend
use_backend tm_server if tm_policy

5、#reqisetbe关键字定义，根据定义的关键字选择backend
reqisetbe ^Host:\ img dynamic
reqisetbe ^[^\ ]*\ /(img|css)/ dynamic
reqisetbe ^[^\ ]*\ /admin/stats stats

6、#以上都不满足的时候使用默认mms_server的backend
default_backend mms

启动Haproxy并验证

/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg 　　　　#启动

#查看状态

http://ip:1080/stats　　　　#配置文件listen已定义

优化

查看Tcp连接数和占用内存

[root@bogon ~]# ss -s && free -g
Total: 337 (kernel 359)
TCP:   294 (estab 9, closed 258, orphaned 0, synrecv 0, timewait 257/0), ports 0

Transport Total     IP        IPv6
*      359       -         -
RAW      0         0         0
UDP      12        6         6
TCP      36        18        18
INET      48        24        24
FRAG      0         0         0        

              total        used        free      shared  buff/cache   available
Mem:             15           4           0           0          10          10
Swap:             0           0           0

由上图可知tcp连接数为36 内存使用4G

Haproxy TCP端口耗尽解决方案

实际使用过程中的问题：

• TCP端口耗尽
• 网卡带宽跑满

优化一：使用尽可能多的端口

Linux系统默认提供了65K个端口，每当Haproxy建立了一个到MySQL的连接，就会消耗一个端口；当Haproxy断开和MySQL的连接时，该端口并不会立即释放，而是会处于TIME_WAIT状态（2*MSL），超时后才会释放此端口供新的连接使用。
tcp_fin_timeout为15秒，也就是说如果环境中的haproxy可以承载的最大并发连接数为64K/(15*2)=2.1K，可实际上达不到这个上限，原因如下：

net.ipv4.ip_local_port_range = 15000 65000

linux会保留一段端口，实际能参与分配的端口数只有50K，为了获得尽可能多的可分配端口，做如下调整：

# sysctl net.ipv4.ip_local_port_range="1025 65000"
# sysctl net.ipv4.ip_local_port_range="1025 65000"

#记得修改/etc/sysctl.conf中对应的内容

优化二：复用处于TIME_WAIT的端口

调整两个参数：

net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1 

第一个参数很安全，可以不用过多关注。需要注意的是第二个参数，某些情况下会导致数据包被丢弃。
例如：client通过NAT连接haproxy，并且haproxy端打开了tcp_tw_recycle,同时saw_tstamp也没有关闭，当第一个连接建立并关闭后，此端口(句柄)处于TIME_WAIT状态，在2*MSL时间内又一个client(相同IP，如果打开了xfrm还要相同PORT)发一个syn包，此时linux内核就会认为这个数据包异常，从而丢掉这个包,并发送rst包.
不过通常情况下，client都是通过内网直接连接haproxy，所以可以认为tcp_tw_recycle是安全的，只是需要记住此坑。

优化三：缩短TIME_WAIT时间

Linux系统默认MSL为60秒，也就是正常情况下，120秒后处于TIME_WAIT的端口（句柄）才会释放，可以将MSL的时间缩小，缩短端口的释放周期。

# cat /proc/sys/net/ipv4/tcp_fin_timeout
60
# echo 15 > /proc/sys/net/ipv4/tcp_fin_timeout
#这是一个折中的数值，太小也会导致其它问题

优化四：使用多IP

如优化一中所说，我们已经尽可能多的使用了系统提供的端口范围。但最多依然不超过65K。
Haproxy提供了内建的端口管理方法，可以充分利用以扩大我们的端口范围。

server mysql0     10.0.3.1:3306 check source 10.0.3.100:1025-65000
server mysql1     10.0.3.1:3306 check source 10.0.3.101:1025-65000

如果使用两个ip，我们可用的端口数就接近130K。扩展多个IP，就可以不断增加端口数。