haproxy 安装与配置

一. Haproxy 介绍

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。根据官方数据，其最高极限支持10G的并发。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。

其支持从4层至7层的网络交换，即覆盖所有的TCP协议。就是说，Haproxy 甚至还支持 Mysql 的均衡负载。如果说在功能上，能以proxy反向代理方式实现 WEB均衡负载，这样的产品有很多。包括 Nginx，ApacheProxy，lighttpd，Cheroke 等。

但要明确一点的，Haproxy并不是Http服务器。以上提到所有带反向代理均衡负载的产品，都清一色是WEB服务器。简单说，就是他们能自个儿提供静态(html,jpg,gif..)或动态(php,cgi..)文件的传输以及处理。而Haproxy仅仅，而且专门是一款的用于均衡负载的应用代理。其自身并不能提供http服务。

HAProxy的算法有如下8种：

1. roundrobin，表示简单的轮询

2. static-rr，表示根据权重，

3. leastconn，表示最少连接者先处理，

4. source，表示根据请求源IP，

5. uri，表示根据请求的URI；

6. url_param，表示根据请求的URl参数'balance url_param' requires an URL parameter name

7. hdr(name)，表示根据HTTP请求头来锁定每一次HTTP请求；

8. rdp-cookie(name)，表示根据据cookie(name)来锁定并哈希每一次TCP请求。

二. Haproxy 编译安装

1. 编译安装

tar zxf haproxy-1.4.22.tar.gz

tar zxf keepalived-1.2.7.tar.gz

uname -r

make TARGET=linux26 PREFIX=/usr/local/haproxy

make install PREFIX=/usr/local/haproxy

2. cp模板文件

cp -ar examples /usr/local/haproxy/

rsync -arvz /usr/local/haproxy/share/man /usr/share/

cp -ar tests /usr/local/haproxy/

cp doc/configuration.txt /usr/local/haproxy/

rsync -arvz soft/haproxy-1.4.22/examples/errorfiles /usr/local/haproxy/

cp examples/haproxy.cfg /usr/local/haproxy/etc/

cp examples/haproxy.init /etc/init.d/haproxy

3. Init 脚本的配置,需要修改,在后面介绍

chmod a+x /etc/init.d/haproxy

chkconfig --add haproxy

4. selinux 的配置

#yum install selinux-policy-devel

#cd contrib/selinux/

#make -f /usr/share/selinux/devel/Makefile

#sudo semodule -i haproxy.pp

#restorecon /usr/sbin/haproxy /etc/haproxy/haproxy.cfg /var/run/haproxy.pid /var/run/haproxy.sock*

#mkdir /usr/local/haproxy/etc

4. 日志支持，接口和你自己定义的有关系

#vim /etc/syslog.conf

local3.* /var/log/haproxy.log

local0.* /var/log/haproxy.log

#vim /etc/sysconfig/syslog

SYSLOGD_OPTIONS="-r -m 0"

#service syslog restart

5. Haproxy的相关启动参数

# /usr/local/haproxy/sbin/haproxy –help

haproxy -f < 配置文件>

[-n 最大并发连接总数] [-N 每个侦听的最大并发数] [-d] [-D] [-q] [-V] [-c] [-p ] [-s] [-l] [-dk]

[-ds] [-de] [-dp] [-db] [-m < 内存限制M>] [{-sf|-st} pidlist...]

-d 前台，debug模式

-D daemon模式启动

-q 安静模式,不输出信息

-V 详细模式

-c 对配置文件进行语法检查

-s 显示统计数据

-l 显示详细统计数据

-dk 不使用kqueue

-ds 不使用speculative epoll

-de 不使用epoll

-dp 不使用poll

-db 禁用后台模式，程序跑在前台

-sf 程序启动后向pidlist里的进程发送FINISH信号，这个参数放在命令行的最后

-st 程序启动后向pidlist里的进程发送TERMINATE信号，这个参数放在命令行的最后

列:

# /usr/local/haproxy/sbin/haproxy -c -f /usr/local/haproxy/etc/haproxy.cfg # 对haproxy 语法做检查

# /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/etc/haproxy.cfg -sf `cat /var/run/haproxy.pid` # reload

# killall haproxy 或者 kill -9 `pidof haproxy`

三. Haproxy 配置文件解说

# cat /usr/local/haproxy/etc/haproxy.cfg

####################全局配置信息#############参数是进程级的，通常和操作系统（OS）相关#########

global

maxconn 20480 #默认最大连接数

log 127.0.0.1 local3 #[err warning info debug]

chroot /usr/local/haproxy #chroot运行的路径

uid 99 #所属运行的用户uid

gid 99 #所属运行的用户组

daemon #以后台形式运行haproxy

nbproc 1 #进程数量(可以设置多个进程提高性能)

pidfile /var/run/haproxy.pid #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件

ulimit-n 65535 #ulimit的数量限制

#####################默认的全局设置##############这些参数可以被利用配置到frontend，backend，listen组件##

defaults

log global

mode http #所处理的类别 (#7层 http;4层tcp )

maxconn 20480 #最大连接数

option httplog #日志类别http日志格式

option httpclose #每次请求完毕后主动关闭http通道

option dontlognull #不记录健康检查的日志信息

option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip

option redispatch #serverId对应的服务器挂掉后,强制定向到其他健康的服务器

option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的连接

stats refresh 30 #统计页面刷新间隔

retries 3 #3次连接失败就认为服务不可用，也可以通过后面设置

balance roundrobin #默认的负载均衡的方式,轮询方式

#balance source #默认的负载均衡的方式,类似nginx的ip_hash,可以固定session

#balance leastconn #默认的负载均衡的方式,最小连接

contimeout 5000 #连接超时5s , 单位是ms

clitimeout 50000 #客户端超时

srvtimeout 50000 #服务器超时

timeout check 2000 #心跳检测超时

#注: 时间的设置,单位为毫秒ms

1ms = 1/1000 second

1m = 60s = 60000 ms

1h = 60m = 3600s

1d = 24h = 1440m = 86400s = 864000000ms

####################监控页面的设置#######################

listen admin_status #Frontend和Backend的组合体,监控组的名称，按需自定义名称

bind :65532 #监听端口

mode http #http的7层模式

log 127.0.0.1 local3 err #错误日志记录

stats refresh 5s #每隔5秒自动刷新监控页面

stats uri /admin?stats #监控页面的url

stats realm Haproxy\ Statistics #监控页面的提示信息

stats auth yangcan:yangcan #监控页面的用户和密码yangcan,可以设置多个用户名

#stats auth admin:admin #监控页面的用户和密码admin

stats hide-version #隐藏统计页面上的HAproxy版本信息

stats admin if TRUE #手工启用/禁用,后端服务器(haproxy-1.4.9以后版本)

#######################网站监测listen配置#####################

###########此用法主要是监控haproxy后端服务器的监控状态############

listen site_status

bind :1081 #监听端口

mode http #http的7层模式

log 127.0.0.1 local3 err #[err warning info debug]

monitor-uri /site_status #网站健康检测URL，用来检测HAProxy管理的网站是否可以用，正常返回200，不正常返回503

acl site_dead nbsrv(server_web) lt 2 #定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于2台时返回true

acl site_dead nbsrv(server_blog) lt 2

acl site_dead nbsrv(server_bbs) lt 2

monitor fail if site_dead #当满足策略的时候返回503，网上文档说的是500，实际测试为503

monitor-net 10.0.0.103/24 #来自10.0.0.103的日志信息不会被记录和转发

monitor-net 10.0.0.25/24

########frontend配置############

#####注意，frontend配置里面可以定义多个acl进行匹配操作########

frontend http_80_in

bind :80 #监听端口，即haproxy提供web服务的端口，和lvs的vip端口类似

mode http #http的7层模式

log global #应用全局的日志配置

option httplog #启用http的log

option httpclose #每次请求完毕后主动关闭http通道，HA-Proxy不支持keep-alive模式

option forwardfor #如果后端服务器需要获得客户端的真实IP需要配置次参数，将可以从Http Header中获得客户端IP

errorfile 403 /etc/haproxy/errorfiles/403.http

errorfile 500 /etc/haproxy/errorfiles/500.http

errorfile 502 /etc/haproxy/errorfiles/502.http

errorfile 503 /etc/haproxy/errorfiles/503.http

errorfile 504 /etc/haproxy/errorfiles/504.http

################# HAProxy的日志记录内容设置 ###################

capture request header Host len 40

capture request header Content-Length len 10

capture request header Referer len 200

capture response header Server len 40

capture response header Content-Length len 10

capture response header Cache-Control len 8

########acl策略配置#############

acl baby_web hdr_reg(host) -i ^(blog80.baby.local |station80.baby.local)$

#如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写,主要用于redirect到www80.baby.local上;

acl baby_blog hdr_dom(host) -i www80.baby.local

#如果请求的域名满足www80.baby.local 返回true -i是忽略大小写

#acl baby hdr(host) -i baby.local

#如果请求的域名满足baby.local 返回true -i是忽略大小写

#acl file_req url_sub -i killall=

#在请求url中包含killall=，则此控制策略返回true,否则为false

#acl dir_req url_dir -i allow

#在请求url中存在allow作为部分地址路径，则此控制策略返回true,否则返回false

#acl missing_cl hdr_cnt(Content-length) eq 0

#当请求的header中Content-length等于0时返回true

########acl策略匹配相应#############

#block if missing_cl

#当请求中header中Content-length等于0阻止请求返回403

#block if !file_req || dir_req

#block表示阻止请求，返回403错误，当前表示如果不满足策略file_req，或者满足策略dir_req，则阻止请求

redirect prefix http://www80.baby.local code 301 if baby

#当访问itnihao.cn的时候，用http的301挑转到http://10.0.0.103

reqisetbe ^[^\]*\/(img|css)/ server_web

reqisetbe ^[^\]*\/bbs/ server_blog

# reqisetbe 关键字定义,根据定义的关键字选择backend

use_backend server_web if baby_web

#当满足baby_web的策略时使用server_web的backend

use_backend server_blog if baby_log

#当满足baby_log的策略时使用server_blog的backend

default_backend server_bbs

#以上都不满足的时候使用默认server_bbs的backend

# 注: redirect 和 reqisetbe 需要放置在 use_backend 之前

##########backend的设置##############

#下面我将设置三组服务器 server_web，server_blog，server_bbs

###########################backend server_web#############################

backend server_web

mode http #http的7层模式

balance roundrobin #负载均衡的方式，roundrobin平均方式

cookie SERVERID #允许插入serverid到cookie中，serverid后面可以定义

option httpchk GET /index.html #心跳检测的文件

server web1 10.0.0.25:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1

#服务器定义，cookie 1表示serverid为web1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，

#fall 3是3次失败认为服务器不可用，weight代表权重

server web2 10.0.0.103:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2

#服务器定义，cookie 1表示serverid为web2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，

#fall 3是3次失败认为服务器不可用，weight代表权重

###################################backend server_blog###############################################

backend server_blog

mode http

balance roundrobin

cookie SERVERID

option httpchk GET /index.html

server blog1 10.0.0.25:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1

server blog2 10.0.0.103:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2

###################################backend server_bbs###############################################

backend server_bbs

mode http

balance roundrobin

cookie SERVERID

option httpchk GET /index.html

server bbs1 10.0.0.25:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1

server bbs2 10.0.0.103:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2

################################### 虚拟主机的配置支持###############################################

listen blog80.baby.local 0.0.0.0:80

mode http

balance roundrobin

cookie SERVERID

option httpchk GET /index.html

server bbs1 10.0.0.25:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1

server bbs2 10.0.0.103:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2

listen bbs.baby.local 0.0.0.0:80

mode http

balance roundrobin

cookie SERVERID

option httpchk GET /index.html

server bbs1 10.0.0.25:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1

server bbs2 10.0.0.103:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2

四. Haproxy init 启动脚本

[root@www80 ~]# cat /etc/init.d/haproxy

#!/bin/sh

# chkconfig: - 85 15

# description: HA-Proxy is a TCP/HTTP reverse proxy which is particularly suited \

# for high availability environments.

# processname: haproxy

# config: /etc/haproxy/haproxy.cfg

# pidfile: /var/run/haproxy.pid

# Script Author: Simon Matter <simon.matter@invoca.ch>

# Version: 2004060600

# Source function library.

if [ -f /etc/init.d/functions ]; then

. /etc/init.d/functions

elif [ -f /etc/rc.d/init.d/functions ] ; then

. /etc/rc.d/init.d/functions

else

exit 0

# Source networking configuration.

. /etc/sysconfig/network

# Check that networking is up.

[ ${NETWORKING} = "no" ] && exit 0

HAPROXYDIR=/usr/local/haproxy

BASENAME=haproxy

# This is our service name

#BASENAME=`basename $0`

#if [ -L $0 ]; then

# BASENAME=`find $0 -name $BASENAME -printf %l`

# BASENAME=`basename $BASENAME`

#fi

[ -f $HAPROXYDIR/etc/$BASENAME.cfg ] || exit 1

RETVAL=0

start() {

$HAPROXYDIR/sbin/$BASENAME -c -q -f $HAPROXYDIR/etc/$BASENAME.cfg

if [ $? -ne 0 ]; then

echo "Errors found in configuration file, check it with '$BASENAME check'."

return 1

echo -n "Starting $BASENAME: "

daemon $HAPROXYDIR/sbin/$BASENAME -D -f $HAPROXYDIR/etc/$BASENAME.cfg -p /var/run/$BASENAME.pid

RETVAL=$?

echo

[ $RETVAL -eq 0 ] && touch /var/lock/subsys/$BASENAME

return $RETVAL

}

stop() {

echo -n "Shutting down $BASENAME: "

killproc $BASENAME -USR1

RETVAL=$?

echo

[ $RETVAL -eq 0 ] && rm -f /var/lock/subsys/$BASENAME

[ $RETVAL -eq 0 ] && rm -f /var/run/$BASENAME.pid

return $RETVAL

}

restart() {

$HAPROXYDIR/sbin/$BASENAME -c -q -f $HAPROXYDIR/etc/$BASENAME.cfg

if [ $? -ne 0 ]; then

echo "Errors found in configuration file, check it with '$BASENAME check'."

return 1

stop

start

}

reload() {

$HAPROXYDIR/sbin/$BASENAME -c -q -f $HAPROXYDIR/etc/$BASENAME.cfg

if [ $? -ne 0 ]; then

echo "Errors found in configuration file, check it with '$BASENAME check'."

return 1

$HAPROXYDIR/sbin/$BASENAME -D -f $HAPROXYDIR/etc/$BASENAME.cfg -p /var/run/$BASENAME.pid -sf $(cat /var/run/$BASENAME.pid)

}

check() {

$HAPROXYDIR/sbin/$BASENAME -c -q -V -f $HAPROXYDIR/etc/$BASENAME.cfg

}

rhstatus() {

status $BASENAME

}

condrestart() {

[ -e /var/lock/subsys/$BASENAME ] && restart || :

}

# See how we were called.

case "$1" in

start)

start

;;

stop)

stop

;;

restart)

restart

;;

reload)

reload

;;

condrestart)

condrestart

;;

status)

rhstatus

;;

check)

check

;;

echo $"Usage: $BASENAME {start|stop|restart|reload|condrestart|status|check}"

exit 1

esac

exit $?

五. Haproxy 测试

///////////////////////// 测试 roundrobin 算法 ///////////////////////////////

# for i in $(seq 10)

curl http://www80.baby.local/index.html

done

++++++++++++++++++++++++++

nameserver 10.0.0.25

node 103

nameserver 10.0.0.25

node 103

nameserver 10.0.0.25

node 103

nameserver 10.0.0.25

node 103

nameserver 10.0.0.25

node 103

六. Haproxy 维持session 的三种方法

1. session知识储备

Session是由应用服务器维持的一个服务器端的存储空间，用户在连接服务器时，会由服务器生成一个唯一的SessionID,用该SessionID 为标识符来存取服务器端的Session存储空间。

而SessionID这一数据则是保存到客户端，用Cookie保存的，用户提交页面时，会将这一 SessionID提交到服务器端，来存取Session数据。服务器也通过URL重写的方式来传递SessionID的值，因此不是完全依赖Cookie。如果客户端Cookie禁用，则服务器可以自动通过重写URL的方式来保存Session的值，并且这个过程对程序员透明。

2. Php.ini 设置

php.ini 里几个session相关值的其它的值请参考《PHP与Mysql5程序设计》

session.use_cookies = 1 #表示服务端和客户端交互session是通过cookie的方式默认值

session.name = PHPSESSID #默认值是PHPSESSID

session.cache_limiter = nocache #此设置确保对每个请求，在可能提供缓存的版本前，先请求发送到最初的服务器。这个值联系到下文中 cookie识别中的相关参数

3. haproxy三种方法保持客户端session一致

3.1 用户IP 识别

haroxy 将用户IP经过hash计算后指定到固定的真实服务器上（类似于nginx 的IP hash 指令）

balance source

3.2 cookie 识别

haproxy 将WEB服务端发送给客户端的cookie中插入(或添加加前缀)haproxy定义的后端的服务器COOKIE ID。

cookie SESSION_COOKIE insert indirect nocache

用firebug可以观察到用户的请求头的cookie里有类似" Cookie PHPSESSID=0bc588656ca05ecf7588c65f9be214f5; SESSION_COOKIE=12" SESSION_COOKIE=12就是haproxy添加的内容

3.3 session 识别

haproxy 将后端服务器产生的session和后端服务器标识存在haproxy中的一张表里。客户端请求时先查询这张表。

appsession PHPSESSID len 64 timeout 5h request-learn

4. 测试seesion 固定, 这是一个php脚本,

<?php

session_start();

$_SESSION['time'] =date("Y:m:d:H:s",time());

echo "本次访问时间"."".$_SESSION['time'].""." ";

echo "访问的服务器地址是"."".$_SERVER['SERVER_ADDR'].""." ";

echo "访问的服务器域名是"."".$_SERVER['SERVER_NAME'].""." ";

echo "SESSIONNAME是"."".session_name().""." ";

echo "SESSIONID是"."".session_id().""." ";

七. Haproxy + keepalived 的高可用

1. Keepalived 的编译安装

tar zxf keepalived-1.2.7.tar.gz

cd keepalived-1.2.7

./configure --sysconfdir=/etc

make && make install

2. 配置文件

# vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

notification_email {

root@www80.baby.local

}

notification_email_from root@www80.baby.local

smtp_server 127.0.0.1

smtp_connect_timeout 30

router_id LVS_DEVEL

}

vrrp_script chk_haproxy {

script "killall -0 haproxy"

interval 2

weight 2

}

vrrp_instance VI_1 {

state MASTER # 在备份机器上改成BACKUP

interface eth0

virtual_router_id 51

priority 100 # 备份机器优先级比100要低

advert_int 2

grap_master_delay 1

authentication {

auth_type PASS

auth_pass yangcan

}

track_interface {

eth0

}

virtual_ipaddress {

10.0.0.144

}

track_script {

chk_haproxy

}

# notify_master "/etc/keepalived/Mailnotify.py master"

# notify_backup "/etc/keepalived/Mailnotify.py backup"

# notify_fault "/etc/keepalived/Mailnotify.py fault"

}