nginx+tomcat负载均衡

最近练习nginx+tomcat负载均衡。根据一些资料整理了大体思路，最终实现了1个nginx+2个tomcat负载均衡。

安装JDK

1》进入安装目录，给所有用户添加可执行的权限

#chmod +x jdk-7u67-linux-i586.rpm //不知这步有没有必要

2》安装JDK

输入命令#rpm –ivh jdk-7u67-linux-i586.rpm

安装完成后在/usr/目录下生成java目录，就是JDK的安装目录。# cd /usr/java

3》配置环境变量

#vi /etc/profile

这里要注意linux系统中的分隔符为冒号，而不时Windows中的分号

#set java environment

JAVA_HOME=/usr/java/jdk1.7.0_67

JAVA_BIN=/usr/java/jdk1.7.0_67/bin

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME JAVA_BIN PATH CLASSPATH

保存退出。

4》要使JDK在所有的用户中使用，可以这样： 
vi /etc/profile.d/java.sh 
在新的java.sh中输入以下内容： 
#set java environment

JAVA_HOME=/usr/java/jdk1.7.0_67

JAVA_BIN=/usr/java/jdk1.7.0_67/bin

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME JAVA_BIN PATH CLASSPATH

保存退出，然后给java.sh分配权限：chmod 755
/etc/profile.d/java.sh

32位JDK记得要给 JAVA_HOME/bin  下的所有.sh 脚本赋予执行权限  chmod 777 *  ，今天就是没有赋予x权限，一直找不到which 
java。

64位
JAVA_HOME/bin  下的所有文件赋予执行权限 
chmod 777 * 。

5》刷新环境变量

source /etc/profile，如果没有提示错误，证明配置ok

可以通过echo $CLASSPATH来查看环境配置

$echo $JAVA_HOME 应出现/usr/jdk1.8.0_60
查看JAVA_HOME是否配置成功

6》检查环境变量

7》检查JDK是否安装成功。

执行java,javac,java –version，如果可以打印出相应的信息，则说明jdk安装成功

安装TOMCAT

安装TOMCAT只需要将TOMCAT解压缩即可（一般情况下，Linux自带有解压缩.gz，.tar格式文件的工具，双击即可），存放在自定义目录中，笔者自定义目录为： /usr/tomcat

然后可以设置TOMCAT_HOME环境变量（上文中已经设置）。进入$OMCAT/bin目录，执行./startup.sh命令，即可启动TOMCAT，执行命令后可以看到一些TOMCAT的环境变量：

1》在/opt目录下,然后在终端执行命令:
# tar –zxv -f apache-tomcat-8.0.24.tar.gz

2》改文件名:

# mv apache-tomcat-8.0.24 tomcat8

3》设置环境变量（略过仍可安装成功）

在/usr/local/tomcat1/bin/catalina.sh中添加JAVA_HOME=/usr/java/jdk1.7.0_67

# vi /etc/profile 用vi编辑器打开该文件进行编辑(添加环境变量)
然后在文件的最尾部加入以下代码:
CATALINA_HOME=/opt/tomcat8

export CATALINA_HOME 
保存退出.
4》到这里TOMCAT的安装已经完成,现在我们来测试下是否安装成功. 现在在终端运行命令:
# /opt/tomcat/bin/startup.sh 开启TOMCAT服务器

启动tomcat #   ./startup.sh
关闭tomcat #   ./shutdown.sh
查看是否启动成功可以输入ps axuwf | grep java,如果出现一大堆结果,就是启动成功了

$cat /usr/tomcat/logs/catalina.out查看日志得知Tomcat是否正常启动

$links -dump http://localhost:8080/ 发送HTTP请求看Tomcat是否正常启动

然后打开浏览器,输入 http://localhost:8080 如果你看到那只可爱的小猫了,就证明安装成功了!

5》复制一个tomcat2

#分别修改tomcat1和tomcat2 端口，这里有三个端口需要修改，分别如下：

shutdown 端口：8005  主要负责启动关闭.

ajp端口：8009 主要负责通过ajp均衡（常用于apache和tomcat整合）

http端口：8080 可以通过web页面直接访问（nginx+tomcata整合）

#注* 如果tomcat1三个端口分别为：8005 8009 8080 ,那么tomcat2端口在此基础上都+1，即为：8006 9009 8081

#一台服务器上，端口不能重复，否则会报错。

#修改完端口后，然后启动两个tomcat，启动命令为：

/usr/local/tomcat1/bin/startup.sh

/usr/local/tomcat2/bin/startup.sh

#如何提示没有这个文件或者权限不足，需要tomcat 的bin目录对sh文件赋予执行权限：chmod o+x   *.sh

#启动后，使用netstat -tnl 可以看到6个端口，即代表tomcat1 tomcat2成功启动。你可以使用http://ip:8080  http://ip:8081访问tomcat默认页面。

3.安装Nginx
Nginx官网：http://nginx.org/
下载最新稳定版本。在安装Nginx之前，需要先安装gcc、 openssl、 pcre和zlib软件库。 Nginx依赖一些其他PCRE、openssl（依赖libssl-dev）

1.1安装gcc、gcc-c++
安装命令：
#yum install gcc
#yum install gcc-c++

1.2安装openssl
openssl官网：http://www.openssl.org/
安装版本：openssl-1.0.1i.tar.gz
安装命令：
#tar -zxvf openssl-1.0.1i.tar.gz
#cd openssl-1.0.1i
#./config --prefix=/usr/local/openssl-1.0.1i    #prefix指定安装目录
#make
#make install
【注意】：此处使用的是config命令，而不是平常的configure命令
安装完成后，到/usr/local/下查看是否安装成功。如果安装出错，需要重新加压缩，重新安装。

1.3安装pcre

Pcre的作用主要是使nginx支持HTTP
rewrite模块。

pcre官网：http://www.pcre.org/
安装版本：pcre-8.35.tar.gz
安装命令：
#tar -zxvf pcre-8.35.tar.gz
#cd pcre-8.35
#./configure --prefix=/usr/local/pcre-8.35    #prefix指定安装目录
#make
#make install
安装完成后，到/usr/local/下查看是否安装成功。如果安装出错，需要重新加压缩，重新安装。

【注意】：如果没有安装c++编译器，这个软件的安装会报错！

1.4安装zlib
zlib官网：http://www.zlib.net/
安装版本：zlib-1.2.8.tar.gz
安装命令：
#tar -zxvf zlib-1.2.8.tar.gz
#cd zlib-1.2.8
#./configure --prefix=/usr/local/zlib-1.2.8    #prefix指定安装目录
#make
#make install
安装完成后，到/usr/local/下查看是否安装成功。如果安装出错，需要重新加压缩，重新安装

1.5安装Nginx
安装版本：nginx-1.6.1.tar.gz
安装命令：
#tar -zxvf nginx-1.6.1.tar.gz
#cd nginx-1.6.1
#./configure

--prefix=/usr/local/nginx
                #prefix指定安装目录

--with-openssl=/usr/local/src/openssl-1.0.0s
#指的是openssl源码路径

--with-pcre=/usr/local/src/pcre-8.36       #指的是pcre的源码路径

--with-zlib=/usr/local/src/zlib-1.2.8
       #指的是zlib 的源码路径

--with-http_ssl_module

./configure
--prefix=/usr/local/nginx --with-openssl=/usr/local/src/openssl-1.0.0s
--with-pcre=/usr/local/src/pcre-8.36 --with-zlib=/usr/local/src/zlib-1.2.8
--with-http_ssl_module

#make
#make install
安装完成后，到/usr/local/下查看是否安装成功。如果安装出错，需要重新加压缩，重新安装。

注意：安装成功启动nginx，有可能会遇到下面错误，
[root@node1 nginx-1.5.8]# /data/nginx/sbin/nginx -t 
/data/nginx/sbin/nginx: error while loading shared libraries: libpcre.so.1:
cannot open shared object file: No such file or directory

解决办法：
[root@node1 ~]# cd /lib64/ 
[root@node1 lib64]# ln -s libpcre.so.0.0.1 libpcre.so.1

#Nginx安装完毕，然后使用命令:/usr/local/nginx/sbin/nginx -t 测试OK，代表nginx安装成功。

/usr/local/nginx/sbin/nginx 回车启动nginx，可以通过访问http://ip/看到nginx默认页面。

1.6编写启动脚本

Vi nginx.sh

#!/bin/sh

CWD=`pwd`

case $1 in
        start)
               
/nginx/sbin/nginx;
                       
;;
        stop)
               
kill -2 `ps -ef|grep "/nginx/sbin/nginx"|grep -v "grep"|awk
'{print $2}' `
                       
;;
        restart)
               
cd "$CMD"
               
$0 stop
               
$0 start
        ;;
        *)
        echo $"Usage: $0
{start|stop|restart}"
        exit 1
esac
exit 0

1.7关闭防火墙

（1）
重启后永久性生效：

开启：chkconfig iptables on

关闭：chkconfig iptables off

（2）
即时生效，重启后失效：

开启：service iptables start

关闭：service iptables stop

需要说明的是对于Linux下的其它服务都可以用以上命令执行开启和关闭操作。

1.7配置Nginx
配置文件目录：/usr/local/nginx-1.6.1/conf/nginx.conf
#cd /usr/local/nginx-1.6.1/conf
#vi nginx.conf

【修改后的配置文件如下】：
#创建进程的用户和用户组
user llj llj;

#服务进程数量（通常等于CPU数量或者2倍于CPU）

worker_processes 1;

#定义错误日志存放路径，全局错误日志。建议开启error级别日志.[ debug | info | notice | warn | error | crit ]
error_log logs/error.log error;
#error_log logs/error.log  notice;
#error_log logs/error.log  info;

#记录进程ID的文件
pid      logs/nginx.pid;
events {
    #使用网络IO模型。epoll是多路复用IO(I/O Multiplexing)中的一种方式,但是仅用于linux2.6以上内核,可以大大提高nginx的性能.Linux建议使用epoll，FreeBSD建议使用kqueue.
    use epoll;
    #一个worker_processe允许的最大连接数
    worker_connections  1024;
}

http {
    include      mime.types;
  default_type application/octet-stream;

server_names_hash_bucket_size 128;

client_header_buffer_size 32k;

large_client_header_buffers 4 32k;

#定义日志格式

#log_format  main 
'$remote_addr - $remote_user [$time_local]"$request" '
    #                     '$status $body_bytes_sent"$http_referer"
'
    #                     '"$http_user_agent""$http_x_forwarded_for"';

#access_log 
logs/access.log  main;

sendfile 
       on;
    tcp_nopush    on;

#http连接的持续时间
    keepalive_timeout  65;

client_max_body_size 10m;

client_body_buffer_size  128k;

#跟代理服务器连接的超时时间，必须留意这个time
out时间不能超过75秒，当一台服务器当掉时，过10秒转发到另外一台服务器。

proxy_connect_timeout    10;

proxy_read_timeout       60;

proxy_send_timeout       10;

proxy_buffer_size        8k;

proxy_buffers            4 32k;

proxy_busy_buffers_size 64k;

proxy_temp_file_write_size 64k;

# "proxy_busy_buffers_size" must
be less than the size of all "proxy_buffers" minus one buffer

#gzip压缩设置
    #gzip  on;          #开启gzip
    gzip_min_length 1k;  #最小压缩文件大小
    gzip_buffers 4 16k;  #压缩缓冲区
    #http的协议版本(1.0/1.1),默认1.1，前端如果是squid2.5请使用1.0
    gzip_http_version 1.1;
    #gzip压缩比，1压缩比最小处理速度最快，9压缩比最大但处理速度最慢(传输快但比较消耗cpu)
    gzip_comp_level 2;    
    #和http头有关系，加个vary头，给代理服务器用的，有的浏览器支持压缩，有的不支持，所以避免浪费不支持的也压缩，所以根据客户端的HTTP头来判断，是否需要压缩
    gzip_varyon;
    #gzip压缩类型，不用添加text/html，否则会有警告信息
    gzip_types text/plain text/javascript text/css
application/xmlapplication/x-javascript application/json;

#设定负载均衡的服务器列表，可以设置多个upstream，但mysvr名字要区分
    upstream ClusterServer1 {
    #weight参数表示权值，权值越高被分配到的几率越大
      server localhost:8080  weight=5;
      server localhost:8081  weight=5;

}

server {
      #nginx监听的端口号
      listen      80;
      #域名可以有多个，用空格隔开
      server_name  localhost;

#字符编码方式
      charset utf-8;

#设定本虚拟主机的访问日志。关闭日志可以减少IO，提高性能。
      #access_log logs/host.access.log  main;

#默认请求  此处也可对网站进行动静分离的配置
      location / {
          #定义服务器的默认网站根目录位置
          root  html;
          #定义首页索引文件的名称
          index  index.html index.htmindex.jsp;
          #请求转向mysvr 定义的服务器列表
          proxy_pass    http://localhost;
          proxy_redirect off;

proxy_next_upstream http_502 http_504 error timeout invalid_header;

proxy_set_header Host  $host;   #这一句至关重要

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_pass http:// ClusterServer1;

proxy_redirect off;

expires      3d;

}

#error_page 
404              /404.html;

#redirect server error
pages to the static page /50x.html
      #
      error_page  500 502 503 504  /50x.html;
      location = /50x.html {
          root  html;
        }

#proxy the PHP scripts
to Apache listening on 127.0.0.1:80
      #
      #location ~ \.php$ {
      #    proxy_pass  http://127.0.0.1;
      #}

#pass the PHP scripts
to FastCGI server listening on 127.0.0.1:9000
      #
      #location ~ \.php$ {
      #    root         
html;
      #    fastcgi_pass  127.0.0.1:9000;
      #    fastcgi_index  index.php;
      #    fastcgi_param  SCRIPT_FILENAME 
/scripts$fastcgi_script_name;
      #    include       
fastcgi_params;
      #}

#deny access to
.htaccess files, if Apache's document root
      #concurs with nginx's one
      #
      #location ~ /\.ht {
      #    deny  all;
      #}
    }

# anothervirtual host using mix of IP-, name-, and port-based
configuration
    #
    #server {
    #    listen      8000;
    #    listen      somename:8080;
    #    server_name somename  alias 
another.alias;

#    location / {
    #        root  html;
    #        index index.html index.htm;
    #    }
    #}

# HTTPSserver
    #
    #server {
    #    listen      443 ssl;
    #    server_name localhost;

#   
ssl_certificate      cert.pem;
    #    ssl_certificate_key  cert.key;

#   
ssl_session_cache    shared:SSL:1m;
    #    ssl_session_timeout  5m;

#   
ssl_ciphers  HIGH:!aNULL:!MD5;
    #    ssl_prefer_server_ciphers  on;

#    location / {
    #        root  html;
    #        index index.html index.htm;
    #    }
    #}

}

NOTE: proxy_set_header是nginx的http代理模块中的一个指令。

在nginx中的默认proxy是只能对后面real server做端口转发的，而不能做域名转发，即默认的是：
proxy_set_header Host $proxy_host;

我们要通过域名转发就必须改为：
proxy_set_header Host $host;

1.8启动与关闭Nginx
(1)启动
#/usr/local/nginx-1.6.1/sbin/nginx
确保系统的 80 端口没被其他程序占用

重新加载配置文件：
#/usr/local/nginx-1.6.1/sbin/nginx  -s  reload

(2)关闭：
#pkill nginx

(3)检查是否启动成功：
#netstat -ano | grep80 有结果输入说明启动成功

打开浏览器访问此机器的 IP，如果浏览器出现Welcome to nginx! 则表示 Nginx 已经安装并运行成功。如果已经配置了负载均衡服务器，则会看Tomcat中的网站页面。

1.9进行测试
在2个tomcat的webapps目录下建立balance文件夹(不要直接放在webapps下)，在该文件夹下创建
test1.jsp，内容如下：

<%

out.println("hello world!_bytomcat1/tomcat2");

%>

<%

System.out.println("======!!=====");

%>

启动nginx，然后启动2个tomcat，在浏览器中输入http://localhost/balance/test1.jsp，回车后，界面回显hello world，测试成功。

连续快速刷新该页面，会发现在2个tomcat的控制台上都会输出“==========”，此处表明服务器已经实现了负载均衡。

报错Too many open files

http://www.jb51.net/article/35675.htm

104:
Connection reset by peer

(111:
Connection refused) while connecting to upstream

用户在连接成功后读取数据时，若遇到后端upstream挂掉或者不通，会收到该错误

nginx常见内部参数，错误总结

http://www.360doc.com/content/12/1024/11/1073512_243439687.shtml

linux下 nginx 负载均衡 单独访问服务器没问题，通过负载均衡页面加载不了，什么原因？

如果你的代理服务器能与负载服务器ping同的话 并且单独访问负载服务器能成功 就看看
upstream中的访问地址与单独访问的地址是否相同。这个很关键 负载服务器上的war包最好是ROOT形式的。

nginx负载均衡器处理session共享的几种方法

http://www.oschina.net/question/12_621

Nginx+tomcat负载均衡session问题解决

http://www.oschina.net/question/5189_4182/