Tomcat+Nginx+Memcached综合案例

说明

通过Nginx解析静态页面并将动态负载均衡调度给后面的多个Tomcat，Tomcat解析java动态程序。

由于http是无状态的协议，你访问了页面A，然后在访问B，http无法确定这2个访问来自一个人，因此要用cookie或session来跟踪用户，根据授权和用户身份来显示不同的页面。比如用户A登陆了，那么能看到自己的个人信息，而B没登陆，无法看到个人信息。还有A可能在购物，把商品放入购物车，此时B也有这个过程，你无法确定A，B的身份和购物信息，所以需要一个session ID来维持这个过程。所以就用到了session管理。

官网文档

环境规划

主机	hostname	环境
192.168.1.31	nginx.cluster.com	nginx（yum安装）
192.168.1.32	tomcat1.cluster.com	tomcat-9.0
192.168.1.33	tomcat2.cluster.com	tomcat-9.0
192.168.1.34	memcached.cluster.com	memcached（yum安装）

关闭防火墙，selinux；时间同步；host绑定等基本配置 (步骤略)

具体步骤

本案例所使用的tomcat、jdk、和tomcat-session相关的jar包下载地址
链接：https://pan.baidu.com/s/1ESm_RSrFx77kWObmCt1DQw
提取码：f64n

memcached部署

说明：memcached这里不需要配置太多，安装即可，然后检查端口是否处于监听中。tomcat服务器能成功连接即可

[root@memcached ~]# yum -y install memcached

[root@memcached ~]# systemctl enable memcached

[root@memcached ~]# systemctl start memcached

[root@memcached ~]# lsof -i:

COMMAND    PID      USER   FD   TYPE DEVICE SIZE/OFF NODE NAME

memcached  memcached   26u  IPv4        0t0  TCP *:memcache (LISTEN)

memcached  memcached   27u  IPv6        0t0  TCP *:memcache (LISTEN)

memcached  memcached   28u  IPv4        0t0  UDP *:memcache

memcached  memcached   29u  IPv6        0t0  UDP *:memcache

nginx部署

1）安装nginx

[root@nginx ~]# yum -y install nginx

[root@nginx ~]# nginx -v

nginx version: nginx/1.12.

2）配置文件配置

# 创建一个虚拟主机

[root@nginx ~]# vim /etc/nginx/conf.d/www.conf

upstream tomcat {

    server 192.168.1.32: weight=;

    server 192.168.1.33: weight=;

}

server {

    listen        default_server;

    server_name  localhost;

    root         /opt/project;

#已jsp结尾的动态程序调度给tomcat去处理

    location ~.*\.jsp$ {

        proxy_pass http://tomcat;

        proxy_set_header Host $host;

        proxy_set_header X-Forwarded-For $remote_addr;

    }

    error_page  /.html;

        location = /40x.html {

    }

    error_page     /50x.html;

        location = /50x.html {

    }

}

# 创建测试文件

[root@nginx ~]# mkdir /opt/project

[root@nginx ~]# echo "<h1>Nginx IP:192.168.1.31</h1>" >> /opt/project/index.html

tomcat部署

详细安装参考：https://www.cnblogs.com/yanjieli/p/11092350.html
两台tomcat服务器都要执行下面的所有操作，也可以在一台上面执行，然后copy过去。
1）上传软件包到服务器，编写一个临时使用的安装脚本

[root@tomcat1 ~]# cat install_tomcat.sh

#!/bin/bash

#----安装java环境

function InstallJava (){

    tar xf jdk-8u211-linux-x64.tar.gz -C /usr/local/

    ln -s /usr/local/jdk1..0_211 /usr/local/java

    sed -i.ori '$a export JAVA_HOME=/usr/local/java \nexport PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH \nexport CLASSPATH=.$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar' /etc/profile

    source /etc/profile

    java -version

}

#----安装tomcat环境

function InstallTomcat (){

    tar xf apache-tomcat-9.0..tar.gz -C /usr/local/

    ln -s /usr/local/apache-tomcat-9.0. /usr/local/tomcat

    echo "export TOMCAT_HOME=/usr/local/tomcat" >> /etc/profile

    source /etc/profile

}

InstallJava

InstallTomcat

/usr/local/tomcat/bin/startup.sh

2）执行脚本

[root@tomcat1 ~]# bash install_tomcat.sh

java version "1.8.0_211"

Java(TM) SE Runtime Environment (build 1.8.0_211-b12)

Java HotSpot(TM) -Bit Server VM (build 25.211-b12, mixed mode)

Using CATALINA_BASE:   /usr/local/tomcat

Using CATALINA_HOME:   /usr/local/tomcat

Using CATALINA_TMPDIR: /usr/local/tomcat/temp

Using JRE_HOME:        /usr/local/java

Using CLASSPATH:       /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar

Tomcat started.

[root@tomcat1 ~]# ss -nltp |grep :

LISTEN                    :::                    :::*                   users:(("java",pid=,fd=))

LISTEN                    ::ffff:127.0.0.1:                    :::*                   users:(("java",pid=,fd=))

LISTEN                    :::                    :::*                   users:(("java",pid=,fd=))

3）下载memcached-session-manager等相关软件包并copy到tomcat安装目录的lib目录中

[root@tomcat1 ~]# mkdir tools && cd tools

[root@tomcat1 ~]# wget http://repo1.maven.org/maven2/de/javakaffee/msm/memcached-session-manager/2.3.0/memcached-session-manager-2.3.0.jar

[root@tomcat1 ~]# wget http://repo1.maven.org/maven2/de/javakaffee/msm/memcached-session-manager-tc9/2.3.0/memcached-session-manager-tc9-2.3.0.jar

[root@tomcat1 ~]# wget http://repo1.maven.org/maven2/de/javakaffee/msm/msm-kryo-serializer/2.3.0/msm-kryo-serializer-2.3.0.jar

[root@tomcat1 ~]# wget http://repo1.maven.org/maven2/net/spy/spymemcached/2.12.2/spymemcached-2.12.2.jar

[root@tomcat1 ~]# wget https://repo1.maven.org/maven2/de/javakaffee/kryo-serializers/0.42/kryo-serializers-0.42.jar

[root@tomcat1 ~]# wget https://repo1.maven.org/maven2/com/esotericsoftware/reflectasm/1.11.0/reflectasm-1.11.0.jar

[root@tomcat1 ~]# wget https://repo1.maven.org/maven2/com/esotericsoftware/minlog/1.3.0/minlog-1.3.0.jar

[root@tomcat1 ~]# wget https://repo1.maven.org/maven2/com/esotericsoftware/kryo/4.0.0/kryo-4.0.0.jar

[root@tomcat1 ~]# wget https://repo1.maven.org/maven2/org/ow2/asm/asm/7.0/asm-7.0.jar

[root@tomcat1 ~]# wget http://repo1.maven.org/maven2/org/objenesis/objenesis/3.0.1/objenesis-3.0.1.jar

[root@tomcat1 tools]# cp ./* /usr/local/tomcat/lib/

4）编辑配置文件，添加连接memcached

# No-Stick模式

[root@tomcat1 ~]# vim /usr/local/tomcat/conf/context.xml

# 在<Context>和</Context>里面加上下面一段

<!-- 这里的ip为memcached服务器的IP,如果有多个memcached服务器，用逗号隔开 -->

    <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"

        memcachedNodes="n1:192.168.1.34:11211"

        lockingMode="auto"

        sticky="false"

        requestUriIgnorePattern= ".*\.(png|gif|jpg|css|js)$"

        sessionBackupAsync= "false"

        sessionBackupTimeout= ""

        copyCollectionsForSerialization="true"

        transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory" />

5）准备测试文件

[root@tomcat1 ~]# rm -rf /usr/local/tomcat/webapps/*

[root@tomcat1 ~]# mkdir /usr/local/tomcat/webapps/ROOT

[root@tomcat1 ~]# vim /usr/local/tomcat/webapps/ROOT/index.jsp

SessionID:<%=session.getId()%> <BR>

SessionIP:<%=request.getServerName()%> <BR>

SessionPort:<%=request.getServerPort()%>

6）重启tomcat

[root@tomcat1 ~]# /usr/local/tomcat/bin/shutdown.sh

[root@tomcat1 ~]# /usr/local/tomcat/bin/startup.sh

[root@tomcat1 ~]# lsof -i:

COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME

java     root   63u  IPv6        0t0  TCP *:webcache (LISTEN)

7）测试

访问tomcat1：

访问tomcat2：

访问nginx默认页面：

访问jsp动态程序：

通过上面的访问可以看出，访问静态页面时nginx自身处理，当访问jsp动态的时候会调度给tomcat去处理。并且当一个浏览器访问后，便会一直访问这一个，so，这样就达到了session会话保持。

补充

memcached-session-manager 参数说明：

memcachedNodes 必选项，memcached的节点信息，多个memcached节点,中间需要使用空格

failoverNodes="n2"  表示当前session保持到n1的memcached节点上

failoverNodes  可选项，不能使用在non-sticky sessions模式。故障转移配置节点，多个使用空格或逗号分开，配置某个节点为备份节点，

当其他节点都不可用时才会存储到备份节点，官方建议配置为和tomcat同服务器的节点。

理由如下:

假如有两台服务器m1,m2，其中m1部署tomcat和memcached节点n1，m2部署memcached节点n2。

如果配置tomcat的failoverNodes值为n2或者不配置，则当服务器m1挂掉后n1和tomcat中保存的session会丢失，而n2中未保存或者只保存了部分session，

这就造成 部分用户状态丢失。

如果配置tomcat的failoverNodes值为n1，则当m1挂掉后因为n2中保存了所有的session，所以重启tomcat的时候用户状态不会丢失。

为什么n2中保存了所有的session? 因为failoverNodes配置的值是n1，只有当n2节点不可用时才会把session存储到n1，所以这个时候n1中是没有保存任何session的。

lockingMode  可选值，默认none，只对non-sticky有效。

requestUriIgnorePattern  可选值，制定忽略那些请求的session操作，一般制定静态资源如css,js一类的。

sessionBackupAsync    可选值，默认true，是否异步的方式存储到memcached。

sessionBackupTimeout  可选项，默认100毫秒，异步存储session的超时时间。