1 起因
 
最近对新开发的web系统进行了压力测试,发现tomcat默认配置下压到600人的并发登录首页响应速度就有比较严重的影响,一轮出现2000多个的
500和502错误。我把登录的时间统计做了一下,把服务器处理总时间打印出来,看了一下发现有个别响应确实在20秒,但平均时间和lr测试出来的还是相
差很远。所以可以断定不是程序处理处理花费了这么多时间,由于在局域网测试,所以也可以排除网络问题。这就把问题圈定在tomcat的请求响应能力上了。
先把tomcat线程数提升到1000,发现500和502的报错降到几十个,但是响应时间上还没什么提高。后来启动了2个tomcat,用
nginx做负载均衡,响应时间下降了40%,两个tomcat的处理时长都保持在1秒左右。
 
看来tomcat性能确实是系统的一个瓶颈,很有必要假设多个服务器来加强响应能力。之前由于只是测试登录,多个tomcat还不用共享session,但真正使用时是必须要能一起工作的。现记录一下负载均衡的安装配置过程。
 
 
 
2 解决方案的选择
 
多个tomcat要一起协同工作有几种办法,可以考虑的方案有以下几个:
 
1. 使用tomcat自带的cluster方式,多个tomcat见自动实时复制session信息,配置起来很简单。但这个方案的效率比较低,在大并发下表现并不好。
 
2. 利用nginx的基于访问ip的hash路由策略,保证访问的ip始终被路由到同一个tomcat上,这个配置更简单。但是我们的应用很可能是某一个局域网大量用户同时登录,这样负载均衡就没什么作用了。
 
3. 利用memcached把多个tomcat的session集中管理,这是最直接的解决方案,但是操作起来也最为复杂。
 
我们的系统既要求性能,又要比较好的利用上负载均衡,所以第3个方案是首选。接下来就是安装搭建之路了。
 
 
 

3 安装配置

 
3.1 memcached的安装
 
1)先下载libevent-1.4.14b-stable.tar.gz和memcached-1.4.7.tar.gz的源码包,前者是后者的依赖包,就是一个事件驱动的包。
 
2)安装非常顺利,还是经典的那几个编译安装命令:

1.tar zxvf libevent-1.4.14b-stable.tar.gz
2.cd libevent-1.4.14b-stable
3../configure --prefix=/usr/local/libevent-1.4.14b
4.make
5.make install
6.
7.tar zxvf memcached-1.4.7.tar.gz
8.cd memcached-1.4.7
9../configure --prefix=/usr/local/memcached-1.4.7 --with-libevent=/usr/local/libevent-1.4.14b/
10.make
11.make install

3)启动memcached:
 
./bin/memcached -d -m 256 -u root -p 11211 -c 1024 -P /tmp/memcached.pid
 
 
 
3.2 memcached-session-manager配置
 
让tomcat调用memcached来存储session早就是一个很成熟的解决方案了,开源的msm就可以解决这个问题。比较折腾的就是要用到的jar包,官方文档说的也比较含糊,我这里用的是kryo的序列化方案,所以用到的包多一些,分别是:
 
kryo-1.03.jar
 
kryo-serializers-0.8.jar
 
memcached-2.5.jar(我在官方看最新已经到2.7了,但是msm官方说用2.5,可能新包没测试过,特别是2.6版本changelog里面提到api有调整,还是不要乱升的好)
 
memcached-session-manager-1.5.1.jar
 
memcached-session-manager-tc7-1.5.1.jar
 
minlog-1.2.jar
 
msm-kryo-serializer-1.5.1.jar
 
reflectasm-0.9.jar
 
以上这些包都放在$CATALINA_HOME/lib目录下。
 
另外提一下,官方给出的4种序列化方案,其中kryo是效率最高的,具体比较看http://code.google.com/p/memcached-session-manager/wiki/SerializationStrategies。
 
 
 
接下来是修改tomcat的配置文件$CATALINA_HOME/conf/context.xml,调整成新的session存储方式。配置文件中加入以下内容:

1.     2.      memcachedNodes="n1:127.0.0.1:11211"
3. sticky="false"
4. lockingMode="auto"
5. sessionBackupAsync="false"
6. sessionBackupTimeout="1000"
7. transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"
8. />

在$CATALINA_HOME/conf/logging.properties文件中添加de.javakaffee.web.msm.level=FINE,就可以在catalina.out的日志中看到详细的session存取情况。
 
 
 
另外在Manager配置中加上requestUriIgnorePattern=".*\.(png|gif|jpg|css|js)$",用
chrome浏览器测试发现居然sessionID会突然变掉,然后就被拦截器给跳回首页了。去掉就一切正常,但拦截器只会去检测action的,按理说
应该完全没关系,望高人指点!
 
 
 
3.3 nginx配置
 
nginx非常简单,只要在upstream里面多配置几个server就可以了,这里把我的配置贴出来:

1.#user  nobody;
2.worker_processes 16;
3.
4.
5.events {
6. use epoll;
7. worker_connections 65535;
8.}
9.
10.
11.http {
12. include mime.types;
13. default_type application/octet-stream;
14.
15. #log_format main '$remote_addr - $remote_user [$time_local] "$request" '
16. # '$status $body_bytes_sent "$http_referer" '
17. # '"$http_user_agent" "$http_x_forwarded_for"';
18.
19. #access_log logs/access.log main;
20.
21. client_header_buffer_size 32k;
22. large_client_header_buffers 4 32k;
23. client_max_body_size 8m;
24. client_body_buffer_size 128k;
25.
26. sendfile on;
27. tcp_nopush on;
28.
29. #keepalive_timeout 0;
30. keepalive_timeout 65;
31.
32. gzip on;
33. gzip_types text/javascript text/plain text/css application/xml application/x-javascript;
34. gzip_disable "MSIE [1-6]\.(?!.*SV1)";
35.
36. proxy_connect_timeout 300;
37. proxy_send_timeout 300;
38. proxy_read_timeout 300;
39. proxy_buffer_size 16k;
40. proxy_buffers 4 32k;
41.
42. proxy_set_header X-Forwarded-For $remote_addr;
43. proxy_set_header Connection Close;
44. server_names_hash_max_size 1024;
45. server_names_hash_bucket_size 1024;
46.
47. # Default cache parameters for use by virtual hosts
48. # Set the cache path to tmpfs mounted disk, and the zone name
49. # Set the maximum size of the on disk cache to less than the tmpfs file system size
50. proxy_cache_path ./cache levels=1:2 keys_zone=pscms:100m max_size=800m;
51. proxy_temp_path ./proxy;
52.
53. #配置后端服务器信息
54. upstream web_server {
55. #ip_hash;
56. server localhost:8080 max_fails=3 fail_timeout=30s;
57. server localhost:8180 max_fails=3 fail_timeout=30s;
58. }
59.
60. server {
61. listen 8888; ## listen for ipv4
62. #listen [::]:80 default ipv6only=on; ## listen for ipv6
63. server_name localhost;
64.
65. charset utf-8;
66. log_format main '$remote_addr - $remote_user [$time_local] "$request" '
67. '$status $body_bytes_sent "$http_referer" '
68. '"$http_user_agent" "$http_x_forwarded_for"';
69. access_log logs/host.access.log main;
70. #access_log off;
71.
72. location ~ .*\.(jsp|action)?$ {
73. proxy_set_header Host $http_host;
74. proxy_redirect off;
75. proxy_pass http://web_server;
76. proxy_set_header Host $host;
77. proxy_set_header X-Real-IP $remote_addr;
78. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
79. }
80.
81. location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|js|css)$ {
82. #如果后端的服务器返回502、504、执行超时等错误,自动将请求转发到upstream负载均衡池中的另一台服务器,实现故障转移。
83. proxy_next_upstream http_502 http_504 error timeout invalid_header;
84.
85. proxy_cache pscms; #进行缓存,使用Web缓存区cache_one
86. proxy_cache_valid 200 304 1h; #对不同的HTTP状态码设置不同的缓存时间
87. proxy_cache_valid 301 302 5m;
88. proxy_cache_valid any 1m;
89. proxy_set_header Host $host;
90. proxy_set_header X-Real-IP $remote_addr;
91. proxy_set_header X-Forwarded-For $remote_addr;
92. proxy_set_header Accept-Encoding ""; #(或是后台服务器关闭gzip),这样这台机器才不会缓存被压缩的文件,造成乱码
93. proxy_ignore_headers "Cache-Control" "Expires"; #这段配置加上后,proxy_cache就能支持后台设定的expires。
94. proxy_pass http://web_server;
95. expires 15m;
96. }
97.
98. location / {
99. proxy_set_header Host $http_host;
100. proxy_redirect off;
101. proxy_pass http://web_server;
102. proxy_set_header Host $host;
103. proxy_set_header X-Real-IP $remote_addr;
104. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
105. }
106.
107. }
108.
109.}

参考文档:
 
1. http://code.google.com/p/memcached-session-manager/wiki/SetupAndConfiguration
 
2. http://wangrui.iteye.com/blog/500921

 
转自 http://blog.itpub.net/29754888/viewspace-1404328/

nginx+tomcat+session共享(转)的更多相关文章

  1. 【nginx】nginx tomcat session 共享配置

    tomcat,redis下载忽略. 一.从github上下载源码,https://github.com/jcoleman/tomcat-redis-session-manager, 将源码复制到开发工 ...

  2. Redis+Tomcat+Nginx集群实现Session共享,Tomcat Session共享

    Redis+Tomcat+Nginx集群实现Session共享,Tomcat Session共享 ============================= 蕃薯耀 2017年11月27日 http: ...

  3. 11、nginx+tomcat+redis_session共享

    11.1.前言: 1.多个tomcat要一起协同工作可以考虑的方案如下: (1)使用tomcat自带的cluster方式,多个tomcat间自动实时复制session信息,配置起来很简单.但这个方案的 ...

  4. Nginx+Tomcat+Session 高性能群集搭建

    随着IT行业的发展,linux服务器在企业中应用广泛,人们对linux上的应用服务要求也越来越高,早先的apache服务器.apache有优点也 有不足,apache渐渐不能满足人们的要求,目前ngi ...

  5. .Net Core Web Api实践(二).net core+Redis+IIS+nginx实现Session共享

    前言:虽说公司app后端使用的是.net core+Redis+docker+k8s部署的,但是微信公众号后端使用的是IIS部署的,虽说公众号并发量不大,但领导还是使用了负载均衡,所以在介绍docke ...

  6. net core+Redis+IIS+nginx实现Session共享

    .Net Core Web Api实践(二).net core+Redis+IIS+nginx实现Session共享   前言:虽说公司app后端使用的是.net core+Redis+docker+ ...

  7. nginx tomcat session丢失的问题

    nginx反向代理tomcat,出现seesion获取不到的问题. 网上搜索到的解决方案大多是集群tomcat共享session共享的问题,但我这个只有一台tomcat服务器,不涉及到服务器集群问题. ...

  8. Session会话保持机制的原理与Tomcat Session共享的几种实现方式(Session Cluster、memcached+MSM)

    一.Session的定义 在计算机科学中,特别是在网络中,session是两个或更多个通信设备之间或计算机和用户之间的临时和交互式信息交换.session在某个时间点建立,然后在之后的某一时间点拆除. ...

  9. Nginx 分布式session共享问题

    在集群的时候每次访问,都会被代理转到不同的服务器,那么在这些服务器之间如何共享session? 解决方式1:session复制 只能在window下好使,web服务器解决(广播机制,将一台机器上的se ...

随机推荐

  1. C#调用WebService接口实现天气预报在web前端显示

    本文使用web (C#)调用互联网上公开的WebServices接口: (http://www.webxml.com.cn/WebServices/WeatherWebService.asmx)来实现 ...

  2. 在ASP.NET MVC4中配置Castle

    ---恢复内容开始--- Castle是针对.NET平台的一个非常优秀的开源项目,重点是开源的哦.它在NHibernate的基础上进一步封装,其原理基本与NHibernate相同,但它较好地解决NHi ...

  3. 【转】JDBC学习笔记(10)——调用函数&存储过程

    转自:http://www.cnblogs.com/ysw-go/ 如何使用JDBC调用存储在数据库中的函数或存储过程: * 1.通过COnnection对象的prepareCall()方法创建一个C ...

  4. Linux -atime、mtime、ctime

    Linux中,文件都有其自身的atime.mtime.ctime,在不同的命令下,各时间发生相应的改变.下面,我们来简单的介绍一下: atime (access time):表示最后一次访问文件或目录 ...

  5. JAVA压缩图片 服务器端压缩图片 原创

    @RequestMapping(value = "/uploadImage", method = RequestMethod.POST) @ResponseBody public ...

  6. DbVisualizer:Oracle触发器,解决ORA-04098: 触发器 'USER.DECTUSERTEST_TRI' 无效且未通过重新验证

    我没有用orcal的管理工具,而是用的DbVisualizer 9.5.2,管理数据库. 场景:需要在oracle里面实在自增字段,在网上一搜一堆文档,然后自己就找了一段自己写如下: drop tab ...

  7. [Day01] Python基础

    明天要完成的任务如下:  Python 四则运算 Python 数据结构 Python 元算符(in.not in.is.and.or) 用户输入 (input.raw_input) 流程控制 缩进 ...

  8. Arcgis Engine OMD

    在UML 图中有三种类型的类:抽象类(abstract class).组件类(COclass)与普通类(instantiable class). 抽象类:不能创建或实例化,从来没有一个抽象类的实例用于 ...

  9. stl_各容器的总结

    一.stl容器总结: 1.以下的操作是在一千万的数据下操作.copy 都是在足够的空间下进行的copy, 测量方式: std::clock_t start = std::clock(); //待测代码 ...

  10. 【MySql】——MHA+GTID+failover+binlog-server+Atlas

    一.环境准备 1.mysql-db01 #系统版本 [root@mysql-db01 ~]# cat /etc/redhat-release CentOS release 6.7 (Final) #内 ...