linux运维、架构之路-Nginx反向代理
一、 Nginx负载均衡和反向代理知识
1、集群概念
一堆服务器合作做同一件事,这些机器可能需要整个技术团队架构、设计和统一协调管理,这些机器可以分布在一个机房,也可以分布在全国各个地区的多个机房。
2、集群作用
①提高网站处理用户请求能力
②提高网站稳定运行高可用性
3、集群分类
①高可用集群HA
②负载均衡集群LB
1)硬件实现负载
F5硬件设备
A10硬件设备
2)软件实现负载
Nginx(7层,1.9版本之后也支持4层负载)
LVS(4层)
Haproxy(4、7层)
说明: 所谓四层就是基于IP+端口的负载均衡;七层就是基于URL等应用层信息的负载均衡
4、负载均衡与反向代理对比
负载均衡 |
反向代理 |
对用户的访问请求进行调试管理 |
接收用户请求代替用户向后端访问 |
对用户的访问请求进行压力分担 |
5、反向代理与数据转发区别
二、反向代理部署
1、快速部署
useradd -s /sbin/nologin -M www
mkdir -p /server/tools/
cd /server/tools/
wget http://nginx.org/download/nginx-1.10.3.tar.gz
tar xf nginx-1.10..tar.gz
yum install pcre-devel openssl-devel -y
cd /server/tools/nginx-1.10.
./configure --prefix=/application/nginx-1.10. --user=www --group=www --with-http_stub_status_module --with-http_ssl_module
make && make install
ln -s /application/nginx-1.10./ /application/nginx
ln -s /application/nginx/sbin/nginx /usr/local/sbin/
nginx
lsof -i:
2、 统一编写nginx配置(web01,web02)
worker_processes ;
error_log logs/error.log error;
events {
worker_connections ;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout ;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"'; access_log logs/access.log main;
include extra/www.conf;
include extra/blog.conf;
include extra/bbs.conf;
include extra/status.conf;
}
3、统一两台web服务器测试环境
①web01
[root@web01 html]# cat {www,bbs}/index.html
10.0.0.8 www
10.0.0.8 bbs
②web02
[root@web02 html]# cat {www,bbs}/index.html
10.0.0.7 www
10.0.0.7 bbs
4、编辑nginx.conf配置文件实现负载功能(lb01)
worker_processes ;
events {
worker_connections ;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout ;
upstream server_pools {
server 10.0.0.7:;
server 10.0.0.8:;
}
server {
listen ;
server_name bbs.etiantian.org;
location / {
proxy_pass http://server_pools;
proxy_set_header host $host;
}
}
server {
listen ;
server_name www.etiantian.org;
location / {
proxy_pass http://server_pools;
proxy_set_header host $host;
}
}
}
注:主要应用到nginx的ngx_http_upstream_module,官方例子
upstream backend {
server backend1.example.com weight=;
server backend2.example.com:;
server unix:/tmp/backend3; server backup1.example.com: backup;
server backup2.example.com: backup;
} server {
location / {
proxy_pass http://backend;
}
}
5、浏览器测试或linux下进行web服务
[root@lb01 conf]# curl www.etiantian.org
10.0.0.7 www
[root@lb01 conf]# curl www.etiantian.org
10.0.0.8 www
[root@lb01 conf]# curl bbs.etiantian.org
10.0.0.7 bbs
[root@lb01 conf]# curl bbs.etiantian.org
10.0.0.8 bbs
注:浏览器测试之前,重启nginx服务程序(lb01 web01 web02)
6、upstream参数说明
upstream模块内参数 |
参数说明 |
server 10.0.0.8:80 |
负载均衡后面的RS配置,可以是IP或域名,默认80端口,高并发场景下,IP可换成域名,通过DNS做负载均衡 |
weigth=1 |
代表服务器的权重,默认值是1,权重数字越大表示接受的请求比例越大 |
max_fails=5 |
尝试连接后端主机失败的次数,这个值是配合proxy_net_upstream、fastcgi_next_upstream和memached_net_upstream这三个参数使用,当nginx接收后端服务器返回这三个参数定义的状态码时,会将这个请求转发给正常工作的后端服务器,例如404、502、503、Max_fails的默认值是1;企业场景下建议2-3次 |
fail_timeout=10s |
在max_fails定义的失败次数后,距离下次检查的间隔时间,默认是10s,如果max_fails是5,就检测5次,如果5次都是502,那么会根据fail_timeout的值,等待10s再去检查,还是只检查一次,如果持续502,在不重新加载nginx配置的情况下,每隔10s都只检查一次,常规业务2~3秒比较合理 |
backup |
热备配置(RS节点高可用),当前面RS都失败后会自动启用热备RS,这标志着这个服务器作为备份服务器,若主服务器全部宕机了,就会向它转发请求,注意:当负载调度算法为ip_hash时,后端服务器在负载均衡调度中的状态不能是weight和backup |
down |
这标志着服务器永远不可用,这个参数可配合ip_hash使用,类似注释效果 |
7、调度算法
rr |
定义轮询调度算法,默认调度算法 |
wrr |
定义权重调度算法 |
ip_hash |
定义静态调度算法 |
least_conn |
定义最小的连接数 |
三、Nginx反向代理
1、记录用户访问真实IP地址
cat nging.conf
worker_processes ;
events {
worker_connections ;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout ;
upstream server_pools {
server 10.0.0.7:;
server 10.0.0.8:;
}
server {
listen ;
server_name bbs.etiantian.org;
location / {
proxy_pass http://server_pools;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $remote_addr;#此模块记录用户访问真实地址
}
}
server {
listen ;
server_name www.etiantian.org;
location / {
proxy_pass http://server_pools;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $remote_addr;
}
}
}
2、Nginx反向代理参数
Nginx反向代理重要参数 |
参数说明 |
proxy_pass http://server_pools; |
通过proxy_pass功能把用户的请求转向反向代理定义的upstream服务器池 |
proxy_set_header Host $host |
在代理向后端服务器发送的http请求头中加入host字段信息,用于当后端服务器配置有多个虚拟主机时,可以识别代理的是哪个虚拟主机,这是节点服务器多虚拟主时的关键配置。 |
proxy_set_header X-Forwarded-For $remote_addr; |
在代理向后端服务器发送的http请求头中加入X-Forward-For字段信息,用于后端服务器程序、日志等接收记录真实用户的ip,而不是代理服务器的IP,这是反向代理时,节点服务器获取用户真实IP的必要功能配置 |
四、企业案例:动静分离
1、配置多个upstream实现uri转发
/upload |
10.0.0.8:80 |
html/www/upload |
upload服务器 |
/static |
10.0.0.7:80 |
html/www/static |
static静态服务器 |
/ |
10.0.0.9:80 |
html/www |
默认 |
2、调用多个upstream
worker_processes ;
events {
worker_connections ;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout ;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
upstream upload_pools {
server 10.0.0.8:;
} upstream static_pools {
server 10.0.0.7:;
} upstream default_pools {
server 10.0.0.9:;
}
server {
listen ;
server_name www.etiantian.org;
location /static/ {
proxy_pass http://static_pools;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $remote_addr;
}
location /upload/ {
proxy_pass http://upload_pools;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $remote_addr;
}
location / {
proxy_pass http://default_pools;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $remote_addr;
}
access_log logs/access_www.log main;
}
}
3、模拟环境
①web01
mkdir -p /application/nginx/html/www/upload
echo "web01 upload" >/application/nginx/html/www/upload/nana.html
②web02
mkdir -p /application/nginx/html/www/static
echo "web02 static" >/application/nginx/html/www/static/nana.html
③web02
mkdir /application/nginx/html/www -p
echo "web03 default" >/application/nginx/html/www/nana.html
④测试
curl -H host:www.etiantian.org 10.0.0.9/upload/nana.html
curl -H host:www.etiantian.org 10.0.0.8/upload/nana.html
curl -H host:www.etiantian.org 10.0.0.7/static/nana.html
4、Wireshark抓包分析
①web01
②web02
③web03
5、根据用户不同的浏览器,客户端进行转发
不同的客户端 访问不同的网站,手机和电脑 访问相同的网站----结果不同
> GET / HTTP/1.1
> User-Agent: curl/7.19. (x86_64-redhat-linux-gnu) libcurl/7.19. NSS/3.21 Basic ECC zlib/1.2. libidn/1.18 libssh2/1.4.
> Host: www.baidu.com
> Accept: */*
User-Agent-------的内容-----nginx有一个变量$http_user_agent
负载均衡配置nginx.conf
worker_processes ;
events {
worker_connections ;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout ;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"'; upstream upload_pools {
server 10.0.0.8:;
}
upstream static_pools {
server 10.0.0.7:;
} upstream default_pools {
server 10.0.0.9:;
} server {
listen ;
server_name www.etiantian.org;
location / {
if ($http_user_agent ~* "MSIE")
{
proxy_pass http://static_pools;
}
if ($http_user_agent ~* "Chrome")
{
proxy_pass http://upload_pools;
}
proxy_pass http://default_pools;
}
access_log logs/access_www.log main;
}
}
linux中测试
[root@lb01 ~]# curl -A "iphone" www.etiantian.org/nana.html
www web01
[root@lb01 ~]# curl -A "android" www.etiantian.org/nana.html
www web02
[root@lb01 ~]# curl -A "asdasdasd" www.etiantian.org/nana.html
web03 default
linux运维、架构之路-Nginx反向代理的更多相关文章
- centos6.5环境自动化运维之puppet实现nginx反向代理功能及puppet安装配置详解
puppet是一种Linux.Unix.windows平台的集中配置管理系统,使用自有的puppet描述语言,可管理配置文件.用户.cron任务.软件包.系统服务等.puppet把这些系统实体称之为资 ...
- linux运维架构师职业规划
1.假如你从来未接触过Linux的话,首先要做的就找一本指导书来学习.现在公认的Linux的入门书籍是“鸟哥的私房菜”,讲的很全面,鸟哥的私房菜一共分为两部,一部是基础篇,一部是服务器篇.“鸟哥的私房 ...
- Linux实战教学笔记30:Nginx反向代理与负载均衡应用实践
1.1 集群简介 简单地说,集群就是指一组(若干个)相互独立的计算机,利用高速通信网络组成的一个较大的计算机服务系统,每个集群节点(即集群中的每台计算机)都是运行各自服务的独立服务器.这些服务器之间可 ...
- (总结)Linux服务器上最简单的Nginx反向代理配置
Nginx不但是一款高性能的Web服务器,也是高性能的反向代理服务器.下面简单说说Nginx的反向代理功能. 反向代理是什么? 反向代理指以代理服务器来接受Internet上的连接请求,然后将请求转发 ...
- linux运维、架构之路-HAProxy反向代理
一.HAProxy介绍 专业反向代理,支持双机热备支持虚拟主机,配置简单,拥有非常不错的服务器健康检查功能,当其代理的后端节点出现故障, HAProxy会自动将该服务器摘除,故障恢复 ...
- Linux运维之--LVS、Nginx、HAproxy有什么区别?
LVS: 是基于四层的转发 HAproxy: 是基于四层和七层的转发,是专业的代理服务器 Nginx: 是WEB服务器,缓存服务器,又是反向代理服务器,可以做七层的转发 区别: LVS由于是基于四层的 ...
- Linux 运维请务必收藏~ Nginx 五大常见应用场景
关注「开源Linux」,选择"设为星标" 回复「学习」,有我为您特别筛选的学习资料~ Nginx 是一个很强大的高性能 Web 和反向代理服务,它具有很多非常优越的特性,在连接高并 ...
- 从苦逼到牛逼,详解Linux运维工程师的打怪升级之路
做运维也快四年多了,就像游戏打怪升级,升级后知识体系和运维体系也相对变化挺大,学习了很多新的知识点. 运维工程师是从一个呆逼进化为苦逼再成长为牛逼的过程,前提在于你要能忍能干能拼,还要具有敏锐的嗅觉感 ...
- linux运维升级路线
运维工程师是从一个呆逼进化为苦逼再成长为牛逼的过程,前提在于你要能忍能干能拼,还要具有敏锐的嗅觉感知前方潮流变化.如:今年大数据,人工智能比较火……(相对表示就是 Python 比较火) 之前写过运维 ...
随机推荐
- day52—JavaScript拖拽事件的应用(自定义滚动条)
转行学开发,代码100天——2018-05-07 前面的记录里展示了JavaScript中鼠标拖拽功能,今天利用拖拽功能实现另一个应用场景——自定义滚动条(作为控制器)的用法. 常通过自定义滚动条控制 ...
- #Week 11 - 343.Integer Break
Week 11 - 343.Integer Break Given a positive integer n, break it into the sum of at least two positi ...
- 只有一个form 的程序, onactivate 只触发一次。
https://blog.csdn.net/saint13/article/details/454615 Form的onActivate事件 2005年08月15日 01:08:00 阅读数:3406 ...
- Fiddler代理抓取的接口的服务器返回出现"Response body is encoded. Click to decode. "
参考与:https://blog.csdn.net/wsbl52006/article/details/53256705 解决办法: Rules > Remove All Encodings 勾 ...
- 【ABAP系列】SAP LSMW(摘自官网)
公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[MM系列]SAP LSMW(摘自官网) 前 ...
- unity 编辑器教程
教程1:https://blog.csdn.net/u010019717/article/details/80300136 教程2:https://blog.csdn.net/liqiangeasts ...
- C++笔记(5)——浮点数的比较
判断是否相等 因为一个浮点数的存储并不总是精确的,例如在经过大量计算之后可能会将3.14保存为3.1400000000001或者3.1439999999999,这时候如果直接用==来比较这两个数的话会 ...
- 设置IIS的gzip
如果服务器iis 中没有配置动态压缩的话,在性能中选项中配置. 设置成功之后:
- Eigen的aligned_allocator
今天看ORBSLAM2中的OptimizeEssentialGraph()函数时,对一句代码中的aligned_allocator不太清楚: vector<g2o::Sim3,Eigen::al ...
- dfs找环
http://acm.hdu.edu.cn/showproblem.php?pid=6736 Forest Program Time Limit: 2000/1000 MS (Java/Others) ...