[Day4] Nginx Http模块二

一. POST_READ阶段

    1. 用户ip在http请求中的传递？

前提：Tcp连接四元组（src ip,src port,dst ip,dst port）

HTTP头部 X-Formarded-For 用于传递Ip

HTTP头部X-Real-IP用于传递IP

网络中存在许多反向代理

客户端的请求往往不会直接到达客户端，而是会经过多个代理服务器 比如CDN、Nginx等。如果一个客户端请求经由Nginx与上游服务器通讯，建立Tcp连接，那么Tcp连接四元组中保存的src ip和src port都是Nginx代理服务器的。而我们要想做限流，就必须拿到用户的IP地址。在Http协议中，提供了两个请求头可以实现这个功能：X-Formarded-For、X-Real-IP。

a）X-Formarded-For：保存每个节点的ip地址，形成一个链表

b）X-Real-IP：保存第一个节点的ip地址

    2. Nginx如何拿到用户IP地址？realip模块。

realip模块默认不会编译进Nginx，通过--with-http-realip-module启用功能

realip模块提供了两个变量来获取ip地址：binary_remote_addr（二进制数据，size较小）、remote_addr

指令：

a）set_real_ip_from address|CIDR|unix：定义什么样的连接才替换变量

b）real_ip_header field | X-Real-IP | X-Forward-For | proxy_protocol：定义变量从哪个header中取值

c）real_ip_recursive on | off：定义是否使用环回地址。默认不启用。开启时，如果X-Forward-For的最后一个地址与客户端地址相同，会删去最后一个地址。

二. SERVER_REWRITE和REWRITE阶段

这两个阶段所作的事情差不多，都是定制请求的后继行为，只不过配置的块不一样，作用域不一样。

    Rewrite模块

        提供了指令return、rewrite来改变客户端的行为，重定向或者直接返回状态码等。

rewrite模块不可删除。

1. return指令：向客户端返回信息

a）return code [text]

b）return code URL

            c）return URL

            思考：server与location下的return指令关系？

return与error_page指令的关系？

        2. rewrite指令：重写客户端请求

a） rewrite regex replacement [flag]

1. 将regex指定的这个url替换成replacement这个新的url，可以使用正则表达式及变量提取

2. 当replacement以http://或者https://或者$schema开头，则直接返回302重定向

3. 替换后的url根据flag指定的方式进行处理

- last：用replacement这个URI进行新的location匹配

- break：break指令停止当前脚本指令的执行

- redirct：返回302重定向

- permanent：返回301重定向

开启rewrite行为记入日志：rewrite_log on | off; 默认为off，所属块：http、server、location、if

b）if(condition){ ... }：基于变量做重定向

1. 检查变量为空或者值是否为0，直接使用

2. 将变量与字符串做匹配，使用=或者!=

3. 将变量与正则表达式做匹配

大小写敏感，~或者!~

大小写不敏感，~*或者!~*

4. 检查文件是否存在，-f或者!-f

5. 检查目录是否存在，-d或者!-f

6. 检查是否为可执行文件，-x或者!-x

7. 检查文件、目录、软连接是否存在，使用-e或者!-e

三. FIND-CONFIG阶段

寻找处理请求的location指令块。

指令：location、merge_slashes

location [ = | ~ | ~* | ^~] uri { ... }

location指令规则：仅匹配URI，忽略参数

1. 合并连续的符号：merge_slashes  on

2. 前缀字符串：

   常规匹配

   =：精准匹配

   ^~：匹配上后则不再进行正则表达式匹配

3. 用于内部跳转的命令：location

4. 正则表达式：

   ~：大小写敏感的正则匹配

   ~*：忽略大小写敏感的正则匹配

location匹配顺序

1. 遍历匹配全部前缀字符串location

2. 匹配上=字符串，使用匹配上的=精准匹配location，否则进入下一步

3. 匹配上^~字符串，使用匹配上的^~字符串location，否则进入下一步

4. 记住最长匹配的前缀字符串location，进入正则表达式匹配

5. 按nginx.conf中的顺序依次匹配正则表达式location

6. 匹配上，使用匹配上的正则表达式

7. 未匹配上，使用最长匹配的前缀字符串location

总结优先级：=精准匹配前缀>^~停止正则匹配前缀>按位置顺序正则匹配>最长前缀匹配

注：前缀匹配符号：无符号、=符号、^~符号

正则匹配符号：~大小写敏感正则、~*大小写不敏感正则

四. preaccess阶段

1. 限制客户端的并发连接数

模块：http_limit_conn_moudule

默认编译进nginx，通过--without-http_limit_conn_module禁用

生效范围：全部worker进程（基于共享内存）

进入proaccess阶段前不生效

限制的有效性取决于key的设计：依赖postread阶段的realip模块的真实ip

limit_conn命令：

1. 定义共享内存（包括名字和大小），以及key关键字

   limit_conn_zone key zone=name:size;

   context：http

2. 限制并发连接数

   limit_conn zone number;

   context：http，server，location

3. 限制发生时的日志级别

   limit_conn_log_level info | notice | warn | error;

   default：limit_conn_log_level error;

   context：http，server，location

4. 显示发生时向客户端返回的错误码

   default：limit_conn_status  code;

   default：limit_conn_status  503;

   context：http，server，location

2. 限制每个客户端的每秒处理请求数

模块：http_limit_req_module

默认编译进nginx，通过--without-http_limit_req_module禁用功能

生效算法：leaky bucket 算法

生效范围：全部worker进程（基于共享内存）

进入proaccess前不会生效

限制的有效性取决于key的设计：依赖postread阶段的realip模块的真实ip

limit_req在limit_conn之前生效

limit_req命令：

1. 定义共享内存（包括名字和大小），以及key关键字

   limit_req_zone key zone=name:size rate=rate;

   context：http

2. 限制并发连接数

   limit_req zone =name [burst=number]  [nodelay];  

   context：http，server，location

3. 限制发生时的日志级别

   limit_req_log_level info | notice | warn | error;

   default：limit_req_log_level error;

   context：http，server，location

4. 显示发生时向客户端返回的错误码

   default：limit_req_status  code;

   default：limit_req_status  503;

   context：http，server，location

五. access阶段

1. 限制某些Ip地址的访问权限

模块：http_access_moudule

默认编译进nginx，通过--without-http_access_moudule禁用

生效范围：进入access阶段前不会生效

命令

Syntax: allow address | CIDR | unix: | all;

Default: —

Context: http, server, location, limit_except

Syntax: deny address | CIDR | unix: | all;

Default: —

Context: http, server, location, limit_except

示例

location / {

deny  192.168.1.1;

allow  192.168.1.0/24;

allow  10.1.1.0/16;

allow  2001:0db8::/32;

deny all;

}

2. 限制客户端登陆验证

RFC2617 HTTP Basic Authentication

auth_basic模块的指令

基于HTTP Basic Authutication 协议进行用户名密码的认证

默认编译进Nginx: --without-http_auth_basic_module disable ngx_http_auth_basic_module

Syntax: auth_basic string | off;

Default: auth_basic off;

Context: http, server, location, limit_except

Syntax: auth_basic_user_file file;

Default: —

Context: http, server, location, limit_except

3. 使用第三方做权限验证

模块：auth_request

默认未编译进nginx：--with-http_auth_request_module

功能：向上游的服务转发请求，若上游服务返回的响应码是2xx，则继续执行，若上游服务器返回的是401或者403，则将响应返回给客户端

原理：收到请求后，生成子请求，通过反向代理技术把请求参数传递给上游服务

Syntax: auth_request uri | off;

Default: auth_request off;

Context: http, server, location

Syntax: auth_request_set $variable value;

Default: —

Context: http, server, location

4. 限制所有access阶段模块的satisfy指令

Syntax: satisfy all | any;

Default: satisfy all;

​    ​    ​    ​Context: http, server, location

​    ​    ​设置为all：所有access模块都允许访问才能访问

​    ​设置为any：有一个access模块允许访问就能访问

六. procontent阶段

1. try_files指令

默认编译进nginx中，并且不能取消

功能：依次试图访问多个url对应的文件（由root或者alias指令指定），当文件存在时直接返回文件内容，如果所有文件都不存在，则按最后一个URL结果或者code返回

Syntax: try_files file ... uri;

try_files file ... =code;

Default: —

Context: server, location

2. mirror模块

实现零拷贝流量，将本次请求拷贝一份发送给指定的uri。比如将请求拷贝一份发送到测试服务器上。

默认编译进nginx中，通过--without-http_mirror_module移除模块

功能：处理请求时，生成子请求访问其他服务，对子请求的返回值不做处理

Syntax: mirror uri | off;

Default: mirror off;

Context: http, server, location

​    ​    ​Syntax: mirror_request_body on | off;

​            Default: mirror_request_body on;

​    ​    ​Context: http, server, location

七. content阶段

static模块，访问静态资源文件

1. root和alias指令

功能：将url映射为文件路径，以返回静态文件内容

差别：root会将完整的location的url映射进文件路径中

alias只会将location后边的url映射到文件路径中

Syntax: alias path;

Default: —

Context: location

Syntax: root path;

Default: root html;

Context: http, server, location,  if in location

2. static模块提供的三个变量

request_name（待访问文件的完整路径）

document_root（由URL和root/alias规则生成的文件夹路径）

realpath_root（将document_root中的软链接等换成真实路径）

3. static模块对url不以斜杠结尾却访问目录的做法

static模块实现了root/alias功能时，发现访问目录是目录，但URL结尾未加/时，会返回301重定向

指令：

absolute_redirect on | off;     是否使用绝对路径，on（会填写域名等），off（不会加域名）

Defalut：absolute_redirect on;

​    ​    ​    ​Context：http，server，location

​    ​    ​    ​server_name_in_redirect   on | off;

​    ​    ​    ​port_in_redirect    on | off;

3. index模块于auto_index模块

index模块

功能：对处理/时的处理，指定/访问时返回index文件内容

默认编译进nginx，不可取消

Syntax: index file ...;

Default: index index.html;

Context: http, server, location

auto_index模块

功能：当url以/结尾时，尝试以html/xml/json/jsonp等格式返回root、alias中指向目录的目录结构

默认编译进nginx，--without-http_autoindex_module取消

Syntax: autoindex on | off;

Default: autoindex off;

Context: http, server, location

Syntax: autoindex_exact_size on | off;

Default: autoindex_exact_size on;

Context: http, server, location

Syntax: autoindex_format html | xml | json | jsonp;

Default: autoindex_format html;

Context: http, server, location

Syntax: autoindex_localtime on | off;

Default: autoindex_localtime off;

Context: http, server, location

4. 提升多个小文件访问的concat模块

功能：当页面需要访问多个小文件时，把它们的内容合并到一次http响应中返回，提升性能

使用：在uri后加上??，后通过多个,逗号隔开文件。如果还有参数，则在最后通过?

concat  :on | off

default :concat off

Context :http, server, location

concat_types :MIME types

Default :concat_types: text/css application/x-javascript

Context :http, server, location

concat_unique :on | off

Default : concat_unique on

Context : http, server, location

concat_max_files :numberp

Default :concat_max_files 10

Context : http, server, location

concat_delimiter :string

Default :NONE

Context : http, server, locatione

concat_ignore_file_error :on | off

Default :off

Context :http, server, location

八. log阶段

记录请求日志的log模块

功能：将Http请求相关信息记录到日志

模块：ngx_http_log_module 无法禁用

命令：

1. 设置access日志格式

Syntax: log_format name [escape=default|json|none] string ...;

Default: log_format combined "...";

Context: http

2. 配置access日志文件路径

Syntax: access_log path [format [buffer=size] [gzip[=level]] [flush=time] [if=condition]];

access_log off;

Default: access_log logs/access.log combined;

Context: http, server, location, if in location, limit_except

3. 优化不用每次写日志都打开关闭日志文件

Syntax: open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time];

open_log_file_cache off;

Default: open_log_file_cache off;

Context: http, server, location

说明：max  缓存内的最大文件句柄数，超出后使用LRU算法淘汰

inactive  文件访问完后在这段时间内不会被关闭。默认10秒

min_uses  在inactive时间内使用次数超过min_uses才会继续存在内存中。默认是1

vaild  超出vaild时间后，将对缓存的日志文件检查是否存在。默认是60秒

off  关闭缓存功能

九. 过滤模块

1. 替换响应中的字符串：sub模块

功能：将响应中的指定的字符串，替换成新的字符串

模块：ngx_http_sub_filiter_modulem模块

默认未编译进nginx,通过--with-http_sub_module启用

指令：

Syntax: sub_filter string replacement;

Default: —

Context: http, server, location

Syntax: sub_filter_last_modified on | off;

Default: sub_filter_last_modified off;

Context: http, server, location

Syntax: sub_filter_once on | off;

Default: sub_filter_once on;

Context: http, server, location

Syntax: sub_filter_types mime-type ...;

Default: sub_filter_types text/html;

Context: http, server, location

2. 在响应的前后添加内容：addition模块

功能：在响应前后增加内容，而增加内容的方式是通过新增子请求的响应完成

模块：ngx_http_addition_filter_module

默认未编译进nginx，通过--with-http_addtion_filter_module启用

Syntax: add_before_body uri;

Default: —

Context: http, server, location

Syntax: add_after_body uri;

Default: —

Context: http, server, location

Syntax: addition_types mime-type ...;

Default: addition_types text/html;

Context: http, server, location