Nginx Lua 模块指令

Nginx共11个处理阶段,而相应的处理阶段是可以做插入式处理,即可插拔式架构;另外指令可以在http、server、server if、location、location if几个范围进行配置:

指令 所处处理阶段 使用范围 解释
init_by_lua
init_by_lua_file
loading-config http nginx Master进程加载配置时执行;
通常用于初始化全局配置/预加载Lua模块
init_worker_by_lua
init_worker_by_lua_file
starting-worker http 每个Nginx Worker进程启动时调用的计时器,如果Master进程不允许则只会在init_by_lua之后调用;
通常用于定时拉取配置/数据,或者后端服务的健康检查
set_by_lua
set_by_lua_file
rewrite server,server
if,location,location if
设置nginx变量,可以实现复杂的赋值逻辑;此处是阻塞的,Lua代码要做到非常快;
rewrite_by_lua
rewrite_by_lua_file
rewrite
tail
http,server,location,location
if
rrewrite阶段处理,可以实现复杂的转发/重定向逻辑;
access_by_lua
access_by_lua_file
access tail http,server,location,location
if
请求访问阶段处理,用于访问控制
content_by_lua
content_by_lua_file
content location,location
if
内容处理器,接收请求处理并输出响应
header_filter_by_lua
header_filter_by_lua_file
output-header-filter http,server,location,location
if
设置header和cookie
body_filter_by_lua
body_filter_by_lua_file
output-body-filter http,server,location,location
if
对响应数据进行过滤,比如截断、替换。
log_by_lua
log_by_lua_file
log http,server,location,location
if
log阶段处理,比如记录访问量/统计平均响应时间

更详细的解释请参考http://wiki.nginx.org/HttpLuaModule#Directives。如上指令很多并不常用,因此我们只拿其中的一部分做演示。

init_by_lua

每次Nginx重新加载配置时执行,可以用它来完成一些耗时模块的加载,或者初始化一些全局配置;在Master进程创建Worker进程时,此指令中加载的全局变量会进行Copy-OnWrite,即会复制到所有全局变量到Worker进程。

1. nginx.conf配置文件中的http部分添加如下代码

  1. #共享全局变量,在所有worker间共享
  2. lua_shared_dict shared_data 1m;
  3. init_by_lua_file /usr/example/lua/init.lua;

2. init.lua

  1. -- 初始化耗时的模块
  2. local redis = require("resty.redis")
  3. local cjson = require("cjson")
  4. -- 全局变量,不推荐
  5. count = 1
  6. -- 共享全局内存
  7. local shared_data = ngx.shared.shared_data
  8. shared_data:set("count", 1)

3. test.lua

  1. count = count + 1
  2. ngx.say("global variable:", count)
  3. local shared_data = ngx.shared.shared_data
  4. ngx.say(", shared memory : ", shared_data:get("count"))
  5. shared_data:incr("count", 1)
  6. ngx.say("hello world")

4. 检验结果

访问如http://127.0.0.1/lua 会发现全局变量一直不变,而共享内存一直递增

global variable : 2 , shared memory : 8 hello world

很不幸,上面只是理论结果,实际本人测试为全局变量会随着刷新而改动,永远比共享内存大1,怀疑nginx新的版本更新了全局变量的定义



另外注意一定在生产环境开启lua_code_cache,否则每个请求都会创建Lua VM实例。

init_worker_by_lua

用于启动一些定时任务,比如心跳检查,定时拉取服务器配置等等;此处的任务是跟Worker进程数量有关系的,比如有2个Worker进程那么就会启动两个完全一样的定时任务。

1. nginx.conf配置文件中的http部分添加如下代码

  1. init_worker_by_lua /usr/openResty/lua/init_worker.lua;

2. init_worker.lua

  1. local count = 0
  2. local delayInSeconds = 3
  3. local heartbeatCheck = nil
  4. heartbeatCheck = function ( args )
  5. count = count + 1
  6. ngx.log(ngx.ERR, "do check ", count)
  7. local ok, err = ngx.timer.at(delayInSeconds, heartbeatCheck)
  8. if not ok then
  9. ngx.log(ngx.ERR, "failed to startup heartbeart worker...", err)
  10. end
  11. end
  12. heartbeatCheck()

ngx.timer.at:延时调用相应的回调方法;ngx.timer.at(秒单位延时,回调函数,回调函数的参数列表);可以将延时设置为0即得到一个立即执行的任务,任务不会在当前请求中执行不会阻塞当前请求,而是在一个轻量级线程中执行。

另外根据实际情况设置如下指令

lua_max_pending_timers 1024;  #最大等待任务数

lua_max_running_timers 256;    #最大同时运行任务数

set_by_lua

设置nginx变量,我们用的set指令即使配合if指令也很难实现负责的赋值逻辑;

1.1 openResty.conf配置文件

  1. location /lua_set_1 {
  2. default_type "text/html";
  3. set_by_lua_file $num /usr/openResty/lua/test_set_1.lua;
  4. echo $num;
  5. }

set_by_lua_file:语法set_by_lua_file $var lua_file arg1 arg2…; 在lua代码中可以实现所有复杂的逻辑,但是要执行速度很快,不要阻塞;

1.2 test_set_1.lua

  1. local uri_args = ngx.req.get_uri_args()
  2. local i = uri_args["i"] or 0
  3. local j = uri_args["j"] or 0
  4. return i + j

得到请求参数进行相加然后返回。

访问如http://127.0.0.1/lua_set_1?i=1&j=10进行测试。 如果我们用纯set指令是无法实现的。

再举个实际例子,我们实际工作时经常涉及到网站改版,有时候需要新老并存,或者切一部分流量到新版

2.1 在openResty.conf中使用map指令来映射host到指定nginx变量,方便我们测试

  1. ############ 测试时使用的动态请求
  2. map $host $item_dynamic {
  3. default "0";
  4. item2014.jd.com "1";
  5. }

如绑定hosts

192.168.1.2 item.jd.com;

192.168.1.2 item2014.jd.com;

此时我们想访问item2014.jd.com时访问新版,那么我们可以简单的使用如

  1. if ($item_dynamic = "1") {  
  2.    proxy_pass http://new;
  3. }  
  4. proxy_pass http://old;

但是我们想把商品编号为为8位(比如品类为图书的)没有改版完成,需要按照相应规则跳转到老版,但是其他的到新版;虽然使用if指令能实现,但是比较麻烦,基本需要这样

  1. set jump "0";
  2. if($item_dynamic = "1") {
  3. set $jump "1";
  4. }
  5. if(uri ~ "^/6[0-9]{7}.html") {
  6. set $jump "${jump}2";
  7. }
  8. #非强制访问新版,且访问指定范围的商品
  9. if (jump == "02") {
  10. proxy_pass http://old;
  11. }
  12. proxy_pass http://new;

以上规则还是比较简单的,如果涉及到更复杂的多重if/else或嵌套if/else实现起来就更痛苦了,可能需要到后端去做了;此时我们就可以借助lua了:

  1. set_by_lua $to_book '
  2. local ngx_match = ngx.re.match
  3. local var = ngx.var
  4. local skuId = var.skuId
  5. local r = var.item_dynamic ~= "1" and ngx.re.match(skuId, "^[0-9]{8}$")
  6. if r then return "1" else return "0" end;
  7. ';
  8. set_by_lua $to_mvd '
  9. local ngx_match = ngx.re.match
  10. local var = ngx.var
  11. local skuId = var.skuId
  12. local r = var.item_dynamic ~= "1" and ngx.re.match(skuId, "^[0-9]{9}$")
  13. if r then return "1" else return "0" end;
  14. ';
  15. #自营图书
  16. if ($to_book) {
  17. proxy_pass http://127.0.0.1/old_book/$skuId.html;
  18. }
  19. #自营音像
  20. if ($to_mvd) {
  21. proxy_pass http://127.0.0.1/old_mvd/$skuId.html;
  22. }
  23. #默认
  24. proxy_pass http://127.0.0.1/proxy/$skuId.html;

rewrite_by_lua

执行内部URL重写或者外部重定向,典型的如伪静态化的URL重写。其默认执行在rewrite处理阶段的最后。

1.1 openResty.conf配置文件

  1. location /lua_rewrite_1 {
  2. default_type "text/html";
  3. rewrite_by_lua_file /usr/openResty/lua/test_rewrite_1.lua;
  4. echo "no rewrite";
  5. }

1.2 test_rewrite_1.lua

  1. if ngx.req.get_uri_args()["jump"] == "1" then
  2. return ngx.redirect("http://www.baidu.com?jump=1", 302)
  3. end

当我们请求http://127.0.0.1/lua_rewrite_1时发现没有跳转,而请求http://127.0.0.1/lua_rewrite_1?jump=1时发现跳转到百度首页了。 此处需要301/302跳转根据自己需求定义。

2.1 openResty.conf配置文件

  1. location /lua_rewrite_2 {
  2. default_type "text/html";
  3. rewrite_by_lua_file /usr/openResty/lua/test_rewrite_2.lua;
  4. echo "no rewrite";
  5. }

2.2 test_rewrite_2.lua

  1. if ngx.req.get_uri_args()["jump"] == "1" then
  2. ngx.req.set_uri("/lua_rewrite_3", false);
  3. ngx.req.set_uri("/lua_rewrite_4", false);
  4. ngx.req.set_uri_args({a = 1, b = 2});
  5. end

ngx.req.set_uri(uri, false):可以内部重写uri(可以带参数),等价于 rewrite ^ /lua_rewrite_3;通过配合if/else可以实现 rewrite ^ /lua_rewrite_3 break;这种功能;此处两者都是location内部url重写,不会重新发起新的location匹配;

ngx.req.set_uri_args:重写请求参数,可以是字符串(a=1&b=2)也可以是table;



访问如http://127.0.0.1/lua_rewrite_2?jump=0时得到响应

rewrite2 uri : /lua_rewrite_2, a :



访问如http://127.0.0.1/lua_rewrite_2?jump=1时得到响应

rewrite2 uri : /lua_rewrite_4, a : 1

3.1 openResty.conf配置文件

  1. location /lua_rewrite_3 {
  2. default_type "text/html";
  3. rewrite_by_lua_file /usr/openResty/lua/test_rewrite_3.lua;
  4. echo "no rewrite";
  5. }

3.3 test_rewrite_3.lua

  1. if ngx.req.get_uri_args()["jump"] == "1" then
  2. ngx.req.set_uri("/lua_rewrite_4", true);
  3. ngx.log(ngx.ERR, "=========")
  4. ngx.req.set_uri_args({a = 1, b = 2});
  5. end

ngx.req.set_uri(uri, true):可以内部重写uri,即会发起新的匹配location请求,等价于 rewrite ^ /lua_rewrite_4 last;此处看error log是看不到我们记录的log。

所以请求如http://127.0.0.1/lua_rewrite_3?jump=1会到新的location中得到响应,此处没有/lua_rewrite_4,所以匹配到/lua请求,得到类似如下的响应

global variable : 2 , shared memory : 1 hello world



rewrite ^ /lua_rewrite_3;                 等价于  ngx.req.set_uri("/lua_rewrite_3", false);

rewrite ^ /lua_rewrite_3 break;       等价于  ngx.req.set_uri("/lua_rewrite_3", false); 加 if/else判断/break/return

rewrite ^ /lua_rewrite_4 last;           等价于  ngx.req.set_uri("/lua_rewrite_4", true);

注意,在使用rewrite_by_lua时,开启rewrite_log on;后也看不到相应的rewrite log。

access_by_lua

用于访问控制,比如我们只允许内网ip访问,可以使用如下形式

  1. allow     127.0.0.1;  
  2. allow     10.0.0.0/8;  
  3. allow     192.168.0.0/16;  
  4. allow     172.16.0.0/12;  
  5. deny      all;

1. openResty.conf配置文件

  1. location /lua_access {
  2. default_type "text/html";
  3. rewrite_by_lua_file /usr/openResty/lua/test_access.lua;
  4. echo "access";
  5. }

2. test_access.lua

  1. if ngx.req.get_uri_args()["token"] ~= "123" then
  2. return ngx.exit(403)
  3. end

即如果访问如http://17.0.0.12/lua_access?token=234将得到403 Forbidden的响应。这样我们可以根据如cookie/用户token来决定是否有访问权限。



另外在使用PCRE进行正则匹配时需要注意正则的写法,具体规则请参考http://wiki.nginx.org/HttpLuaModule中的Special PCRE Sequences部分。还有其他的注意事项也请阅读官方文档。

高并发 Nginx+Lua OpenResty系列(3)——模块指令的更多相关文章

  1. 高并发 Nginx+Lua OpenResty系列(11)——流量复制/AB测试/协程

    流量复制 在实际开发中经常涉及到项目的升级,而该升级不能简单的上线就完事了,需要验证该升级是否兼容老的上线,因此可能需要并行运行两个项目一段时间进行数据比对和校验,待没问题后再进行上线.这其实就需要进 ...

  2. 高并发 Nginx+Lua OpenResty系列(1)——环境搭建

    OpenResty是一款基于Nginx的高性能负载均衡服务器容器,简单来说是Nginx+Lua.结合了Lua语言来对Nginx进行扩展,使得在Nginx上具有web容器功能. OpenResty运行环 ...

  3. 高并发 Nginx+Lua OpenResty系列(10)——商品详情页

    本章以京东商品详情页为例,京东商品详情页虽然仅是单个页面,但是其数据聚合源是非常多的,除了一些实时性要求比较高的如价格.库存.服务支持等通过AJAX异步加载加载之外,其他的数据都是在后端做数据聚合然后 ...

  4. 高并发 Nginx+Lua OpenResty系列(9)——HTTP服务

    此处我说的HTTP服务主要指如访问京东网站时我们看到的热门搜索.用户登录.实时价格.实时库存.服务支持.广告语等这种非Web页面,而是在Web页面中异步加载的相关数据.这些服务有个特点即访问量巨大.逻 ...

  5. 高并发 Nginx+Lua OpenResty系列(2)——Nginx Lua API

    Nginx Lua API 和一般的Web Server类似,我们需要接收请求.处理并输出响应.而对于请求我们需要获取如请求参数.请求头.Body体等信息:而对于处理就是调用相应的Lua代码即可:输出 ...

  6. 高并发 Nginx+Lua OpenResty系列(4)——Lua 模块开发

    在实际开发中,不可能把所有代码写到一个大而全的lua文件中,需要进行分模块开发:而且模块化是高性能Lua应用的关键.使用require第一次导入模块后,所有Nginx 进程全局共享模块的数据和代码,每 ...

  7. 高并发 Nginx+Lua OpenResty系列(8)——Lua模版渲染

    模版渲染 动态web网页开发是Web开发中一个常见的场景,比如像京东商品详情页,其页面逻辑是非常复杂的,需要使用模板技术来实现.而Lua中也有许多模板引擎,如目前京东在使用的lua-resty-tem ...

  8. 高并发 Nginx+Lua OpenResty系列(5)——Lua开发库Redis

    Redis客户端 lua-resty-redis是为基于cosocket API的ngx_lua提供的Lua redis客户端,通过它可以完成Redis的操作.默认安装OpenResty时已经自带了该 ...

  9. 高并发 Nginx+Lua OpenResty系列(6)——Lua开发库Mysql

    Mysql客户端 lua-resty-mysql是为基于cosocket API的ngx_lua提供的Lua Mysql客户端,通过它可以完成Mysql的操作.默认安装OpenResty时已经自带了该 ...

随机推荐

  1. zoj 3820 Building Fire Stations(二分法+bfs)

    题目链接:zoj 3820 Building Fire Stations 题目大意:给定一棵树.选取两个建立加油站,问说全部点距离加油站距离的最大值的最小值是多少,而且随意输出一种建立加油站的方式. ...

  2. 仿照Android的池化技术

    /** * 仿照Android池化技术 * @author fgtian * */ public class ObjectCacheTest { public static class ObjectI ...

  3. Method and system for public-key-based secure authentication to distributed legacy applications

    A method, a system, an apparatus, and a computer program product are presented for an authentication ...

  4. 格式字符串分配stl::string

    代码非常easy,不解释,直接在代码: #include <cstdio> #include <cstdarg> #include <iostream> using ...

  5. OpenGL(一)绘制圆、五角星、正弦曲线

    OpenGL入门之"顶点":OpenGL规定,一个多边形必须是一个"凸多边形",即连接多边形上任意两点,其连线都在多边形内部.多边形可以由其边上的端点(这里可称 ...

  6. python3下的IE自动化模块PAMIE

    PAMIE是Python下面的用于IE的自动化模块,支持python2和python3,python3的下载地址:http://sourceforge.net/projects/pamie/files ...

  7. python 教程 第一章、 简介

    第一章. 简介 官方介绍: Python是一种简单易学,功能强大的编程语言,它有高效率的高层数据结构,简单而有效地实现面向对象编程.Python简洁的语法和对动态输入的支持,再加上解释性语言的本质,使 ...

  8. WPF 路由事件 Event Routing

    原文:WPF 路由事件 Event Routing 1.路由事件介绍 之前介绍了WPF的新的依赖属性系统,本篇将介绍更高级的路由事件,替换了之前的.net普通事件.相比.net的事件,路由事件具有更强 ...

  9. python_简单的DB统计

    import numpy as npimport pylab as pldates=['20170314','20170315','20170316','20170317','20170318','2 ...

  10. Centos下一个server安装的版本号mysql

    首先这里说的是这里的路径.以及语句都是在网上看了非常多错误后自己实践后改动过来的,希望对大家实用. 这里在安装的时候要按着我的这个顺序.否则可能会由于路径错误而找不到对应的指令. 一.安装cmake ...