玩转 Nginx 之：使用 Lua 扩展 Nginx 功能

1、Nginx 简介

Nginx 作为一款面向性能设计的HTTP服务器，相较于Apache、lighttpd具有占有内存少，稳定性高等优势。其流行度越来越高，应用也越来越广泛，常见的应用有：网页服务器、反向代理服务器以及电子邮件（IMAP/POP3）代理服务器，高并发大流量站点常用来做接入层的负载均衡，还有非常常见的用法是作为日志采集服务器等。

Nginx 整体采用模块化设计，有丰富的模块库和第三方模块库，配置灵活。其中模块化设计是nginx的一大卖点，甚至http服务器核心功能也是一个模块。要注意的是：nginx的模块是静态的，添加和删除模块都要对nginx进行重新编译，这一点与Apache的动态模块完全不同。不过后来淘宝做了二次开发开源的 tengine 是支持 官方所有的 HTTP 模块动态加载而不必重新编译 Nginx，除非是第三方模块才需要重新编译。因此，在生产环境中，推荐用淘宝开源的 tengine，本文也以 tengine 作为示例。

虽然 Nginx 有如此强大的性能以及众多的三方模块支持，但每次重新编译以及寻找三方模块对生产环境来说还是不可接受的，幸运的是，Nginx 它是支持客户自己 Lua 脚本编程扩展相应的功能的，而且可以热加载，这就给生产环境带来了无限可能。比如我现在想要直接用Nginx + redis 做反爬虫和频率限制，Nginx + Kafka 做日志的实时流处理等等。

2、Lua 简介

Lua 是一个简洁、轻量、可扩展的脚本语言，也是号称性能最高的脚本，用在很多需要性能的地方，比如：游戏脚本，nginx，wireshark的脚本，当你把他的源码下下来编译后，你会发现解释器居然不到200k，非常变态。。。很多应用程序使用Lua作为自己的嵌入式脚本语言，以此来实现可配置性、可扩展性。

Lua原生支持的数据类型非常之少，它只提供了nil、数字（缺省是双精度浮点数，可配置）、布尔量、字符串、表、子程序、协程（coroutine）以及用户自定义数据这8种。但是其处理表和字符串的效率非常之高，加上元表的支持，开发者可以高效的模拟出需要的复杂数据类型（比如集合、数组等）。Lua是一个动态弱类型语言，支持增量式垃圾收集策略。有内建的，与操作系统无关的协作式多线程（coroutine）支持。它还可以用于嵌入式硬件，不仅可以嵌入其他编程语言，而且可以嵌入微处理器中。

3、nginx执行步骤

nginx在处理每一个用户请求时，都是按照若干个不同的阶段依次处理的，与配置文件上的顺序没有关系，详细内容可以阅读《深入理解nginx:模块开发与架构解析》这本书，这里只做简单介绍；

（1）post-read

读取请求内容阶段，nginx读取并解析完请求头之后就立即开始运行；

（2）server-rewrite

server请求地址重写阶段；

（3）find-config

配置查找阶段，用来完成当前请求与location配重块之间的配对工作；

（4）rewrite

location请求地址重写阶段，当ngx_rewrite指令用于location中，就是再这个阶段运行的；

（5）post-rewrite

请求地址重写提交阶段，当nginx完成rewrite阶段所要求的内部跳转动作，如果rewrite阶段有这个要求的话；

（6）preaccess

访问权限检查准备阶段，ngx_limit_req和ngx_limit_zone在这个阶段运行，ngx_limit_req可以控制请求的访问频率，ngx_limit_zone可以控制访问的并发度；

（7）access

权限检查阶段，ngx_access在这个阶段运行，配置指令多是执行访问控制相关的任务，如检查用户的访问权限，检查用户的来源IP是否合法；

（8）post-access

访问权限检查提交阶段；

（9）try-files

配置项try_files处理阶段；

（10）content

内容产生阶段，是所有请求处理阶段中最为重要的阶段，因为这个阶段的指令通常是用来生成HTTP响应内容的；

（11）log

日志模块处理阶段；

4、ngx_lua 运行指令

ngx_lua属于nginx的一部分，它的执行指令都包含在nginx的11个步骤之中了，不过ngx_lua并不是所有阶段都会运行的；

这部分详细可以参考这篇：

Refer [4] nginx与lua的执行顺序和步骤说明

Refer [5] ngx_lua用例说明

5、安装 tengine 以及 Lua 扩展

（1）先安装Nginx需要的一些类库：

yum install gcc

yum install gcc-c++

（2）编译安装 pcre-8.34 和 zlib-1.2.8，接着安装 Lua 编译库LuaJit-2.0.3：

make PREFIX=/usr/install/luajit

make install PREFIX=/usr/install/luajit

在/etc/profile文件中增加环境变量，并执行source /etc/profile使之生效：

export LUAJIT_LIB=/usr/install/luajit/lib

export LUAJIT_INC=/usr/install/luajit/include/luajit-2.0

（3）下载 ngx_devel_kit 和 lua-nginx-module，最后编译Nginx：

完整的参数可能这样：

nginx -V
Tengine version: Tengine/2.1.0 (nginx/1.6.2)
built by gcc 4.4.7 20120313 (Red Hat 4.4.7-4) (GCC) 
TLS SNI support enabled
configure arguments: --prefix=/etc/nginx/ --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx --with-http_ssl_module --with-http_realip_module --with-http_addition_module --with-http_sub_module --with-http_dav_module --with-http_flv_module --with-http_mp4_module --with-http_gzip_static_module --with-http_random_index_module --with-http_secure_link_module --with-http_stub_status_module --with-mail --with-mail_ssl_module --with-file-aio --with-ipv6 --with-cc-opt=‘-O2 -g -m64 -mtune=generic‘ --with-pcre=../pcre-8.33 --with-zlib=../zlib-1.2.8 --with-openssl=../openssl-1.0.1l

但我这里只是用来测试就精简了不少参数：

./configure --prefix=/opt/soft/nginx --with-pcre=/root/soft/pcre-8.37 --with-zlib=/root/soft/zlib-1.2.8 --with-openssl=/root/soft/openssl-1.0.1p  --add-module=/root/soft/lua-nginx-module-master --add-module=/root/soft/ngx_devel_kit-master --prefix=/etc/nginx/ --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp

（4）make、make install 完成后，更新下系统的动态链接库，做个软链接即可：

ln   -s   /usr/local/lib/libpcre.so.1     /lib64/libpcre.so.1

ln   -s   /usr/install/luajit/lib/libluajit-5.1.so.2     /lib46/libluajit-5.1.so.2

（5）启动Nginx sbin/nginx，浏览器输入http://localhost测试

需要注意的是：

（1）--with-pcre=/root/soft/pcre-8.37 --with-zlib=/root/soft/zlib-1.2.8 指向的是源码路径，而非编译后的路径，否则 make 会报：

cd /usr/local/pcre && if [ -f Makefile ]; then make distclean; fi && CC="gcc" CFLAGS="-O2 -fomit-frame-pointer -pipe " ./configure --disable-shared
/bin/sh: ./configure: No such file or directory
make[1]: *** [/usr/local/pcre/Makefile] Error 127
make[1]: Leaving directory `/software/nginx-0.8.53‘
make: *** [build] Error 2

因为 ./configure --help 看一下帮助说明：

--with-pcre=DIR                 set path to PCRE library sources

set path to PCRE library sources 是让你设置到源码目录，而不是编译安装后的目录

（2）pcre、zlib、openssl 一定要单独编译安装，而 lua-nginx-module、ngx_devel_kit 只需要指源码路径给 nginx 一起编译即可，不需要单独编译。

6、一个 Nginx + Lua 测试的例子

user www www;
worker_processes  8;

error_log  /opt/data1/logs/nginx/error.log;
pid        /var/run/nginx.pid;
worker_rlimit_nofile 800000;

events {
    use epoll;
    worker_connections  65535;
}

http {
    
    server {
        listen                          80;

        set $idTest "idTest_11111111111" ;

        log_format  tracklog ‘$idTest $msec $remote_addr - $remote_user [$time_local] $request ‘
                      ‘"$status" $body_bytes_sent --"$ref1"-- ‘
                      ‘"$http_user_agent"‘;

        log_format  LogFormatv1 ‘[email protected][email protected][email protected]@[email protected][$time_local]@[email protected]‘
                      ‘"$status"@[email protected]"$http_referer"@‘
                      ‘"$http_user_agent"‘;

        access_log  on;
        
        location ~ /lua/(.*) {
            default_type "text/html";  
            set $ref1 "Hello,Nginx & Lua !";    
            #设置nginx变量  
            set $a $1;   
            set $b $host;
        
        content_by_lua ‘   
            --nginx变量  
            local var = ngx.var  
            ngx.say("ngx.var.a : ", var.a, "<br/>")  
            ngx.say("ngx.var.b : ", var.b, "<br/>")  
            ngx.say("ngx.var[2] : ", var[2], "<br/>")  
            ngx.var.b = 2;  
            ngx.say("<br/>")  
  
            --请求头  
           ngx.say(ngx.var.httpRef, "<br/>")
           local headers = ngx.req.get_headers()  
           for k,v in pairs(headers) do  
                if type(v) == "table" then  
                    ngx.say(k, " : ", table.concat(v, ","), "<br/>")  
                else  
                    ngx.say(k, " : ", v, "<br/>")  
                end  
            end  
            ngx.say("------------headers end-----------", "<br/><br/><br/>")  
            
            --get请求uri参数  
            ngx.say("uri args begin", "<br/>")  
            local uri_args = ngx.req.get_uri_args()  
            for k, v in pairs(uri_args) do  
                if type(v) == "table" then  
                    ngx.say(k, " : ", table.concat(v, ", "), "<br/>")  
                else  
                    ngx.say(k, ": ", v, "<br/>")  
                end  
            end  
            ngx.say("uri args end", "<br/>")  
            ngx.say("a: ",ngx.var.arg_a, "<br/>")
            ngx.say("b: ",ngx.var.arg_b, "<br/>")

            --未经解码的请求 uri  
            local request_uri = headers["Host"] .. "/" .. ngx.var.request_uri;  
            ngx.say("request_uri : ", request_uri, "<br/>");  
            --解码后的 uri  
            local decode_request_uri = headers["Host"] .. "/" .. ngx.unescape_uri(ngx.var.request_uri); 
            ngx.var.ref1 = decode_request_uri;
            ngx.say("decode request_uri : ", decode_request_uri, "<br/>");  
            --MD5  
            ngx.say("ngx.md5 : ", ngx.md5("123"), "<br/>")  
            --http time  
            ngx.say("ngx.http_time : ", ngx.http_time(ngx.time()), "<br/>")  
            --ngx.var.http_referer = "*********************"
            ‘;
            
            access_log              /opt/data1/logs/nginx/pc/track/ooxx.com.access.log               tracklog;
            access_log              /opt/data1/logs/nginx/PCv1/track/ooxx.com.access.log               LogFormatv1;
        }

    }
}

需要注意的是线上的 Nginx 可能面对的是高并发场景，对于自己的 Lua 代码最好做个压力测试，比如：

tcpcopy 

或者

ab -k -c1 -n100000 ‘http://test.abc.com/lua/test%20haha/?a=3&b=4‘

7、关于 nginx 正则说明

（1）location 匹配语法规则

Nginx location 的正则匹配语法与优先级容易让新同学迷惑。

~      #波浪线表示执行一个正则匹配，区分大小写

~*    #表示执行一个正则匹配，不区分大小写

=      #进行普通字符精确匹配，与location在配置文件中的顺序无关，= 精确匹配会第一个被处理

@     #"@" 定义一个命名的 location，使用在内部定向时，例如 error_page, try_files

^~     标识符后面跟一个字符串。表示普通字符匹配，如果该选项匹配，只匹配该选项，不匹配别的选项，Nginx将在这个字符串匹配后停止进行正则表达式的匹配（location指令中正则表达式的匹配的结果优先使用），如：location ^~ /images/，你希望对/images/这个目录进行一些特别的操作，如增加expires头，防盗链等，但是你又想把除了这个目录的图片外的所有图片只进行增加expires头的操作，这个操作可能会用到另外一个location，例如：location ~* \.(gif|jpg|jpeg)$，这样，如果有请求/images/1.jpg，nginx如何决定去进行哪个location中的操作呢？结果取决于标识符^~，如果你这样写：location /images/，这样nginx会将1.jpg匹配到location ~* \.(gif|jpg|jpeg)$这个location中，这并不是你需要的结果，而增加了^~这个标识符后，它在匹配了/images/这个字符串后就停止搜索其它带正则的location。

例如：

location  = / {
  # 只匹配"/".
  [ configuration A ] 
}
location  / {
  # 匹配任何请求，因为所有请求都是以"/"开始
  # 但是更长字符匹配或者正则表达式匹配会优先匹配
  [ configuration B ] 
}
location ^~ /images/ {
  # 匹配任何以 /images/ 开始的请求，并停止匹配 其它location
  [ configuration C ] 
}
location ~* \.(gif|jpg|jpeg)$ {
  # 匹配以 gif, jpg, or jpeg结尾的请求. 
  # 但是所有 /images/ 目录的请求将由 [Configuration C]处理.   
  [ configuration D ] 
}

请求URI例子:

  • / -> 符合configuration A
  • /documents/document.html -> 符合configuration B
  • /images/1.gif -> 符合configuration C
  • /documents/1.jpg ->符合 configuration D

=      表示精确的查找地址，如location = /它只会匹配uri为/的请求，如果请求为/index.html，将查找另外的location，而不会匹配这个，当然可以写两个location，location = /和location /，这样/index.html将匹配到后者，如果你的站点对/的请求量较大，可以使用这个方法来加快请求的响应速度。

@      表示为一个location进行命名，即自定义一个location，这个location不能被外界所访问，只能用于Nginx产生的子请求，主要为error_page和try_files。

（2）location 优先级官方文档

  1. =前缀的指令严格匹配这个查询。如果找到，停止搜索。
  2. 所有剩下的常规字符串，最长的匹配。如果这个匹配使用^?前缀，搜索停止。
  3. 正则表达式，在配置文件中定义的顺序。
  4. 如果第3条规则产生匹配的话，结果被使用。否则，如同从第2条规则被使用。

（3）正则语法

~      为区分大小写的匹配。

~*     不区分大小写的匹配（匹配firefox的正则同时匹配FireFox）。

!~     不匹配的

!~*    不匹配的

.     匹配除换行符以外的任意字符

\w     匹配字母或数字或下划线或汉字

\s     匹配任意的空白符

\d     匹配数字

\b     匹配单词的开始或结束

^     匹配字符串的开始

$     匹配字符串的结束

\W     匹配任意不是字母，数字，下划线，汉字的字符

\S     匹配任意不是空白符的字符

\D     匹配任意非数字的字符

\B     匹配不是单词开头或结束的位置

捕获     (exp)     匹配exp,并捕获文本到自动命名的组里

(?<name>exp)     匹配exp,并捕获文本到名称为name的组里，也可以写成(?‘name‘exp)

(?:exp)     匹配exp,不捕获匹配的文本，也不给此分组分配组号

零宽断言     (?=exp)     匹配exp前面的位置

(?<=exp)     匹配exp后面的位置

(?!exp)     匹配后面跟的不是exp的位置

(?<!exp)     匹配前面不是exp的位置

注释     (?#comment)     这种类型的分组不对正则表达式的处理产生任何影响，用于提供注释让人阅读

Refer：

[1] agentzh 的 Nginx 教程（版本 2015.03.19）

http://openresty.org/download/agentzh-nginx-tutorials-zhcn.html

[2] HttpLuaModule

http://wiki.nginx.org/HttpLuaModule

[3] nginx lua api翻译

http://blog.csdn.net/imlsz/article/details/42915473

[4] nginx与lua的执行顺序和步骤说明

http://www.mrhaoting.com/?p=157

[5] ngx_lua用例说明

http://www.mrhaoting.com/?p=165

[6] 第二章 Nginx+Lua开发入门

http://jinnianshilongnian.iteye.com/blog/2186448

[7] 在Nginx使用Lua扩展功能

http://yikebocai.com/2014/11/generate-seqid-in-nginx-by-lua/

[8] nginx location匹配规则

http://www.nginx.cn/115.html

http://blog.csdn.net/gzh0222/article/details/7845981

时间： 2024-10-05 03:39:32

玩转 Nginx 之：使用 Lua 扩展 Nginx 功能的相关文章

【重要】Nginx模块之————Lua的Nginx API 常量以及参数介绍 (Lua-Nginx-Module 模块)

一.介绍 各种* _by_lua,* _by_lua_block和* _by_lua_file配置指令用作nginx.conf文件中Lua API的网关. 下面描述的Nginx Lua API只能在这些配置指令的上下文中运行的用户Lua代码中调用.API以两个标准软件包ngx和ndk的形式暴露给Lua. 这些软件包位于ngx_lua中的默认全局范围内,并且始终可在ngx_lua指令中使用. 这些包可以像这样引入外部Lua模块: local say = ngx.say local _M = {}

动态扩展Nginx支持Lua功能

一.Lua说明: Lua 是一个简洁.轻量.可扩展的脚本语言,也是号称性能最高的脚本语言,用在很多需要性能的地方,比如:游戏脚本,nginx,wireshark的脚本,当你把他的源码下下来编译后,你会发现解释器居然不到200k,非常变态.很多应用程序使用Lua作为自己的嵌入式脚本语言,以此来实现可配置性.可扩展性. 二.实验环境: 192.168.1.194服务器(centos 6.5 final版本) nginx版本:nginx-1.6.1 三.安装配置: 这里假定已经安装好了nginx(安装

用lua扩展你的Nginx（整理）

首先得声明,这不是我的原创,是在网上搜索到的一篇文章,原著是谁也搞不清楚了,按风格应该是属于章亦春的文章. 整理花了不少时间,所以就暂写成原创吧. 一. 概述 Nginx是一个高性能,支持高并发的,轻量级的web服务器.目前,Apache依然web服务器中的老大,但是在全球前1000大的web服务器中,Nginx的份额为22.4%.Nginx采用模块化的架构,官方版本的Nginx中大部分功能都是通过模块方式提供的,比如Http模块.Mail模块等.通过开发模块扩展Nginx,可以将Nginx打造

Nginx 内嵌lua脚本，结合Redis使用

0x00 Nginx 内嵌Lua脚本有以下特点: 20k个并发连接 Lua脚本可以在Nignx 11个层次的不同层次发挥作用,扩展Ngnix功能 Lua速度极快(寄存器指令) 0x01 应用场景 在web server端做请求过滤处理(如:WAF.Anti CC等) 0x02 简单配置过程 测试环境Ubuntu Server 14.04.2 LTS 几个需要下载的模块(注意安装顺序和export路径问题) Nginx 1.7.4 LuaJIT-2.0.4(A Just-In-Time Compi

HttpLuaModule——翻译（Nginx API for Lua） （转）

现在我已经将翻译的内容放到:http://wiki.nginx.org/HttpLuaModuleZh Nginx API for Lua Introduction 各种各样的*_by_lua和*_by_lua_file配置文件服务在都在nginx.conf文件内.这些LUA API只能运行在这些配置文件里面. 这个API有两个标准的包NGX和NDK.这个包在ngx_lua内默认的包. 这个软件包可以这样的引入外部的文件 local say = ngx.say module(...) funct

CentOS6.4 安装OpenResty和Redis 并在Nginx中利用lua简单读取Redis数据

1.下载OpenResty和Redis OpenResty下载地址:wget http://openresty.org/download/ngx_openresty-1.4.3.6.tar.gz Redis下载地址:wget http://download.redis.io/releases/redis-2.8.6.tar.gz 2.安装依赖包 yum install -y gcc gcc-c++ readline-devel pcre-devel openssl-devel tcl perl

在nginx中使用lua直接访问mysql和memcaced达到数据接口的统一

安装nginx参见<nginx+lua+redis构建高并发应用> 让nginx 中的nginx_lua_module支持mysql 和memcache 下载 https://github.com/agentzh/lua-resty-memcached https://github.com/agentzh/lua-resty-mysql 对于访问接口的统一有很多的处理方式,这里介绍使用nginx lua 访问mysql并用memcache缓存起来. 配置如下: ... location /ge

nginx整合php+lua+oracle环境搭建

nginx整合php+lua+oracle环境搭建 标签: nginxluaoraclephplinux 2014-09-25 10:39 1473人阅读 评论(0) 收藏 举报 分类: 技术(70) 版权声明:本文为博主原创文章,未经博主允许不得转载. *执行 yum update 为了得到一个最新的系统 *执行 rpm -ivh oracle-instantclient12.1-basic-12.1.0.2.0-1.x86_64.rpm oracle-instantclient12.1-de

Centos7 编译安装 Nginx PHP Mariadb Memcached 扩展 ZendOpcache扩展 (实测 笔记 Centos 7.0 + Mariadb 10.1.9 + Nginx 1.9.9 + PHP 7.0.0)

环境: 系统硬件:vmware vsphere (CPU:2*4核,内存2G,双网卡) 系统版本:CentOS-7-x86_64-Minimal-1503-01.iso 安装步骤: 1.准备 1.1 设置静态IP.DNS地址(网络设备名称有可能不一样,这里是eno16780032,如使用DHCP获取动态IP,可忽略) [[email protected] ~]# vi /etc/sysconfig/network-scripts/ifcfg-eno16780032 找到BOOTPROTO,并且修