ngx_lua学习笔记 -- capture + proxy 实现httpclient

题注

最近我在学习nginx的lua插件,发现结合nginx的异步io和lua的流程控制能力,还是有很丰富的想象空间的:几乎所有常见的http请求的处理逻辑都能搞定,诸如查查数据库,访问一下memcache,读写一下本地文件等,都不在话下。恰好我正在研究一个第三方http服务的调用api,就产生了将其移植到lua上的想法。

其中涉及到了构造https请求的需求。我先采用ngx.socket.tcp()自己构造了一个http格式的请求,测试结果为可用,然后考虑能不能找到封装好了的httpclient。放狗搜索了一番后,只找到了这个库:lua-resty-http (https://github.com/liseen/lua-resty-http)。无奈下载下来后发现其不支持https,遂fork并修改了一番(https://github.com/kyriosli/lua-resty-http),加上了https支持。

到此貌似整个移植过程就完了?NO,nginx本身就是玩http的,为啥我们还要自己构造http请求,解析请求结果,管理连接复用呢?想到这一层,我又把眼光转到了nginx自带的api上

原理

ngx_lua本身不提供httpclient功能,但提供了ngx.location.capture接口。这个接口可以发送一个子请求(subrequest),并获取子请求的响应结果。子请求可以调用lua,或者返回文件,甚至通过proxy_pass访问另一个地址。

关键就在这里!如果我们使用proxy_pass机制结合subrequest,不就能实现http接口请求了吗?

且慢!

一般来说,httpclient要求能够指定method,scheme,域名,端口,请求头,以及数据。但默认的subrequest将继承所有当前请求的信息。好在ngx.location.capture接口支持指定method和data。那么只要搞定scheme,域名,端口,请求头就可以了。

实现

使用过nginx的proxy_pass的同学都知道,proxy_pass支持从变量中获取值(如常见的proxy_pass $scheme://xxx$request_uri;)。而rewrite能够利用捕获组设置变量,所以,我们可以在nginx的配置文件中加入这么一条location规则:

location /proxy/ {
     internal;
    rewrite ^/proxy/(https?)/([^/]+)/(\d+)/(.*)     /$4 break;
    proxy_pass      $1://$2:$3;
}
  • 第一行,指定规则为internal规则,防止外部请求命中此规则
  • 第二行,使用rewrite将地址中的scheme,host,port匹配出来;使用break终止匹配,不再检查其它location
  • 第三行,使用proxy_pass将scheme,host,port拼装成服务器地址

这样,我们要请求如https://www.example.com:443/foo/bar时,只需要在lua代码中构造一个子请求,地址为/proxy/https/www.example.com/443/foo/bar即可。

接下来就是header问题,通过ngx.req.set_header可以在lua中添加需要的请求头。

由于header的继承性,我们需要考虑来自客户端的哪些header不能被传递到远端接口中:

  • Host: 因为proxy_pass默认会重写host,所以无需处理(在常规的proxy_pass中,可能需要使用proxy_set_header命令修正Host头)
  • Content-Type: 如果来自客户端的请求类型为POST,需要将该头去掉
  • Content-Length: 同上
  • Accept-Encoding: 绝大多数时候,浏览器接受gzip, deflate格式的压缩,如果远端接口启用了压缩,此头将导致返回的数据格式被压缩过,从而lua无法正确处理。因此需要去掉此头
  • Cookie: 涉及到隐私问题,所以这个头也需要去掉

 通过ngx.req.clear_header可以将需要去掉的头去掉。注意为了不影响后续处理,所有被去掉/改写的头应该被恢复,所有被添加的头应该被去掉。

下面是一个简单的示例代码:

-- POST https://www.example.com:443/foo/bar?hello=world

ngx.req.set_header("Content-Type", "application/json;charset=utf8");
ngx.req.set_header("Accept", "application/json");

local res = ngx.location.capture(‘/proxy/https/www.example.com/443/foo/bar‘, {
    method = ngx.HTTP_POST,
    body = body,
    args = {hello = ‘world‘}
});
时间: 2024-10-28 04:12:56

ngx_lua学习笔记 -- capture + proxy 实现httpclient的相关文章

Android(java)学习笔记211:采用httpclient提交数据(qq登录案例)

1.Apache -Httpclient HttpClient 是 Apache Jakarta Common 下的子项目,可以用来提供高效的.最新的.功能丰富的支持 HTTP 协议的客户端编程工具包,并且它支持 HTTP 协议最新的版本和建议.(类比推理MySQL数据库客户端) 代码模拟浏览器的行为              (1)打开浏览器              (2)输入数据              (3)敲回车 2.Httpclient使用GET方式提交数据: 其中MainActi

Ionic3学习笔记(十三)HttpClient 实现 HTTP 请求以及踩过的一些坑

本文为原创文章,转载请标明出处 目录 猫眼API HttpClient 实现 HTTP 请求 安装 HttpClientModule 模块 创建 provider 创建 page 一些坑 坑1: 未在 app.module.ts 中导入 HttpClientModule 坑2: Chrome 调试时 CORS 问题 坑3: WKWebView 问题 更多 1. 猫眼API 当然是基于这篇古老的文章啦 ==> http://www.jianshu.com/p/9855610eb1d4 因为是201

Python学习笔记 capture 1

最近开始学习Python3.x,真的感觉Python的语法与C++,Java有很大的不同,Python从某些方面来说语法更简单.Python作为一种解释性语言和编译型语言如C++来说,还是各有千秋的.不过本质来说,编译型语言,是一次编译,生成一个电脑可识别的机器码,到处运行,而解释型语言是解释一行,运行一行,或许从这方面来说,Python的运行时间要久于C++,但相对于人眼感知的时间来说,可忽略.事无绝对.Python作为一种高级编程语言,正在世界范围内变得越来越流行. 目前Python主要应用

Android学习笔记(四五):互联网通信-HttpClient、XML解析(W3C)

前几日Android发布了4.0 Icecream,昨天上网发现Begining Book中有Edition 3的版本,比对一下,还是有相当的改动,不仅仅增加了tablet的部分,对原有的章节有有一些修订,前后的调整等等.先按Edtion 2的顺序看,相同章节的看Edtion 3,然后回头看Edition 3的Chapter 24.25(E2的36).26.27.28.29.44.45.46.47几个新增章节.同时将模拟器改为Android 2.3的版本,已适应可能新增的改动. 访问Intern

Android学习笔记之HttpClient实现Http请求....

PS:最近光忙着考试了....破组成原理都看吐了....搞的什么也不想干...写篇博客爽爽吧....貌似明天就考试了...sad... 学习笔记: 1.如何实现Http请求来实现通信.... 2.解决Android 2.3 版本以后无法使用Http请求问题....   这里我使用HttpClient来开发Http程序来完成简单的网络通信....其实使用HttpUrlConnection也可以实现,不过HttpClient可以完成HttpUrlConnection的所有功能,并且还自己增加了其他的

Dynamic CRM 2013学习笔记(三十)A proxy type with the name account has been defined by another assembly

在CRM中使用linq时,有时会报这个错误: A proxy type with the name account has been defined by another assembly. Current type: Account, MyAssembly, Version=1.0.0.4, Culture=neutral, PublicKeyToken=be9afbacb707a086, Existing type: Account, CustomPages, Version=1.0.0.0

LoadRunner学习笔记--未经排版

LoadRunner学习笔记 并发用户数量: 与服务器进行交互的在线用户数量 请求响应时间 从客户端发送请求到得到整个响应的时间 一般包括网络响应时间+server的响应时间 事务相应时间 完成这个事务所用的时间 是性能测试中重点关注的指标 吞吐率 单位时间在网络上传输的数据量(吞吐量:网络上传输的数据总量) 指从server返回客户端的 是衡量网络性能的主要指标 TPS 每秒钟系统能够处理事务的数量 点击率 每秒发送的HTTP请求的数量 点击率越大对server的压力也就越大 资源利用率 对不

[原创]java WEB学习笔记70:Struts2 学习之路-- struts2拦截器源码分析,运行流程

本博客的目的:①总结自己的学习过程,相当于学习笔记 ②将自己的经验分享给大家,相互学习,互相交流,不可商用 内容难免出现问题,欢迎指正,交流,探讨,可以留言,也可以通过以下方式联系. 本人互联网技术爱好者,互联网技术发烧友 微博:伊直都在0221 QQ:951226918 -----------------------------------------------------------------------------------------------------------------

不错的Spring学习笔记(转)

Spring学习笔记(1)----简单的实例 ---------------------------------   首先需要准备Spring包,可从官方网站上下载.   下载解压后,必须的两个包是spring.jar和commons-logging.jar.此外为了便于测试加入了JUnit包.   在Myeclipse中创建Java项目.   编写一个接口类,为了简单,只加入了一个方法.   Java代码   1.package com.szy.spring.interfacebean;