使用任意编程语言为nginx扩展高性能逻辑

‬架构如上图所示

lua-resty-ffi提供了一个高效和通用的API,用于使用主流语言(Go、Python、Java、Rust等)进行开放式编程。

因为是通过c扩展直接调用因此可以保证性能,对于任何对c扩展支持的编程语言都可以快速接入。

‬特征介绍

lua-resty-ffi提供了一个高效和通用的API,用于使用主流语言(Go、Python、Java、Rust等)进行开放式编程。

特点:

‬使用举例

以go为例

cd /opt

git clone

cd lua-resty-ffi

# compile and install openresty with lua-resty-ffi

# optionally, you could specify any compile options you need, e.g.

# ./build.sh --with-pcre-jit --add-module=...

./build.sh

cd examples/go

# install golang if not yet

wget

rm -rf /usr/local/go && tar -C /usr/local -xzf go1.19.3.linux-amd64.tar.gz

export PATH=$PATH:/usr/local/go/bin

# compile example libraries

make

# run nginx

make run

# in another terminal

curl :20000/echo

ok

有关详细信息,请查看每种编程语言的目录。

此外,请查看此博客文章:

该文章讲到如何通过rust使用openresty

‬背景

在openresty领域,当你转向实现一些逻辑,特别是与第三方流行框架相结合时,它可能会很尴尬:没有对应的接入方式。

C是一种低级语言,没有统一和丰富的库和生态系统,大多数现代框架不支持C,相反,它们喜欢Java、Python、Go。C适用于基础软件。

Lua是一种嵌入式和最小的编程语言,这意味着所有力量都来自主机。在开放中,这意味着所有功能都来自lua-nginx模块。像C一样,甚至更糟糕的是,你必须通过Cosocket重新发明车轮,才能做现代网络的事情。许多lua-resty-*诞生了,但与其他语言的母语lib相比,它们几乎是半成品。例如,lua-resty-kafka不支持消费者团体,lua-resty-postgres不支持通知和准备声明等。此外,lua-resty-*的大多数作者在某个阶段停止了开发,因为lua社区太小了,吸引力也更小。

‬为什么不用wasm

WASM有以下缺点,因此不适合开放:

那么,我可以用现代编程语言(Go、Python、Java、Rust等)扩展开放性,并直接重用它们丰富的生态系统吗?是的,这就是lua-resty-ffi所做的。

‬相关概念

在Python3中,这意味着带有本机python3模块的加载程序库libffi_python3.so。

在Java中,它意味着带有原生Java类/jar的加载程序库libffi_java.so。

该格式可以是任何序列化格式,例如json、yaml,只要它与运行时匹配。

库和配置的组合将引入一个新的运行时,该运行时代表一些线程或用于执行作业的协程。

您可以使用具有不同配置的同一库,这非常常见,特别是对于Java和Python。

Nginx工作进程和运行时之间的耦合基于消息交换,其中包含两个方向:

1,请求

Lua协程创造了一项任务

将任务与请求消息相关联,即C malloc()字符数组。请注意,这个字符数组将由lua-resty-ffi释放,运行时只是使用它。

将任务放入运行时的线程安全队列并生成

运行时轮询此队列

为什么不调用其他语言提供的API?

在Go中,由于GMP模型,它可能会阻止nginx工作进程

它增加了其他语言提供此类API的负担

2,回应

运行时将响应(也称为C malloc()字符数组)直接注入ngx_thread_pool_done队列,并通过eventfd通知nginx epoll循环,然后nginx将恢复lua协程。请注意,lua-resty-ffi将释放响应,因此在您的运行时无需关心它。

‬压测

和unix socket domain 对比性能报告如下

‬总结

从事nginx扩展开发的同学可以关注下这个扩展库,它开放了一种多语言模型,提供了灵活的扩展方式和nginx高性能模型进行配合。

(此处已添加书籍卡片,请到今日头条客户端查看)

项目地址:

Redis中使用Lua脚本

Lua 是一个小巧的脚本语言,用标准 C 编写,几乎在所有操作系统和平台上都可以编译运行。一个完整的 Lua 解释器不过 200k,在目前所有脚本引擎中,Lua 的速度是最快的,这一切都决定了 Lua 是作为嵌入式脚本的最佳选择。它被广泛的应用于:游戏开发、独立应用脚本、Web 应用脚本、扩展和数据库插件等。

虽然 Redis 官网提供了丰富指令集(200多个),但是在某些特定的领域需要对指令进行扩充,因此 Redis 允许我们使用 Lua 语言以自定义的方式编写脚本命令,这满足了一部分用户的需求。Redis 服务器会以单线程、原子性的方式执行 Lua 脚本,保证 Lua 脚本在处理过程中不会被其他请求中断。

使用 Lua 脚本有如下好处:

Redis 2.6 版本之后内嵌了一个 Lua 解释器,可以用于一些简单的事务与逻辑运算,也可帮助开发者定制自己的 Redis 命令(例如:一次性的执行复杂的操作,和带有逻辑判断的操作),在这之前,必须修改源码。

Lua脚本常用命令(6个命令):

命令描述

EVAL

执行 Lua 脚本。

EVALSHA

执行 Lua 脚本。

SCRIPT EXISTS

查看指定的脚本是否已经被保存在缓存当中。

SCRIPT FLUSH

从脚本缓存中移除所有脚本。

SCRIPT KILL

杀死当前正在运行的 Lua 脚本。

SCRIPT LOAD

将脚本 script 添加到脚本缓存中,但并不立即执行这个脚本。

EVAL命令

在 Redis 中执行 Lua 脚本有两种方法:eval 和 evalsha,这里以 eval 做为案例介绍:

eval script numkeys key [key ...] arg [arg ...]

参数说明如下:

实例:在 Redis 客户端使用 Lua 语言编写“Hello World”并将其输出。

127.0.0.1:6379> EVAL "return 'Hello world'" 0
"Hello world"

简单的table输出:既有key键也有附加参数(在lua里是指数据类型table,同样类似常说的数组格式)

127.0.0.1:6379> EVAL "return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}" 2 key1 key2 first second
1) "key1"
2) "key2"
3) "first"
4) "second"

只有附加参数

127.0.0.1:6379> EVAL "return {ARGV[1],ARGV[2]}" 0 'hello!' 'my name is amumu'
1) "hello!"
2) "my name is amumu"

Lua 执行流程图:

SCRIPT LOAD 与 EVALSHA 命令

对于不立即执行的 Lua 脚本,或需要重用的 Lua 脚本,可以通过 SCRIPT LOAD 提前载入 Lua 脚本,这个命令会立即返回对应的 SHA1 校验码

当需要执行函数时,通过 EVALSHA 调用 SCRIPT LOAD 返回的 SHA1 即可

127.0.0.1:6379> SCRIPT LOAD "return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}"
"a42059b356c875f0717db19a51f6aaca9ae659ea"


127.0.0.1:6379> EVALSHA "a42059b356c875f0717db19a51f6aaca9ae659ea" 2 key1 key2 first second
1) "key1"
2) "key2"
3) "first"
4) "second"

通过 Lua 脚本执行 Redis 命令

在 Lua 脚本中,只要使用 redis.call() 或 redis.pcall() 传入 Redis 命令就可以直接执行:

#等同于在服务端执行 set foo bar
127.0.0.1:6379> eval "return redis.call('set',KEYS[1],'bar')" 1 foo
OK
127.0.0.1:6379> get foo
"bar"
#使用redis.pcall()获取key的值
127.0.0.1:6379> eval "return redis.pcall('GET', KEYS[1])" 1 foo
"bar"

案例,使用 Lua 脚本实现访问频率限制:

--
-- KEYS[1] 要限制的ip
-- ARGV[1] 限制的访问次数
-- ARGV[2] 限制的时间
--

local key = "rate.limit:" .. KEYS[1]
local limit = tonumber(ARGV[1])
local expire_time = ARGV[2]

local is_exists = redis.call("EXISTS", key)
if is_exists == 1then
if redis.call("INCR", key) > limit then
return0
else
return1
end
else
redis.call("SET", key, 1)
redis.call("EXPIRE", key, expire_time)
return1
end

使用方法,通过:

eval(file_get_contents(storage_path("limit.lua")), 3, "127.0.0.1", "3", "100")

本站内容来自用户投稿,如果侵犯了您的权利,请与我们联系删除。联系邮箱:835971066@qq.com

本文链接:http://news.xiuzhanwang.com/post/2458.html

友情链接: