架构如上图所示
lua-resty-ffi提供了一个高效和通用的API,用于使用主流语言(Go、Python、Java、Rust等)进行开放式编程。
因为是通过c扩展直接调用因此可以保证性能,对于任何对c扩展支持的编程语言都可以快速接入。
特征介绍
lua-resty-ffi提供了一个高效和通用的API,用于使用主流语言(Go、Python、Java、Rust等)进行开放式编程。
特点:
使用举例
以go为例
cd /opt
git clone
cd lua-resty-ffi
# compile and install openresty with lua-resty-ffi
# optionally, you could specify any compile options you need, e.g.
# ./build.sh --with-pcre-jit --add-module=...
./build.sh
cd examples/go
# install golang if not yet
wget
rm -rf /usr/local/go && tar -C /usr/local -xzf go1.19.3.linux-amd64.tar.gz
export PATH=$PATH:/usr/local/go/bin
# compile example libraries
make
# run nginx
make run
# in another terminal
curl :20000/echo
ok
有关详细信息,请查看每种编程语言的目录。
此外,请查看此博客文章:
该文章讲到如何通过rust使用openresty
背景
在openresty领域,当你转向实现一些逻辑,特别是与第三方流行框架相结合时,它可能会很尴尬:没有对应的接入方式。
C是一种低级语言,没有统一和丰富的库和生态系统,大多数现代框架不支持C,相反,它们喜欢Java、Python、Go。C适用于基础软件。
Lua是一种嵌入式和最小的编程语言,这意味着所有力量都来自主机。在开放中,这意味着所有功能都来自lua-nginx模块。像C一样,甚至更糟糕的是,你必须通过Cosocket重新发明车轮,才能做现代网络的事情。许多lua-resty-*诞生了,但与其他语言的母语lib相比,它们几乎是半成品。例如,lua-resty-kafka不支持消费者团体,lua-resty-postgres不支持通知和准备声明等。此外,lua-resty-*的大多数作者在某个阶段停止了开发,因为lua社区太小了,吸引力也更小。
为什么不用wasm
WASM有以下缺点,因此不适合开放:
那么,我可以用现代编程语言(Go、Python、Java、Rust等)扩展开放性,并直接重用它们丰富的生态系统吗?是的,这就是lua-resty-ffi所做的。
相关概念
在Python3中,这意味着带有本机python3模块的加载程序库libffi_python3.so。
在Java中,它意味着带有原生Java类/jar的加载程序库libffi_java.so。
该格式可以是任何序列化格式,例如json、yaml,只要它与运行时匹配。
库和配置的组合将引入一个新的运行时,该运行时代表一些线程或用于执行作业的协程。
您可以使用具有不同配置的同一库,这非常常见,特别是对于Java和Python。
Nginx工作进程和运行时之间的耦合基于消息交换,其中包含两个方向:
1,请求
Lua协程创造了一项任务
将任务与请求消息相关联,即C malloc()字符数组。请注意,这个字符数组将由lua-resty-ffi释放,运行时只是使用它。
将任务放入运行时的线程安全队列并生成
运行时轮询此队列
为什么不调用其他语言提供的API?
在Go中,由于GMP模型,它可能会阻止nginx工作进程
它增加了其他语言提供此类API的负担
2,回应
运行时将响应(也称为C malloc()字符数组)直接注入ngx_thread_pool_done队列,并通过eventfd通知nginx epoll循环,然后nginx将恢复lua协程。请注意,lua-resty-ffi将释放响应,因此在您的运行时无需关心它。
压测
和unix socket domain 对比性能报告如下
总结
从事nginx扩展开发的同学可以关注下这个扩展库,它开放了一种多语言模型,提供了灵活的扩展方式和nginx高性能模型进行配合。
(此处已添加书籍卡片,请到今日头条客户端查看)
项目地址:
Redis中使用Lua脚本
Lua 是一个小巧的脚本语言,用标准 C 编写,几乎在所有操作系统和平台上都可以编译运行。一个完整的 Lua 解释器不过 200k,在目前所有脚本引擎中,Lua 的速度是最快的,这一切都决定了 Lua 是作为嵌入式脚本的最佳选择。它被广泛的应用于:游戏开发、独立应用脚本、Web 应用脚本、扩展和数据库插件等。
虽然 Redis 官网提供了丰富指令集(200多个),但是在某些特定的领域需要对指令进行扩充,因此 Redis 允许我们使用 Lua 语言以自定义的方式编写脚本命令,这满足了一部分用户的需求。Redis 服务器会以单线程、原子性的方式执行 Lua 脚本,保证 Lua 脚本在处理过程中不会被其他请求中断。
使用 Lua 脚本有如下好处:
Redis 2.6 版本之后内嵌了一个 Lua 解释器,可以用于一些简单的事务与逻辑运算,也可帮助开发者定制自己的 Redis 命令(例如:一次性的执行复杂的操作,和带有逻辑判断的操作),在这之前,必须修改源码。
Lua脚本常用命令(6个命令):
命令描述
EVAL
执行 Lua 脚本。
EVALSHA
执行 Lua 脚本。
SCRIPT EXISTS
查看指定的脚本是否已经被保存在缓存当中。
SCRIPT FLUSH
从脚本缓存中移除所有脚本。
SCRIPT KILL
杀死当前正在运行的 Lua 脚本。
SCRIPT LOAD
将脚本 script 添加到脚本缓存中,但并不立即执行这个脚本。
EVAL命令
在 Redis 中执行 Lua 脚本有两种方法:eval 和 evalsha,这里以 eval 做为案例介绍:
eval script numkeys key [key ...] arg [arg ...]
参数说明如下:
实例:在 Redis 客户端使用 Lua 语言编写“Hello World”并将其输出。
127.0.0.1:6379> EVAL "return 'Hello world'" 0
"Hello world"
简单的table输出:既有key键也有附加参数(在lua里是指数据类型table,同样类似常说的数组格式)
127.0.0.1:6379> EVAL "return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}" 2 key1 key2 first second
1) "key1"
2) "key2"
3) "first"
4) "second"
只有附加参数
127.0.0.1:6379> EVAL "return {ARGV[1],ARGV[2]}" 0 'hello!' 'my name is amumu'
1) "hello!"
2) "my name is amumu"
Lua 执行流程图:
SCRIPT LOAD 与 EVALSHA 命令
对于不立即执行的 Lua 脚本,或需要重用的 Lua 脚本,可以通过 SCRIPT LOAD 提前载入 Lua 脚本,这个命令会立即返回对应的 SHA1 校验码
当需要执行函数时,通过 EVALSHA 调用 SCRIPT LOAD 返回的 SHA1 即可
127.0.0.1:6379> SCRIPT LOAD "return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}"
"a42059b356c875f0717db19a51f6aaca9ae659ea"
127.0.0.1:6379> EVALSHA "a42059b356c875f0717db19a51f6aaca9ae659ea" 2 key1 key2 first second
1) "key1"
2) "key2"
3) "first"
4) "second"
通过 Lua 脚本执行 Redis 命令
在 Lua 脚本中,只要使用 redis.call() 或 redis.pcall() 传入 Redis 命令就可以直接执行:
#等同于在服务端执行 set foo bar
127.0.0.1:6379> eval "return redis.call('set',KEYS[1],'bar')" 1 foo
OK
127.0.0.1:6379> get foo
"bar"
#使用redis.pcall()获取key的值
127.0.0.1:6379> eval "return redis.pcall('GET', KEYS[1])" 1 foo
"bar"
案例,使用 Lua 脚本实现访问频率限制:
--
-- KEYS[1] 要限制的ip
-- ARGV[1] 限制的访问次数
-- ARGV[2] 限制的时间
--
local key = "rate.limit:" .. KEYS[1]
local limit = tonumber(ARGV[1])
local expire_time = ARGV[2]
local is_exists = redis.call("EXISTS", key)
if is_exists == 1then
if redis.call("INCR", key) > limit then
return0
else
return1
end
else
redis.call("SET", key, 1)
redis.call("EXPIRE", key, expire_time)
return1
end
使用方法,通过:
eval(file_get_contents(storage_path("limit.lua")), 3, "127.0.0.1", "3", "100")