第4章 lua、Canal实现广告缓存

2024-07-18 06:36| 来源: 网络整理| 查看: 265

1.Lua 1.1 在linux安装lua 1.1.1 先安装lua相关依赖库的支持 yum install libtermcap-devel ncurses-devel libevent-devel readline-devel 1.1.2 再安装

curl -R -O http://www.lua.org/ftp/lua-5.3.5.tar.gz tar zxf lua-5.3.5.tar.gz cd lua-5.3.5 make linux test

1.2 语法 1.2.1 交互式编程 Lua 交互式编程模式可以通过命令 lua -i 或 lua 来启用，然后输入命令直接输出结果 print(“hello”);

1.2.2 脚本式编程编辑文件hello.lua vi hello.lua 在文件中输入 print(“hello”); 保存并退出执行命令 lua hello.lua 输出：hello

1.3 变量 – 全局变量赋值 a=1 – 局部变量赋值 local b=2 1.4模块创建一个文件叫module.lua

-- 文件名为 module.lua -- 定义一个名为 module 的模块 module = {} -- 定义一个常量 module.constant = "这是一个常量" -- 定义一个函数 function module.func1() print("这是一个公有函数") end local function func2() print("这是一个私有函数！") end function module.func3() func2() end return module

1.3.1: require 函数 require 用于引入其他的模块，类似于java中的类要引用别的类的效果 1.3.2 引用创建一个test_module.lua文件

-- test_module.lua 文件 -- module 模块为上文提到到 module.lua require("module") print(module.constant) module.func3()

输出 lua test_module.lua

2.OpenResty介绍 2.1 安装 1 添加仓库执行命令 yum install yum-utils yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo 2.执行安装 yum install openresty 3.安装成功后会在默认的目录如下 /usr/local/openresty 2.2 安装nginx 修改/usr/local/openresty/nginx/conf/nginx.conf,将配置文件使用的根设置为root,目的就是将来要使用lua脚本的时候，直接可以加载在root下的lua脚本。 cd /usr/local/openresty/nginx/conf vi nginx.conf 在这里插入图片描述查询数据放入redis中 a.连接mysql ，按照广告分类ID读取广告列表，转换为json字符串。 b.连接redis，将广告列表json字符串存入redis 。步骤 1. 移到 /root/lua目录，在该目录下创建update_content.lua：目的就是连接mysql 查询数据并存储到redis中。先查询openresty本地缓存如果没有

再查询redis中的数据，如果没有

再查询mysql中的数据，但凡有数据则返回即可。

在这里插入图片描述

ngx.header.content_type="application/json;charset=utf8" local uri_args = ngx.req.get_uri_args(); local id = uri_args["id"]; --获取本地缓存 local cache_ngx = ngx.shared.dis_cache; --根据ID 获取本地缓存数据 local contentCache = cache_ngx:get('content_cache_'..id); if contentCache == "" or contentCache == nil then local redis = require("resty.redis"); local red = redis:new() red:set_timeout(2000) red:connect("192.168.211.132", 6379) local rescontent=red:get("content_"..id); if ngx.null == rescontent then local cjson = require("cjson"); local mysql = require("resty.mysql"); local db = mysql:new(); db:set_timeout(2000) local props = { host = "192.168.211.132", port = 3306, database = "changgou_content", user = "root", password = "123456" } local res = db:connect(props); local select_sql = "select url,pic from tb_content where status ='1' and category_id="..id.." order by sort_order"; res = db:query(select_sql); local responsejson = cjson.encode(res); red:set("content_"..id,responsejson); ngx.say(responsejson); db:close() else cache_ngx:set('content_cache_'..id, rescontent, 10*60); ngx.say(rescontent) end red:close() else ngx.say(contentCache) end

测试地址：http://192.168.211.132/update_content?id=1

此时会将分类ID=1的所有广告查询出来，并存入到Redis缓存。在这里插入图片描述测试地址：http://192.168.211.132/read_content?id=1

此时会获取分类ID=1的所有广告信息。在这里插入图片描述

nginx的限流

nginx提供两种限流的方式：

一是控制速率

二是控制并发连接数

1 控制速率

控制速率的方式之一就是采用漏桶算法。

(1)漏桶算法实现控制速率限流

漏桶(Leaky Bucket)算法思路很简单,水(请求)先进入到漏桶里,漏桶以一定的速度出水(接口有响应速率),当水流入速度过大会直接溢出(访问频率超过接口响应速率),然后就拒绝请求,可以看出漏桶算法能强行限制数据的传输速率.示意图如下: 在这里插入图片描述 (2)nginx的配置修改/usr/local/openresty/nginx/conf/nginx.conf:

user root root; worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; #cache lua_shared_dict dis_cache 128m; #限流设置 limit_req_zone $binary_remote_addr zone=contentRateLimit:10m rate=2r/s; sendfile on; #tcp_nopush on; #keepalive_timeout 0; keepalive_timeout 65; #gzip on; server { listen 80; server_name localhost; location /update_content { content_by_lua_file /root/lua/update_content.lua; } location /read_content { #使用限流配置 limit_req zone=contentRateLimit; content_by_lua_file /root/lua/read_content.lua; } } }

配置说明： binary_remote_addr 是一种key，表示基于 remote_addr(客户端IP) 来做限流，binary_ 的目的是压缩内存占用量。 zone：定义共享内存区来存储访问信息， contentRateLimit:10m 表示一个大小为10M，名字为contentRateLimit的内存区域。1M能存储16000 IP地址的访问信息，10M可以存储16W IP地址访问信息。 rate 用于设置最大访问速率，rate=10r/s 表示每秒最多处理10个请求。Nginx 实际上以毫秒为粒度来跟踪请求信息，因此 10r/s 实际上是限制：每100毫秒处理一个请求。这意味着，自上一个请求处理完后，若后续100毫秒内又有请求到达，将拒绝处理该请求.我们这里设置成2 方便测试。测试：

重新加载配置文件 cd /usr/local/openresty/nginx/sbin

./nginx -s reload (3)处理突发流量

上面例子限制 2r/s，如果有时正常流量突然增大，超出的请求将被拒绝，无法处理突发流量，可以结合 burst 参数使用来解决该问题 burst 往往结合 nodelay 一起使用完整代码如下

user root root; worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; #cache lua_shared_dict dis_cache 128m; #限流设置 limit_req_zone $binary_remote_addr zone=contentRateLimit:10m rate=2r/s; sendfile on; #tcp_nopush on; #keepalive_timeout 0; keepalive_timeout 65; #gzip on; server { listen 80; server_name localhost; location /update_content { content_by_lua_file /root/lua/update_content.lua; } location /read_content { limit_req zone=contentRateLimit burst=4 nodelay; content_by_lua_file /root/lua/read_content.lua; } } }

平均每秒允许不超过2个请求，突发不超过4个请求，并且处理突发4个请求的时候，没有延迟，等到完成之后，按照正常的速率处理。

控制并发量（连接数）

http { include mime.types; default_type application/octet-stream; #cache lua_shared_dict dis_cache 128m; #限流设置 limit_req_zone $binary_remote_addr zone=contentRateLimit:10m rate=2r/s; #根据IP地址来限制，存储内存大小10M limit_conn_zone $binary_remote_addr zone=addr:1m; sendfile on; #tcp_nopush on; #keepalive_timeout 0; keepalive_timeout 65; #gzip on; server { listen 80; server_name localhost; #所有以brand开始的请求，访问本地changgou-service-goods微服务 location /brand { limit_conn addr 2; proxy_pass http://192.168.211.1:18081; } location /update_content { content_by_lua_file /root/lua/update_content.lua; } location /read_content { limit_req zone=contentRateLimit burst=4 nodelay; content_by_lua_file /root/lua/read_content.lua; } } }

limit_conn_zone $binary_remote_addr zone=addr:10m; 表示限制根据用户的IP地址来显示，设置存储地址为的内存大小10M

limit_conn addr 2; 表示同一个地址只允许连接2次。

canal同步 canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据 Canal工作原理在这里插入图片描述原理相对比较简单：

canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议mysql master收到dump请求，开始推送binary log给slave(也就是canal)canal解析binary log对象(原始为byte流)

【本文地址】

公司简介

联系我们

今日新闻

推荐新闻

专题文章