最近开发一个项目,公司使用的是 openresty + lua,所以就研究了 openresty + lua.介绍的话,我就不多说了,网上太多了. 写这个博客主要是记录一下,在学习的过程中遇到的一些坑吧(其实会了一种语言,再学习其他语言不难,但是毕竟属于新的东西,环境.写法什么的还是有点差别,如果不注意也是心醉呢,比如说我,就遇到了一些问题) 先贴下我几个学习的网站: 1.http://www.runoob.com/lua/lua-tutorial.html 2.http://wiki.jike…

kafka 官网: https://kafka.apache.org/quickstart zookeeper 官网:https://zookeeper.apache.org/ kafka 运行需要 zookeeper 支持,所以安装 kafka 的时候需要先安装 zookeeper. kafka.zookeeper 的安装按照官网说的即可,我安装的时候没遇到什么问题,centos.mac都尝试安装了(mac 还是推荐使用 brew,很强大) 项目已经在使用 kafka 了,所以自己研究了下 o…

http 的话,openresty 已经集成,ng 的话,自己引入即可. github 地址:https://github.com/pintsized/lua-resty-http github 里提供有详细的教程,按照教程来应该是不会有问题的. 但是在练习的过程中还是遇到了1个问题,在此分享给大家. 1.post 请求的时候一直失败,不明白到底是怎么回事,后来又看了官网发现少了一个选项: headers = { ["Content-Type"] = "application…

redis 的话,openresty 已经集成,ng 的话,自己引入即可. github 地址:https://github.com/openresty/lua-resty-redis github 里提供有详细的教程,按照教程来应该是不会有问题的.redis 我也简单写了一个工具类,具体贴上我的一系列代码吧.大神勿喷. 工具类:(很基础,重点是自己去写,只是针对初学者,大神忽视即可) local connectRedisUtil = {} local redis = require "rest…

1.openresty+lua+kafka 1.1 openresty+lua+kafka方案 之前的项目基于nginx反向代理后转发到Tomcat的API接口进行业务处理,然后将json数据打入kafka中,但是随着业务的扩大,访问量越来越大,并发数也很高,导致程序遇到性能问题: 基于nginx的高性能特点,现在考虑使用一种openresty+lua+kafka,直接在nginx阶段将数据打入kafka中,来提高性能. 1.1.1 OpenResty运行原理 Nginx 采用的是 master…

********************* 部署过程 ************************** 一:场景描述 对于线上大流量服务或者需要上报日志的nginx服务,每天会产生大量的日志,这些日志非常有价值.可用于计数上报.用户行为分析.接口质量.性能监控等需求.但传统nginx记录日志的方式数据会散落在各自nginx上,而且大流量日志本身对磁盘也是一种冲击. 我们需要把这部分nginx日志统一收集汇总起来,收集过程和结果需要满足如下需求: 支持不同业务获取数据,如监控业务,数据分析统计…

简介 在很多数据采集场景下,Flume作为一个高性能采集日志的工具,相信大家都知道它.许多人想起Flume这个组件能联想到的大多数都是Flume跟Kafka相结合进行日志的采集,这种方案有很多他的优点,比如高性能.高吞吐.数据可靠性等.但是我们如果要求对日志进行实时的采集,这显然不是一个好的解决方案.原因如下: 就目前来说,Flume能支持实时监控一个目录的数据文件,一旦对某个目录的文件采集完成,就会打上completed的标志,若之后再有数据进入这个文件中,Flume则不会检测到. 所以,我们…

好好学习,天天向上 本文已收录至我的Github仓库DayDayUP:github.com/RobodLee/DayDayUP,欢迎Star,更多文章请前往:目录导航 畅购商城(一):环境搭建 畅购商城(二):分布式文件系统FastDFS 畅购商城(三):商品管理 畅购商城(五):Elasticsearch实现商品搜索 畅购商城(六):商品搜索 首页广告介绍 流程 在商城的首页,我们会看到很多广告,而很多时候这些广告内容都是固定的,所以每次访问MySQL获取广告内容效率是非常低的,比较好的做法就…

一.lua中redis的配置依赖: 1.OpenResty的lua访问redis的插件:https://github.com/openresty/lua-resty-redis 二.下载后,导入对应的插件: lua_package_path "/opt/openresty/lualib/kafka/?.lua;;"; lua_need_request_body on; 三.lua代码 2.使用lua访问redis: server {        location /test {   …

Nginx 是俄罗斯人发明的, Lua 是巴西几个教授发明的,中国人章亦春把 LuaJIT VM 嵌入到 Nginx 中,实现了 OpenResty 这个高性能服务端解决方案. 通过 OpenResty,你可以把 nginx 的各种功能进行自由拼接, 更重要的是,开发门槛并不高,这一切都是用强大轻巧的 Lua 语言来操控. 它主要的使用场景主要是: 在 Lua 中揉和和处理各种不同的 nginx 上游输出(Proxy,Postgres,Redis,Memcached 等) 在请求真正到达上游服务…