高并发 Nginx+Lua OpenResty系列（1）——环境搭建

OpenResty是一款基于Nginx的高性能负载均衡服务器容器,简单来说是Nginx+Lua.结合了Lua语言来对Nginx进行扩展,使得在Nginx上具有web容器功能. OpenResty运行环境搭建首先是在CentOS 7.6上的安装过程: cd /opt 安装编译所需要的环境: yum install readline-devel pcre-devel openssl-devel gcc 去OpenResty的官网下载安装包: 地址:http://openresty.org/cn/d…

高并发 Nginx+Lua OpenResty系列（3）——模块指令

Nginx Lua 模块指令 Nginx共11个处理阶段,而相应的处理阶段是可以做插入式处理,即可插拔式架构:另外指令可以在http.server.server if.location.location if几个范围进行配置: 指令所处处理阶段使用范围解释 init_by_luainit_by_lua_file loading-config http nginx Master进程加载配置时执行:通常用于初始化全局配置/预加载Lua模块 init_worker_by_luainit_work…

高并发 Nginx+Lua OpenResty系列（11）——流量复制/AB测试/协程

流量复制在实际开发中经常涉及到项目的升级,而该升级不能简单的上线就完事了,需要验证该升级是否兼容老的上线,因此可能需要并行运行两个项目一段时间进行数据比对和校验,待没问题后再进行上线.这其实就需要进行流量复制,把流量复制到其他服务器上,一种方式是使用如tcpcopy引流:另外我们还可以使用nginx的HttpLuaModule模块中的ngx.location.capture_multi进行并发执行来模拟复制. 构造两个服务: location /test1 { keepalive_timeou…

高并发 Nginx+Lua OpenResty系列（10）——商品详情页

本章以京东商品详情页为例,京东商品详情页虽然仅是单个页面,但是其数据聚合源是非常多的,除了一些实时性要求比较高的如价格.库存.服务支持等通过AJAX异步加载加载之外,其他的数据都是在后端做数据聚合然后拼装网页模板的. 如图所示,商品页主要包括商品基本信息(基本信息.图片列表.颜色/尺码关系.扩展属性.规格参数.包装清单.售后保障等).商品介绍.其他信息(分类.品牌.店铺[第三方卖家].店内分类[第三方卖家].同类相关品牌).更多细节此处就不阐述了. 整个京东有数亿商品,如果每次动态获取如上内容进…

高并发 Nginx+Lua OpenResty系列（9）——HTTP服务

此处我说的HTTP服务主要指如访问京东网站时我们看到的热门搜索.用户登录.实时价格.实时库存.服务支持.广告语等这种非Web页面,而是在Web页面中异步加载的相关数据.这些服务有个特点即访问量巨大.逻辑比较单一:但是如实时库存逻辑其实是非常复杂的.在京东这些服务每天有几亿十几亿的访问量,比如实时库存服务曾经在没有任何IP限流.DDos防御的情况被刷到600多万/分钟的访问量,而且能轻松应对.支撑如此大的访问量就需要考虑设计良好的架构,并很容易实现水平扩展. 架构此处介绍下Nginx+JavaE…

高并发 Nginx+Lua OpenResty系列（2）——Nginx Lua API

Nginx Lua API 和一般的Web Server类似,我们需要接收请求.处理并输出响应.而对于请求我们需要获取如请求参数.请求头.Body体等信息:而对于处理就是调用相应的Lua代码即可:输出响应需要进行响应状态码.响应头和响应内容体的输出.因此我们从如上几个点出发即可. 接收请求 1. openResty.conf配置文件 server { listen 80; server_name _; location ~ /lua_request/(\d+)/(\d+) { # 设置nginx…

高并发 Nginx+Lua OpenResty系列（8）——Lua模版渲染

模版渲染动态web网页开发是Web开发中一个常见的场景,比如像京东商品详情页,其页面逻辑是非常复杂的,需要使用模板技术来实现.而Lua中也有许多模板引擎,如目前京东在使用的lua-resty-template,可以渲染很复杂的页面,借助LuaJIT其性能也是可以接受的. 如果学习过JavaEE中的servlet和JSP的话,应该知道JSP模板最终会被翻译成Servlet来执行:而lua-resty-template模板引擎可以认为是JSP,其最终会被翻译成Lua代码,然后通过ngx.print…

高并发 Nginx+Lua OpenResty系列（5）——Lua开发库Redis

Redis客户端 lua-resty-redis是为基于cosocket API的ngx_lua提供的Lua redis客户端,通过它可以完成Redis的操作.默认安装OpenResty时已经自带了该模块,使用文档可参考https://github.com/openresty/lua-resty-redis. 基本操作 1. 创建redis/test_redis_baisc.lua local function close_redes( red ) if not red then return…

高并发 Nginx+Lua OpenResty系列（4）——Lua 模块开发

在实际开发中,不可能把所有代码写到一个大而全的lua文件中,需要进行分模块开发:而且模块化是高性能Lua应用的关键.使用require第一次导入模块后,所有Nginx 进程全局共享模块的数据和代码,每个Worker进程需要时会得到此模块的一个副本(Copy-On-Write),即模块可以认为是每Worker进程共享而不是每Nginx Server共享:另外注意之前我们使用init_by_lua中初始化的全局变量是每请求复制一个:如果想在多个Worker进程间共享数据可以使用ngx.shared.…

高并发 Nginx+Lua OpenResty系列（7）——Lua开发库json

JSON库在进行数据传输时JSON格式目前应用广泛,因此从Lua对象与JSON字符串之间相互转换是一个非常常见的功能:目前Lua也有几个JSON库,如:cjson.dkjson.其中cjson的语法严格(比如unicode \u0020\u7eaf),要求符合规范否则会解析失败(如\u002),而dkjson相对宽松,当然也可以通过修改cjson的源码来完成一些特殊要求.而在使用dkjson时也没有遇到性能问题,目前使用的就是dkjson.使用时要特别注意的是大部分JSON库都仅支持UTF-8…

高并发 Nginx+Lua OpenResty系列（6）——Lua开发库Mysql

Mysql客户端 lua-resty-mysql是为基于cosocket API的ngx_lua提供的Lua Mysql客户端,通过它可以完成Mysql的操作.默认安装OpenResty时已经自带了该模块,使用文档可参考https://github.com/openresty/lua-resty-mysql. 1. 编辑mysql/test_mysql.lua local function close_db( db ) if not db then return end db:close() e…

安装Nginx+Lua+OpenResty开发环境配置全过程实例

安装Nginx+Lua+OpenResty开发环境配置全过程实例 OpenResty由Nginx核心加很多第三方模块组成,默认集成了Lua开发环境,使得Nginx可以作为一个Web Server使用. 借助于Nginx的事件驱动模型和非阻塞IO,可以实现高性能的Web应用程序. 而且OpenResty提供了大量组件如Mysql.Redis.Memcached等等,使在Nginx上开发Web应用更方便更简单. 目前在京东如实时价格.秒杀.动态服务.单品页.列表页等都在使用Nginx+Lua架构,其…

用Nginx+Lua(OpenResty)开发高性能Web应用

在互联网公司,Nginx可以说是标配组件,但是主要场景还是负载均衡.反向代理.代理缓存.限流等场景:而把Nginx作为一个Web容器使用的还不是那么广泛.Nginx的高性能是大家公认的,而Nginx开发主要是以C/C++模块的形式进行,整体学习和开发成本偏高:如果有一种简单的语言来实现Web应用的开发,那么Nginx绝对是把好的瑞士军刀:目前Nginx团队也开始意识到这个问题,开发了nginxScript:可以在Nginx中使用JavaScript进行动态配置一些变量和动态脚本执行:而目前市面上…

Nginx+Lua(OpenResty)开发高性能Web应用

使用Nginx+Lua(OpenResty)开发高性能Web应用博客分类: 跟我学Nginx+Lua开发架构 ngx_luaopenresty 在互联网公司,Nginx可以说是标配组件,但是主要场景还是负载均衡.反向代理.代理缓存.限流等场景:而把Nginx作为一个Web容器使用的还不是那么广泛.Nginx的高性能是大家公认的,而Nginx开发主要是以C/C++模块的形式进行,整体学习和开发成本偏高:如果有一种简单的语言来实现Web应用的开发,那么Nginx绝对是把好的瑞士军刀:目前Ngin…

使用Nginx+Lua(OpenResty)开发高性能Web应用

摘自(http://jinnianshilongnian.iteye.com/blog/2280928) 在互联网公司,Nginx可以说是标配组件,但是主要场景还是负载均衡.反向代理.代理缓存.限流等场景:而把Nginx作为一个Web容器使用的还不是那么广泛.Nginx的高性能是大家公认的,而Nginx开发主要是以C/C++模块的形式进行,整体学习和开发成本偏高:如果有一种简单的语言来实现Web应用的开发,那么Nginx绝对是把好的瑞士军刀:目前Nginx团队也开始意识到这个问题,开发了ngin…

Windows下Lua+Redis 断点调试环境搭建==Linux下类似

Lua+Redis 断点调试环境搭建 windows环境,使用Redis,写lua脚本头疼的问题之一不能对脚本断点调试,google加上自己的摸索,终于搞定. 1.下载ZeroBraneStudio,我下载的是破解版(我自己为自己感到可耻,其实并不贵,百十来块钱的样子) 解压后在bin下有lua解释器的路径,把该路径添加到环境变量中:假设解释器路径是:D:/ZeroBraneStudio/bin/lua.exe,那么就把D:/ZeroBraneStudio/bin添加到Path环境变量下. 2.…

Ubuntu下nginx+uwsgi+flask的执行环境搭建

选择web framwork是个非常艰难的事情, 主要分为轻量级和重量级框架. 因为没有搭建站点这样的须要, 所以回避SSH, Django这样的框架, 而选择一个轻量级框架. 自己也比較青睐python这门语言, 就选择了flask框架, nginx代理server享誉盛名, 所以拿来使用咯. 一. 开发环境搭建採用离线安装方式, ubuntu开发环境(centos等环境类似) nginx 安装 $ wget http://nginx.org/download/nginx-1.6.0.tar…

1、小白带你入坑xamarin系列之环境搭建和准备

重点提示由于xamarin发展更新很快目前教程部分内容已经过时请注意下载最新版本 2018.05.23 www.xamarin.com 1. 小白带你入坑xamarin系列之环境搭建和准备序言: 移动端的跨平台百花齐放,各种技术方案和方法都是层出不穷.目前xamarin确实是一套成熟可靠,完全值得信赖的开发框架.尤其是对传统做WPF ASP.NET的开发团队来说要节约成本开始移动端开发.这个是很好的一个选项. 开始之前回答2个问题. 1.我学了xamarin是不是可以不用学习安卓和i…

Nginx+lua+openresty精简系列

1. CentOS系统安装openresty 你可以在你的 CentOS 系统中添加 openresty 仓库,这样就可以便于未来安装或更新我们的软件包(通过 yum update 命令).运行下面的命令就可以添加我们的仓库: $ sudo yum install yum-utils $ sudo yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo 然后就可以像下面这样安装软件包,比如…

「译」JUnit 5 系列：环境搭建

原文地址:http://blog.codefx.org/libraries/junit-5-setup/ 原文日期:15, Feb, 2016 译文首发:Linesh 的博客:环境搭建我的 Github:http://github.com/linesh-simplicity 2015年11月,Junit Lambda 团队发布了该项目的第一版原型 .此后,该项目把名称改成了 JUnit 5 并独立了出来,随后在2016年2月份的时候发布了一个 alpha 版本.本篇打算以一系列文章,简短地探…

Centos+nginx+uwsgi+Python多站点环境搭建

前言新公司的第一个项目,服务器端打算用python作为restful api.所以需要在Centos上搭建nginx+fastcgi+python的开发环境,但后面网上很多言论都说uwsgi比fastcgi在很多方面存在优势,推荐用uwsgi而不是fastcgi,详见:http://sunxiunan.com/?p=1778.因此,改为搭建nginx+uwsgi+python这样的技术组合. 正题步入正题,开始搭建环境.http://www.cnblogs.com/xiongpq/p/338…

一起学ASP.NET Core 2.0学习笔记(一): CentOS下 .net core2 sdk nginx、supervisor、mysql环境搭建

作为.neter,看到.net core 2.0的正式发布,心里是有点小激动的,迫不及待的体验了一把,发现速度确实是快了很多,其中也遇到一些小问题,所以整理了一些学习笔记: 阅读目录环境说明安装CentOS7 安装.NET Core SDK for CentOS7 搭建ftp服务器安装mysql 部署ASP.NET Core应用程序配置Nginx 配置守护服务(Supervisor) 环境说明服务器系统:CentOS 7.3 64位相关工具:putty.Xftp 服务器软件软件:.n…

企业高并发的成熟解决方案（一）----搭建LVS负载均衡

企业整个架构分析 1. App服务器上边部署应用,如果是java的话,一般是tomcat: 2. 负载均衡服务器负责转发请求,这种既有主机又有备机的负载均衡成为高可用(HA): 3. 一般web服务器用tomcat,大公司追求稳定用weblogic: 4. 高并发发生在两处:(1).两台负载均衡机器会出现并发问题:(2).数据库的并发问题: 5. App服务器会出现的问题: (1).session如何共享:如何解决,3种解决方案: a. 可以把用户的session放在cookie中(缺点:用户的…