导语:API Gateway是实现微服务重要的组件之一。面对诸多的开源API Gateway,如何进行选择也是架构师需要关注的焦点。本文作者对几个较大的开源API Gateway进行了压力测试,对于架构师来说,相信可以提供不少帮助。
 
过去一段时间,OpsGenie的员工数量和产品特性都经历了快速发展。去年,仅仅是我们的工程师团队就由15人增长到了50人。针对开发团队的划分,我们遵循两个披萨原则[1]将每个团队控制在8个工程师。
 
如你所料的,我们的产品还是一个单体应用。对并行开发的团队来说,CI/CD等过程,开发和运维都是有挑战的。我们跟随当前的技术趋势,正处于单体应用到微服务架构的过渡期。你可以阅读Martin Fowler的这篇文章[2],了解更多微服务架构和它的好处。
 
这里有一些关于微服务概念推荐的架构模式[3]。其中的一个模式是API网关[4]。API网关是所有客户端的统一入口。API网关对于任意一种处理请求有两种方式处理。一部分请求只要简单路由到相应的服务;还有一些请求需要拆分到多个服务。
 
API网关模式是开始微服务架构很好的切入点,因为它能路由具体的请求到拆分出来的不同服务。事实上,API网关对我们来说不是一个新概念。到目前为止,我们已经使用过Nginx放在我们的单体应用前面充当API网关,但是我们想重新评估过渡时期继续使用Nginx的合理性。我们关心性能、可扩展性和其他的扩展能力,例如限流。首先,评估大流量下的性能,确保它们能满足我们的需求。
 
在这篇文章中,我们讲解如何设置我们的测试环境,并且对比这些网关的性能: Zuul 1[5], Nginx[6], Spring Cloud Gateway[7], Linkerd[8]。事实上,我们还有另外两个选择Envoy[9]和 UnderTow[10]。我们将会对这些工具做相同的测试,并且在后面的博客中公布测试结果。
 
Zuul 1由于使用Java开发,并且对Spring框架有很强的支持,对我们来说似乎很合适。尽管有很多文章对比过Zuul和Nginx,但是我们还想跟Spring Cloud Gateway和Linkerd一起评估。此外,我们计划做高负载的测试,所以我们决定设置我们自己的测试环境。
 
为了评估API网关各自的性能,我们为OpsGenie产品创建了一个隔离的独立测试环境。我们使用Apache的ab作为压测工具。
 
首先,我们参照Nginx文档在一个单核1G内存的AWS EC2实例上安装了一个Nginx。这个环境是我们的初始测试环境,然后我们安装Zuul和Spring Cloud Gateway到这个环境中。Nginx为静态资源提供web服务,我们通过Nginx、Zuul和Spring Cloud Gateway定义反向代理到这个web服务。我们同样启动了另外一个单核1G内存的EC2实例发起压测请求。
 
图片中的箭头是我们的测试路径。这里有4中情况:
 
  • 直接访问
  • Nginx反向代理访问
  • Zuul访问
  • Spring Cloud Gateway访问
  • Linkerd访问
 
我们知道大家急于想看测试结果,所以,我们先给测试结果,然后再做详细说明。
 
性能压测总结
 
测试策略
 
我们使用Apache的ab做压测工具。我们发起总共10000个请求、使用200个并发线程分别进行压测。
 
 
我们将在3种不同配置的AWS EC2服务器上进行测试。我们会缩小每一步的测试用例的范围:
 
  • 尽管我们不选择直接访问,但是我们在第一步额外做了直接访问的测试,用于衡量代理的理想值,这个测试我们不会在后面的步骤中进行。
  • 尽管Spring Cloud Gateway依然没有官方稳定版,我们会在最后那步评估它。
  • Zuul随后的性能比第一次压测的性能更好。我们估计出现这种情况的原因是第一次压测进行了JIT优化,所以我们把针对Zuul的第一次压测当成“预热”。在总结表中的值是预热之后的性能。
  • 我们知道Linkerd是资源密集型代理,所以我们只在高资源配置的最后一步对比。
 
测试配置
 
T2.Micro——单核1G内存:我们对比测试直接访问、Nginx反向代理和Zuul(预热之后)。
 
M4.Micro ——双核8G内存:我们对比测试Nginx反向代理和Zuul(预热之后)。
 
M4.2xLarge——8核32G内存:我们对比测试Nginx反向代理、Zuul(预热之后)、Spring Cloud Gateway和Linkerd。
 
测试结果
 
性能压测结果如下
测试详情
 
直接访问
 
首先,我们不使用代理,直接访问静态资源。结果如下,单个请求平均30ms。
 
 
Nginx反向代理
 
我们的第2个测试,通过Nginx反向代理访问资源。单次请求平均耗时40ms。可以说,Nginx代理对比直接访问,平均增加了33%的耗时。
 
 
Zuul反向代理
 
接下来,我们创建了一个Spring Boot应用:
 
 
这是我们的application.yml文件:
 
Zuul第1次测试结果如下:
 
直接访问Nginx单次请求是30ms,通过Nginx反向代理访问是40ms。Zuul首次访问单次请求在388ms。如在另外一篇博客[12]中提到的,JVM预热会有作用。我们重新压测,结果如下:
 
 
预热后Zuul代理的性能更好(单次请求是200ms),但是跟Nginx反向代理的40ms对比,仍然不好。
 
服务器升级到双核8G内存会怎么样呢?
 
前面的测试服务器配置是单核1G内存。Nginx是C++应用,Zuul是基于Java的。我们知道,Java应用对环境要求更苛刻。所以我们将服务器配置换成双核8G内存实例。
 
我们重新对Nginx和Zuul做压测,结果如下
 
 
由上面图片可见,Nginx反向代理和Zuul代理单次请求花费时间分别是32ms和95ms。这次压测结果比单核1G内存的40ms和200ms更好。
 
由此可见,使用Spring Boot部署的Zuul有额外的消耗。很可能Zuul的独立应用会有更好的性能。
 
服务器升级到8核32G内存会怎么样呢?
 
我们继续评估8核32G内存的服务器配置。Nginx和Zuul的压测结果如下
 
 
在8核32G的配置上,Zuul跑赢了Nginx。我们想找到Netflix的Zuul实例部署在哪种类型的ec2服务器上,但是我们没有找到任何信息。一些博客中,有人说了Zuul的性能,并且询问Netflix如何处理的。我们认为这可能是答案,Zuul使用CPU绑定。
 
Linkerd压测
 
Linkerd是CNCF的项目,是Scala开发的service mesh应用。他提供反向代理能力用于扩展service mesh能力,例如服务发现。我们评估Linkerd性能并且给出如下结果。Linkerd跟Zuul的性能很接近。
 
Spring Cloud Gateway性能测试
 
Spring Cloud组织也开发了一个Gateway模块。尽管官方还没有正式版本,我们觉得还是有必要跟其他选择进行对比。但是,我们按照我们的测试环境修改了Gateway的例子。
 
我们用Apache的ab使用了20个线程、发了总共10000个请求做了同样的压测。测试结果在下面这张图中:
 
由上图可见,Spring Cloud Gateway每秒能处理873个请求,单次请求平均耗时229ms。根据我们的测试结果,Spring Cloud Gateway不能达到Zuul、Linkerd、Nginx的性能水平,这是他们目前最新版本测试的结果。Nginx、Zuul、Linkerd和Spring Cloud Gateway的最后一次测试结果上面已经给出。
 
接下来呢?
 
这篇文章中,我们使用Apache的工具ab对比了Zuul、Nginx、Linkerd和Spring Cloud Gateway的性能。下一步我们的计划如下:
 
  • 我们计划去评估Envoy。事实上,Envoy不止是API网关,它是service mesh,但是也提供了API网关功能,能放在应用的前面。
  • Undertow也有反向代理能力,所以我们也计划去评估一下。
  • Netflix基于Netty的非阻塞重新设计了Zuul应用,新的版本叫“Zuul 2”。如果官方发布了新版本的Zuul,我们也会进行性能压测,然后将压测结果分享出来。
  • Spring Cloud Gateway依然在开发中,基于Netty的非阻塞的Java网关,所以对我们来说是一个很好的候选。我们将会评估它的官方稳定版的性能。
  • 一些API网关(Zuul 1)是阻塞的,另外一些(Zuul 2、Linkerd、Envoy)是非阻塞的。阻塞架构对开发和跟踪请求友好,但是阻塞可能产生扩展性问题。非阻塞架构对于团队开发和跟踪更复杂,但是有更好的可扩展和弹性。我们之后将会决定使用阻塞架构还是使用非阻塞架构。
  • 我们将使用Gatling做性能测试,将在我们的下一篇博客中共享结果。
 
我们将会在博客中共享每一步的成功结果,敬请期待!
 
文中链接
 
[1] http://www.businessinsider.com/jeff-bezos-two-pizza-rule-for-productive-meetings-2013-10
 
[2] https://martinfowler.com/articles/microservices.html
 
[3] http://microservices.io/patterns/microservices.html
 
[4] http://microservices.io/patterns/apigateway.html
 
[5] https://github.com/Netflix/zuul
 
[6] http://www.nginx.com/
 
[7] https://github.com/spring-cloud/spring-cloud-gateway
 
[8] https://linkerd.io/
 
[9] http://envoyproxy.io/
 
[10] http://undertow.io/
 
[11] https://httpd.apache.org/docs/2.4/programs/ab.html
 
[12] http://instea.sk/2015/04/netflix-zuul-vs-nginx-performance/
 
[13] https://gatling.io/
 
本文作者Turgay Çelik,由邓启明翻译,转载本文请注明出处,技术原创及架构实践文章,欢迎通过公众号菜单「联系我们」进行投稿。
 
相关阅读:
 
 
高可用架构
 

微服务网关哪家强?一文看懂Zuul, Nginx, Spring Cloud, Linkerd性能差异的更多相关文章

  1. 使用 Node.js 搭建微服务网关

    目录 Node.js 是什么 安装 node.js Node.js 入门 Node.js 应用场景 npm 镜像 使用 Node.js 搭建微服务网关 什么是微服务架构 使用 Node.js 实现反向 ...

  2. 微服务网关 Spring Cloud Gateway

    1.  为什么是Spring Cloud Gateway 一句话,Spring Cloud已经放弃Netflix Zuul了.现在Spring Cloud中引用的还是Zuul 1.x版本,而这个版本是 ...

  3. SpringCloud Gateway微服务网关实战与源码分析-上

    概述 定义 Spring Cloud Gateway 官网地址 https://spring.io/projects/spring-cloud-gateway/ 最新版本3.1.3 Spring Cl ...

  4. 微服务架构学习与思考(10):微服务网关和开源 API 网关01-以 Nginx 为基础的 API 网关详细介绍

    微服务架构学习与思考(10):微服务网关和开源 API 网关01-以 Nginx 为基础的 API 网关详细介绍 一.为什么会有 API Gateway 网关 随着微服务架构的流行,很多公司把原有的单 ...

  5. Bumblebee微服务网关的部署和扩展

    Bumblebee是.netcore下开源基于BeetleX.FastHttpApi扩展的HTTP微服务网关组件,它的主要作用是针对WebAPI集群服务作一个集中的转发和管理:作为应用网关它提供了应用 ...

  6. spring cloud 学习(6) - zuul 微服务网关

    微服务架构体系中,通常一个业务系统会有很多的微服务,比如:OrderService.ProductService.UserService...,为了让调用更简单,一般会在这些服务前端再封装一层,类似下 ...

  7. 基于 orange(nginx+openresty) + docker 实现微服务 网关功能

    摘要 基于 orange(nginx+openresty) + docker 实现微服务 网关功能 ;以实现 docker 独立容器 来跑 独立语言独立环境 在 同一个授权下 运行相关组合程序..年初 ...

  8. 王院生:Apache APISIX 微服务网关极致性能架构解析

    2019 年 10 月 27 日,又拍云联合 Apache APISIX 社区举办 API 网关与高性能服务最佳实践丨Open Talk 杭州站活动,Apache APISIX PPMC 成员王院生做 ...

  9. 畅购商城(八):微服务网关和JWT令牌

    好好学习,天天向上 本文已收录至我的Github仓库DayDayUP:github.com/RobodLee/DayDayUP,欢迎Star,更多文章请前往:目录导航 畅购商城(一):环境搭建 畅购商 ...

随机推荐

  1. nginx配置及常见问题

    问题 1.openresty请求时,不能解析域名? openresty依赖配置里面的resolver 192.168.1.1; 2.文件上传是报错413 Request Entity Too Larg ...

  2. ES6中的模板字符串---反引号``

    在react中,反引号``有特殊的含义. 如MDN中所述,模板字符串(Template literals)允许嵌入表达式,并且支持多行字符串和字符串插补特性.基本语法为以下几种: 其中第一行为最基本用 ...

  3. ES6中的Map集合(与java里类似)

    Set类型可以用来处理列表中的值,但是不适用于处理键值对这样的信息结构.ES6也添加了Map集合来解决类似的问题 一.Map集合 JS的对象(Object),本质上是键值对的集合(Hash结构),但是 ...

  4. Asp.net问题集锦

    1.在Web应用开发中经常碰到这样的情况,Dropdownlist绑定的数据太多,用户要选择某一项必须从头找到尾,使用起来很不方便.最近我在工作中就碰到这种情况,公司内某个业务系统需要绑定几百条的厂家 ...

  5. Android——Activity的生命周期

    一,Demo測试Activity的生命周期 写两个Activity: package com.example.activity_04; import android.os.Bundle; import ...

  6. [CSS3]移动Web开发系列之CSS3增强型选择器

    css3是移动Web开发的主要技术之中的一个.当前.CSS3技术最适合在移动Web开发中使用的特性有增强的选择器.阴影.强大的背景设置 .圆角边框 接下来我们主要解说增强型的选择器.主要分两种,属性选 ...

  7. AFN检測网络情况

    问: I'm a bit lost on AFNetorking's Reachability and haven't found a lot of good information out ther ...

  8. Mysql性能测试诊断

    mysql> showglobal status; 可以列出mysql服务器运行各种状态值,另外,查询mysql服务器配置信息语句: mysql> showvariables; 一.慢查询 ...

  9. Linux IO模式及 select、poll、epoll详解(转)

    同步IO和异步IO,阻塞IO和非阻塞IO分别是什么,到底有什么区别?不同的人在不同的上下文下给出的答案是不同的.所以先限定一下本文的上下文. 本文讨论的背景是Linux环境下的network IO. ...

  10. Nginx:解析HTTP配置的流程

    参考资料:深入理解Nginx(陶辉) 书中有详细的讲解,这里只用本人的理解梳理一下该流程. 一点提议:对于像我这样的新手,面对暂时看不懂章节,建议先往下看一下(可能就会有新的理解或灵感),而不要死磕在 ...