文章初衷

为了应对将来在线(特别是无线端)业务量的成倍增长,后端服务的分布式化程度需要不断提高,对于服务的延迟和容错管理将面临更大挑战,公司框架和开源团队选择内部推广Netflix的Hystrix,一是为了推进各部门的服务使用覆盖率,二是为了增加C Sharp语言版本的参与度(目前公司至少三成服务由.NET编写)。该博文属于个人对Hystrix研究和实践经验。

什么是Hystrix?

Hystrix是世界最大在线影片租赁服务商Netflix开源,针对分布式系统的延迟和容错库。该库由Java写成,项目源于Netflix API团队在2011年启动的弹性工程项目。项目在github上发布至今,已经有接近三千颗星,只有少数优秀的开源项目才能享受到千星级别的待遇,Hystrix成功可见一斑。

 为什么使用Hystrix?

在大中型分布式系统中,通常系统很多依赖(HTTP,hession,Netty,Dubbo等),如下图:

在高并发访问下,这些依赖的稳定性与否对系统的影响非常大,但是依赖有很多不可控问题:如网络连接缓慢,资源繁忙,暂时不可用,服务脱机等.

如下图:QPS为50的依赖 I 出现不可用,但是其他依赖仍然可用.

当依赖I 阻塞时,大多数服务器的线程池就出现阻塞(BLOCK),影响整个线上服务的稳定性.如下图:

在复杂的分布式架构的应用程序有很多的依赖,都会不可避免地在某些时候失败。高并发的依赖失败时如果没有隔离措施,当前应用服务就有被拖垮的风险。

例如:一个依赖30个SOA服务的系统,每个服务99.99%可用。
99.99%的30次方 ≈ 99.7%
0.3% 意味着一亿次请求 会有 3,000,00次失败
换算成时间大约每月有2个小时服务不稳定.
随着服务依赖数量的变多,服务不稳定的概率会成指数性提高.
解决问题方案:对依赖做隔离,Hystrix就是处理依赖隔离的框架,同时也是可以帮我们做依赖服务的治理和监控.

到底能做什么呢?

1)Hystrix使用命令模式HystrixCommand(Command)包装依赖调用逻辑,每个命令在单独线程中/信号授权下执行

2)提供熔断器组件,可以自动运行或手动调用,停止当前依赖一段时间(10秒),熔断器默认错误率阈值为50%,超过将自动运行。

3)可配置依赖调用超时时间,超时时间一般设为比99.5%平均时间略高即可.当调用超时时,直接返回或执行fallback逻辑。

4)为每个依赖提供一个小的线程池(或信号),如果线程池已满调用将被立即拒绝,默认不采用排队.加速失败判定时间。

5)依赖调用结果分:成功,失败(抛出异常),超时,线程拒绝,短路。 请求失败(异常,拒绝,超时,短路)时执行fallback(降级)逻辑。

  

6)提供近实时依赖的统计和监控

7)支持异步执行。支持并发请求缓存。自动批处理失败请求。

Hystrix设计理念

想要知道如何使用,必须先明白其核心设计理念,Hystrix基于命令模式,通过UML图先直观的认识一下这一设计模式

可见,Command是在Receiver和Invoker之间添加的中间层,Command实现了对Receiver的封装。那么Hystrix的应用场景如何与上图对应呢?

API既可以是Invoker又可以是reciever,通过继承Hystrix核心类HystrixCommand来封装这些API(例如,远程接口调用,数据库查询之类可能会产生延时的操作)。就可以为API提供弹性保护了。

Hello World

Hello World的例子旨在展示,如何在项目中低侵入式的改造,使API置于Hystrix保护之下!

引入maven依赖

<!-- 依赖版本 -->
<hystrix.version>1.3.16</hystrix.version>
<hystrix-metrics-event-stream.version>1.1.2</hystrix-metrics-event-stream.version> <dependency>
<groupId>com.netflix.hystrix</groupId>
<artifactId>hystrix-core</artifactId>
<version>${hystrix.version}</version>
</dependency>
<dependency>
<groupId>com.netflix.hystrix</groupId>
<artifactId>hystrix-metrics-event-stream</artifactId>
<version>${hystrix-metrics-event-stream.version}</version>
</dependency>
<!-- 仓库地址 -->
<repository>
<id>nexus</id>
<name>local private nexus</name>
<url>http://maven.oschina.net/content/groups/public/</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>

下面是一个没有使用Hystrix保护的sayHello的服务以及它的调用

//API调用,可能会产生延时
public class HelloService {
public static String sayHello(final String name)
{
return String.format("Hello %s!", name);
}
}
//客户端直接调用API
public class Client{
public static void main(String[] args)
{
System.out.println(HelloService.sayHello("World"));
}
}

假设字符串生成过程是一个需要保护的操作,下面我们用Hystrix进行封装。

需要注意的是,虽然使用命令模式,但是我们这里不建议覆盖execute方法,而是实现run的模版方法,多数框架的实现会采用template设计模式,并且将模版方法设置为protected签名,这样做的好处是,既可以将具体的业务交给业务实现者,又可以为之添加其他功能,而业务实现者只需要关注自己的业务就好了。比如这里HystrixCommand.execute方法实际上是调用了HystrixCommand.queue().get(),而queue方法除了最终调用run之外,还需要为run方法提供超时和异常等保护功能,外部也不能直接调用非安全的run方法,这一实践非常值得我们学习。

OK,现在我们通过实现run方法来包装sayHello功能,我们通过一个私有域_name,通过构造函数来传递消息,获取构造参数的拷贝来保持不变性。

public class SayHelloCommand extends HystrixCommand<String> {
private final String _name;
public SayHelloCommand(String name)
{
super(HystrixCommandGroupKey.Factory.asKey("HelloService"));
_name = new String(name);//unmutable }
@Override
protected String run() { return String.format("Hello %s!", _name);
}
}

API改造如下,作为门面方法最好不要改动函数的签名(除非参数和返回类型有变动,这是因为客户端代码的改动代价往往是巨大的),同时提供版本sayHelloAsync,该方法提供了异步功能

public class HelloService {
// public static String sayHello(final String name)
// {
// return "Hello " + name + "!";
// } /**
* sayHello under protection of Hystrix
* @param name
* @return <code>"Hello " + name + "!"</code>
*/
public static String sayHello(final String name)
{
return new SayHelloCommand(name).execute();
} /**
* call async
* @param name
* @return
*/
public static Future<String> sayHelloAsync(final String name)
{
return new SayHelloCommand(name).queue();
}
}

接下来我们来看看,如何在超时熔断情况下使用FallBack策略,这点在项目中是相当有用的,比如超时后访问数据备库,或者直接返回重试响应

首先SayHelloCommand构造函数使用Hystrix的Setter来设置超时时间,这里解释下Setter这个类涉及到的几个最佳实践

1.Setter使用builder模式,想想构造函数有很多参数要设置,作为构造参数传递会大大降低可阅读性,用静态工厂方法一个个设置又可能造成多线程并发下的不一致性,而且这种bug往往非常难以定位,所以builder模式是非常好的实践。将Setter作为构造器传给HystrixCommand的构造函数,Setter中又很多静态方法,可以通过方法名明确的知道元素的意义。

2.Setter是HystrixCommand内部静态类,Hystrix代码大量的使用了内部静态类,来作为该类的工厂方法,或者构造器,我觉得这样划分使代码职责更加清晰,比单独的工厂类更易于维护。

3.Setter使用函数式串联,每个静态工厂方法返回Setter实例,这样我们可以把构造过程串联起来,使代码更加易于阅读。

4.Setter是不可变类,每个静态工厂方法返回一个新的Setter拷贝,所以Setter是线程安全的。

OK,Setter介绍到这里,这里我们继续设置超时时间为500

public SayHelloCommand(final String name)
{
//builder for HystrixCommand
super(Setter.withGroupKey(HystrixCommandGroupKey.Factory.asKey("HelloServiceGroup"))
.andCommandPropertiesDefaults(HystrixCommandProperties.Setter().withTimeoutInMilliseconds(500)));
_name = new String(name);
}

run方法我们使用Thread.sleep(600)来特意达到超时的效果,同时实现getFallback方法,程序超时后会立即运行FallBack

    @Override
protected String getFallback() {
return String.format("[FallBack]Hello %s!", _name);
} @Override
protected String run() throws Exception {
//TimeOut
Thread.sleep(600);
return String.format("Hello %s!", _name);
}

最终输出:

[FallBack]Hello World!

回顾重点

1.Hystrix可以为分布式服务提供弹性保护

2.Hystrix通过命令模式封装调用,来实现弹性保护,继承HystrixCommand并且实现run方法,就完成了最简单的封装。

3. 实现getFallBack方法可以为熔断或者异常提供后备处理方法。

4.HystrixCommand中Setter类的最佳实践。

5.模版方法在框架中的实践。

分布式服务弹性框架“Hystrix”实践与源码研究(一)的更多相关文章

  1. Spring框架之spring-web web源码完全解析

    Spring框架之spring-web web源码完全解析 spring-web是Spring webMVC的基础,由http.remoting.web三部分组成,核心为web模块.http模块封装了 ...

  2. 如何优雅的阅读 GitHub 上开源 js 框架和库的源码

    如何优雅的阅读 GitHub 上开源 js 框架和库的源码 step 先总后分,即先了解一下啊框架的大体架构,又一个全局的认识,在选择某些和感兴趣的部分,仔细阅读,各个击破: 带着问题阅读,用到了什么 ...

  3. 【集合框架】JDK1.8源码分析之HashMap(一) 转载

    [集合框架]JDK1.8源码分析之HashMap(一)   一.前言 在分析jdk1.8后的HashMap源码时,发现网上好多分析都是基于之前的jdk,而Java8的HashMap对之前做了较大的优化 ...

  4. 【集合框架】JDK1.8源码分析之ArrayList详解(一)

    [集合框架]JDK1.8源码分析之ArrayList详解(一) 一. 从ArrayList字表面推测 ArrayList类的命名是由Array和List单词组合而成,Array的中文意思是数组,Lis ...

  5. 基于Docker的TensorFlow机器学习框架搭建和实例源码解读

    概述:基于Docker的TensorFlow机器学习框架搭建和实例源码解读,TensorFlow作为最火热的机器学习框架之一,Docker是的容器,可以很好的结合起来,为机器学习或者科研人员提供便捷的 ...

  6. MyBatis框架的使用及源码分析(十一) StatementHandler

    我们回忆一下<MyBatis框架的使用及源码分析(十) CacheExecutor,SimpleExecutor,BatchExecutor ,ReuseExecutor> , 这4个Ex ...

  7. MyBatis框架的使用及源码分析(九) Executor

    从<MyBatis框架的使用及源码分析(八) MapperMethod>文中我们知道执行Mapper的每一个接口方法,最后调用的是MapperMethod.execute方法.而当执行Ma ...

  8. Spring框架之spring-web http源码完全解析

    Spring框架之spring-web http源码完全解析 Spring-web是Spring webMVC的基础,由http.remoting.web三部分组成. http:封装了http协议中的 ...

  9. 阿里sentinel源码研究深入

    1. 阿里sentinel源码研究深入 1.1. 前言 昨天已经把sentinel成功部署到线上环境,可参考我上篇博文,该走的坑也都走了一遍,已经可以初步使用它的限流和降级功能,根据我目前的实践,限流 ...

随机推荐

  1. ListView 实现多选/无线电

    ListView本身与无线电.多选模式.由listview.setChoiceMode设置: listview.setChoiceMode(ListView.CHOICE_MODE_MULTIPLE) ...

  2. 不一样的味道--Html和Xml解析、格式、遍历

    很多其它内容查看官网:http://www.tinygroup.org TinyXmlParser一切以简单.有用.高速为主. 演示样例1:Xml字符串解析 比方,我们要解析一段Xml字符串,简单例如 ...

  3. Service Manager流程,派BC_REPLY,唤醒FregServer流程,返回BR_TRANSACTION_COMPLETE,睡眠等待proc-&gt;wait

    本文參考<Android系统源代码情景分析>,作者罗升阳 一.service manager代码:        -/Android/frameworks/base/cmd/service ...

  4. [Android] App在三星某些机子上闪退:"不保留活动"

    今天遇到用户反映应用总是闪退. 现象:在MainActivity后,只要进入任何主进程相关的二级界面,都会导致应用闪退(注:不是崩溃引起的,只是闪退) 分析:1.看log日志,退出前有抛出异常,但查看 ...

  5. Net 项目构建基于Jenkins + Github + Mono 的持续集成环境

    Net 项目构建基于Jenkins + Github + Mono 的持续集成环境 阅读目录 1 安装 2 配置 3 测试 在Redhat enterprise 6.5 的服务器上,为在gutub 上 ...

  6. Cloudera impala简单介绍及安装具体解释

    一.Impala简单介绍 Cloudera Impala对你存储在Apache Hadoop在HDFS,HBase的数据提供直接查询互动的SQL.除了像Hive使用同样的统一存储平台,Impala也使 ...

  7. 使用python+flask让你自己api(教程源代码)

    1.背景 ok,这可能是很多朋友和我一样经常使用的各种api,例facebook的.github的.甚至微信api.因此,很多人都想使自己的api.在线教程在这方面它是非常小的,今天,我做了一个平稳, ...

  8. 在cocos2d-x在CCTableView使用控制

    头文件需要继承CCTableViewDataSource和CCTableViewDelegate //CCScrollViewDelegate virtual void scrollViewDidSc ...

  9. App山寨疯狂 爱加密Apk加密平台防破解

    App山寨疯狂 爱加密Apk加密平台防破解,Android系统由于其开源性,眼下已占领全球智能机近80%的市场,远超微软的WP系统和苹果的IOS系统.然而也正是由于开源性,Android盗版App在国 ...

  10. paip.自适应网页设计 同 响应 与设计的原理的差and实践总结

    paip.自适应网页设计 同 响应 与设计的原理的差and实践总结 响应式Web设计(Responsive Web design)的理念是: 1 #-----------自适应布局VS响应式布局 2 ...