Spring Cloud 各组件调优参数

Spring Cloud整合了各种组件，每个组件往往还有各种参数。本文来详细探讨Spring Cloud各组件的调优参数。

Tomcat配置参数

  1 server:
  2   tomcat:
  3     max-connections: 0 # 默认值
  4     max-threads: 0     # 默认值

Hystrix配置参数

• 如隔离策略是THREAD：

  1 hystrix.threadpool.default.coreSize: 10
  2 hystrix.threadpool.default.maximumSize: 10
  3 hystrix.threadpool.default.maxQueueSize: -1 # 如该值为-1，那么使用的是SynchronousQueue，
  4 否则使用的是LinkedBlockingQueue。
  5 注意，修改MQ的类型需要重启。例如从-1修改为100，需要重启，因为使用的Queue类型发生了变化

如果想对特定的HystrixThreadPoolKey 进行配置，则将default 改为 HystrixThreadPoolKey 即可。

• 如果隔离策略是SEMAPHORE：

  1 hystrix.command.default.execution.isolation.strategy: SEMAPHORE
  2 hystrix.command.default.execution.isolation.semaphore.maxConcurrentRequests: 10 # 默认值

如果想对指定的HystrixCommandKey 进行配置，则将default 改为HystrixCommandKey 即可。

Feign配置参数

Feign默认没有线程池。

当使用HttpClient时，可如下设置：

  1 feign:
  2   httpclient:
  3     enabled: true
  4     max-connections: 200 # 默认值
  5     max-connections-per-route: 50 # 默认值

代码详见：

• org.springframework.cloud.netflix.feign.FeignAutoConfiguration.

    HttpClientFeignConfiguration#connectionManager

• org.springframework.cloud.netflix.feign.ribbon.

    HttpClientFeignLoadBalancedConfiguration.HttpClientFeignConfiguration#connectionManager

当使用OKHttp时，可如下设置：

  1 feign:
  2   okhttp:
  3     enabled: true
  4   httpclient:
  5     max-connections: 200 # 默认值
  6     max-connections-per-route: 50 # 默认值

代码详见：

• org.springframework.cloud.netflix.feign.FeignAutoConfiguration.

    OkHttpFeignConfiguration#httpClientConnectionPool 。

• org.springframework.cloud.netflix.feign.ribbon.OkHttpFeignLoadBalancedConfiguration.

    OkHttpFeignConfiguration#httpClientConnectionPool

Zuul配置参数

我们知道Hystrix有隔离策略：THREAD 以及SEMAPHORE ，默认是 SEMAPHORE 。

隔离策略

  1 zuul:
  2   ribbon-isolation-strategy: thread

最大信号

当Zuul的隔离策略为SEMAPHORE时：

设置默认最大信号量：

  1 zuul:
  2   semaphore:
  3     max-semaphores: 100 # 默认值

设置指定服务的最大信号量：

  1 zuul:
  2   eureka:
  3     <commandKey>:
  4       semaphore:
  5         max-semaphores: 100 # 默认值

参考：

• https://github.com/spring-cloud/spring-cloud-netflix/issues/1130
• https://github.com/spring-cloud/spring-cloud-netflix/issues/1362 ，非常重要，里面指出，不同版本配置略有差异。<commandKey> 在Brixton.SR5及更早版本中，是 <serviceId>RibbonCommand ，从Brixton.SR6 开始，<commandKey>只需写<serviceId> 即可，即：服务注册到Eureka Server上的名称。

Zuul参数

• Hystrix并发参数

Edgware及之后的版本中，当Zuul的隔离策略为THREAD时，可为Hystrix配置独立线程池：

参考：http://www.itmuch.com/spring-cloud/edgware-new-zuul-hystrix-thread-pool/

如果不设置独立线程池，那么HystrixThreadPoolKey 是 RibbonCommand 。

Hystrix并发配置参数请参考《Hystrix并发配置参数一节》

• Zuul并发参数：

Zuul内置的Filterhttp://www.itmuch.com/%2Fspring-cloud%2Fzuul%2Fzuul-filter-in-spring-cloud%2F

对于形如：

  1 zuul:
  2   routes:
  3     user-route:                   # 该配置方式中，user-route只是给路由一个名称，可以任意起名。
  4       url: http://localhost:8000/ # 指定的url
  5       path: /user/**              # url对应的路径。

的路由，可使用如下方式配置并发参数：

  1 zuul:
  2   host:
  3     max-total-connections: 200 # 默认值
  4     max-per-route-connections: 20 # 默认值

• 当Zuul底层使用的是Apache HttpClient时，对于使用Ribbon的路由，可使用如下方式配置并发参数：

  1 serviceId:
  2   ribbon:
  3     MaxTotalConnections: 0   # 默认值
  4     MaxConnectionsPerHost: 0 # 默认值

相关代码：org.springframework.cloud.netflix.ribbon.support.AbstractLoadBalancingClient 子类的createDelegate 方法。

springcloud之Feign、ribbon设置超时时间和重试机制的总结

因为测试 Feign + Hystrix 搭配模式下的降级(fallback)超时时间自定义问题，这里的不同组件的超时时间设置问题。

一、 Feign设置超时时间
使用Feign调用接口分两层，ribbon的调用和hystrix的调用，所以ribbon的超时时间和Hystrix的超时时间的结合就是Feign的超时时间

#hystrix的超时时间
hystrix:
    command:
        default:
            execution:
              timeout:
                enabled: true
              isolation:
                    thread:
                        timeoutInMilliseconds: 9000
#ribbon的超时时间
ribbon:
  ReadTimeout: 3000
  ConnectTimeout: 3000

一般情况下 都是 ribbon 的超时时间（<）hystrix的超时时间（因为涉及到ribbon的重试机制）

Feign中，默认使用的Retryer是NEVER_RETRY,

因为ribbon的重试机制和Feign的重试机制有冲突，所以NEVER_RETRY源码中默认关闭Feign的重试机制，源码如下:
 
要开启Feign的重试机制如下：（Feign默认重试五次 源码中有）

@Bean
Retryer feignRetryer() {
        return  new Retryer.Default();
}

Feign的default的retryer源码如下：

二、ribbon的重试机制
设置重试次数：

ribbon:
  ReadTimeout: 3000
  ConnectTimeout: 3000
  MaxAutoRetries: 1 #同一台实例最大重试次数,不包括首次调用
  MaxAutoRetriesNextServer: 1 #重试负载均衡其他的实例最大重试次数,不包括首次调用
  OkToRetryOnAllOperations: false  #是否所有操作都重试 

根据上面的参数计算重试的次数：MaxAutoRetries+MaxAutoRetriesNextServer+(MaxAutoRetries *MaxAutoRetriesNextServer) 即重试3次 则一共产生4次调用

设置超时ribbon的超时时间
如果在重试期间，时间超过了hystrix的超时时间，便会立即执行熔断，fallback。所以要根据上面配置的参数计算hystrix的超时时间，使得在重试期间不能达到hystrix的超时时间，不然重试机制就会没有意义
hystrix超时时间的计算： (1 + MaxAutoRetries + MaxAutoRetriesNextServer) * ReadTimeout 即按照以上的配置 hystrix的超时时间应该配置为 （1+1+1）*3=9秒

当ribbon超时后且hystrix没有超时，便会采取重试机制。当OkToRetryOnAllOperations设置为false时，只会对get请求进行重试。如果设置为true，便会对所有的请求进行重试，如果是put或post等写操作，如果服务器接口没做幂等性，会产生不好的结果，所以OkToRetryOnAllOperations慎用。

如果不配置ribbon的重试次数，默认会重试一次
注意：
默认情况下,GET方式请求无论是连接异常还是读取异常,都会进行重试
非GET方式请求,只有连接异常时,才会进行重试

断路器超时与Ribbon超时关系

背景
springCloud:Finchley.RELEASE
官方建议
当Ribbon客户端和hystrix同时使用时，您需要确保您的hystrix超时时间配置比Ribbon超时时间更长，包括可能进行的重试。例如，如果您的Ribbon连接超时为1秒，而Ribbon客户端可能会重试该请求3次，则hystrix超时应该略大于3秒。

三、如何设置Hystrix线程池大小

Hystrix线程池大小默认为10hystrix:

    threadpool:
        default:
            coreSize: 10

每秒请求数 = 1/响应时长(单位s) * 线程数 = 线程数 / 响应时长(单位s)

也就是
线程数 = 每秒请求数 * 响应时长(单位s) + (缓冲线程数)
标准一点的公式就是QPS * 99% cost + redundancy count
比如一台服务, 平均每秒大概收到20个请求,每个请求平均响应时长估计在500ms,
线程数 = 20 * 500 / 1000 = 10
为了应对峰值高并发,加上缓冲线程,比如这里为了好计算设为5,就是 10 + 5 = 15个线程