grpc(三)之grpc客户端使用连接池
本文使用commons-pool2
来实现连接池应用
1、定义一个产生连接池的工厂,需要继承BasePooledObjectFactory,其用处是生产和销毁连接池中保存的对象。根据需求,现在池子里保存的应该是grpc客户端对象。
GrpcClientFactory类:
package com.oy.grpc; import org.apache.commons.pool2.BasePooledObjectFactory;
import org.apache.commons.pool2.PooledObject;
import org.apache.commons.pool2.impl.DefaultPooledObject;
import com.oy.grpc.client.GrpcClient;
import com.oy.utils.UtilFunctions; public class GrpcClientFactory extends BasePooledObjectFactory<GrpcClient> { @Override
public GrpcClient create() throws Exception {
return new GrpcClient("localhost", );
} @Override
public PooledObject<GrpcClient> wrap(GrpcClient client) {
return new DefaultPooledObject<>(client);
} @Override
public void destroyObject(PooledObject<GrpcClient> p) throws Exception {
UtilFunctions.log.info("==== GrpcClientFactory#destroyObject ====");
p.getObject().shutdown();
super.destroyObject(p);
} }
2、连接池GrpcClientPool类
package com.oy.grpc; import org.apache.commons.pool2.impl.GenericObjectPool;
import org.apache.commons.pool2.impl.GenericObjectPoolConfig;
import com.oy.grpc.client.GrpcClient;
import com.oy.utils.UtilFunctions; public class GrpcClientPool { private static GenericObjectPool<GrpcClient> objectPool = null; static {
GenericObjectPoolConfig poolConfig = new GenericObjectPoolConfig();
// 池中的最大连接数
poolConfig.setMaxTotal(8);
// 最少的空闲连接数
poolConfig.setMinIdle(0);
// 最多的空闲连接数
poolConfig.setMaxIdle(8);
// 当连接池资源耗尽时,调用者最大阻塞的时间,超时时抛出异常 单位:毫秒数
poolConfig.setMaxWaitMillis(-1);
// 连接池存放池化对象方式,true放在空闲队列最前面,false放在空闲队列最后
poolConfig.setLifo(true);
// 连接空闲的最小时间,达到此值后空闲连接可能会被移除,默认即为30分钟
poolConfig.setMinEvictableIdleTimeMillis(1000L * 60L * 30L);// 连接耗尽时是否阻塞,默认为true
poolConfig.setBlockWhenExhausted(true);
objectPool = new GenericObjectPool<>(new GrpcClientFactory(), poolConfig);
} public static GrpcClient borrowObject() {
try {
GrpcClient client = objectPool.borrowObject();
UtilFunctions.log.info("=======total threads created: " + objectPool.getCreatedCount());
return client;
} catch (Exception e) {
UtilFunctions.log.error("objectPool.borrowObject error, msg:{}, exception:{}", e.toString(), e);
}
return createClient();
} public static void returnObject(GrpcClient client) {
try {
objectPool.returnObject(client);
} catch (Exception e) {
UtilFunctions.log.error("objectPool.returnObject error, msg:{}, exception:{}", e.toString(), e);
}
} private static GrpcClient createClient() {
return new GrpcClient("localhost", 23333);
} }
3、客户端程序
这里仅仅简单列出了客户端GrpcClient类的代码,其他代码包括服务端代码见另一篇博客grpc(一)之helloworld。
package com.oy.grpc.client; import java.lang.reflect.Method;
import java.util.concurrent.TimeUnit;
import com.oy.grpc.BookServiceGrpc;
import com.oy.grpc.GrpcClientPool;
import com.oy.grpc.GrpcLib.GrpcReply;
import com.oy.grpc.GrpcLib.addBookRequest;
import com.oy.grpc.GrpcLib.getUserByIdRequest;
import com.oy.grpc.UserServiceGrpc;
import com.oy.utils.UtilFunctions;
import io.grpc.ManagedChannel;
import io.grpc.ManagedChannelBuilder;
import io.grpc.StatusRuntimeException; public class GrpcClient {
public static String host = "localhost";
private final ManagedChannel channel;
private final UserServiceGrpc.UserServiceBlockingStub userBlockingStub;
private final BookServiceGrpc.BookServiceBlockingStub bookBlockingStub; public GrpcClient(String host, int port) {
channel = ManagedChannelBuilder.forAddress(host, port).usePlaintext().build();
userBlockingStub = UserServiceGrpc.newBlockingStub(channel);
bookBlockingStub = BookServiceGrpc.newBlockingStub(channel);
} public void shutdown() throws InterruptedException {
channel.shutdown().awaitTermination(, TimeUnit.SECONDS);
} @SuppressWarnings({ "rawtypes" })
public static Object call(String rpcMethoddName, Object... args) throws Exception {
UtilFunctions.log.info("=========== GrpcClient#call begin ===========");
GrpcClient client = null;
try {
client = GrpcClientPool.borrowObject();
// client = new GrpcClient(host, 23333); Class[] argsTypes = new Class[args.length];
for (int i = ; i < args.length; i++) {
UtilFunctions.log.info("args types: {}", args[i].getClass());
argsTypes[i] = args[i].getClass();
}
Method method = client.getClass().getMethod(rpcMethoddName, argsTypes);
Object result = method.invoke(client, args);
UtilFunctions.log.info("=========== GrpcClient#call end ===========");
return result;
} catch (Exception e) {
UtilFunctions.log.error("GrpcClient#call error, msg:{}, exception:{}", e.toString(), e);
return null;
} finally {
if (client != null) {
GrpcClientPool.returnObject(client);
// client.shutdown();
}
}
} // ============= User module =============
public Object getUserById(Integer id) {
UtilFunctions.log.info("=========== GrpcClient#getUserById begin ===========");
getUserByIdRequest request = getUserByIdRequest.newBuilder().setId(id).build();
GrpcReply response;
try {
response = userBlockingStub.getUserById(request);
UtilFunctions.log.info("GrpcClient#getUserById response, code:{}, data:{}", response.getCode(),
response.getData());
} catch (StatusRuntimeException e) {
UtilFunctions.log.error("GrpcClient#addBook error, msg:{}, exception:{}", e.toString(), e);
return null;
}
return response;
} // ============= Book module =============
public Object addBook(Integer id, String name, Double price) {
UtilFunctions.log.info("=========== GrpcClient#addBook begin ===========");
addBookRequest request = addBookRequest.newBuilder().setId(id).setName(name).setPrice(price).build();
GrpcReply response;
try {
response = bookBlockingStub.addBook(request);
UtilFunctions.log.info("GrpcClient#addBook response, code:{}, data:{}", response.getCode(),
response.getData());
UtilFunctions.log.info("=========== GrpcClient#addBook end ===========");
} catch (StatusRuntimeException e) {
UtilFunctions.log.error("GrpcClient#addBook error, msg:{}, exception:{}", e.toString(), e);
return null;
}
return response;
} }
4、客户端测试
package com.oy.grpc.client; import com.oy.grpc.GrpcClientPool;
import com.oy.grpc.GrpcLib.GrpcReply;
import com.oy.utils.UtilFunctions; public class TestService { public static void main(String[] args) throws Exception { for (int i = ; i < ; i++) {
new Thread(new Runnable() { @Override
public void run() {
GrpcReply result = null;
try {
// result = (GrpcReply) GrpcClient.call("getUserById", Integer.valueOf("1"));
// result = (GrpcReply) GrpcClient.call("getUserById", 2);
result = (GrpcReply) GrpcClient.call("addBook", , "thinking in java", 50.0);
} catch (Exception e) {
e.printStackTrace();
}
if (result != null) {
UtilFunctions.log.info("client call interface, get code:{}, data:{}", result.getCode(),
result.getData());
} // 如果注释掉下面两句,则客户端程序结束后,服务端报java.io.IOException: 远程主机强迫关闭了一个现有的连接。
// UtilFunctions.log.info("TestService#main: objectPool is closing...");
// GrpcClientPool.getObjectPool().close();
}
}).start();
}
}
}
运行testService类的main()方法,客户端能正常调用grpc server得到数据,但是grpc服务端报错:
2019-04-11 14:29:30.458 INFO 1192 --- [-worker-ELG-3-1] i.g.n.NettyServerTransport.connections : Transport failed
java.io.IOException: 远程主机强迫关闭了一个现有的连接。
出现这个问题的原因:客户端强制断开连接。参考https://stackoverflow.com/questions/46802521/io-grpc-netty-nettyservertransport-notifyterminated,
我在GrpcClientFactory里面也实现了销毁方法:
@Override
public void destroyObject(PooledObject<GrpcClient> p) throws Exception {
UtilFunctions.log.info("==== GrpcClientFactory#destroyObject ====");
p.getObject().shutdown();
super.destroyObject(p);
}
但是运行testService类的main()方法结束后服务端程序就结束了,程序没有主动调用destroyObject()方法销毁池子中的对象,所以grpcClient也没有shutdown,所以报错。
5、启动客户端springboot项目来测试
package com.oy; import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import com.oy.grpc.client.TestService; @SpringBootApplication
public class Grpc007ClientMainApplication { public static void main(String[] args) throws Exception {
SpringApplication.run(Grpc007ClientMainApplication.class, args);
TestService.main(args);
} }
但是这样当关闭客户端程序,还是出现同样的问题。其实很好理解,因为关闭客户端程序时,池中的对象还处于空闲状态,没有销毁,destroyObject()方法没有调用,所以grpcClient也没有shutdown。
6、解决方法
客户端程序关闭时,池也要close。
package com.oy; import javax.annotation.PreDestroy;
import org.apache.commons.pool2.impl.GenericObjectPool;
import org.springframework.stereotype.Controller;
import com.oy.grpc.GrpcClientPool;
import com.oy.grpc.client.GrpcClient;
import com.oy.utils.UtilFunctions; @Controller
public class InitController { @PreDestroy
public void destroy() {
UtilFunctions.log.info("InitController#destroy running..."); GenericObjectPool<GrpcClient> objectPool = GrpcClientPool.getObjectPool();
UtilFunctions.log.info("InitController#destroy, total threads created: " + objectPool.getCreatedCount()); UtilFunctions.log.info("InitController#destroy objectPool is closing...");
objectPool.close();
}
}
grpc(三)之grpc客户端使用连接池的更多相关文章
- 三、redis学习(jedis连接池)
一.jedis连接池 二.jedis连接池+config配置文件 三.jedis连接池+config配置文件+util工具类 util类 public class JedisPoolUtils { / ...
- HttpClient实战三:Spring整合HttpClient连接池
简介 在微服务架构或者REST API项目中,使用Spring管理Bean是很常见的,在项目中HttpClient使用的一种最常见方式就是:使用Spring容器XML配置方式代替Java编码方式进行H ...
- HttpClient 4.3连接池参数配置及源码解读
目前所在公司使用HttpClient 4.3.3版本发送Rest请求,调用接口.最近出现了调用查询接口服务慢的生产问题,在排查整个调用链可能存在的问题时(从客户端发起Http请求->ESB-&g ...
- [转载] 基于zookeeper、连接池、Failover/LoadBalance等改造Thrift 服务化
转载自http://blog.csdn.net/zhu_tianwei/article/details/44115667 http://blog.csdn.net/column/details/sli ...
- 基于zookeeper、连接池、Failover/LoadBalance等改造Thrift 服务化
对于Thrift服务化的改造,主要是客户端,可以从如下几个方面进行: 1.服务端的服务注册,客户端自动发现,无需手工修改配置,这里我们使用zookeeper,但由于zookeeper本身提供的客户端使 ...
- HttpClient4.3 连接池参数配置及源码解读
目前所在公司使用HttpClient 4.3.3版本发送Rest请求,调用接口.最近出现了调用查询接口服务慢的生产问题,在排查整个调用链可能存在的问题时(从客户端发起Http请求->ESB-&g ...
- 转!数据库连接池概念、种类、配置(DBCP\C3P0\JndI与Tomact配置连接池)
数据库连接池概念.种类.配置(DBCP\C3P0\JndI与Tomact配置连接池) 一.DBCP 连接:DBCP 连接池是 Apache 软件基金组织下的一个开源连接池实现. 需要的 java 包c ...
- SQLSERVER连接池内部机制
前言介绍: 当应用程序运行的时候,会有一个连接池的管理控件运行在应用程序的进程里,统一管理应用程序和SQLSERVER建立的所有连接, 并且维护这些连接一直处于活动状态.当有用户发出一个connect ...
- 连接池--sp_reset_connection
--当客户端使用连接池访问数据库时,客户端使用OPEN来重用数据库连接,使用CLOSE来断开数据库连接,但并不物理上新建和断开连接,因此可以提高程序运行速度并降低性能损耗. --ADO和ADO.NET ...
随机推荐
- java+tomcat开发环境搭建
java+tomcat开发环境搭建 一.jdk环境变量设置 ...........这里省略n个字............. 二.tomcat环境变量设置 安装好tomcat后 1.新建环境变量: CA ...
- SVProgressHUD提示框IOS
SVProgressHUD--比MBProgressHUD更好用的 iOS进度提示组件 项目里用到SVProgressHud,感觉背景颜色太丑,因为很久很久以前改过,就想在这个项目里也改下,但是时间过 ...
- Jenkins+Jmeter持续集成笔记(一:环境准备)
整体思路: 通过Jmeter图形界面编写api测试脚本 ant 批量执行Jmeter脚本文件 将其集成到jenkins,设置执行频率与发送测试报告 运行环境 系统 配置 IP Centos7.1 1核 ...
- nodejs 之=> 函数
基本用法: ES6中允许使用“箭头”(=>)定义函数 var f = v => v; 上面代码相当于定义了一个函数 f : var f = function(v){ return v; } ...
- JDK 1.8源码阅读 HashSet
一,前言 类实现Set接口,由哈希表支持(实际上是一个 HashMap集合).HashSet集合不能保证的迭代顺序与元素存储顺序相同.HashSet集合,采用哈希表结构存储数据,保证元素唯一性的方式依 ...
- 要学的javaee技术
mybatis.hibernate.spirng MVC.freemarker.zookeeper.dubbo.quartz的技术框架:NoSQL技术ehcache.memcached.redis等: ...
- ueditor富文本上传图片的时候报错"未找上传数据"
最近因为需求所以在ssh项目中使用了Ueditor富文本插件,但是在上传图片的时候总是提示“未找到上传数据”,之后百度了好久终于弄明白了.因为Ueditor在上传图片的时候会访问controller. ...
- 笔记-ASP.NET WebApi
本文是针对ASP.NET WepApi 2 的笔记. Web API 可返回的结果: 1.void 2.HttpResponseMessage 3.IHttpActionResult 4.其他类型 返 ...
- Eureka 参数调优
常见问题 为什么服务下线了,Eureka Server 接口返回的信息还会存在. 为什么服务上线了,Eureka Client 不能及时获取到. 为什么有时候会出现如下提示: EMERGENCY! E ...
- SQL Server通过BCP进行大批量数据导入导出
预置条件: 使用sa帐号登录SQL Server Management Studio,右键点击安全性-登录名-数据库用户名属性,设置服务器角色为sysadmin. 删除已存在的存储过程 String ...