JedisConnectionException: java.net.SocketException: Broken pipe (Write failed) 问题排查

问题描述

笔者有2个应用会不定时请求redis，其中一个应用大约每分钟请求一次，可以正常请求，但是另一个大约每小时请求一次的应用，经常出现Broken pipe (Write failed)报错，具体报错信息如下：

redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketException: Broken pipe (Write failed)
	at redis.clients.jedis.Connection.flush(Connection.java:282)
	at redis.clients.jedis.Connection.getBinaryMultiBulkReply(Connection.java:222)
	at redis.clients.jedis.Jedis.hgetAll(Jedis.java:780)
	...
Caused by: java.net.SocketException: Broken pipe (Write failed)
	at java.net.SocketOutputStream.socketWrite0(Native Method)
	at java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:111)
	at java.net.SocketOutputStream.write(SocketOutputStream.java:155)
	at redis.clients.util.RedisOutputStream.flushBuffer(RedisOutputStream.java:31)
	at redis.clients.util.RedisOutputStream.flush(RedisOutputStream.java:213)
	at redis.clients.jedis.Connection.flush(Connection.java:279)
	... 26 more

问题定位

定位到redis服务端配置了3600秒的超时时间，即如果客户端连接超过3600秒空闲，那么就会被redis服务端主动清理掉。笔者大约每小时请求一次redis的应用，若请求时间间隔超过1小时，会被redis服务端认为连接是空闲的，然后把连接清理掉，此时客户端在去请求redis，就会出现报错： Broken pipe (Write failed)。

解决方案

笔者首先尝试调大客户端socketTimout的超时时间，让客户端socketTimout的时间超过3600秒，如：7200秒。调整后发现，大约每小时请求一次redis的应用，仍然会出现 Broken pipe (Write failed)报错。由此可见，当客户端和服务端都包含超时的配置时，redis会以服务端为准。

既然调整客户端的超时配置没有效果，服务端仍然会清理空闲的连接。那么客户端是否可以把服务端清理的连接，主动关闭掉呢？然后在需要时在重建连接。按照这个思路，笔者在每次请求redis前，会先执行ping操作。若ping成功了，说明socket连接还没被清理，可以直接请求redis；若ping 不成功，那么会抛出异常，捕获异常后在关闭客户端连接，后面在执行请求redis的命令时，会重新建立socket连接。以下是捕获异常后关闭连接的相关代码。

    try {
      String result = jedis.ping();
      LOGGER.debug("ping redis: {}", result);
    } catch (Exception e){
      LOGGER.warn("ping failed, close jedis and reconnect, {}", e.getMessage());

      try {
        jedis.close();
        LOGGER.info("jedis closed");
      } catch (Exception e1){
        LOGGER.warn("close jedis failed, {}", e1.getMessage());
      }
    }

通过上述方案，客户端空闲超过1小时后，向redis请求会抛出异常 Broken pipe (Write failed)，程序捕获异常后关闭客户端连接，然后客户端重建连接，在执行请求就恢复正常了。

参考资料

1. Redis客户端连接的空闲连接超时时间（timeout）的设置