问题描述：
当线上有任务正在运行并且需要获取数据库连接的时候，此时重启了数据库(线上是hive)，导致线上服务后续一直无法获取连接，一直报GetConnectionTimeoutException异常，从而后续跑的任务全部失败。但是如果在没有任务正在运行时重启数据库，在数据库重启之后，开始运行任务，可以正常获取连接，任务都是正常执行。
所报异常：
Caused by: com.alibaba.druid.pool.GetConnectionTimeoutException: wait millis 60000, active 0, maxActive 100, creating 0, createErrorCount 6
at com.alibaba.druid.pool.DruidDataSource.getConnectionInternal(DruidDataSource.java:1732)
at com.alibaba.druid.pool.DruidDataSource.getConnectionDirect(DruidDataSource.java:1404)
at com.alibaba.druid.pool.DruidDataSource.getConnection(DruidDataSource.java:1384)
at com.alibaba.druid.pool.DruidDataSource.getConnection(DruidDataSource.java:1374)
at io.transwarp.backup.utils.DataSourceUtil.getHiveConn(DataSourceUtil.java:94)
at io.transwarp.backup.utils.TableInfoUtil.getHiveConnAndSetPool(TableInfoUtil.java:583)
at io.transwarp.TableSyncTaskV2.init(TableSyncTaskV2.java:119)
... 13 more
Caused by: java.sql.SQLException: java.sql.SQLException: Could not open connection to jdbc:hive2://172.26.4.22:10000/default: java.net.ConnectException: 拒绝连接 (Connection refused)
at org.apache.hive.jdbc.HiveConnection$1.run(HiveConnection.java:296)
Caused by: java.sql.SQLException: Could not open connection to jdbc:hive2://172.26.4.22:10000/default: java.net.ConnectException: 拒绝连接 (Connection refused)
at org.apache.hive.jdbc.HiveConnection.openTransport(HiveConnection.java:398)
at org.apache.hive.jdbc.HiveConnection.access$100(HiveConnection.java:60)
at org.apache.hive.jdbc.HiveConnection$1.run(HiveConnection.java:285)
Caused by: org.apache.thrift.transport.TTransportException: java.net.ConnectException: 拒绝连接 (Connection refused)
at org.apache.thrift.transport.TSocket.open(TSocket.java:187)
at org.apache.thrift.transport.TSaslTransport.open(TSaslTransport.java:266)
at org.apache.thrift.transport.TSaslClientTransport.open(TSaslClientTransport.java:37)
at org.apache.hive.jdbc.HiveConnection.openTransport(HiveConnection.java:395)
... 2 more
Caused by: java.net.ConnectException: 拒绝连接 (Connection refused)
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:589)
at org.apache.thrift.transport.TSocket.open(TSocket.java:182)
... 5 more
奇怪现象：可以看到active connection是0，但是就是一直无法获取数据库连接，而数据库服务因为重启后也是正常的，最终经过排查发现是因为设置了 breakAfterAcquireFailure 参数为true，如果为false，当获取不到连接的时候，Druid将会无限的打印获取不到连接的异常信息，所以当时将该参数设置为了false。当该参数为true的时候，当多次重试之后无法获取连接，DruidDataSource中的CreateConnectionThread线程就会因为 代码中的break 而跳出自己的for循环获取连接的机制而导致生命终结，通过jstack可以看到里面是没有该线程的信息的，所以该线程是已经死掉了，通过日志排查CreateConnectionThread确实是有终结前的日志信息。因为创建连接的线程已经死掉了，那后续肯定是无法创建出新的连接的。
但是我们又不能将breakAfterAcquireFailure设置为false，因为这将在无法获取连接的时候无限的错误日志产生。自认为这个是Druid连接池本身存在的不完善地方，自己所使用的连接池版本是druid-1.1.24.jar，已经是目前1.1.x中最新的版本，查看1.2.x版本这部分代码逻辑跟1.1.x基本是一致的。
目前自己的解决方案是自己写一个对连接池 CreateConnectionThread 的存活检测方法，每次获取连接的时候先去检测下该线程的状态，如果该线程已经死掉，则直接close连接池，然后重新创建，算是一种hack的方式，但至少能work解决线上的问题。
CreateConnectionThread 的存活检测机制：
public static boolean checkDataSourceFailContinuousStatus(DruidDataSource dataSource) {
if (!dataSource.isBreakAfterAcquireFailure()) {
log.info("this data source does not open `BreakAfterAcquireFailure`");
return false;
}
boolean failContinuous = dataSource.isFailContinuous(); // fail over retry attempts
boolean createConnectionThreadIsAlive = true;
try {
CreateConnectionThread createConnectionThread = getCreateConnectionThread(dataSource);
createConnectionThreadIsAlive = createConnectionThread.isAlive();
} catch (Exception e) {
log.error("Get dataSource: " + dataSource + "'s createConnectionThread fails.");
}
return failContinuous && !createConnectionThreadIsAlive;
}
public static CreateConnectionThread getCreateConnectionThread(DruidDataSource dataSource)
throws NoSuchFieldException, IllegalAccessException {
Field createConnectionThread = dataSource.getClass().getDeclaredField("createConnectionThread");
createConnectionThread.setAccessible(true);
CreateConnectionThread createConnectionThreadInstance = (CreateConnectionThread) createConnectionThread
.get(dataSource);
log.info("Get dataSource: {}'s createConnectionThread: {}", dataSource,
createConnectionThreadInstance);
return createConnectionThreadInstance;
}
之前遇到该问题也是一头雾水，参考以下文章博客内容找到问题所在：
image.png
可能自己并没有深入研究该问题是否可以通过其他参数设置来解决，欢迎有好的解决方式的朋友指正。