前言
线程死锁是老生常谈的问题,线程池死锁本质上属于线程死锁的一部分,线程池造成的死锁问题往往和业务场景相关,当然更重要的是对线程池的理解不足,本文根据场景来说明一下常见的线程池死锁问题,当然也会包含线程死锁问题。
线程死锁场景
死锁的场景很多,有线程池相关,也有与线程相关,线程相关的线程池上往往也会出现,反之却不一定,本文会总结一些常见的场景,当然有些场景后续可能还需要补充。
经典互斥关系死锁
这种死锁是最常见的经典死锁,假定存在 a、b 2 个任务,a 需要 b 的资源,b 需要 a 的资源,双方都无法得到时便出现了死锁,这种情况是锁直接互相等待引发,一般的情况下通过dumpheap 的lock hashcode就能发现,相对来说容易定位的多。
//首先我们先定义两个final的对象锁.可以看做是共有的资源. final object locka = new object(); final object lockb = new object(); //生产者a class productthreada implements runnable{ @override public void run() { //这里一定要让线程睡一会儿来模拟处理数据 ,要不然的话死锁的现象不会那么的明显.这里就是同步语句块里面,首先获得对象锁locka,然后执行一些代码,随后我们需要对象锁lockb去执行另外一些代码. synchronized (locka){ //这里一个log日志 log.e("chao","threada lock locka"); try { thread.sleep(2000); } catch (interruptedexception e) { e.printstacktrace(); } synchronized (lockb){ //这里一个log日志 log.e("chao","threada lock lockb"); try { thread.sleep(2000); } catch (interruptedexception e) { e.printstacktrace(); } } } } } //生产者b class productthreadb implements runnable{ //我们生产的顺序真好好生产者a相反,我们首先需要对象锁lockb,然后需要对象锁locka. @override public void run() { synchronized (lockb){ //这里一个log日志 log.e("chao","threadb lock lockb"); try { thread.sleep(2000); } catch (interruptedexception e) { e.printstacktrace(); } synchronized (locka){ //这里一个log日志 log.e("chao","threadb lock locka"); try { thread.sleep(2000); } catch (interruptedexception e) { e.printstacktrace(); } } } } } //这里运行线程 productthreada productthreada = new productthreada(); productthreadb productthreadb = new productthreadb(); thread threada = new thread(productthreada); thread threadb = new thread(productthreadb); threada.start(); threadb.start();
这类问题需要进行排查和不断的优化,重点是优化逻辑尽量减少锁的使用,同时优化调度机制。
submit递归等待调用死锁
原理是在固定的线程池数量中,不断的 submit 任务,并且从工作线程通过get等待任务完成,
但是线程池数量是固定的,从头到尾所有的线程没执行完成,某次 submit 时就没有足够的线程来处理任务,所有任务都处于等待。
executorservice pool = executors.newsinglethreadexecutor(); //使用一个线程数模拟 pool.submit(() -> { try { log.info("first"); //上一个线程没有执行完,线程池没有线程来提交本次任务,会处于等待状态 pool.submit(() -> log.info("second")).get(); log.info("third"); } catch (interruptedexception | executionexception e) { log.error("error", e); } });
对于这种特殊逻辑,一定要思考清楚get方法调用的意义,如果仅仅为了串行执行,使用一般队列即可,当然你也可以join其他线程。
公用线程池线程 size 不足造成的死锁
该类死锁一般是把一个size有限的线程池用于多个任务。
假定 a,b 两个业务各需要2个线程处理生产者和消费者业务,且每个业务都有自己的lock,但是业务之间的lock没有关联关系。提供一个公共线程池,线程大小为2,显然比较合理的执行任务需要4个,或者至少3个,在线程数量不足的情况下这种情况下死锁会高概率发生。
情形一:a,b 有序执行,不会造成死锁
情形二: a、b 并发执行,造成死锁
情形二出现的原因是 a,b 各分配了一个线程,当他们执行的条件都不满足的时处于要wait状态,这时线程池没有更多的线程提供,将导致 a、b 处于死锁。
因此,对于公用线程池的使用,size不要设置过低,同时要尽可能避免加锁和太耗时的任务,如果有加锁和太耗时的需求,可以尝试使用专用线程池。
rejectedexecutionhandler 使用不当造成的 “死锁”
严格意义上不能称为死锁,但是这也是非常容易忽视的问题。原因在没检测线程池状态的情况下,通过rejectionexectutionhandler回调方法中将任务重新加回去,如此往复循环,锁住caller线程。
一般处理任务时,触发该 recjectedexecutionhandler 的情况分为 2 类,主要是 "线程池关闭"、“线程队列和线程数已经达到最大容量”,那么问题一般出现在前者,如果线程池 shutdown 关闭之后,我们尝试在该 handler 中重新加入任务到线程池,那么会造成死循环问题。
锁住死循环
锁住死循环本身也是一种死锁,导致其他想获取锁资源的线程无法正常获取中断。
synchronized(lock){ while(true){ // do some slow things } }
这种循环锁也是相当经典,如果while内部没有wait的调用或者return或者break,那么这个锁会一直存在。
文件锁 & lock互斥
严格来说这种相对复杂,有可能是文件锁与lock互斥,也有可能是多进程文件锁获取时阻塞之后无法释放,导致java lock一直无法释放,因此对于发生死锁时,dumpheap时不要忽略文件操作相关的堆栈。
可见性不足
通常情况下,这不是死锁,而是线程无限循环,以至于该线程无法被其他任务使用,我们对一些线程循环会加一个变量标记其是否结束,但是如果可见性不足,也将无法造成退出的后果。
下面我们用主线程和普通线程模拟,我们在普通线程中修改变量a,但是a变量在主线程中可见性不足,导致主线程阻塞。
public class threadwatcher { public int a = 0; public static void main(string[] args) { final threadwatcher threadwatcher = new threadwatcher(); workthread t = new workthread(threadwatcher); t.start(); while (true) { if (threadwatcher.a == 1) { system.out.println("main thread exit"); break; } } } } class workthread extends thread { private threadwatcher threadwatcher; public workthread(threadwatcher threadwatcher) { super(); this.threadwatcher = threadwatcher; } @override public void run() { super.run(); system.out.println("sleep 1000"); try { thread.sleep(1000); } catch (interruptedexception e) { e.printstacktrace(); } this.threadwatcher.a = 1; system.out.println("workthread exit"); } }
打印结果:
sleep 1000
workthread exit
由于a缺乏可见性,导致主线程一直循环,这里有必要加上volatile或者使用atomic类,或者使用synchronized进行同步。注意,不能用final,final只能保证指令不可乱序,但不能保证可见性。
countdownlatch 初始值过大
这个原因属于编程问题,比如需要2次countdown完成等待,而初始值为3次以上,必然导致等待的线程卡住。
countdownlatch latch = new countdownlatch(6); executorservice service = executors.newfixedthreadpool(5); for(int i=0;i< 5;i ){ final int no = i 1; runnable runnable=new runnable(){ @override public void run(){ try{ thread.sleep((long)(math.random()*10000)); system.out.println("no." no "准备好了。"); }catch(interruptedexception e){ e.printstacktrace(); }finally{ latch.countdown(); } } }; service.submit(runnable); } system.out.println("开始执行....."); latch.await(); system.out.println("停止执行");
实际上这种问题排查起来比较容易,对于计数式waiter,一定确保waiter能结束,即使发生异常行为。
线程死锁优化建议
死锁一般和阻塞有关,对待死锁问题,不妨换一种方式。
常见的优化方法
1、可以有序执行,当然这种也降低了并发优势
2、不要共用同一线程池,如果要共用,避免加锁,阻塞和悬挂
3、使用公共锁资源的 wait (long timeout) 机制,让线程超时
4、如果过于担心线程池不能回收,建议使用 keepalivetime allowcorethreadtimeout,回收线程但不影响线程状态,可以继续提交任务。
5、必要时扩大线程池大小
公用线程任务移除
如果公共线程池正在执行的线程阻塞了,那所有的任务需要等待,对于不重要的任务,可以选择移除。
实际上正在执行的线程任务很难去终止,公用线程池可能造成大量任务pending,但是从公用线程池中移除任务队列显然是比较危险的操作。一种可行的方法是warp task,每次添加runnable时记录这些task,退出特定业务时清理warpper中的target目标任务
public class removabletask implements runnable { private static final string tag = "removabletask"; private runnable target = null; private object lock = new object(); public removabletask(runnable task) { this.target = task; } public static removabletask warp(runnable r) { return new removabletask(r); } @override public void run() { runnable task; synchronized (this.lock) { task = this.target; } if (task == null) { mlog.d(tag,"-cancel task-"); return; } task.run(); } public void dontrunifpending() { synchronized (this.lock) { this.target = null; } } }
下面进行任务清理
public void purghotsongrunnable() { for (removabletask r : pendingtasklists){ r.dontrunifpending(); } }
注意,这里仍然还可以利用享元模式优化,减少removabletask的创建。
使用多路复用或协程
对于锁比较厌恶的开发者可以使用多路复用或协程,这种情况下存避免不必要的等待,将wait转化为notify,减少上下文切换,可以提高线程的执行效率。
说到对协程观点,一直存在争议:
(1)协程是轻量级线程?但从cpu和系统角度,协程和多路复用都不是轻量级线程,cpu压根不认识这货,因此不可能比线程快,他只能加速线程的执行,okhttp也不是轻量级socket,再快也快不过socket,他们都是并发编程框架或者风格。
(2)kotlin也不是假协程,有观点说kotlin会创建线程所以是假协程?epoll多路复用机制,难道所有任务都是epoll执行的么?简单的例子,从磁盘拷贝文件到内存,虽然cpu不参与,但dma也是芯片,毫无疑问,也算线程。协程在用户态执行耗时任务,如果不启用线程,难不成要插入无数entry point 让单个线程执行一个任务?显然,对于协程的认知,有人夸有人贬,主要原因还是是对于“框架”和执行单元存在认知问题。
降低锁粒度
jit对锁的优化分为锁消除和锁重入,但是很难对锁粒度进行优化,因此,不要添加过大的代码段显然是必要的,因此有些耗时逻辑本身不涉及变量的修改,大可不必加锁,只对修改变量的部分加锁即可。
总结
本文主要是对死锁的问题的优化建议,至于性能问题,其实我们遵循一个原则:在保证流畅度的情况下线程越少越好。对于必要存在的线程,可以使用队列缓冲、逃逸分析、对象标量化、锁消除、锁粗化、降低锁范围、多路复用、消除同步屏障、协程的角度去优化。