摘要：发现这是的一个堆栈，前段时间正好解决过一个由于队列引起的一次强如也发生内存溢出没想到又来一出。因此初步判断为大量线程执行函数之后互相竞争导致使用率增高，而通过对堆栈发现是和使用有关。
前言
到了年底果然都不太平，最近又收到了运维报警：表示有些服务器负载非常高，让我们定位问题。
还真是想什么来什么，前些天还故意把某些服务器的负载提高（没错，老板让我写个 BUG！），不过还好是不同的环境互相没有影响。
定位问题拿到问题后首先去服务器上看了看，发现运行的只有我们的 Java 应用。于是先用 ps 命令拿到了应用的 PID。
接着使用 top -Hp pid 将这个进程的线程显示出来。输入大写的 P 可以将线程按照 CPU 使用比例排序，于是得到以下结果。
果然某些线程的 CPU 使用率非常高。
为了方便定位问题我立马使用 jstack pid > pid.log 将线程栈 dump 到日志文件中。
我在上面 100% 的线程中随机选了一个 pid=194283 转换为 16 进制（2f6eb）后在线程快照中查询：
因为线程快照中线程 ID 都是16进制存放。
发现这是 Disruptor 的一个堆栈，前段时间正好解决过一个由于 Disruptor 队列引起的一次 [OOM]()：强如 Disruptor 也发生内存溢出？
没想到又来一出。
为了更加直观的查看线程的状态信息，我将快照信息上传到专门分析的平台上。
http://fastthread.io/
其中有一项菜单展示了所有消耗 CPU 的线程，我仔细看了下发现几乎都是和上面的堆栈一样。
也就是说都是 Disruptor 队列的堆栈，同时都在执行 java.lang.Thread.yield 函数。
众所周知 yield 函数会让当前线程让出 CPU 资源，再让其他线程来竞争。
根据刚才的线程快照发现处于 RUNNABLE 状态并且都在执行 yield 函数的线程大概有 30几个。
因此初步判断为大量线程执行 yield 函数之后互相竞争导致 CPU 使用率增高，而通过对堆栈发现是和使用 Disruptor 有关。
解决问题而后我查看了代码，发现是根据每一个业务场景在内部都会使用 2 个 Disruptor 队列来解耦。
假设现在有 7 个业务类型，那就等于是创建 2*7=14 个 Disruptor 队列，同时每个队列有一个消费者，也就是总共有 14 个消费者（生产环境更多）。
同时发现配置的消费等待策略为 YieldingWaitStrategy 这种等待策略确实会执行 yield 来让出 CPU。
代码如下：
初步看来和这个等待策略有很大的关系。本地模拟
为了验证，我在本地创建了 15 个 Disruptor 队列同时结合监控观察 CPU 的使用情况。
创建了 15 个 Disruptor 队列，同时每个队列都用线程池来往 Disruptor队列 里面发送 100W 条数据。
消费程序仅仅只是打印一下。
跑了一段时间发现 CPU 使用率确实很高。
同时 dump 线程发现和生产的现象也是一致的：消费线程都处于 RUNNABLE 状态，同时都在执行 yield。
通过查询 Disruptor 官方文档发现：
YieldingWaitStrategy 是一种充分压榨 CPU 的策略，使用自旋 + yield的方式来提高性能。
当消费线程（Event Handler threads）的数量小于 CPU 核心数时推荐使用该策略。
同时查阅到其他的等待策略 BlockingWaitStrategy （也是默认的策略），它使用的是锁的机制，对 CPU 的使用率不高。
于是在和之前同样的条件下将等待策略换为 BlockingWaitStrategy。
和刚才的 CPU 对比会发现到后面使用率的会有明显的降低；同时 dump 线程后会发现大部分线程都处于 waiting 状态。
优化解决看样子将等待策略换为 BlockingWaitStrategy 可以减缓 CPU 的使用，
但留意到官方对 YieldingWaitStrategy 的描述里谈道：
当消费线程（Event Handler threads）的数量小于 CPU 核心数时推荐使用该策略。
而现有的使用场景很明显消费线程数已经大大的超过了核心 CPU 数了，因为我的使用方式是一个 Disruptor 队列一个消费者，所以我将队列调整为只有 1 个再试试(策略依然是 YieldingWaitStrategy)。
跑了一分钟，发现 CPU 的使用率一直都比较平稳而且不高。
总结所以排查到此可以有一个结论了，想要根本解决这个问题需要将我们现有的业务拆分；现在是一个应用里同时处理了 N 个业务，每个业务都会使用好几个 Disruptor 队列。
由于是在一台服务器上运行，所以 CPU 资源都是共享的，这就会导致 CPU 的使用率居高不下。
所以我们的调整方式如下：
为了快速缓解这个问题，先将等待策略换为 BlockingWaitStrategy，可以有效降低 CPU 的使用率（业务上也还能接受）。
第二步就需要将应用拆分（上文模拟的一个 Disruptor 队列），一个应用处理一种业务类型；然后分别多带带部署，这样也可以互相隔离互不影响。
当然还有其他的一些优化，因为这也是一个老系统了，这次 dump 线程居然发现创建了 800+ 的线程。
创建线程池的方式也是核心线程数、最大线程数是一样的，导致一些空闲的线程也得不到回收；这样会有很多无意义的资源消耗。
所以也会结合业务将创建线程池的方式调整一下，将线程数降下来，尽量的物尽其用。
本文的演示代码已上传至 GitHub：
https://github.com/crossoverJie/JCSprout
你的点赞与分享是对我最大的支持
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/72712.html
摘要：前言前几日早上打开邮箱收到一封监控报警邮件某某服务器负载较高，请研发尽快排查解决，发送时间正好是凌晨。其实早在去年我也处理过类似的问题，并记录下来一次生产排查优化实践不过本次问题产生的原因却和上次不太一样，大家可以接着往下看。 showImg(https://segmentfault.com/img/remote/1460000019507452?w=1919&h=1080); 前言 ...
摘要：表示用修正进程优先级的用户态进程执行的时间。表示处理软中断所花费的时间。软中断是由软件程序如网络收发定时调度等发出的中断信号，特点是延迟执行。表示被其他虚拟机占用的时间，仅出现在多虚拟机场景。 作者：夏明（涯海） 创作日期：2019-08-14 专栏地址：【稳定大于一切】 CPU（Central Processing Unit）是计算机系统的运算和控制核心，是信息处理、程序运行的...
摘要：接下来，我们就来看下对于发生阻塞问题。如何排查以及解决。可以采用修改源代码的方式的源代码是。如果不想修改源代码的话也可以使用来完成。将使用率达到，有可能是真实业务访问量确实很大。这种情况目前暂时没有遇到，但也纳入考虑范围。 前言 Redis是一个单线程的架构，所有的操作全部都在一个主线程中完成。所以一旦Redis发生阻塞，那将是一场噩梦。接下来，我们就来看下对于Redis发生阻塞问题...
摘要：显示处于不可中断的休眠的进程数量。在等待显示被交换到磁盘的数据块的数量。服务器硬件优化物理状态灯自带管理设备远程控制卡设备，开关机硬件监控。 数据库层面问题解决思路 一般应急调优的思路：针对突然的业务办理卡顿，无法进行正常的业务处理！需要立马解决的场景！ 1、show processlist 2、explain select id ,name from stu where name=...
阅读 2523·2021-11-16 11:45
阅读 2314·2021-11-11 16:54
阅读 2696·2021-10-08 10:05
阅读 1431·2021-09-26 10:19
阅读 1864·2021-09-13 10:28
阅读 2613·2021-09-08 10:46
阅读 1043·2021-09-08 09:36
阅读 1301·2021-09-07 10:13
