目录

cpu使用率

cpu负载

load-average 

CPU负载-多处理器

CPU负载-多核处理器

系统负荷的经验法则

 最佳观察时长

linux查看load average

vmstat 

uptime

top

saq -q

cpu负载的计算

cpu负载分类

负载的意义

为什么压测时候会出现高负载，低CPU使用率的情况

负载较高排查思路

情况1：CPU高、Load高

情况2：CPU低、Load高

---

注意：本文参考  性能测试--cpu使用率和cpu负载区别 - Dr博士 - 博客园

理解CPU负载和CPU使用率_秋天的博客-CSDN博客_cpu负载和cpu使用率

cpu使用率

CPU使用率指的是程序在运行期间实时占用的CPU百分比，这是对一个时间段内CPU使用状况的统计。通过这个指标可以看出在某一个时间段内CPU被占用的情况。

使用率这个要结合时间片来说，从上图的演变可以看出影响使用率高低的因素不是LOAD的多少，而是在分配给某个进程时间片时，这个进程是否使用了CPU的计算能力。

在第四分钟时候，分配给蓝人1分钟，但是它什么也没干，这1分钟内电话是闲置的没有被使用，所以这一分钟内的电话使用率就是0%。但是LOAD是3。

当然这里就存在一个统计周期的问题，上图我们的统计周期是1分钟，而分配给每个人的最小时间单位也是1分钟。从计算机角度来说，单核心CPU，假设1秒钟分为100个时间片，如果2个任务，第一个任务用了5个时间片执行完成，另外一个任务用了15个时间片执行完成，所以如果统计周期是1秒，那么这1秒内的CPU使用率就是20%。CPU利用率高不一定负载高。利用率是一段时间

CPU被占用的情况。

CPU负载高利用率低：说明等待执行的任务很多，但是通常任务多CPU使用率也会比较高，如果低就说明CPU根本没工作，哪些很多的任务处于等待状态，可能进程僵死了。可以通过命令ps –axjf查看是否存在D状态的进程，该状态时不可中断的睡眠状态。这种状态无法被KILL。而有时候你通过top命令也看不出来，只能显示LOAD高，但是没有哪个进程的CPU使用率明显高，你可以通过ps –ux来查看。

CPU利用率高负载低：说明任务少，但是任务执行时间长，有可能是程序本身有问题，如果没有问题那么计算完成后则利用率会下降。

top命令，%CPU    104.7%

cpu负载

load-average 

Linux操作系统能够同时处理几个不同名称的任务。但是同时运行多个任务的过程中，cpu和磁盘这些有限的硬件资源就需要被这些任务程序共享。即便很短的时间间隔内，需要一边在这些任务之间进行切换到一边进行处理，这就是多任务。

运行中的任务较少的情况下，系统并不是等待此类切换动作的发生。但是当任务增加时，例如任务A正在CPU上执行计算，接下来如果任务B和C也想进行计算，那么就需要等待CPU空闲。也就是说，即便是运行处理某任务，也要等到轮到他时才能运行，此类等待状态就表现为程序运行延迟。

uptime输出中包含“load average”的数字，Load average从左边起依次是过去1分钟、5分钟、15分钟内，单位时间的等待任务数，也就是表示平均有多少任务正处于等待状态。在load average较高的情况下，这就说明等待运行的任务较多，因此轮到该任务运行的等待时间就会出现较大的延迟，即反映了此时负载较高。

假设一部电梯能站10个人，那当1-10人坐电梯时，可以认为电梯的load<1；

正好10人时，load=1；
超过10人时，load>1；
如果有15个人要坐电梯，那就是说能有10人直接坐电梯，另外5人需要等待。此时电梯的load=15/10 = 1.5
也就是说，1.5的负载表示系统当前满负荷运转，且还有相当于50%满负荷的请求在等待

对于load average的临界值，业内有两种判断依据

load average <= cpu核数 * 0.7  或  load average <= cpu核数 - 1

CPU负载-多处理器

上面，我们假设你的电脑只有1个CPU。如果你的电脑装了2个CPU，会发生什么情况呢？
2个CPU，意味着电脑的处理能力翻了一倍，能够同时处理的进程数量也翻了一倍。
还是用大桥来类比，两个CPU就意味着大桥有两根车道了，通车能力翻倍了。

所以，2个CPU表明系统负荷可以达到2.0，此时每个CPU都达到100%的工作量。推广开来，n个CPU的电脑，可接受的系统负荷最大为n.0。

CPU负载-多核处理器

芯片厂商往往在一个CPU内部，包含多个CPU核心，这被称为多核CPU。

在系统负荷方面，多核CPU与多CPU效果类似，所以考虑系统负荷的时候，必须考虑这台电脑有几个CPU、每个CPU有几个核心。然后，把系统负荷除以总的核心数，只要每个核心的负荷不超过1.0，就表明电脑正常运行。

怎么知道电脑有多少个CPU核心呢？

"cat /proc/cpuinfo"命令，可以查看CPU信息。"grep -c 'model name' /proc/cpuinfo"命令，直接返回CPU的总核心数。

系统负荷的经验法则

1.0是系统负荷的理想值吗？

不一定，系统管理员往往会留一点余地，当这个值达到0.7，就应当引起注意了。经验法则是这样的：

当系统负荷持续大于0.7，你必须开始调查了，问题出在哪里，防止情况恶化。

当系统负荷持续大于1.0，你必须动手寻找解决办法，把这个值降下来。

当系统负荷达到5.0，就表明你的系统有很严重的问题，长时间没有响应，或者接近死机了。你不应该让系统达到这个值。

 最佳观察时长

最后一个问题，"load average"一共返回三个平均值----1分钟系统负荷、5分钟系统负荷，15分钟系统负荷，----应该参考哪个值？

如果只有1分钟的系统负荷大于1.0，其他两个时间段都小于1.0，这表明只是暂时现象，问题不大。

如果15分钟内，平均系统负荷大于1.0（调整CPU核心数之后），表明问题持续存在，不是暂时现象。所以，你应该主要观察"15分钟系统负荷"，将它作为电脑正常运行的指标。

linux查看load average

vmstat 

可以通过 vmstat 从系统维度查看 CPU 资源的使用情况

格式：vmstat -n 1 -n 1 表示结果一秒刷新一次

[root@k8s-10 ~]# vmstat -n 1
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st1  1      0 2798000   2076 6375040    0    0    10    76   10   49  6  2 91  1  00  0      0 2798232   2076 6375128    0    0     0   207 7965 12525  7  2 90  2  0

返回结果中的主要数据列说明：

r： 表示系统中 CPU 等待处理的线程。由于 CPU 每次只能处理一个线程，所以，该数值越大，通常表示系统运行越慢。

b： 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。

us： 用户CPU时间，我曾经在一个做加密解密很频繁的服务器上，可以看到us接近100,r运行队列达到80(机器在做压力测试，性能表现不佳)。

sy： 系统CPU时间，如果太高，表示系统调用时间长，例如是IO操作频繁。

wa：IO 等待消耗的 CPU 时间百分比。该值较高时，说明 IO 等待比较严重，这可能磁盘大量作随机访问造成的，也可能是磁盘性能出现了瓶颈。

id：处于空闲状态的 CPU 时间百分比。如果该值持续为 0，同时 sy 是 us 的两倍，则通常说明系统则面临着 CPU 资源的短缺。

常见问题及解决方法：

如果r经常大于4，且id经常少于40，表示cpu的负荷很重。

如果pi，po长期不等于0，表示内存不足。

如果disk经常不等于0，且在b中的队列大于3，表示io性能不好

uptime

top

 

默认界面上第三行会显示当前 CPU 资源的总体使用情况，下方会显示各个进程的资源占用情况。

可以直接在界面输入大小字母 P，来使监控结果按 CPU 使用率倒序排列，进而定位系统中占用 CPU 较高的进程。最后，根据系统日志和程序自身相关日志，对相应进程做进一步排查分析，以判断其占用过高 CPU 的原因。

saq -q

 

 runq-sz：运行队列的长度（等待运行的进程数）

plist-sz：进程列表中进程（processes）和线程（threads）的数量

ldavg-1：最后1分钟的系统平均负载（Systemload average）

ldavg-5：过去5分钟的系统平均负载

ldavg-15：过去15分钟的系统平均负载

cpu负载的计算

CPU数量和CPU内核数都会影响到CPU负载，因为任务最终是要分配到CPU核心去处理的。两块CPU要比一块CPU好，双核要比单核好。因此，除去CPU性能上的差异，CPU负载是基于内核数来计算的。“有多少内核，就有多少load”。如单核负载为1.00，双核负载为2.00.以此类推。

cpu负载分类

负载就是cpu在一段时间内正在处理以及等待cpu处理的进程数之和的统计信息，也就是cpu使用队列的长度统计信息，这个数字越小越好（如果超过CPU核心*0.7就是不正常）

负载分为两大部分：CPU负载、IO负载

cpu负载：假设有一个进行大规模科学计算的程序，虽然该程序不会频繁地从磁盘输入输出，但是处理完成需要相当长的时间。因为该程序主要被用来做计算、逻辑判断等处理，所以程序的处理速度主要依赖于cpu的计算速度。此类cpu负载的程序称为“计算密集型程序”。

IO负载：还有一类程序，主要从磁盘保存的大量数据中搜索找出任意文件。这个搜索程序的处理速度并不依赖于cpu，而是依赖于磁盘的读取速度，也就是输入输出（input/output,I/O）.磁盘越快，检索花费的时间就越短。此类I/O负载的程序，称为“I/O密集型程序”。

负载的意义

负载表示的是“等待进程的平均数”。在上面的进程状态变换过程中，除了running状态，其他都是等待状态，那么其他状态都会加入到负载等待进程中吗？

事实证明，只有进程处于运行态（running）和不可中断状态（interruptible）才会被加入到负载等待进程中，也就是下面这两种情况的进程才会表现为负载的值。

1 即便需要立即使用CPU，也还需等待其他进程用完CPU

2 即便需要继续处理，也必须等待磁盘输入输出完成才能进行

下面描述一种直观感受的场景说明为什么只有运行态（running）和可中断状态（interruptible）才会被加入负载。

如：在很占用CPU资源的处理中，例如在进行动画编码的过程中，虽然想进行其他相同类型的处理，结果系统反映却变得很慢，还有从磁盘读取大量数据时，系统的反映也同样会变的很慢。但是另一方面，无论有多少等待键盘输入输出操作的进程，也不会让系统响应变慢。

为什么压测时候会出现高负载，低CPU使用率的情况

原因：等待磁盘I/O完成的进程过多，导致进程队列长度过大，但是cpu运行的进程却很少，这样就体现到负载过大了，cpu使用率低。

负载总结为一句话就是：需要运行处理但又必须等待队列前的进程处理完成的进程个数。具体来说，也就是如下两种情况：

• 等待被授权予CPU运行权限的进程
• 等待磁盘I/O完成的进程

cpu低而负载高也就是说等待磁盘I/O完成的进程过多，就会导致队列长度过大，这样就体现到负载过大了，但实际是此时cpu被分配去执行别的任务或空闲，具体场景有如下几种。

场景一：磁盘读写请求过多就会导致大量I/O等待

上面说过，cpu的工作效率要高于磁盘，而进程在cpu上面运行需要访问磁盘文件，这个时候cpu会向内核发起调用文件的请求，让内核去磁盘取文件，这个时候会切换到其他进程或者空闲，这个任务就会转换为不可中断睡眠状态。当这种读写请求过多就会导致不可中断睡眠状态的进程过多，从而导致负载高，cpu低的情况。

场景二：MySQL中存在没有索引的语句或存在死锁等情况

我们都知道MySQL的数据是存储在硬盘中，如果需要进行sql查询，需要先把数据从磁盘加载到内存中。当在数据特别大的时候，如果执行的sql语句没有索引，就会造成扫描表的行数过大导致I/O阻塞，或者是语句中存在死锁，也会造成I/O阻塞，从而导致不可中断睡眠进程过多，导致负载过大。

具体解决方法可以在MySQL中运行show full processlist命令查看线程等待情况，把其中的语句拿出来进行优化。

场景三：外接硬盘故障，常见有挂了NFS，但是NFS server故障

比如我们的系统挂载了外接硬盘如NFS共享存储，经常会有大量的读写请求去访问NFS存储的文件，如果这个时候NFS Server故障，那么就会导致进程读写请求一直获取不到资源，从而进程一直是不可中断状态，造成负载很高。

负载较高排查思路

情况1：CPU高、Load高

通过top命令查找占用CPU最高的进程PID；

通过top -Hp PID查找占用CPU最高的线程TID;

对于java程序，使用jstack打印线程堆栈信息（可联系业务进行排查定位）；

通过printf %x tid打印出最消耗CPU线程的十六进制；

在堆栈信息中查看该线程的堆栈信息；

情况2：CPU低、Load高

通过top命令查看CPU等待IO时间，即%wa；

通过iostat -d -x -m 1 10查看磁盘IO情况；(安装命令 yum install -y sysstat)

通过sar -n DEV 1 10查看网络IO情况；

可以通过指令ps -axjf查看是否存在 D 状态进程。

D 状态是指不可中断的睡眠状态。该状态的进程无法被 kill，也无法自行退出。只能通过恢复其依赖的资源或者重启系统来解决。

等待I/O的进程通过处于uninterruptible sleep或D状态；通过给出这些信息我们就可以简单的查找出处在wait状态的进程
ps -eo state,pid,cmd | grep "^D"; echo "----"查找占用IO的程序
ps -e -L h o state,cmd  | awk '{if($1=="R"||$1=="D"){print $0}}' | sort | uniq -c | sort -k 1nr