1 概述

从以下几个角度进行性能监控:

  1. CPU
  2. Memory
  3. IO
  4. Network

应用类型
不同应用类型, 监控的侧重点不同:

  1. IO 相关，IO 相关的应用通常用来处理大量数据，需要大量内存和存储，频繁 IO 操作读写数据，而对 CPU 的要求则较少，大部分时候 CPU 都在等待硬盘，比如，数据库服务器、文件服务器等。
  2. CPU 相关，CPU 相关的应用需要使用大量 CPU，比如高并发的 web/mail 服务器、图像/视频处理、科学计算等都可被视作 CPU 相关的应用。

2 CPU

2.1 cpu监控指标

可以从以下几个方面监控CPU的信息：

  1. 中断
  2. 上下文切换
  3. 可运行队列
  4. CPU 利用率

2.2 底线

通常我们期望我们的系统能到达以下目标

  1. CPU 利用率，如果CPU有100％利用率，那么应该到达这样一个平衡：
    • 65％－70％ User Time
    • 30％－35％ System Time
    • 0％－5％ Idle Time
  2. 上下文切换，上下文切换应该和 CPU 利用率联系起来看，如果能保持上面的 CPU 利用率平衡，大量的上下文切换是可以接受的；
  3. 可运行队列，每个可运行队列不应该有超过 1－3 个线程每理如：双处理器系统的可运行队列里不应该超过6个线程。

2.3 top

857dsh.png

第一行:
10:01:23 当前系统时间
126 days, 14:29 系统已经运行了126天14小时29分钟（在这期间没有重启过）
2 users 当前有2个用户登录系统
load average: 1.15, 1.42, 1.44 load average后面的三个数分别是1分钟、5分钟、15分钟的负载情况。
load average数据是每隔5秒钟检查一次活跃的进程数，然后按特定算法计算出的数值。如果这个数除以逻辑CPU的数量，结果高于5的时候就表明系统在超负荷运转了。

第二行:
Tasks 任务（进程），系统现在共有183个进程，其中处于运行中的有1个，182个在休眠（sleep），stoped状态的有0个，zombie状态（僵尸）的有0个。

第三行：cpu状态
6.7% us 用户空间占用CPU的百分比。
0.4% sy 内核空间占用CPU的百分比。
0.0% ni 改变过优先级的进程占用CPU的百分比
92.9% id 空闲CPU百分比
0.0% wa IO等待占用CPU的百分比
0.0% hi 硬中断（Hardware IRQ）占用CPU的百分比
0.0% si 软中断（Software Interrupts）占用CPU的百分比
在这里CPU的使用比率和windows概念不同，如果你不理解用户空间和内核空间，需要充充电了。

第四行：内存状态
8306544k total 物理内存总量（8GB）
7775876k used 使用中的内存总量（7.7GB）
530668k free 空闲内存总量（530M）
79236k buffers 缓存的内存量 （79M）

第五行：swap交换分区
2031608k total 交换区总量（2GB）
2556k used 使用的交换区总量（2.5M）
2029052k free 空闲交换区总量（2GB）
4231276k cached 缓冲的交换区总量（4GB）

3 磁盘

3.1 磁盘io性能监控指标

在介绍磁盘 I/O 监控命令前，我们需要了解磁盘 I/O 性能监控的指标，以及每个指标的所揭示的磁盘某方面的性能。磁盘 I/O 性能监控的指标主要包括：

指标 1：每秒 I/O 数（IOPS 或 tps）
对于磁盘来说，一次磁盘的连续读或者连续写称为一次磁盘 I/O, 磁盘的 IOPS 就是每秒磁盘连续读次数和连续写次数之和。当传输小块不连续数据时，该指标有重要参考意义。

指标 2：吞吐量（Throughput）
指硬盘传输数据流的速度，传输数据为读出数据和写入数据的和。其单位一般为 Kbps, MB/s 等。当传输大块不连续数据的数据，该指标有重要参考作用。

指标 3：平均 I/O 数据尺寸
平均 I/O 数据尺寸为吞吐量除以 I/O 数目，该指标对揭示磁盘使用模式有重要意义。一般来说，如果平均 I/O 数据尺寸小于 32K，可认为磁盘使用模式以随机存取为主；如果平均每次 I/O 数据尺寸大于 32K，可认为磁盘使用模式以顺序存取为主。

指标 4：磁盘活动时间百分比（Utilization）
磁盘处于活动时间的百分比，即磁盘利用率，磁盘在数据传输和处理命令（如寻道）处于活动状态。磁盘利用率与资源争用程度成正比，与性能成反比。也就是说磁盘利用率越高，资源争用就越严重，性能也就越差，响应时间就越长。一般来说，如果磁盘利用率超过 70%，应用进程将花费较长的时间等待 I/O完成，因为绝大多数进程在等待过程中将被阻塞或休眠。

指标 5：服务时间（Service Time）
指磁盘读或写操作执行的时间，包括寻道，旋转时延，和数据传输等时间。其大小一般和磁盘性能有关，CPU/ 内存的负荷也会对其有影响，请求过多也会间接导致服务时间的增加。如果该值持续超过 20ms，一般可考虑会对上层应用产生影响。

指标 6：I/O 等待队列长度（Queue Length）
指待处理的 I/O 请求的数目，如果 I/O 请求压力持续超出磁盘处理能力，该值将增加。如果单块磁盘的队列长度持续超过 2，一般认为该磁盘存在I/O性能问题。需要注意的是，如果该磁盘为磁盘阵列虚拟的逻辑驱动器，需要再将该值除以组成这个逻辑驱动器的实际物理磁盘数目，以获得平均单块硬盘的I/O 等待队列长度。

指标 7：等待时间（Wait Time）
指磁盘读或写操作等待执行的时间，即在队列中排队的时间。如果 I/O 请求持续超出磁盘处理能力，意味着来不及处理的 I/O 请求不得不在队列中等待较长时间。

通过监控以上指标，并将这些指标数值与历史数据，经验数据以及磁盘标称值对比，必要时结合 CPU、内存、交换分区的使用状况，不难发现磁盘 I/O潜在或已经出现的问题。但如果避免和解决这些问题呢？这就需要利用到磁盘 I/O性能优化方面的知识和技术。限于本文主题和篇幅，仅列出一些常用的优化方法供读者参考：

  • 调整数据布局，尽量将 I/O 请求较合理的分配到所有物理磁盘中。
  • 对于 RAID 磁盘阵列，尽量使应用程序 I/O 等于条带尺寸或者为条带尺寸的倍数。并选取合适的 RAID 方式，如 RAID10，RAID5。
  • 增大磁盘驱动程序的队列深度，但不要超过磁盘的处理能力，否则，部分 I/O 请求会因为丢失而重新发出，这将降低性能。
  • 应用缓存技术减少应用存取磁盘的次数，缓存技术可应用在文件系统级别或者应用程序级别。
  • 由于多数数据库中已包括经优化后的缓存技术，数据库 I/O 宜直接存取原始磁盘分区（raw partition）或者利用绕过文件系统缓存的 DIO 技术（direct IO）
  • 利用内存读写带宽远比直接磁盘 I/O 操作性能优越的特点，将频繁访问的文件或数据置于内存中。

3.2 iostat

#每隔2秒进行一次统计, -X 显示完整信息, -d显示所有设备, -C 显示cpu的统计信息
iostat -d -k -X -C 2
#每隔2秒进行一次统计, 总共统计10次
iostat -d -k -X -C 2 10

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
	   0.12    0.00    0.06    0.04    0.00   99.77

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
scd0              0.00     0.00    0.00    0.00     0.00     0.00     8.00     0.00    0.33    0.33    0.00   0.33   0.00
scd1              0.00     0.00    0.00    0.00     0.00     0.00     8.00     0.00    0.18    0.18    0.00   0.18   0.00
sda               0.02     0.43    0.25    0.90    12.02    18.24    52.52     0.00    1.29    1.25    1.30   0.57   0.07
dm-0              0.00     0.00    0.26    1.14    11.97    18.16    43.14     0.00    1.19    1.26    1.17   0.47   0.07
dm-1              0.00     0.00    0.01    0.02     0.05     0.08     8.00     0.00    1.59    0.36    2.33   0.08   0.00
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     7.72     0.00    0.19    0.11    0.97   0.17   0.00
dm-3              0.00     0.00    0.00    0.00     0.00     0.00     8.00     0.00    0.07    0.07    0.00   0.07   0.00

参数说明

  • rrqm/s：队列中每秒钟合并的读请求数量
  • wrqm/s：队列中每秒钟合并的写请求数量
  • r/s：每秒钟完成的读请求数量
  • w/s：每秒钟完成的写请求数量
  • rsec/s：每秒钟读取的扇区数量
  • wsec/s：每秒钟写入的扇区数量
  • avgrq-sz：平均请求扇区的大小
  • avgqu-sz：平均请求队列的长度
  • await：平均每次请求的等待时间
  • svctm：平均每次请求的服务时间
  • util：设备的利用率

关于这些参数，相对重要的是后面几个，具体来说是：util，svctm，await，avgqu-sz：
util是设备的利用率。如果它接近100%，通常说明设备能力趋于饱和（并不绝对）。有时候会出现大于100%的情况，这是因为读取数据的时候是非原子操作。

await = 队列等待时间+服务时间, await > svctm(多数情况下), 差值越小越好

avgqu-sz 长度越小越好

3.3 dstat