web-dev-qa-db-ja.com

+ 90%を消費するkworker IOおよびディスク書き込みなし

これはAWS Linux AMI + EBS上の標準のApacheウェブサーバーです。高負荷平均(+8)とiotop -aは以下を示します。

Total DISK READ: 0.00 B/s | Total DISK WRITE: 2.37 M/s

  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND             
 3730 be/4 root          0.00 B      0.00 B  0.00 % 91.98 % [kworker/u8:1]
  774 be/3 root          0.00 B   1636.00 K  0.00 % 15.77 % [jbd2/xvda1-8]
 3215 be/4 Apache        0.00 B     40.39 M  0.00 %  0.88 % httpd
 3270 be/4 Apache        0.00 B     38.20 M  0.00 %  0.93 % httpd
 2770 be/4 Apache        0.00 B     46.86 M  0.00 %  0.71 % httpd

Apacheがダウンすると、kworkerとjbd2もダウンします。

十分な数のRAM=が利用可能であるため、サーバーがスワップしていません。データベースサーバーに関連するこの問題を確認しましたが、Apacheだけに限定されるものはありません。

これをさらに診断して防止する方法についてのアイデアはありますか?

更新1:パフォーマンスレポート(perfレコード-g -aスリープ10)

Samples: 114K of event 'cpu-clock', Event count (approx.): 28728500000
-  83.58%          swapper  [kernel.kallsyms]         [k] xen_hypercall_sched_op                                          ◆
   + xen_hypercall_sched_op                                                                                               ▒
   + default_idle                                                                                                         ▒
   + Arch_cpu_idle                                                                                                        ▒
   - cpu_startup_entry                                                                                                    ▒
        70.16% cpu_bringup_and_idle                                                                                       ▒
      - 29.84% rest_init                                                                                                  ▒
           start_kernel                                                                                                   ▒
           x86_64_start_reservations                                                                                      ▒
           xen_start_kernel                                                                                               ▒
+   1.73%            httpd  [kernel.kallsyms]         [k] __d_lookup_rcu                                                  ▒
+   1.08%            httpd  [kernel.kallsyms]         [k] xen_hypercall_xen_version                                       ▒
+   0.38%            httpd  [vdso]                    [.] 0x0000000000000d7c                                              ▒
+   0.36%            httpd  libphp5.so                [.] zend_hash_find                                                  ▒
+   0.33%            httpd  libphp5.so                [.] _zend_hash_add_or_update                                        ▒
+   0.25%            httpd  libc-2.17.so              [.] __memcpy_ssse3                                                  ▒
+   0.24%            httpd  libphp5.so                [.] _zval_ptr_dtor                                                  ▒
+   0.24%            httpd  [kernel.kallsyms]         [k] __audit_syscall_entry                                           ▒
+   0.22%            httpd  [kernel.kallsyms]         [k] pvclock_clocksource_read                                        ▒
23
user2383712

100%IOは、すべてのIOオペレーションを使用していることを意味するわけではありません。つまり、IOを待機しているだけです。したがって、高%IOと低/ゼロのディスク帯域幅は正常です。

man iotop

[...]また、スワップイン中およびI/Oの待機中にスレッド/プロセスが費やした時間の割合も表示します。

kworkerがIOを永久に待機している場合は別の問題である可能性がありますが、わかりません。おそらくパイプまたは何かで待機しているはずです。 kworkerサーバーで同じことを行うこともありますが、問題はないようです(また、初めて見たときにパニックになりました)。

5
sudo