web-dev-qa-db-ja.com

Linux oomの状況(32ビットカーネル)

私は未解決の継続的なoom&panic状況を抱えています。システムがすべてのRAM(36GB)を満たしているかどうかはわかりません。なぜこのシステムがこのoomの状況を引き起こしたのですか? 32ビットLinuxシステムのlowmemゾーンに関連していると思います。カーネルパニックとoom-killerからのログを分析するにはどうすればよいですか?

宜しくお願いします、

カーネル3.10.24

Dec 27 09:19:05 2013 kernel: : [277622.359064] squid invoked oom-killer: gfp_mask=0x42d0, order=3, oom_score_adj=0
Dec 27 09:19:05 2013 kernel: : [277622.359069] squid cpuset=/ mems_allowed=0
Dec 27 09:19:05 2013 kernel: : [277622.359074] CPU: 9 PID: 15533 Comm: squid Not tainted 3.10.24-1.lsg #1
Dec 27 09:19:05 2013 kernel: : [277622.359076] Hardware name: Intel Thurley/Greencity, BIOS 080016  10/05/2011
Dec 27 09:19:05 2013 kernel: : [277622.359078]  00000003 e377b280 e03c3c38 c06472d6 e03c3c98 c04d2d96 c0a68f84 e377b580
Dec 27 09:19:05 2013 kernel: : [277622.359089]  000042d0 00000003 00000000 e03c3c64 c04abbda e42bd318 00000000 e03c3cf4
Dec 27 09:19:05 2013 kernel: : [277622.359096]  000042d0 00000001 00000247 00000000 e03c3c94 c04d3d5f 00000001 00000042
Dec 27 09:19:05 2013 kernel: : [277622.359105] Call Trace:
Dec 27 09:19:05 2013 kernel: : [277622.359116]  [<c06472d6>] dump_stack+0x16/0x20
Dec 27 09:19:05 2013 kernel: : [277622.359121]  [<c04d2d96>] dump_header+0x66/0x1c0
Dec 27 09:19:05 2013 kernel: : [277622.359127]  [<c04abbda>] ? __delayacct_freepages_end+0x3a/0x40
Dec 27 09:19:05 2013 kernel: : [277622.359131]  [<c04d3d5f>] ? zone_watermark_ok+0x2f/0x40
Dec 27 09:19:05 2013 kernel: : [277622.359135]  [<c04d2f27>] check_panic_on_oom+0x37/0x60
Dec 27 09:19:05 2013 kernel: : [277622.359138]  [<c04d36d2>] out_of_memory+0x92/0x250
Dec 27 09:19:05 2013 kernel: : [277622.359144]  [<c04dd1fa>] ? wakeup_kswapd+0xda/0x120
Dec 27 09:19:05 2013 kernel: : [277622.359148]  [<c04d6cee>] __alloc_pages_nodemask+0x68e/0x6a0
Dec 27 09:19:05 2013 kernel: : [277622.359155]  [<c0801c1e>] sk_page_frag_refill+0x7e/0x120
Dec 27 09:19:05 2013 kernel: : [277622.359160]  [<c084b8c7>] tcp_sendmsg+0x387/0xbf0
Dec 27 09:19:05 2013 kernel: : [277622.359166]  [<c0469a2f>] ? put_prev_task_fair+0x1f/0x350
Dec 27 09:19:05 2013 kernel: : [277622.359173]  [<c0ba7d8b>] ? longrun_init+0x2b/0x30
Dec 27 09:19:05 2013 kernel: : [277622.359177]  [<c084b540>] ? tcp_tso_segment+0x380/0x380
Dec 27 09:19:05 2013 kernel: : [277622.359182]  [<c086d0da>] inet_sendmsg+0x4a/0xa0
Dec 27 09:19:05 2013 kernel: : [277622.359186]  [<c07ff3a6>] sock_aio_write+0x116/0x130
Dec 27 09:19:05 2013 kernel: : [277622.359191]  [<c0457acc>] ? hrtimer_try_to_cancel+0x3c/0xb0
Dec 27 09:19:05 2013 kernel: : [277622.359197]  [<c050b208>] do_sync_write+0x68/0xa0
Dec 27 09:19:05 2013 kernel: : [277622.359202]  [<c050caa0>] vfs_write+0x190/0x1b0
Dec 27 09:19:05 2013 kernel: : [277622.359206]  [<c050cbb3>] SyS_write+0x53/0x80
Dec 27 09:19:05 2013 kernel: : [277622.359211]  [<c08f72ba>] sysenter_do_call+0x12/0x22
Dec 27 09:19:05 2013 kernel: : [277622.359213] Mem-Info:
Dec 27 09:19:05 2013 kernel: : [277622.359215] DMA per-cpu:
Dec 27 09:19:05 2013 kernel: : [277622.359218] CPU    0: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359220] CPU    1: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359222] CPU    2: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359224] CPU    3: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359226] CPU    4: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359228] CPU    5: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359230] CPU    6: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359232] CPU    7: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359234] CPU    8: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359236] CPU    9: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359238] CPU   10: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359240] CPU   11: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359242] CPU   12: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359244] CPU   13: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359246] CPU   14: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359248] CPU   15: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359250] CPU   16: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359253] CPU   17: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359255] CPU   18: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359258] CPU   19: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359260] CPU   20: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359262] CPU   21: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359264] CPU   22: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359266] CPU   23: hi:    0, btch:   1 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359268] Normal per-cpu:
Dec 27 09:19:05 2013 kernel: : [277622.359270] CPU    0: hi:  186, btch:  31 usd:  34
Dec 27 09:19:05 2013 kernel: : [277622.359272] CPU    1: hi:  186, btch:  31 usd:  72
Dec 27 09:19:05 2013 kernel: : [277622.359274] CPU    2: hi:  186, btch:  31 usd:  40
Dec 27 09:19:05 2013 kernel: : [277622.359276] CPU    3: hi:  186, btch:  31 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359279] CPU    4: hi:  186, btch:  31 usd:  39
Dec 27 09:19:05 2013 kernel: : [277622.359281] CPU    5: hi:  186, btch:  31 usd:  49
Dec 27 09:19:05 2013 kernel: : [277622.359283] CPU    6: hi:  186, btch:  31 usd:  50
Dec 27 09:19:05 2013 kernel: : [277622.359285] CPU    7: hi:  186, btch:  31 usd:  25
Dec 27 09:19:05 2013 kernel: : [277622.359286] CPU    8: hi:  186, btch:  31 usd:  42
Dec 27 09:19:05 2013 kernel: : [277622.359289] CPU    9: hi:  186, btch:  31 usd:  39
Dec 27 09:19:05 2013 kernel: : [277622.359290] CPU   10: hi:  186, btch:  31 usd: 155
Dec 27 09:19:05 2013 kernel: : [277622.359293] CPU   11: hi:  186, btch:  31 usd:  56
Dec 27 09:19:05 2013 kernel: : [277622.359295] CPU   12: hi:  186, btch:  31 usd:   2
Dec 27 09:19:05 2013 kernel: : [277622.359297] CPU   13: hi:  186, btch:  31 usd: 162
Dec 27 09:19:05 2013 kernel: : [277622.359299] CPU   14: hi:  186, btch:  31 usd:  67
Dec 27 09:19:05 2013 kernel: : [277622.359301] CPU   15: hi:  186, btch:  31 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359303] CPU   16: hi:  186, btch:  31 usd:  68
Dec 27 09:19:05 2013 kernel: : [277622.359305] CPU   17: hi:  186, btch:  31 usd:  38
Dec 27 09:19:05 2013 kernel: : [277622.359307] CPU   18: hi:  186, btch:  31 usd:  56
Dec 27 09:19:05 2013 kernel: : [277622.359308] CPU   19: hi:  186, btch:  31 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359310] CPU   20: hi:  186, btch:  31 usd:  54
Dec 27 09:19:05 2013 kernel: : [277622.359312] CPU   21: hi:  186, btch:  31 usd:  35
Dec 27 09:19:05 2013 kernel: : [277622.359314] CPU   22: hi:  186, btch:  31 usd:   2
Dec 27 09:19:05 2013 kernel: : [277622.359316] CPU   23: hi:  186, btch:  31 usd:  60
Dec 27 09:19:05 2013 kernel: : [277622.359318] HighMem per-cpu:
Dec 27 09:19:05 2013 kernel: : [277622.359320] CPU    0: hi:  186, btch:  31 usd:  32
Dec 27 09:19:05 2013 kernel: : [277622.359322] CPU    1: hi:  186, btch:  31 usd:  52
Dec 27 09:19:05 2013 kernel: : [277622.359324] CPU    2: hi:  186, btch:  31 usd:   9
Dec 27 09:19:05 2013 kernel: : [277622.359326] CPU    3: hi:  186, btch:  31 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359328] CPU    4: hi:  186, btch:  31 usd: 125
Dec 27 09:19:05 2013 kernel: : [277622.359330] CPU    5: hi:  186, btch:  31 usd: 116
Dec 27 09:19:05 2013 kernel: : [277622.359332] CPU    6: hi:  186, btch:  31 usd: 126
Dec 27 09:19:05 2013 kernel: : [277622.359333] CPU    7: hi:  186, btch:  31 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359336] CPU    8: hi:  186, btch:  31 usd:  79
Dec 27 09:19:05 2013 kernel: : [277622.359338] CPU    9: hi:  186, btch:  31 usd:  34
Dec 27 09:19:05 2013 kernel: : [277622.359340] CPU   10: hi:  186, btch:  31 usd: 111
Dec 27 09:19:05 2013 kernel: : [277622.359341] CPU   11: hi:  186, btch:  31 usd: 144
Dec 27 09:19:05 2013 kernel: : [277622.359343] CPU   12: hi:  186, btch:  31 usd:  15
Dec 27 09:19:05 2013 kernel: : [277622.359345] CPU   13: hi:  186, btch:  31 usd: 166
Dec 27 09:19:05 2013 kernel: : [277622.359347] CPU   14: hi:  186, btch:  31 usd: 185
Dec 27 09:19:05 2013 kernel: : [277622.359349] CPU   15: hi:  186, btch:  31 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359351] CPU   16: hi:  186, btch:  31 usd:  58
Dec 27 09:19:05 2013 kernel: : [277622.359353] CPU   17: hi:  186, btch:  31 usd: 122
Dec 27 09:19:05 2013 kernel: : [277622.359356] CPU   18: hi:  186, btch:  31 usd: 170
Dec 27 09:19:05 2013 kernel: : [277622.359358] CPU   19: hi:  186, btch:  31 usd:   0
Dec 27 09:19:05 2013 kernel: : [277622.359360] CPU   20: hi:  186, btch:  31 usd:  30
Dec 27 09:19:05 2013 kernel: : [277622.359362] CPU   21: hi:  186, btch:  31 usd:  33
Dec 27 09:19:05 2013 kernel: : [277622.359364] CPU   22: hi:  186, btch:  31 usd:  28
Dec 27 09:19:05 2013 kernel: : [277622.359366] CPU   23: hi:  186, btch:  31 usd:  44
Dec 27 09:19:05 2013 kernel: : [277622.359371] active_anon:658515 inactive_anon:54399 isolated_anon:0
Dec 27 09:19:05 2013 kernel: : [277622.359371]  active_file:1172176 inactive_file:323606 isolated_file:0
Dec 27 09:19:05 2013 kernel: : [277622.359371]  unevictable:0 dirty:0 writeback:0 unstable:0
Dec 27 09:19:05 2013 kernel: : [277622.359371]  free:6911872 slab_reclaimable:29430 slab_unreclaimable:34726
Dec 27 09:19:05 2013 kernel: : [277622.359371]  mapped:45784 shmem:9850 pagetables:107714 bounce:0
Dec 27 09:19:05 2013 kernel: : [277622.359371]  free_cma:0
Dec 27 09:19:05 2013 kernel: : [277622.359382] DMA free:2332kB min:36kB low:44kB high:52kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15968kB managed:6960kB mlocked:0kB dirty:0kB writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:8kB slab_unreclaimable:288kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? yes
Dec 27 09:19:05 2013 kernel: : [277622.359384] lowmem_reserve[]: 0 573 36539 36539
Dec 27 09:19:05 2013 kernel: : [277622.359393] Normal free:114488kB min:3044kB low:3804kB high:4564kB active_anon:0kB inactive_anon:0kB active_file:252kB inactive_file:256kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:894968kB managed:587540kB mlocked:0kB dirty:0kB writeback:0kB mapped:4kB shmem:0kB slab_reclaimable:117712kB slab_unreclaimable:138616kB kernel_stack:11976kB pagetables:0kB unstable:0kB bounce:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:982 all_unreclaimable? yes
Dec 27 09:19:05 2013 kernel: : [277622.359395] lowmem_reserve[]: 0 0 287725 287725
Dec 27 09:19:05 2013 kernel: : [277622.359404] HighMem free:27530668kB min:512kB low:48272kB high:96036kB active_anon:2634060kB inactive_anon:217596kB active_file:4688452kB inactive_file:1294168kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:36828872kB managed:36828872kB mlocked:0kB dirty:0kB writeback:0kB mapped:183132kB shmem:39400kB slab_reclaimable:0kB slab_unreclaimable:0kB kernel_stack:0kB pagetables:430856kB unstable:0kB bounce:367564104kB free_cma:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? no
Dec 27 09:19:05 2013 kernel: : [277622.359406] lowmem_reserve[]: 0 0 0 0
Dec 27 09:19:05 2013 kernel: : [277622.359410] DMA: 3*4kB (U) 2*8kB (U) 4*16kB (U) 5*32kB (U) 2*64kB (U) 0*128kB 0*256kB 0*512kB 0*1024kB 1*2048kB (R) 0*4096kB = 2428kB
Dec 27 09:19:05 2013 kernel: : [277622.359422] Normal: 5360*4kB (UEM) 3667*8kB (UEM) 3964*16kB (UEMR) 13*32kB (MR) 0*64kB 1*128kB (R) 1*256kB (R) 0*512kB 0*1024kB 0*2048kB 0*4096kB = 115000kB
Dec 27 09:19:05 2013 kernel: : [277622.359435] HighMem: 6672*4kB (M) 74585*8kB (UM) 40828*16kB (UM) 17275*32kB (UM) 3314*64kB (UM) 1126*128kB (UM) 992*256kB (UM) 585*512kB (UM) 225*1024kB (UM) 78*2048kB (UMR) 5957*4096kB (UM) = 27529128kB
Dec 27 09:19:05 2013 kernel: : [277622.359452] Node 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=2048kB
Dec 27 09:19:05 2013 kernel: : [277622.359454] 1505509 total pagecache pages
Dec 27 09:19:05 2013 kernel: : [277622.359457] 4 pages in swap cache
Dec 27 09:19:05 2013 kernel: : [277622.359459] Swap cache stats: add 13, delete 9, find 0/0
Dec 27 09:19:05 2013 kernel: : [277622.359460] Free swap  = 35318812kB
Dec 27 09:19:05 2013 kernel: : [277622.359462] Total swap = 35318864kB
Dec 27 09:19:05 2013 kernel: : [277622.450529] 9699327 pages RAM
Dec 27 09:19:05 2013 kernel: : [277622.450532] 9471490 pages HighMem
Dec 27 09:19:05 2013 kernel: : [277622.450533] 342749 pages reserved
Dec 27 09:19:05 2013 kernel: : [277622.450534] 2864256 pages shared
Dec 27 09:19:05 2013 kernel: : [277622.450535] 1501243 pages non-shared
Dec 27 09:19:05 2013 kernel: : [277622.450538] Kernel panic - not syncing: Out of memory: system-wide panic_on_oom is enabled

Dec 27 09:19:05 2013 kernel: : [277622.450538]

そして

# cat /proc/meminfo
MemTotal:       37426312 kB
MemFree:        28328992 kB
Buffers:           94728 kB
Cached:          6216068 kB
SwapCached:            0 kB
Active:          6958572 kB
Inactive:        1815380 kB
Active(anon):    2329152 kB
Inactive(anon):   170252 kB
Active(file):    4629420 kB
Inactive(file):  1645128 kB
Unevictable:           0 kB
Mlocked:               0 kB
HighTotal:      36828872 kB
HighFree:       28076144 kB
LowTotal:         597440 kB
LowFree:          252848 kB
SwapTotal:      35318864 kB
SwapFree:       35318860 kB
Dirty:                 0 kB
Writeback:             8 kB
AnonPages:       2463512 kB
Mapped:           162296 kB
Shmem:             36332 kB
Slab:             208676 kB
SReclaimable:     120872 kB
SUnreclaim:        87804 kB
KernelStack:        6320 kB
PageTables:        42280 kB
NFS_Unstable:          0 kB
Bounce:              124 kB
WritebackTmp:          0 kB
CommitLimit:    54032020 kB
Committed_AS:    3191916 kB
VmallocTotal:     122880 kB
VmallocUsed:       27088 kB
VmallocChunk:      29312 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:       10232 kB
DirectMap2M:      901120 kB

sysctl:

vm.oom_dump_tasks = 0
vm.oom_kill_allocating_task = 1
vm.panic_on_oom = 1

vm.admin_reserve_kbytes = 8192
vm.block_dump = 0
vm.dirty_background_bytes = 0
vm.dirty_background_ratio = 10
vm.dirty_bytes = 0
vm.dirty_expire_centisecs = 3000
vm.dirty_ratio = 20
vm.dirty_writeback_centisecs = 500
vm.drop_caches = 0
vm.highmem_is_dirtyable = 0
vm.hugepages_treat_as_movable = 0
vm.hugetlb_shm_group = 0
vm.laptop_mode = 0
vm.legacy_va_layout = 0
vm.lowmem_reserve_ratio = 256   32      32
vm.max_map_count = 65530
vm.min_free_kbytes = 3084
vm.mmap_min_addr = 4096
vm.nr_hugepages = 0
vm.nr_overcommit_hugepages = 0
vm.nr_pdflush_threads = 0
vm.overcommit_memory = 0
vm.overcommit_ratio = 50
vm.page-cluster = 3
vm.percpu_pagelist_fraction = 0
vm.scan_unevictable_pages = 0
vm.stat_interval = 1
vm.swappiness = 30
vm.user_reserve_kbytes = 131072
vm.vdso_enabled = 1
vm.vfs_cache_pressure = 100

そして

# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 292370
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 36728
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 292370
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited
16
seaquest

ただし、ゾーンのレイアウトが異なるため、「ハンマー」アプローチは64ビットO/S(これは32ビット)にアップグレードすることになります。

では、ここでOOMを経験した理由をここでお答えします。ここには多くの要素が関係しています。

  • リクエストのオーダーサイズと、カーネルが特定のオーダーサイズを処理する方法。
  • 選択されているゾーン。
  • このゾーンが使用する透かし。
  • ゾーンの断片化。

OOM自体を見ると、明らかに多くの空きメモリが利用可能ですが、OOMキラーが呼び出されましたか?どうして?


リクエストのオーダーサイズとカーネルが特定のオーダーサイズを処理する方法

カーネルは順番にメモリを割り当てます。 「順序」は、連続する領域ですRAMこれは、要求が機能するために満たす必要があります。順序は、アルゴリズム2^(ORDER + 12)。したがって、次数0は4096、次数1は8192、次数2は16384などとなります。

カーネルには、 '高次'(> _PAGE_ALLOC_COSTLY_ORDER_)と見なされるもののハードコードされた値があります。これは4次以上です(64kb以上は高次です)。

高い順序は、低い順序とは異なるページ割り当てで満たされます。最新のカーネルでは、メモリの取得に失敗した場合の高次割り当て。

  • メモリを最適化するために、圧縮ルーチンを実行してみてください。
  • NeverOOM-killerを呼び出して要求を満たします。

ご注文サイズはこちら

_Dec 27 09:19:05 2013 kernel: : [277622.359064] squid invoked oom-killer: gfp_mask=0x42d0, order=3, oom_score_adj=0
_

注文3は最下位のリクエストの中で最高であり、(ご覧のとおり)OOM-killerを呼び出してそれを満たそうとします。

ほとんどのユーザースペースの割り当てでは、高次のリクエストを使用しないことに注意してください。通常は、メモリの連続した領域を必要とするカーネルです。これの例外は、ユーザースペースがhugepagesを使用している場合です-ただし、ここではそうではありません。

あなたの場合、順序3の割り当ては、パケットをネットワークスタックにキューイングしようとしているカーネルによって呼び出されます-そのためには32kbの割り当てが必要です。

選択されているゾーン。

カーネルはメモリ領域をゾーンに分割します。 x86ではメモリの特定の領域は特定のハードウェアでしかアドレス指定できないため、この細断は行われます。古いハードウェアは、たとえば「DMA」ゾーンのメモリのみをアドレス指定できる場合があります。いくつかのメモリを割り当てる場合は、最初にゾーンが選択され、onlyこのゾーンからの空きメモリが割り当ての決定時に考慮されます。

ゾーン選択アルゴリズムについて完全に理解しているわけではありませんが、典型的なユースケースはDMAから割り当てることではなく、通常は要求を満たすことができる最も低いアドレス指定可能なゾーンを選択することです。

ゾーン情報の多くはOOM中に生成され、_/proc/zoneinfo_からも収集できます。

_Dec 27 09:19:05 2013 kernel: : [277622.359382] DMA free:2332kB min:36kB low:44kB high:52kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15968kB managed:6960kB mlocked:0kB dirty:0kB writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:8kB slab_unreclaimable:288kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? yes
Dec 27 09:19:05 2013 kernel: : [277622.359393] Normal free:114488kB min:3044kB low:3804kB high:4564kB active_anon:0kB inactive_anon:0kB active_file:252kB inactive_file:256kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:894968kB managed:587540kB mlocked:0kB dirty:0kB writeback:0kB mapped:4kB shmem:0kB slab_reclaimable:117712kB slab_unreclaimable:138616kB kernel_stack:11976kB pagetables:0kB unstable:0kB bounce:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:982 all_unreclaimable? yes
Dec 27 09:19:05 2013 kernel: : [277622.359404] HighMem free:27530668kB min:512kB low:48272kB high:96036kB active_anon:2634060kB inactive_anon:217596kB active_file:4688452kB inactive_file:1294168kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:36828872kB managed:36828872kB mlocked:0kB dirty:0kB writeback:0kB mapped:183132kB shmem:39400kB slab_reclaimable:0kB slab_unreclaimable:0kB kernel_stack:0kB pagetables:430856kB unstable:0kB bounce:367564104kB free_cma:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? no
_

HighMemゾーンは64ビット上に存在しないため、DMA、Normal、HighMemのゾーンは32ビットプラットフォームを示します。また、64ビットシステムでは、Normalは4GB以上にマップされますが、32ビットでは最大896Mbにマップされます(ただし、あなたの場合、カーネルはこれよりも小さい部分しか管理しないと報告します:-_managed:587540kB_。)

最初の行をもう一度見ることで、この割り当てがどこから来たかを知ることができます。_gfp_mask=0x42d0_は、どのタイプの割り当てが行われたかを示します。最後のバイト(0)は、これが通常のゾーンからの割り当てであることを示しています。 gfpの意味は include/linux/gfp.h にあります。

このゾーンが使用する透かし。

メモリが少ない場合、メモリを再利用するアクションは透かしによって指定されます。それらはここに表示されます:_min:3044kB low:3804kB high:4564kB_。空きメモリが「低」に達すると、「高」のしきい値を超えるまでスワッピングが発生します。メモリが「最小」に達した場合、OOMキラーを介してメモリを解放するために、データを強制終了する必要があります。

ゾーンの断片化。

メモリの特定の順序に対する要求が満たされるかどうかを確認するために、カーネルは、各順序で使用可能な空きページの数を考慮します。これは_/proc/buddyinfo_で読み取ることができます。 OOMキラーレポートは、次のようにbuddyinfoも追加で吐き出します。

_Normal: 5360*4kB (UEM) 3667*8kB (UEM) 3964*16kB (UEMR) 13*32kB (MR) 0*64kB 1*128kB (R) 1*256kB (R) 0*512kB 0*1024kB 0*2048kB 0*4096kB = 115000kB
_

メモリ割り当てが満たされるには、必須要求されたサイズまたはより高い割り当てで使用可能な空きメモリである必要があります。低次のデータが大量にあり、高次のデータがない場合、メモリが断片化されます。非常に高い順序の割り当てを取得した場合、利用可能な高次のページがないために、それが(多くの空きメモリがあっても)満足できない可能性があります。カーネルは、大量の低次ページを移動してメモリを最適化し(これをメモリ圧縮と呼びます)、アドレス可能なRAMスペースにギャップを残しません。

OOMキラーが呼び出されましたか?どうして?

したがって、これらを考慮に入れると、次のように言えます。

  • 32kBの連続した割り当てが試行されました。ノーマルゾーンから。
  • 選択したゾーンに十分な空きメモリがありました。
  • 利用可能な注文3、5、6のメモリがありました13*32kB (MR) 1*128kB (R) 1*256kB (R)

したがって、was空きメモリがある場合、他の注文couldは要求を満たします。どうした?

まあ、注文から割り当てるには、その注文以上で利用可能な空きメモリの量を確認するだけではありません。カーネルは、合計空きラインからすべての下位オーダーからメモリを効果的に差し引き、残っているものに対して最小透かしチェックを実行します。

あなたのケースで何が起こるかは、私たちがしなければならないそのゾーンの空きメモリをチェックすることです。

_115000 - (5360*4) - (3667*8) - (3964*16) = 800
_

この空きメモリの量は、minウォーターマーク(3044)と照合されます。つまり、技術的に言えば、要求された割り当てを行うための空きメモリが残っていません。そして、これがOOM-killerを呼び出した理由です。


修正

2つの修正があります。 64ビットにアップグレードすると、ゾーンのパーティション分割が変更され、「通常」が4 GBから36 GBに変更されるため、非常に断片化する可能性があるゾーンにメモリ割り当てを「デフォルト設定」することはありません。 (既にPAEを使用しているため)この問題を解決するアドレス可能なメモリが多いということではなく、選択したゾーンのアドレス可能なメモリが多いというだけです。

2番目の方法(私はテストしたことがありません)は、カーネルにメモリをより積極的に圧縮させることです。

_vm.extfrag_threshold_の値を500から100に変更すると、高次の割り当てを優先してメモリを圧縮する可能性が高くなります。ただし、これまでこの値をいじったことはありません。また、_/sys/kernel/debug/extfrag/extfrag_index_で使用できる断片化インデックスが何であるかにも依存します。今のところ、これ以上のものを提供することが示されているものを確認するのに十分な新しいカーネルの箱はありません。

あるいは、何らかのcronジョブ(これは恐ろしく、恐ろしく醜いです)を実行して、_/proc/sys/vm/compact_memory_に書き込むことによって手動でメモリを手動で圧縮することもできます。

正直なところ、この問題を回避するためにシステムを調整する方法は本当にないと思います。このように動作するメモリアロケータの性質です。使用するプラットフォームのアーキテクチャを変更することが、おそらく根本的に解決可能な唯一のソリューションです。

54
Matthew Ife

最初から:本当に64ビットオペレーティングシステムを使用する必要があります。ここで32ビットのままにする正当な理由はありますか?

この問題を診断するのは、システムをより詳細に調べない限り、できれば失敗する前後に行うのが難しいため、32ビットシステムでのメモリの問題を一般的に対象としています。 64ビットにすると、すべてがなくなると私は言いましたか?

問題は3つあります。

まず、PAEカーネルでも、プロセスごとのアドレス空間は4GiB [1]に制限されています。これは、Squidインスタンスが4GiBを超えてRAMプロセスごとに)を食べることができないことを意味します。Squidにはあまり詳しくありませんが、これがメインのプロキシサーバーである場合、とにかく十分です。

第2に、大量のRAMを搭載した32ビットシステムでは、ZONE_HIGHMEMでメモリを使用するために必要なデータ構造を保存するために、「ZONE_NORMAL」と呼ばれるメモリが大量に使用されます。カーネルがそれ自体の目的で使用するメモリは常にZONE_NORMALにある必要があるため(つまり、最初の1GiBのように)、これらのデータ構造をZONE_HIGHMEMに移動することはできません。カーネルがZONE_HIGHMEMを管理するためにZONE_NORMALからのメモリをより多く必要とするため、ZONE_HIGHMEM内のメモリが多いほど(多くの場合、ケースでは)、これは問題になります。 ZONE_NORMALの空きメモリが枯渇すると、32でlotが発生する場所がZONE_NORMALであるため、システムが一部のタスクで失敗する可能性があります。ビットシステム。カーネルに関連するすべてのメモリ操作、たとえば;)

3番目に、ZONE_NORMALにメモリが残っていても(ログを詳しく調べていません)、一部のメモリ操作では断片化されていないメモリが必要になります。たとえば、すべてのメモリが非常に小さな断片に断片化されている場合、それ以上必要な一部の操作は失敗します。 [3]ログを簡単に見ると、ZONE_DMAとZONE_NORMALにかなりの量の断片化が見られます。

編集:上記のMlfeの回答には、これがどのように機能するかについての優れた説明があります。

繰り返しますが、64ビットシステムでは、すべてのメモリがZONE_NORMALにあります。 64ビットシステムにはHIGHMEMゾーンはありません。問題が解決しました。

編集:ここ[4]を見て、重要なプロセスをそのままにするようにoom-killerに指示できるかどうかを確認できます。これですべてが解決されるわけではありませんが、すべて解決されるわけではありませんが、試してみる価値はあります。

[1] http://en.wikipedia.org/wiki/Physical_address_extension#Design

[2] http://www.redhat.com/archives/rhelv5-list/2008-September/msg00237.html および https:// access。 redhat.com/site/documentation/en-US/Red_Hat_Enterprise_Linux/5/html/Tuning_and_Optimizing_Red_Hat_Enterprise_Linux_for_Oracle_9i_and_10g_Databases/sect-Oracle_9i_and_10g_Tuning_Guide-Hardware_Architectures_and_Linux_Kernels-a32_bit_Architecture_and_the_hugemem_Kernel.html

[3] http://bl0rg.krunch.be/oom-frag.html

[4] http://lwn.net/Articles/317814/

6
wzzrd

@MIfeはすでに提供されています カーネルでのメモリ割り当ての処理方法についての優れた説明 と、64ビットOSへの切り替えなどの適切な解決策と/proc/sys/vm/compact_memoryによる手動メモリ圧縮などの厄介なハックも提供しましたcron

私の2セントはあなたを助けるかもしれない別の回避策でしょう:
カーネルバックトレースにtcp_tso_segmentがあることに気付きました。

# ethtool -K ethX tso off gso off lro off

より低い次数を使用するように強制することにより、mmへの圧力を減らすことができます。

[〜#〜] ps [〜#〜]。すべてのオフロードのリストは# ethtool -k ethXから取得できます

5
SaveTheRbtz

パニックが発生するのは、sysctl "vm.panic_on_oom = 1"が設定されているためです。つまり、システムを再起動すると正常な状態に戻るという考え方です。これはsysctl.confで変更できます。

一番上には、イカから呼び出されたoom killerがあります。 squidの設定とその最大メモリ使用量を確認する場合があります(または単に64ビットOSに移行します)。

/ proc/meminfoは、使用中の高メモリゾーンを示しているため、36GBのメモリを搭載した32ビットカーネルを実行しています。ノーマルゾーンでは、Squidのメモリ需要を満たすために、カーネルが982ページをスキャンしても成功しなかったこともわかります。

pages_scanned:982 all_unreclaimable? yes
4
ramruma