OOM trotz freier RAM

d4f

d4f

Kaffee? Wo?
Diesmal bin ich wirklich mit meinem Latein am Ende...

Phaenomen ist dass eine Machine nicht ueber zirka 2GB RAM fuer Applikationen belegen will und der Versuch einen grossen Happen RAM zu belegen fuehrt zu OOM-Kills.

Swap ist zu einem solchen Zeitpunkt 250MB von 1GB belegt, RAM ist 2.2GB voll, 1.5GB Cache und der Rest der 6GB ist nicht belegt.

Aktuell hat der Server 155689 offene Filehandles und 3230 Iptables-Regeln.
Ausgestattet ist er mit einem 2.6.32-5-amd64 64-bit Kernel und Userland.

/proc/meminfo
Code: 
MemTotal:        6122824 kB
MemFree:          543744 kB
Buffers:           66876 kB
Cached:          1015988 kB
SwapCached:       135504 kB
Active:          3141136 kB
Inactive:        1564764 kB
Active(anon):    2873552 kB
Inactive(anon):   912316 kB
Active(file):     267584 kB
Inactive(file):   652448 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:       1053660 kB
SwapFree:         790572 kB
Dirty:              1964 kB
Writeback:             0 kB
AnonPages:       3493456 kB
Mapped:           138140 kB
Shmem:            162868 kB
Slab:             327588 kB
SReclaimable:     299892 kB
SUnreclaim:        27696 kB
KernelStack:        2520 kB
PageTables:        72344 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:     4115072 kB
Committed_AS:   18707148 kB
VmallocTotal:   34359738367 kB
VmallocUsed:      347472 kB
VmallocChunk:   34359284368 kB
HardwareCorrupted:     0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:        7680 kB
DirectMap2M:     6275072 kB

slabtop
Code: 
 Active / Total Objects (% used)    : 1591444 / 2020953 (78.7%)
 Active / Total Slabs (% used)      : 142829 / 142877 (100.0%)
 Active / Total Caches (% used)     : 103 / 146 (70.5%)
 Active / Total Size (% used)       : 395058.01K / 535229.84K (73.8%)
 Minimum / Average / Maximum Object : 0.02K / 0.26K / 128.00K

  OBJS ACTIVE  USE OBJ SIZE  SLABS OBJ/SLAB CACHE SIZE NAME
931120 920696  98%    0.09K  23278       40     93112K buffer_head
368316 153422  41%    0.21K  20462       18     81848K dentry_cache
304150 195147  64%    0.74K  60830        5    243320K ext3_inode_cache
197526 189675  96%    0.52K  28218        7    112872K radix_tree_node
 83780  33121  39%    0.06K   1420       59      5680K size-64
 31922  29650  92%    0.17K   1451       22      5804K vm_area_struct
 12330   5997  48%    0.12K    411       30      1644K size-128
 10260   6728  65%    0.25K    684       15      2736K filp
  9072   4611  50%    0.02K     63      144       252K anon_vma
  6424   6245  97%    0.09K    146       44       584K sysfs_dir_cache
  6040   1864  30%    0.09K    151       40       604K journal_head
  4848    821  16%    0.02K     24      202        96K biovec-1
  4590   3213  70%    0.58K    765        6      3060K proc_inode_cache
  3658   3338  91%    0.06K     62       59       248K Acpi-Operand
  3653   3553  97%    0.30K    281       13      1124K ip_conntrack
  3472   3274  94%    0.03K     31      112       124K size-32
...

Im kern.log finden sich solche Inhalte
Code: 
Sep 28 13:23:17 web1 kernel: [251486.929924] BUG: unable to handle kernel paging request at ffffc80055d59100
Sep 28 13:23:17 web1 kernel: [251486.929973] IP: [<ffffffffa00ffdd3>] ext3_iget+0x75/0x3f0 [ext3]
Sep 28 13:23:17 web1 kernel: [251486.930007] PGD 0 
Sep 28 13:23:17 web1 kernel: [251486.930030] Oops: 0000 [#1] SMP 
Sep 28 13:23:17 web1 kernel: [251486.930057] last sysfs file: /sys/devices/pci0000:00/0000:00:1f.2/host1/target1:0:0/1:0:0:0/block/sdb/stat
Sep 28 13:23:17 web1 kernel: [251486.930103] CPU 3 
Sep 28 13:23:17 web1 kernel: [251486.930124] Modules linked in: xt_recent xt_owner xt_connlimit ipt_LOG xt_limit xt_state iptable_mangle cn ipt_REDIRECT xt_tcpudp iptable_nat nf_nat nf_conntrack_ipv4 nf_conntrack iptable_filter nf_defrag_ipv4 ip_tables f71882fg x_tables e100 forcedeth via_rhine nouveau ttm drm_kms_helper drm i2c_i801 wmi snd_pcm snd_timer snd soundcore snd_page_alloc evdev psmouse i2c_algo_bit pcspkr i2c_core button serio_raw processor ext3 jbd mbcache raid1 md_mod sd_mod crc_t10dif ata_generic thermal ata_piix ehci_hcd libata thermal_sys scsi_mod usbcore nls_base r8169 mii [last unloaded: scsi_wait_scan]
Sep 28 13:23:17 web1 kernel: [251486.930492] Pid: 6316, comm: inotifywatch Tainted: G        W  2.6.32-5-amd64 #1 MS-7588
Sep 28 13:23:17 web1 kernel: [251486.930534] RIP: 0010:[<ffffffffa00ffdd3>]  [<ffffffffa00ffdd3>] ext3_iget+0x75/0x3f0 [ext3]
Sep 28 13:23:17 web1 kernel: [251486.930583] RSP: 0018:ffff880081b23c68  EFLAGS: 00010286
Sep 28 13:23:17 web1 kernel: [251486.930608] RAX: 0000000000000000 RBX: ffff8801b6b813c0 RCX: ffff8801bef18000
Sep 28 13:23:17 web1 kernel: [251486.930649] RDX: ffff880081b23c68 RSI: ffff880081b23b88 RDI: ffffea00012c6b78
Sep 28 13:23:17 web1 kernel: [251486.930690] RBP: ffffc80055d59100 R08: ffffea00012c6b80 R09: ffffea00012c6b78
Sep 28 13:23:17 web1 kernel: [251486.930730] R10: 0000000000000003 R11: 0000000000000000 R12: ffff8801b6b812f0
Sep 28 13:23:17 web1 kernel: [251486.930771] R13: ffff8801bbc69400 R14: ffff8800bd23d460 R15: ffff880081b23d48
Sep 28 13:23:17 web1 kernel: [251486.930812] FS:  00007f06efd73700(0000) GS:ffff880006ec0000(0000) knlGS:0000000000000000
Sep 28 13:23:17 web1 kernel: [251486.930855] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Sep 28 13:23:17 web1 kernel: [251486.930881] CR2: ffffc80055d59100 CR3: 000000009178d000 CR4: 00000000000006e0
Sep 28 13:23:17 web1 kernel: [251486.930922] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Sep 28 13:23:17 web1 kernel: [251486.930962] DR3: 0000000000000000 DR6: 00000000ffff0ff0 DR7: 0000000000000400
Sep 28 13:23:17 web1 kernel: [251486.931003] Process inotifywatch (pid: 6316, threadinfo ffff880081b22000, task ffff88006ed13880)
Sep 28 13:23:17 web1 kernel: [251486.931046] Stack:
Sep 28 13:23:17 web1 kernel: [251486.931066]  ffff8800bd23d460 0000000000000100 0000000000000d55 fffffffffffffff4
Sep 28 13:23:17 web1 kernel: [251486.931103] <0> 0000000001aaab92 ffff88011bc17600 ffff8801496f7678 ffff880081b23df8
Sep 28 13:23:17 web1 kernel: [251486.931158] <0> ffff8801496f7730 ffffffffa0105b38 ffff880081b23d48 ffff880166b86608
Sep 28 13:23:17 web1 kernel: [251486.931229] Call Trace:
Sep 28 13:23:17 web1 kernel: [251486.931253]  [<ffffffffa0105b38>] ? ext3_lookup+0x84/0xe4 [ext3]
Sep 28 13:23:17 web1 kernel: [251486.931282]  [<ffffffff810f64c3>] ? do_lookup+0xd3/0x15d
Sep 28 13:23:17 web1 kernel: [251486.931308]  [<ffffffff810f6ef0>] ? __link_path_walk+0x5a5/0x6f5
Sep 28 13:23:17 web1 kernel: [251486.931335]  [<ffffffff810f726e>] ? path_walk+0x66/0xc9
Sep 28 13:23:17 web1 kernel: [251486.931361]  [<ffffffff810f86d8>] ? do_path_lookup+0x20/0x77
Sep 28 13:23:17 web1 kernel: [251486.931387]  [<ffffffff810f9bba>] ? user_path_at+0x48/0x79
Sep 28 13:23:17 web1 kernel: [251486.931413]  [<ffffffff810fb2d0>] ? filldir+0x0/0xb7
Sep 28 13:23:17 web1 kernel: [251486.931439]  [<ffffffff810f1e3f>] ? cp_new_stat+0xe9/0xfc
Sep 28 13:23:17 web1 kernel: [251486.931465]  [<ffffffff810f2006>] ? vfs_fstatat+0x2c/0x57
Sep 28 13:23:17 web1 kernel: [251486.931491]  [<ffffffff810f2087>] ? sys_newlstat+0x11/0x30
Sep 28 13:23:17 web1 kernel: [251486.931518]  [<ffffffff81010b42>] ? system_call_fastpath+0x16/0x1b
Sep 28 13:23:17 web1 kernel: [251486.931544] Code: 48 89 e6 48 89 c7 4c 8d a0 30 ff ff ff e8 05 fd ff ff 48 63 e8 48 85 ed 0f 88 58 03 00 00 4c 8b 34 24 49 8b 6e 28 48 03 6c 24 08 <8b> 45 00 66 89 83 ae 00 00 00 0f b7 45 02 89 43 50 0f b7 45 18 
Sep 28 13:23:17 web1 kernel: [251486.931791] RIP  [<ffffffffa00ffdd3>] ext3_iget+0x75/0x3f0 [ext3]
Sep 28 13:23:17 web1 kernel: [251486.931822]  RSP <ffff880081b23c68>
Sep 28 13:23:17 web1 kernel: [251486.931844] CR2: ffffc80055d59100
Sep 28 13:23:17 web1 kernel: [251486.932169] ---[ end trace a7919e7f17c0a727 ]---
Code: 
Sep 28 11:05:15 web1 kernel: [243205.116575] iptables: page allocation failure. order:6, mode:0xc0d0
Sep 28 11:05:15 web1 kernel: [243205.116578] Pid: 28950, comm: iptables Tainted: G        W  2.6.32-5-amd64 #1
Sep 28 11:05:15 web1 kernel: [243205.116580] Call Trace:
Sep 28 11:05:15 web1 kernel: [243205.116586]  [<ffffffff810ba5d6>] ? __alloc_pages_nodemask+0x592/0x5f4
Sep 28 11:05:15 web1 kernel: [243205.116589]  [<ffffffff810b959c>] ? __get_free_pages+0x9/0x46
Sep 28 11:05:15 web1 kernel: [243205.116593]  [<ffffffff810e7ea1>] ? __kmalloc+0x3f/0x141
Sep 28 11:05:15 web1 kernel: [243205.116597]  [<ffffffffa02bcc1b>] ? recent_mt_check+0xd1/0x1c6 [xt_recent]
Sep 28 11:05:15 web1 kernel: [243205.116602]  [<ffffffffa011e9c8>] ? xt_check_match+0x165/0x19c [x_tables]
Sep 28 11:05:15 web1 kernel: [243205.116606]  [<ffffffff8104a9c9>] ? __cond_resched+0x1d/0x26
Sep 28 11:05:15 web1 kernel: [243205.116609]  [<ffffffff812fb07b>] ? _cond_resched+0x24/0x2f
Sep 28 11:05:15 web1 kernel: [243205.116612]  [<ffffffffa016f395>] ? translate_table+0x307/0x57f [ip_tables]
Sep 28 11:05:15 web1 kernel: [243205.116615]  [<ffffffffa0170322>] ? do_ipt_set_ctl+0xff/0x19a [ip_tables]
Sep 28 11:05:15 web1 kernel: [243205.116619]  [<ffffffff8126dc80>] ? nf_sockopt+0x5e/0x78
Sep 28 11:05:15 web1 kernel: [243205.116622]  [<ffffffff8126dcc3>] ? nf_setsockopt+0x1a/0x1d
Sep 28 11:05:15 web1 kernel: [243205.116625]  [<ffffffff812792e3>] ? ip_setsockopt+0x5c/0x78
Sep 28 11:05:15 web1 kernel: [243205.116628]  [<ffffffff81240a3f>] ? sys_setsockopt+0x85/0xaa
Sep 28 11:05:15 web1 kernel: [243205.116630]  [<ffffffff81010b42>] ? system_call_fastpath+0x16/0x1b
Sep 28 11:05:15 web1 kernel: [243205.116632] Mem-Info:
Sep 28 11:05:15 web1 kernel: [243205.116633] Node 0 DMA per-cpu:
Sep 28 11:05:15 web1 kernel: [243205.116635] CPU    0: hi:    0, btch:   1 usd:   0
Sep 28 11:05:15 web1 kernel: [243205.116636] CPU    1: hi:    0, btch:   1 usd:   0
Sep 28 11:05:15 web1 kernel: [243205.116637] CPU    2: hi:    0, btch:   1 usd:   0
Sep 28 11:05:15 web1 kernel: [243205.116639] CPU    3: hi:    0, btch:   1 usd:   0
Sep 28 11:05:15 web1 kernel: [243205.116640] Node 0 DMA32 per-cpu:
Sep 28 11:05:15 web1 kernel: [243205.116642] CPU    0: hi:  186, btch:  31 usd:   0
Sep 28 11:05:15 web1 kernel: [243205.116643] CPU    1: hi:  186, btch:  31 usd:   0
Sep 28 11:05:15 web1 kernel: [243205.116645] CPU    2: hi:  186, btch:  31 usd:   0
Sep 28 11:05:15 web1 kernel: [243205.116646] CPU    3: hi:  186, btch:  31 usd:   0
Sep 28 11:05:15 web1 kernel: [243205.116647] Node 0 Normal per-cpu:
Sep 28 11:05:15 web1 kernel: [243205.116649] CPU    0: hi:  186, btch:  31 usd:   0
Sep 28 11:05:15 web1 kernel: [243205.116650] CPU    1: hi:  186, btch:  31 usd:   0
Sep 28 11:05:15 web1 kernel: [243205.116651] CPU    2: hi:  186, btch:  31 usd:   0
Sep 28 11:05:15 web1 kernel: [243205.116653] CPU    3: hi:  186, btch:  31 usd:   0
Sep 28 11:05:15 web1 kernel: [243205.116656] active_anon:245163 inactive_anon:256988 isolated_anon:54
Sep 28 11:05:15 web1 kernel: [243205.116657]  active_file:142221 inactive_file:235861 isolated_file:17
Sep 28 11:05:15 web1 kernel: [243205.116658]  unevictable:0 dirty:813 writeback:101 unstable:0
Sep 28 11:05:15 web1 kernel: [243205.116659]  free:525273 slab_reclaimable:41023 slab_unreclaimable:4628
Sep 28 11:05:15 web1 kernel: [243205.116659]  mapped:22452 shmem:7968 pagetables:8742 bounce:0
Sep 28 11:05:15 web1 kernel: [243205.116661] Node 0 DMA free:15856kB min:24kB low:28kB high:36kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15288kB mlocked:0kB dirty:0kB writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:0kB slab_unreclaimable:0kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? no
Sep 28 11:05:15 web1 kernel: [243205.116668] lowmem_reserve[]: 0 2991 6021 6021
Sep 28 11:05:15 web1 kernel: [243205.116671] Node 0 DMA32 free:1365440kB min:4928kB low:6160kB high:7392kB active_anon:382148kB inactive_anon:458380kB active_file:188728kB inactive_file:390964kB unevictable:0kB isolated(anon):116kB isolated(file):68kB present:3063520kB mlocked:0kB dirty:260kB writeback:248kB mapped:22356kB shmem:8kB slab_reclaimable:97288kB slab_unreclaimable:3568kB kernel_stack:304kB pagetables:2868kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? no
Sep 28 11:05:15 web1 kernel: [243205.116679] lowmem_reserve[]: 0 0 3030 3030
Sep 28 11:05:15 web1 kernel: [243205.116681] Node 0 Normal free:719796kB min:4988kB low:6232kB high:7480kB active_anon:598504kB inactive_anon:569572kB active_file:380156kB inactive_file:552480kB unevictable:0kB isolated(anon):100kB isolated(file):0kB present:3102720kB mlocked:0kB dirty:2992kB writeback:156kB mapped:67452kB shmem:31864kB slab_reclaimable:66804kB slab_unreclaimable:14944kB kernel_stack:1912kB pagetables:32100kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? no
Sep 28 11:05:15 web1 kernel: [243205.116689] lowmem_reserve[]: 0 0 0 0
Sep 28 11:05:15 web1 kernel: [243205.116691] Node 0 DMA: 2*4kB 3*8kB 3*16kB 1*32kB 2*64kB 2*128kB 0*256kB 0*512kB 1*1024kB 1*2048kB 3*4096kB = 15856kB
Sep 28 11:05:15 web1 kernel: [243205.116697] Node 0 DMA32: 65096*4kB 46880*8kB 26052*16kB 7555*32kB 924*64kB 94*128kB 1*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 1365440kB
Sep 28 11:05:15 web1 kernel: [243205.116703] Node 0 Normal: 13474*4kB 21464*8kB 19578*16kB 4162*32kB 599*64kB 74*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 719848kB
Sep 28 11:05:15 web1 kernel: [243205.116709] 495098 total pagecache pages
Sep 28 11:05:15 web1 kernel: [243205.116710] 108998 pages in swap cache
Sep 28 11:05:15 web1 kernel: [243205.116711] Swap cache stats: add 776901, delete 667903, find 384120108/384165996
Sep 28 11:05:15 web1 kernel: [243205.116713] Free swap  = 526848kB
Sep 28 11:05:15 web1 kernel: [243205.116714] Total swap = 1053660kB
Sep 28 11:05:15 web1 kernel: [243205.136245] 1572848 pages RAM
Sep 28 11:05:15 web1 kernel: [243205.136247] 42142 pages reserved
Sep 28 11:05:15 web1 kernel: [243205.136249] 834932 pages shared
Sep 28 11:05:15 web1 kernel: [243205.136251] 817793 pages non-shared
Sep 28 11:05:24 web1 kernel: [243214.447948] iptables: page allocation failure. order:6, mode:0xc0d0
Sep 28 11:05:24 web1 kernel: [243214.447951] Pid: 29079, comm: iptables Tainted: G        W  2.6.32-5-amd64 #1
Sep 28 11:05:24 web1 kernel: [243214.447953] Call Trace:
Sep 28 11:05:24 web1 kernel: [243214.447959]  [<ffffffff810ba5d6>] ? __alloc_pages_nodemask+0x592/0x5f4
Sep 28 11:05:24 web1 kernel: [243214.447962]  [<ffffffff810b959c>] ? __get_free_pages+0x9/0x46
Sep 28 11:05:24 web1 kernel: [243214.447966]  [<ffffffff810e7ea1>] ? __kmalloc+0x3f/0x141
Sep 28 11:05:24 web1 kernel: [243214.447970]  [<ffffffffa02bcc1b>] ? recent_mt_check+0xd1/0x1c6 [xt_recent]
Sep 28 11:05:24 web1 kernel: [243214.447975]  [<ffffffffa011e9c8>] ? xt_check_match+0x165/0x19c [x_tables]
Sep 28 11:05:24 web1 kernel: [243214.447977]  [<ffffffff810ba160>] ? __alloc_pages_nodemask+0x11c/0x5f4
Sep 28 11:05:24 web1 kernel: [243214.447980]  [<ffffffffa016efc8>] ? mark_source_chains+0xc3/0x189 [ip_tables]
Sep 28 11:05:24 web1 kernel: [243214.447983]  [<ffffffffa016f395>] ? translate_table+0x307/0x57f [ip_tables]
Sep 28 11:05:24 web1 kernel: [243214.447986]  [<ffffffffa0170322>] ? do_ipt_set_ctl+0xff/0x19a [ip_tables]
Sep 28 11:05:24 web1 kernel: [243214.447990]  [<ffffffff8126dc80>] ? nf_sockopt+0x5e/0x78
Sep 28 11:05:24 web1 kernel: [243214.447993]  [<ffffffff8126dcc3>] ? nf_setsockopt+0x1a/0x1d
Sep 28 11:05:24 web1 kernel: [243214.447995]  [<ffffffff812792e3>] ? ip_setsockopt+0x5c/0x78
Sep 28 11:05:24 web1 kernel: [243214.447999]  [<ffffffff81240a3f>] ? sys_setsockopt+0x85/0xaa
Sep 28 11:05:24 web1 kernel: [243214.448001]  [<ffffffff81010b42>] ? system_call_fastpath+0x16/0x1b
Sep 28 11:05:24 web1 kernel: [243214.448003] Mem-Info:
Sep 28 11:05:24 web1 kernel: [243214.448004] Node 0 DMA per-cpu:
Sep 28 11:05:24 web1 kernel: [243214.448006] CPU    0: hi:    0, btch:   1 usd:   0
Sep 28 11:05:24 web1 kernel: [243214.448007] CPU    1: hi:    0, btch:   1 usd:   0
Sep 28 11:05:24 web1 kernel: [243214.448009] CPU    2: hi:    0, btch:   1 usd:   0
Sep 28 11:05:24 web1 kernel: [243214.448010] CPU    3: hi:    0, btch:   1 usd:   0
Sep 28 11:05:24 web1 kernel: [243214.448011] Node 0 DMA32 per-cpu:
Sep 28 11:05:24 web1 kernel: [243214.448013] CPU    0: hi:  186, btch:  31 usd:   0
Sep 28 11:05:24 web1 kernel: [243214.448014] CPU    1: hi:  186, btch:  31 usd:   0
Sep 28 11:05:24 web1 kernel: [243214.448016] CPU    2: hi:  186, btch:  31 usd:   0
Sep 28 11:05:24 web1 kernel: [243214.448017] CPU    3: hi:  186, btch:  31 usd:   0
Sep 28 11:05:24 web1 kernel: [243214.448018] Node 0 Normal per-cpu:
Sep 28 11:05:24 web1 kernel: [243214.448020] CPU    0: hi:  186, btch:  31 usd:   0
Sep 28 11:05:24 web1 kernel: [243214.448021] CPU    1: hi:  186, btch:  31 usd:   0
Sep 28 11:05:24 web1 kernel: [243214.448023] CPU    2: hi:  186, btch:  31 usd:   0
Sep 28 11:05:24 web1 kernel: [243214.448024] CPU    3: hi:  186, btch:  31 usd:   0
Sep 28 11:05:24 web1 kernel: [243214.448027] active_anon:245075 inactive_anon:259400 isolated_anon:36
Sep 28 11:05:24 web1 kernel: [243214.448028]  active_file:140384 inactive_file:233107 isolated_file:61
Sep 28 11:05:24 web1 kernel: [243214.448029]  unevictable:0 dirty:1094 writeback:0 unstable:0
Sep 28 11:05:24 web1 kernel: [243214.448030]  free:527750 slab_reclaimable:40939 slab_unreclaimable:4669
Sep 28 11:05:24 web1 kernel: [243214.448031]  mapped:22324 shmem:7946 pagetables:8498 bounce:0
Sep 28 11:05:24 web1 kernel: [243214.448032] Node 0 DMA free:15856kB min:24kB low:28kB high:36kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15288kB mlocked:0kB dirty:0kB writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:0kB slab_unreclaimable:0kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? no
Sep 28 11:05:24 web1 kernel: [243214.448040] lowmem_reserve[]: 0 2991 6021 6021
Sep 28 11:05:24 web1 kernel: [243214.448042] Node 0 DMA32 free:1377980kB min:4928kB low:6160kB high:7392kB active_anon:375828kB inactive_anon:464472kB active_file:184776kB inactive_file:382808kB unevictable:0kB isolated(anon):52kB isolated(file):104kB present:3063520kB mlocked:0kB dirty:204kB writeback:0kB mapped:21884kB shmem:8kB slab_reclaimable:97164kB slab_unreclaimable:3568kB kernel_stack:304kB pagetables:2868kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? no
Sep 28 11:05:24 web1 kernel: [243214.448050] lowmem_reserve[]: 0 0 3030 3030
Sep 28 11:05:24 web1 kernel: [243214.448052] Node 0 Normal free:717164kB min:4988kB low:6232kB high:7480kB active_anon:604472kB inactive_anon:573128kB active_file:376760kB inactive_file:549620kB unevictable:0kB isolated(anon):92kB isolated(file):140kB present:3102720kB mlocked:0kB dirty:4172kB writeback:0kB mapped:67412kB shmem:31776kB slab_reclaimable:66592kB slab_unreclaimable:15108kB kernel_stack:1936kB pagetables:31124kB unstable:0kB bounce:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? no
Sep 28 11:05:24 web1 kernel: [243214.448060] lowmem_reserve[]: 0 0 0 0
Sep 28 11:05:24 web1 kernel: [243214.448062] Node 0 DMA: 2*4kB 3*8kB 3*16kB 1*32kB 2*64kB 2*128kB 0*256kB 0*512kB 1*1024kB 1*2048kB 3*4096kB = 15856kB
Sep 28 11:05:24 web1 kernel: [243214.448068] Node 0 DMA32: 65281*4kB 47157*8kB 26299*16kB 7667*32kB 946*64kB 99*128kB 1*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 1377980kB
Sep 28 11:05:24 web1 kernel: [243214.448074] Node 0 Normal: 13965*4kB 20045*8kB 19748*16kB 4229*32kB 613*64kB 82*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 717244kB
Sep 28 11:05:24 web1 kernel: [243214.448080] 489947 total pagecache pages
Sep 28 11:05:24 web1 kernel: [243214.448081] 108550 pages in swap cache
Sep 28 11:05:24 web1 kernel: [243214.448083] Swap cache stats: add 781521, delete 672971, find 384408878/384454917
Sep 28 11:05:24 web1 kernel: [243214.448084] Free swap  = 526864kB
Sep 28 11:05:24 web1 kernel: [243214.448085] Total swap = 1053660kB
Sep 28 11:05:24 web1 kernel: [243214.467683] 1572848 pages RAM
Sep 28 11:05:24 web1 kernel: [243214.467685] 42142 pages reserved
Sep 28 11:05:24 web1 kernel: [243214.467686] 768725 pages shared
Sep 28 11:05:24 web1 kernel: [243214.467687] 820658 pages non-shared

Es scheint definitiv ein Problem zu sein dass er keine Memory-Pages mehr hat, aber wieso wenn er noch so viel freien RAM hat? Und wieso setzt er nicht Swap ein, da es ja kein gesperrter RAM ist?
Sobald ich den Linux-Cache flushe, geht er von 2GB Programm-benutzer RAM auf knapp 5GB hoch, die Load steigt aber gleichzeitig von 0.1 auf ueber 20...
 
Ist das ein vServer?
Wenn ja, was wird bei cat /proc/user_baeancounters denn drin in der letzten Spalte? Sind da fails?
 
Ups, zu erwaehnen vergessen.
Nein, es handelt sich um "echtes Metall", genauer gesagt ein Webtropia Professional i5-6.
Bei einer Openvz-Machine haette ich solche Fehler erwartet aber bei Hardware?
 
GwenDragon said:
Ist das ein vServer?
Wenn ja, was wird bei cat /proc/user_baeancounters denn drin in der letzten Spalte? Sind da fails?
Click to expand...

Das würde eine Virtualisierung mit OpenVZ/Virtuozzo voraussetzen. Das würde wiederum implizieren, dass er exakt 0 Swap hätte - und wir sind ja schon in der Kategorie "Dedizierte Server" ;)
Weiterhin käme er dann auch nicht an die Coredumps :)

@d4f: Tritt das Problem immer nach der selben Zeit auf oder sporadisch? Die Festplatten sind alle in Ordnung (im Besonderen sdb)?
 
Die Festplatten sehen laut smartctl vollstaendig gesund aus. (Sie werden uebrigens als Softraid zusammengefasst)
Probleme habe ich, ausser dass die Plattenserie etwas lahm ist und laut SMART konstant bei 45-50°C liegen auch nie beim lesen/schreiben.

Ich hab das Gefuehl dass dem Kernel die Pages ausgehen, aber wo sind die denn alle hin? 4KB Pagesize ist ja nicht soooo gross dass es erklaeren wuerde warum rund 2/3 leer respektiv nur Cache sind...

Es tritt sporadisch bei hoher RAM-Belastung auf, das letzte mal heute als ich inotify mit Rekursion getestet hatte (etwas ueber dem Standard-Maximalwert)
 
Hallo d4f,

ich habe auf einem unserer Server ein ähnliches Problem beobachtet. Der Server verfügt über 16GB Ram und 4GB Swap. Auf dem Server läuft eine Anwendung die mit PHP realisiert ist.

PHP gibt den verwendeten Speicher nicht korrekt wieder frei. Irgendwann läuft der Ram komplett voll, Load steigt.

Theoretisch sollte der Server dann den Swap verwenden. Ich kann nicht nachvollziehen warum, aber der Swap wird nicht verwendet, der OOP-Killer fängt an Anwedungen zu schließen und irgendwann ist der Server tot.

Ich habe das Problem gelöst indem jeden morgen alle PHP-Prozesse killt und neustartet.

Laufen auf deinem Server Anwendungen die viel Arbeitsspeicher verwenden und diesen nicht korrekt wieder freigeben?
 
Ich _glaube_ das Problem liegt an den >3000 Iptables-Regeln welche extensiv von mod_recent Gebrauch machen welches wiederum scheinbar fuer jede einelne Regel eine komplette Page "frisst".
Wenn ich aber die Regeln mit iptables -F "REGELKETTE" loesche und dann mittels diff ein /proc/meminfo von vorher mit nachher vergleiche ist, bis auf bisschen mehr freier RAM, kaum ein Unterschied sehbar.

@bibabu:
Auf dem Server lauft nichts spezielles, nur halt viel;
- LAMPP mit mpm_itk und PHP 5.3 (1600 vHosts)
- Varnish Cache mit 1GB RAM. (Das Problem tritt aber auch ohne Varnish auf)
- ueber 3000 Iptables-Regeln mit mod_recent

Ein Reboot bringt die Kiste kurzzeitig tatsaechlich in Normalzustand, aber spaetestens nach dem Laden der iptables-Regeln ist wieder Schluss ab 2.x GB RAM.

@cmeerw
Das ist mir auch aufgefallen, solange aber die RAM nicht benutzt wird (es ist ja definitiv RAM im "free"-Status) sollte das kein Problem darstellen, oder?
 
Hallo,

wenn mich nicht alles täuscht, war das Problem vor Einbau der iptables-Regeln ebenfalls schon vorhanden - oder irre ich mich da?


Grüße
 
Ich bin mir nicht 100% sicher und muesste es testen.
Solange es kein memory leak ist sollte aber wahrscheinlich die naechste HetznerGeneration genug RAM fuer solche Spielereien mitbringen :cool:
 
Dann liegt ja trotzdem eine ganze Menge RAM ungenutzt herum - so wie er bislang nur 2 von 6 GB nutzt...
 
Ich entdecke diesen Thread gerade wieder, entschuldigt das Ausgraben - aber vielleicht hat ja noch jemand das Problem.
Es war im Endeffekt zwar nicht genau erklärbar, warum sich das System so verhält, aber nach Entfernung der iptables-Regeln mit mod_recent konnte der Server seinen RAM wieder vollständig nutzen.
 
You must log in or register to reply here.
Back
Top