Out of memory Fehler

informant · Nov 26, 2011

Hallo, warum bekomme ich out of memory obwohl der ram total frei ist?

Code:

free -m
             total       used       free     shared    buffers     cached
Mem:         16055       4352      11703          0        223       2423
-/+ buffers/cache:       1705      14349
Swap:        15638          0      15638

Bsp.:

Out of memory: kill process 8896 (mysqld_safe) or a child

OOM killed process mysqld (pid=10380, ve=4139) exited, free=3137693 gen=19.

Freu mich über Eure Hilfe und Informationen. Danke...

Firewire2002 · Nov 26, 2011

In Bezug auf deinen anderen OpenVZ Thread und der Ausgabe hier, ist die Ausgabe von "free" wohl vom Hostsystem. Der Prozess wurde aber in der VE 4139 gekillt. Vielleicht schaust du dir mal die UBC Werte der VE an.

informant · Nov 26, 2011

Hallo hier der Auszug von den UBC Werten

Code:

 cat /proc/user_beancounters
Version: 2.5
       uid  resource                     held              maxheld              barrier                limit              failcnt
     4139:  kmemsize                 10734446             10978434             24372700             24790164                    0
            lockedpages                     0                    0                  256                  256                    0
            privvmpages                120079               120517               262144               262144                    0
            shmpages                      784                  800                21504                21504                    0
            dummy                           0                    0                    0                    0                    0
            numproc                        61                   62                  240                  240                    0
            physpages                   54213                65915                    0  9223372036854775807                    0
            vmguarpages                     0                    0                33792  9223372036854775807                    0
            oomguarpages                54213                65915                26112  9223372036854775807                    1
            numtcpsock                     19                   23                  360                  360                    0
            numflock                        4                    5                  188                  206                    0
            numpty                          1                    1                   16                   16                    0
            numsiginfo                      0                    2                  256                  256                    0
            tcpsndbuf                  220312               285976              1720320              2703360                    0
            tcprcvbuf                  212992               219400              1720320              2703360                    0
            othersockbuf                12552                59656              1126080              2097152                    0
            dgramrcvbuf                     0                 2312               262144               262144                    0
            numothersock                   48                   51                  360                  360                    0
            dcachesize                 441786               444363              3409920              3624960                    0
            numfile                      1335                 1363                 9312                 9312                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            numiptent                      10                   10                  128                  128                    0

Freu mich über Infos...

Firewire2002 · Nov 26, 2011

Na was willst du da noch für Infos? Fail Counter bei oomguarpages ist ungleich Null. Also ist er an das Limit gestoßen.
Und was macht man wenn man an Limits stößt? Richtig, die Limits höher setzen.

Sofern natürlich Ressourcen auf dem Hostsystem vorhanden sind.

informant · Nov 26, 2011

Und deswegen killt der die Prozesse?

Muss ich für die VM die Soft oder Hardgrenze erhöhen, da ja die Hardgrenze bereits 9223372036854775807 ist. Soweit ich weis, ist das der Wert bei 64 Bit Systemen oder irre ich mich hier?

Firewire2002 · Nov 26, 2011

Nicht das wir uns falsch verstehen:
Der Prozess wurde gekillt, weil er ,zu dem Zeitpunkt, wohl der größte in der VE war und die VE mehr Ram konsumierte als ihr garantiert war. Grund ist aber in der Regel im Speichermangel des Hostsystems zu suchen. Eventuell haben alle anderen VEs kurzzeitig mehr Ram benötigt als vorhanden ist.
So schnell wie der Ram voll läuft und der Kernel ihn wieder frei räumt, hast du kein "free" oder sonst irgendwas ausgeführt.

Du solltest dir also auch die UBCs der anderen VEs anschauen.

Die Barrier von oomguarpages hochzusetzen "schützt" dich nur in sofern, dass er die Prozesse dann woanders killt.

informant · Nov 26, 2011

Hallo,

ich habe den VMs nun kleinere Werte zugewiesen. Diese sind zusammen nur 50% vom gesamt Speicher und können diesen somit nicht ganz ausnutzen.

Garantierter Speicher ist dann das Softlimit sozusagen - richtig? Weil ich hab der VM ja 2 GB zugewiesen gehabt udn davon waren 390 MB belegt.

Trotzdem kommt die Meldung oom und killt Prozesse. Wo kann ich weiter suchen?

MfG

Mr.Check · Nov 26, 2011

informant said:
Trotzdem kommt die Meldung oom und killt Prozesse. Wo kann ich weiter suchen?

Also die oomguarpages werden soweit ich weiß nur dann interessant, wenn der komplette Host mit seinem Arbeitsspeicher an's Limit kommt. Dann wird geprüft, welche VM(s) über ihren garantieren Ressourcen liegen (die garantierten Ressourcen sind in diesem Fall der Barrier-Wert bei den oomguarpages, steht für out-of-memory guaranteed pages). Eine VM die darüber liegt, muss Speicher frei machen.

Da du ja die maximalen Ressourcen der einzelnen VMs laut deiner Aussage soweit beschränkt hast, dass sie niemals den Host auslasten könnten, stellt sich mir gerade die Frage, was zu dem Speichermangel führen kann. Hast du evtl. auf dem Host noch irgendwelche Dienste laufen?

informant · Nov 26, 2011

Hallo @Mr.Check,

das ist genau das, was mich verwundert. Keiner der VMs kommt an sein Ram Limit und das Hostsystem hat ebenfalls genug Ram frei.

Hier mal der Auszug der derzeitigen VMs mit UBC Werten:

Code:

     4130:  kmemsize                 12234644             13884362             24372700             24790164                    0
            lockedpages                     0                    0                  256                  256                    0
            privvmpages                 89309               100694               262144               262144                    0
            shmpages                      144                  144                21504                21504                    0
            dummy                           0                    0                    0                    0                    0
            numproc                        64                   77                  240                  240                    0
            physpages                   33355                40454                    0  9223372036854775807                    0
            vmguarpages                     0                    0                33792  9223372036854775807                    0
            oomguarpages                33355                40454                26112  9223372036854775807                    0
            numtcpsock                     14                   22                  360                  360                    0
            numflock                       14                   17                  188                  206                    0
            numpty                          0                    1                   16                   16                    0
            numsiginfo                      0                    2                  256                  256                    0
            tcpsndbuf                  213904               366504              1720320              2703360                    0
            tcprcvbuf                  201232               220984              1720320              2703360                    0
            othersockbuf               184696               243488              1126080              2097152                    0
            dgramrcvbuf                     0                 4360               262144               262144                    0
            numothersock                  146                  178                  360                  360                    0
            dcachesize                 568658               622775              3409920              3624960                    0
            numfile                      1541                 1791                 9312                 9312                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            numiptent                      10                   10                  128                  128                    0
     4139:  kmemsize                 10781826             16545828             24372700             24790164                    0
            lockedpages                     0                    0                  256                  256                    0
            privvmpages                 99371               132062               262144               262144                    0
            shmpages                      144                  800                21504                21504                    0
            dummy                           0                    0                    0                    0                    0
            numproc                        63                  114                  240                  240                    0
            physpages                   34527                65915                    0  9223372036854775807                    0
            vmguarpages                     0                    0                33792  9223372036854775807                    0
            oomguarpages                34527                65915                26112  9223372036854775807                   29
            numtcpsock                     18                   50                  360                  360                    0
            numflock                        4                    5                  188                  206                    0
            numpty                          0                    1                   16                   16                    0
            numsiginfo                      0                    2                  256                  256                    0
            tcpsndbuf                  213640               356528              1720320              2703360                    0
            tcprcvbuf                  210480               231688              1720320              2703360                    0
            othersockbuf                13576                87304              1126080              2097152                    0
            dgramrcvbuf                     0                 2312               262144               262144                    0
            numothersock                   49                  105                  360                  360                    0
            dcachesize                 305075               472111              3409920              3624960                    0
            numfile                      1218                 2047                 9312                 9312                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            numiptent                      10                   10                  128                  128                    0
     4138:  kmemsize                  8117282              9527453             24372700             24790164                    0
            lockedpages                     0                    0                  256                  256                    0
            privvmpages                 92966               112243               524288               524288                    0
            shmpages                       18                  354                21504                21504                    0
            dummy                           0                    0                    0                    0                    0
            numproc                        29                   44                  240                  240                    0
            physpages                   36826                55435                    0  9223372036854775807                    0
            vmguarpages                     0                    0                33792  9223372036854775807                    0
            oomguarpages                36826                55435                26112  9223372036854775807                    3
            numtcpsock                      6                   10                  360                  360                    0
            numflock                        4                    5                  188                  206                    0
            numpty                          0                    1                   16                   16                    0
            numsiginfo                      0                    2                  256                  256                    0
            tcpsndbuf                  104640               159272              1720320              2703360                    0
            tcprcvbuf                   98304               190000              1720320              2703360                    0
            othersockbuf                 4624                22296              1126080              2097152                    0
            dgramrcvbuf                     0                 2312               262144               262144                    0
            numothersock                   28                   34                  360                  360                    0
            dcachesize                 308381               347895              3409920              3624960                    0
            numfile                       714                  931                 9312                 9312                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            numiptent                      10                   10                  128                  128                    0
     4137:  kmemsize                  7911040              9050116             24372700             24790164                    0
            lockedpages                     0                    0                  256                  256                    0
            privvmpages                 77833               123380               262144               262144                    0
            shmpages                      144                  144                21504                21504                    0
            dummy                           0                    0                    0                    0                    0
            numproc                        47                   59                  240                  240                    0
            physpages                   19704                65822                    0  9223372036854775807                    0
            vmguarpages                     0                    0                33792  9223372036854775807                    0
            oomguarpages                19704                65822                26112  9223372036854775807                   27
            numtcpsock                     12                   19                  360                  360                    0
            numflock                        4                    5                  188                  206                    0
            numpty                          0                    1                   16                   16                    0
            numsiginfo                      0                    1                  256                  256                    0
            tcpsndbuf                  200560               512248              1720320              2703360                    0
            tcprcvbuf                  196608               264456              1720320              2703360                    0
            othersockbuf                 7432                56584              1126080              2097152                    0
            dgramrcvbuf                     0                 2312               262144               262144                    0
            numothersock                   37                   48                  360                  360                    0
            dcachesize                 282611               341283              3409920              3624960                    0
            numfile                       959                 1125                 9312                 9312                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            numiptent                      10                   10                  128                  128                    0
     4132:  kmemsize                  8593851              9451117             24372700             24790164                    0
            lockedpages                     0                    0                  256                  256                    0
            privvmpages                 93731               116971               262144               262144                    0
            shmpages                      144                  144                21504                21504                    0
            dummy                           0                    0                    0                    0                    0
            numproc                        49                   55                  240                  240                    0
            physpages                   35034                67166                    0  9223372036854775807                    0
            vmguarpages                     0                    0                33792  9223372036854775807                    0
            oomguarpages                35034                67166                26112  9223372036854775807                   20
            numtcpsock                     11                   17                  360                  360                    0
            numflock                        4                    6                  188                  206                    0
            numpty                          0                    1                   16                   16                    0
            numsiginfo                      0                    2                  256                  256                    0
            tcpsndbuf                  191840               307512              1720320              2703360                    0
            tcprcvbuf                  180224               219400              1720320              2703360                    0
            othersockbuf                 9480                62464              1126080              2097152                    0
            dgramrcvbuf                     0                 2312               262144               262144                    0
            numothersock                   41                   49                  360                  360                    0
            dcachesize                 311088               367847              3409920              3624960                    0
            numfile                       961                 1125                 9312                 9312                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            numiptent                      10                   10                  128                  128                    0
     4131:  kmemsize                  9174581             13510401             24372700             24790164                    0
            lockedpages                     0                    0                  256                  256                    0
            privvmpages                104175               167553               262144               262144                    0
            shmpages                      144                  800                21504                21504                    0
            dummy                           0                    0                    0                    0                    0
            numproc                        55                   95                  240                  240                    0
            physpages                   48912                93121                    0  9223372036854775807                    0
            vmguarpages                     0                    0                33792  9223372036854775807                    0
            oomguarpages                48912                93121                26112  9223372036854775807                  135
            numtcpsock                     25                   48                  360                  360                    0
            numflock                        4                    6                  188                  206                    0
            numpty                          0                    1                   16                   16                    0
            numsiginfo                      0                    2                  256                  256                    0
            tcpsndbuf                  213640               401912              1720320              2703360                    0
            tcprcvbuf                  214576               220984              1720320              2703360                    0
            othersockbuf                12552               137744              1126080              2097152                    0
            dgramrcvbuf                     0                 4360               262144               262144                    0
            numothersock                   47                   93                  360                  360                    0
            dcachesize                 319678               393812              3409920              3624960                    0
            numfile                      1220                 2059                 9312                 9312                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            dummy                           0                    0                    0                    0                    0
            numiptent                      10                   10                  128                  128                    0
        0:  kmemsize                 12745470             14682125  9223372036854775807  9223372036854775807                    0
            lockedpages                     0                    0  9223372036854775807  9223372036854775807                    0
            privvmpages                 81776                95113  9223372036854775807  9223372036854775807                    0
            shmpages                     1323                 1339  9223372036854775807  9223372036854775807                    0
            dummy                           0                    0  9223372036854775807  9223372036854775807                    0
            numproc                       156                  224  9223372036854775807  9223372036854775807                    0
            physpages                   43761                50311  9223372036854775807  9223372036854775807                    0
            vmguarpages                     0                    0  9223372036854775807  9223372036854775807                    0
            oomguarpages                43761                50311  9223372036854775807  9223372036854775807                    0
            numtcpsock                     33                   71  9223372036854775807  9223372036854775807                    0
            numflock                        3                    6  9223372036854775807  9223372036854775807                    0
            numpty                          1                    7  9223372036854775807  9223372036854775807                    0
            numsiginfo                      2                  121  9223372036854775807  9223372036854775807                    0
            tcpsndbuf                  746096              1088848  9223372036854775807  9223372036854775807                    0
            tcprcvbuf                  545032              1010192  9223372036854775807  9223372036854775807                    0
            othersockbuf                18496               170296  9223372036854775807  9223372036854775807                    0
            dgramrcvbuf                     0                 2312  9223372036854775807  9223372036854775807                    0
            numothersock                   42                  105  9223372036854775807  9223372036854775807                    0
            dcachesize                1269054              1437093  9223372036854775807  9223372036854775807                    0
            numfile                      3293                 3744  9223372036854775807  9223372036854775807                    0
            dummy                           0                    0  9223372036854775807  9223372036854775807                    0
            dummy                           0                    0  9223372036854775807  9223372036854775807                    0
            dummy                           0                    0  9223372036854775807  9223372036854775807                    0
            numiptent                      10                   10  9223372036854775807  9223372036854775807                    0

Host Maschine:

Code:

free -m
             total       used       free     shared    buffers     cached
Mem:         16055       7509       8546          0        412       5067
-/+ buffers/cache:       2028      14026
Swap:        15638          0      15638

Bsp.: Log Auszug der Fehler:

Code:

OOM killed process apache2 (pid=10828, ve=4131) exited, free=2182401 gen=379.

Nov 26 11:14:06 pegasus kernel: [39851.272241] OOM killed process mysqld (pid=21462, ve=4131) exited, free=2181291 gen=378.

Nov 26 11:00:02 pegasus kernel: [39008.667601] OOM killed process apache2 (pid=10258, ve=4131) exited, free=2168468 gen=376.

Nov 26 11:00:02 pegasus kernel: [39008.078416] OOM killed process mysqld (pid=16013, ve=4131) exited, free=2157568 gen=374.

Host:

Code:

vzmemcheck -vA
Output values in Mbytes
veid        LowMem  LowMem     RAM MemSwap MemSwap   Alloc   Alloc   Alloc
              util  commit    util    util  commit    util  commit   limit
4133         21.51   31.05  139.41  139.41  133.05  179.99  163.05  543.05
4135         10.15   31.05  127.37  127.37  133.05  161.53  163.05  543.05
4136          6.48   31.05   87.69   87.69  133.05  117.76  163.05  543.05
4134          9.27   31.05   80.38   80.38  133.05  113.38  163.05  543.05
4130         12.11   31.05  141.99  141.99  133.05  360.43  163.05 1055.05
4139         10.67   31.05  145.55  145.55  133.05  398.84  163.05 1055.05
4138          7.95   31.05  151.83  151.83  133.05  371.10  163.05 2079.05
4137          7.94   31.05   84.93   84.93  133.05  311.97  163.05 1055.05
4132          8.52   31.05  145.16  145.16  133.05  374.16  163.05 1055.05
4131         10.54   31.05  252.14  252.14  133.05  495.20  163.05 1055.05
-------------------------------------------------------------------------
Summary:    105.13  310.48 1356.46 1356.46 1330.48 2884.34 1630.48 9526.48
        6422.00 6422.00 16055.00 31694.00 31694.00 31694.00 31694.00 31694.00

Was kann ich hier tun? Freu mich über weitere Unterstützung. Danke...

Firewire2002 · Nov 26, 2011

informant said:
Was kann ich hier tun? Freu mich über weitere Unterstützung. Danke...

Vielleicht mal seine Frage beantworten?

Mr.Check said:
Hast du evtl. auf dem Host noch irgendwelche Dienste laufen?

Cronjobs, Anwendungen, unüberlegte IPTables Regelsätze auf dem Hostsystem, gegebenfalls SSH Bruteforce Attacken, usw.

informant · Nov 26, 2011

Hallo @Firewire2002,

auf dem Host befindet sich garnichts derartiges. Nur die VMs laufen hier. Attacken sind ebenfalls keine da.

Joe User · Nov 26, 2011

32Bit oder 64Bit Hostsystem/Gastsystem? Memtest durchgeführt?

informant · Nov 26, 2011

Hi,

es handelt sich um ein Debian Squeeze 64 Bit System.

memtest86+ wird heute abend mal gestartet.

MfG

Mr.Check · Nov 26, 2011

Warum hast du den oomguarpages barrier-Wert überhaupt so klein eingestellt? Das sind ja nur gute 100MB garantierter RAM pro VM..

ungeachtet dessen sollten wir natürlich herausfinden, warum es überhaupt zu einer out-of-memory Situation kommt.

informant · Nov 26, 2011

Hallo, das ist mir heute auch aufgefallen.

Ich hab nun die Werte etwas angepasst.
Wie kommst du aber auf 100 MB?

Derzeit hab ich die Werte wie folgt bei 1GB gesetzt:

Code:

	Barrier 	Limit
PRIVVMPAGES 	524.288 	550.502
KMEMSIZE 	96.636.764 	107.374.182
DISKSPACE 	52.428.800 	52.428.800
DISKINODES 	3.000.000 	3.300.000
NUMTCPSOCK 	550 	550
NUMOTHERSOCK 	400 	400
VMGUARPAGES 	262.144 	9.223.372.036.854.775.807
OOMGUARPAGES 	262.144 	9.223.372.036.854.775.807
TCPSNDBUF 	5.280.000 	7.392.000
TCPRCVBUF 	5.280.000 	7.392.000
OTHERSOCKBUF 	3.840.000 	5.376.000
DGRAMRCVBUF 	3.584.000 	3.584.000
NUMFILE 	17.600 	17.600
DCACHESIZE 	14.495.514 	16.106.127
NUMPROC 	500 	500
SHMPAGES 	65.536 	65.536

Dürfte so passen. Wie hast du aber die 100 MB berechnet?

MfG

Mr.Check · Nov 26, 2011

Wenn es dir auch aufgefallen ist, warum wunderst du dich dann, dass ich auf das gleiche Ergebnis komme?

Du hattest bei oomguarpages einen barrier-Wert von 26112, das entspricht 104.448KB oder aber 102MB.

Kommt es bei dem neuen Wert immernoch zu Problemen?

Firewire2002 · Nov 26, 2011

Wie da ja schon steht sind das Pages. Eine Memory Page ist in der Regel 4KB groß.

informant · Nov 26, 2011

Hi, das mit dem Wert habe ich auch erst später gesehen.

Ja mit den neuen Werten klappt alles bestens.

Besten Dank euch allen und ein schönes Wochenende.

PS: man lernt nie aus

Out of memory Fehler

informant

Guest

Firewire2002

Registered User

informant

Guest

Firewire2002

Registered User

informant

Guest

Firewire2002

Registered User

informant

Guest

Mr.Check

New Member

informant

Guest

Firewire2002

Registered User

informant

Guest

Joe User

Zentrum der Macht

informant

Guest

Mr.Check

New Member

informant

Guest

Mr.Check

New Member

Firewire2002

Registered User

informant

Guest