Dauernder Serverabsturz

mbanse · Feb 9, 2006

Hallo Leute,

Seit einigen Tagen habe ich dauernde Probleme mit meinem Server.
Es sind Zurzeit ca. 230 User auf diesem Server und nun stürzt dieser ständig ab.

Der Server:
SuSE 9.0
Apache 2.0.48
PHP 4.3.8
MySQL 4.0.15
Confixx 3.1.2

Das Phänomen tritt ca. alle 24 Stunden auf.
Einige zeit stand immer im Log nach dem Absturz:

Feb 9 16:25:25 w019 /USR/SBIN/CRON[15128]: (root) CMD ( /root/confixx/confixx_counterscript.pl)
Feb 9 16:25:50 w019 kernel: Out of Memory: Killed process 15124 (ipop3d).
Feb 9 16:26:13 w019 kernel: Out of Memory: Killed process 15129 (ipop3d).
Feb 9 16:26:34 w019 kernel: Out of Memory: Killed process 13877 (confixx_counter).
Feb 9 16:27:03 w019 kernel: Out of Memory: Killed process 13048 (confixx_counter).
Feb 9 16:27:07 w019 /USR/SBIN/CRON[15161]: (root) CMD ( /root/confixx/confixx_counterscript.pl)
Feb 9 16:27:07 w019 /USR/SBIN/CRON[15160]: (root) CMD ( /root/confixx/confixx_counterscript.pl)
Feb 9 16:27:26 w019 kernel: Out of Memory: Killed process 13470 (confixx_counter).
Feb 9 16:28:23 w019 kernel: Out of Memory: Killed process 13066 (confixx_counter).
Feb 9 16:28:47 w019 kernel: Out of Memory: Killed process 13724 (confixx_counter).

Jedoch nur mit dem httpd2 Prozess nun ist es auch Confixx.

Nun steht aber noch dies drin:

Feb 9 16:13:04 w019 kernel: httpd2-prefork: page allocation failure. order:0, mode:0x1d2
Feb 9 16:13:04 w019 kernel: [__alloc_pages+823/848] __alloc_pages+0x337/0x350
Feb 9 16:13:04 w019 kernel: [<c0136cc7>] __alloc_pages+0x337/0x350
Feb 9 16:13:04 w019 kernel: [page_cache_read+57/256] page_cache_read+0x39/0x100
Feb 9 16:13:04 w019 kernel: [<c0133509>] page_cache_read+0x39/0x100
Feb 9 16:13:04 w019 kernel: [find_get_page+39/80] find_get_page+0x27/0x50
Feb 9 16:13:04 w019 kernel: [<c0132517>] find_get_page+0x27/0x50
Feb 9 16:13:04 w019 kernel: [filemap_nopage+426/928] filemap_nopage+0x1aa/0x3a0
Feb 9 16:13:04 w019 kernel: [<c013377a>] filemap_nopage+0x1aa/0x3a0
Feb 9 16:13:04 w019 kernel: [do_no_page+206/928] do_no_page+0xce/0x3a0
Feb 9 16:13:04 w019 kernel: [<c014296e>] do_no_page+0xce/0x3a0
Feb 9 16:13:04 w019 kernel: [handle_mm_fault+360/512] handle_mm_fault+0x168/0x200
Feb 9 16:13:04 w019 kernel: [<c0142ec8>] handle_mm_fault+0x168/0x200
Feb 9 16:13:04 w019 kernel: [do_page_fault+393/1411] do_page_fault+0x189/0x583
Feb 9 16:13:04 w019 kernel: [<c0113eb9>] do_page_fault+0x189/0x583
Feb 9 16:13:04 w019 kernel: [update_process_times+70/96] update_process_times+0x46/0x60
Feb 9 16:13:04 w019 kernel: [<c0120f36>] update_process_times+0x46/0x60
Feb 9 16:13:04 w019 kernel: [update_wall_time+11/64] update_wall_time+0xb/0x40
Feb 9 16:13:04 w019 kernel: [<c0120d9b>] update_wall_time+0xb/0x40
Feb 9 16:13:04 w019 kernel: [do_timer+112/240] do_timer+0x70/0xf0
Feb 9 16:13:04 w019 kernel: [<c01211b0>] do_timer+0x70/0xf0
Feb 9 16:13:04 w019 kernel: [__do_softirq+67/144] __do_softirq+0x43/0x90
Feb 9 16:13:04 w019 kernel: [<c011ce53>] __do_softirq+0x43/0x90
Feb 9 16:13:04 w019 kernel: [do_IRQ+277/320] do_IRQ+0x115/0x140
Feb 9 16:13:04 w019 kernel: [<c0107ab5>] do_IRQ+0x115/0x140
Feb 9 16:13:04 w019 kernel: [do_page_fault+0/1411] do_page_fault+0x0/0x583
Feb 9 16:13:04 w019 kernel: [<c0113d30>] do_page_fault+0x0/0x583
Feb 9 16:13:04 w019 kernel: [error_code+45/56] error_code+0x2d/0x38
Feb 9 16:13:04 w019 kernel: [<c0105e05>] error_code+0x2d/0x38

Dies wiederholt sich ständig.
Wenn ich top mache, ist der Ram auch immer Voll, nur von was steht dort nicht wirklich...
Bei ps aux jedoch zeigt er mir sehr viele httpd2 Prozesse mit einer Mem auslastung im Schnitt von 5-10% (und davon ca. 5-15 Prozesse o.o)

Jedoch die Swap Datei wird überhaupt nicht angesprochen, was sie doch eigentlich sollte wenn der RAM zu voll wird oder?

Was kann ich dagegen tun?
Oder schafft der Server einfach die 230 User nicht? Wäre dumm o.o

greetz un thx schonmal

mbanse · Feb 9, 2006

Hallo nochmal ;D

Ich hänge mal noch eine Ausgabe von ps aux mit dran dort erkennt man gut was ich meine.
Ausserdem was mir aufgefallen ist: Meine Swap Partition (rund 500MB) wird überhaupt nicht genutzt.
Und wenn ich den Server neustarte, dann fängt der Ram stetig an Voller zu werden, bis er sich bei ca. 400MB einpendelt.
Selbst teilweise bei einer Auslastung von 99% des Rams wird nicht auf die Swap ausgelagert. Muss ich diesbezüglich irgend etwas aktivieren oder so?

Hier ps aux:

Code:

USER       PID %CPU %MEM   VSZ  RSS TTY      STAT START   TIME COMMAND
root         1  0.0  0.0   620  256 ?        S    19:56   0:00 init [3]              
root         2  0.0  0.0     0    0 ?        SWN  19:56   0:00 [ksoftirqd/0]
root         3  0.0  0.0     0    0 ?        SW<  19:56   0:00 [events/0]
root         4  0.0  0.0     0    0 ?        SW<  19:56   0:00 [khelper]
root         5  0.0  0.0     0    0 ?        SW<  19:56   0:00 [kblockd/0]
root        28  0.0  0.0     0    0 ?        SW   19:56   0:00 [kapmd]
root        30  0.0  0.0     0    0 ?        SW   19:56   0:00 [pdflush]
root        31  0.0  0.0     0    0 ?        SW   19:56   0:00 [pdflush]
root        33  0.0  0.0     0    0 ?        SW<  19:56   0:00 [aio/0]
root        32  0.0  0.0     0    0 ?        SW   19:56   0:00 [kswapd0]
root       150  0.0  0.0     0    0 ?        SW   19:57   0:00 [kseriod]
root       152  0.0  0.0     0    0 ?        SW<  19:57   0:00 [kcryptd/0]
root       182  0.0  0.0     0    0 ?        SW   19:57   0:00 [kjournald]
root       989  0.0  0.1  1564  624 ?        S    19:57   0:00 /sbin/syslogd -a /var/lib/named/dev/log
root      1006  0.0  0.3  2460 1608 ?        S    19:57   0:00 /sbin/klogd -c 1 -2
bin       1025  0.0  0.0  1516  404 ?        S    19:57   0:00 /sbin/portmap
root      1027  0.0  0.2  4140 1076 ?        S    19:57   0:00 /usr/sbin/saslauthd -a pam
root      1028  0.0  0.2  4140 1076 ?        S    19:57   0:00 /usr/sbin/saslauthd -a pam
root      1029  0.0  0.2  4140 1076 ?        S    19:57   0:00 /usr/sbin/saslauthd -a pam
root      1030  0.0  0.2  4140 1076 ?        S    19:57   0:00 /usr/sbin/saslauthd -a pam
root      1031  0.0  0.2  4140 1076 ?        S    19:57   0:00 /usr/sbin/saslauthd -a pam
root      1032  0.0  1.4  8720 6372 ?        S    19:57   0:00 /usr/bin/perl /usr/libexec/webmin/miniserv.pl /etc/webmin/miniserv.conf
root      1064  0.0  0.1  2172  884 ?        S    19:57   0:00 /usr/sbin/xinetd
root      1088  0.0  0.2  2464 1092 ?        S    19:57   0:00 /bin/sh /usr/bin/mysqld_safe --user=mysql --pid-file=/var/lib/mysql/mysqld.pid --socket=/var/lib/mysql/mysql.sock --datadir=/var/lib/mysql
root      1090  0.0  0.3  4916 1648 ?        S    19:57   0:00 /usr/sbin/sshd -o PidFile=/var/run/sshd.init.pid
mail      1092  0.0  0.4  5164 2040 ?        S    19:57   0:00 sendmail: Queue control                         
mail      1093  0.0  0.4  5164 2084 ?        S    19:57   0:00 sendmail: running queue: /var/spool/clientmqueue
root      1117  0.0  0.5  5636 2440 ?        S    19:57   0:00 sendmail: accepting connections                 
mysql     1129  0.0  1.3 23916 5928 ?        S    19:57   0:00 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --pid-file=/var/lib/mysql/mysqld.pid --skip-locking
mysql     1132  0.0  1.3 23916 5928 ?        S    19:57   0:00 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --pid-file=/var/lib/mysql/mysqld.pid --skip-locking
mysql     1133  0.0  1.3 23916 5928 ?        S    19:57   0:00 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --pid-file=/var/lib/mysql/mysqld.pid --skip-locking
root      1138  0.0  4.7 24108 21508 ?       S    19:57   0:00 /usr/sbin/spamd -d -c -a -L
root      1170  0.0  0.1  1708  704 ?        S    19:57   0:00 /usr/sbin/cron
nobody    1187  0.0  0.2  2224  940 ?        S    19:57   0:00 vsftpd
nobody    1196  0.0  0.2  2224  940 ?        S    19:57   0:00 vsftpd
web217    1404  0.0  0.2  2320 1008 ?        S    19:57   0:00 vsftpd
web217    1419  0.0  0.2  2320 1008 ?        S    19:57   0:00 vsftpd
root      1536  0.0  0.5  5440 2360 ?        S    19:57   0:00 sshd: [EMAIL="root@pts/22"]root@pts/22[/EMAIL]                               
root      2668  0.0  0.5  5440 2360 ?        S    19:57   0:00 sshd: [EMAIL="root@pts/22"]root@pts/22[/EMAIL]                               
root      3213  0.0  0.3  3032 1752 pts/22   S    19:57   0:00 -bash
root      3237  0.0  3.1 31040 14284 ?       S    19:57   0:00 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
root      3238  0.0  0.3  3316 1408 ?        S    19:57   0:00 /usr/bin/perl /root/confixx/pipelog.pl
wwwrun    3262  0.0  4.2 35320 19260 ?       S    19:57   0:00 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
root      3285  0.0  0.1  1692  640 tty1     S    19:57   0:00 /sbin/mingetty --noclear tty1
root      3287  0.0  0.1  1692  640 tty2     S    19:57   0:00 /sbin/mingetty tty2
root      3288  0.0  0.1  1692  640 tty3     S    19:57   0:00 /sbin/mingetty tty3
root      3289  0.0  0.1  1692  640 tty4     S    19:57   0:00 /sbin/mingetty tty4
root      3290  0.0  0.1  1692  640 tty5     S    19:57   0:00 /sbin/mingetty tty5
root      3291  0.0  0.1  1692  640 tty6     S    19:57   0:00 /sbin/mingetty tty6
wwwrun    3529  0.1  3.9 33564 18000 ?       S    19:57   0:01 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    3570  0.0  3.2 31240 14528 ?       S    19:58   0:00 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
nobody    3704  0.0  0.2  2224  940 ?        S    20:02   0:00 vsftpd
web23     3706  0.0  0.2  2320 1052 ?        S    20:02   0:00 vsftpd
wwwrun    3724  0.1  4.0 34376 18292 ?       S    20:02   0:01 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
root      4030  0.0  0.5  5440 2348 ?        S    20:09   0:00 sshd: [EMAIL="root@notty"]root@notty[/EMAIL]                                
root      4034  0.0  0.5  5440 2348 ?        S    20:09   0:00 sshd: [EMAIL="root@notty"]root@notty[/EMAIL]                                
root      4036  0.0  0.3  2896 1408 ?        S    20:09   0:00 -bash
wwwrun    4055  0.3  4.1 34588 18564 ?       S    20:09   0:01 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
web23     4087  0.0  0.7  5048 3364 ?        S    20:09   0:00 /usr/bin/perl chat.pl
nobody    4151  0.0  0.2  2224  940 ?        S    20:10   0:00 vsftpd
web165    4153  0.0  0.2  2320 1020 ?        S    20:10   0:00 vsftpd
wwwrun    4178  0.5  4.1 34868 18820 ?       S    20:11   0:02 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    4180  0.1  4.0 34176 18416 ?       S    20:11   0:00 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
nobody    4188  0.0  0.2  2224  940 ?        S    20:11   0:00 vsftpd
web212    4190  0.0  0.2  2248 1004 ?        S    20:11   0:00 vsftpd
wwwrun    4207  0.6  4.0 34520 18424 ?       S    20:12   0:02 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    4215  0.4  4.0 34128 18088 ?       S    20:12   0:01 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
nobody    4256  0.0  0.2  2224  940 ?        S    20:13   0:00 vsftpd
web189    4258  0.2  0.2  2320 1032 ?        S    20:13   0:00 vsftpd
wwwrun    4293  0.2  3.9 33956 17872 ?       S    20:13   0:00 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
mysql     4413  0.0  1.3 23916 5928 ?        S    20:15   0:00 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --pid-file=/var/lib/mysql/mysqld.pid --skip-locking
wwwrun    4423  0.5  4.2 35132 19000 ?       S    20:15   0:00 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    4424  0.1  4.1 34732 18540 ?       S    20:15   0:00 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    4475  0.0  3.1 31172 14412 ?       S    20:16   0:00 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    4483  0.2  3.6 32572 16436 ?       S    20:16   0:00 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    4488  0.5  3.9 33804 17604 ?       S    20:16   0:00 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    4489  0.3  3.6 32620 16516 ?       S    20:16   0:00 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
root      4555  0.0  0.1  2864  860 pts/22   R    20:18   0:00 ps aux

Rocko · Feb 9, 2006

230 User auf einem vSERVER Basic? Was gehtn?
Wie soll das gehen? omg lol

Out of Memory heisst, das nicht genug RAM frei ist, deswegen verreckt dir der Server wohl auch, und wenn du 230 User hosten willst, solltest du dir mal nen richtigen Server holen.

Den richtigen RAM Verbrauch siehst du mit "free -m".
Der Server cached nach dem neustart natürlich den kompletten RAM, bei Linux normal, das heisst aber nicht, das der RAM voll ist, der Cache wird bei Bedarf wieder geleert.

Und an Thorsten falls er hier mitliesst: Ich verstehe euch Mods nicht, ihr ändert andere Users Beiträge ohne Kommentar wieso und warum. Man wundert sich echt wieso...
Macht doch sowas wie [Link Entfernt] oder [Text gelöscht] [Werbung entfernt]... aber immer dieses Kommentarlose find ich echt blöd.

Thorsten · Feb 9, 2006

Hallo!

Rocko said:
Und an Thorsten falls er hier mitliesst: Ich verstehe euch Mods nicht, ihr ändert andere Users Beiträge ohne Kommentar wieso und warum. Man wundert sich echt wieso...
Macht doch sowas wie [Link Entfernt] oder [Text gelöscht] [Werbung entfernt]... aber immer dieses Kommentarlose find ich echt blöd.

Am Beitrag von mbanse wurden lediglich CODE Tags eingefügt. Dient dazu, das man das ganze auch noch lesen kann. Gelöscht wird, wenn es nicht den Forenregeln entspricht. Und dann auch nur in berechtigten Fällen. Aber das nur nebenbei.

mfG
Thorsten

mbanse · Feb 9, 2006

Hey,

na soviel Verständnis das ich auf nem vServer Basic keine 230 User raufzottel hab ich auch noch, ausserdem sind wir im Dedizierten Server Bereich nicht vServer

(Das würde ich mir gar nicht wagen *g) Muss ich bei Gelegenheit mal ändern *ggg*
Es gibt halt doch dinge die ich tue welche auch sinn haben xD.

Nein ist ein Root:

AMD Sempron 2600+
512 MB Ram
80 GB Festplatte
usw.

xD

Ja free -m hab ich auch schon gemacht und wie gesagt Swap wird NICHT genutzt... Wenn Ram voll dann Ram voll... das ja mein Prob die Swap wird überhaupt nicht angerührt o.o
Und daher auch die Fehler.

Gibts denn Ideen?

[edit]
@Rocko: Extra für dich den Titel geändert ;D

Huschi · Feb 10, 2006

mbanse said:
Ja free -m hab ich auch schon gemacht und wie gesagt Swap wird NICHT genutzt...

Dann ist der Swap vieleicht nicht richtig eingerichtet.
Mach mal: "cat /proc/swaps"
Steht die Swap-Partition in der fstab?
Mach mal: "swapon -a"

huschi.

mbanse · Feb 10, 2006

Hi,

cat /proc/swaps ergibt:

Code:

Filename                                Type            Size    Used    Priority
/dev/hda1                               partition       506008  0       42

und "swapon -a" ergibt keine weitere Ausgabe.

In der fstab steht:

Code:

[SIZE=1]
[SIZE=1]/dev/hda3 / ext3 defaults,usrquota,grpquota 1 1
/dev/hda1 swap swap pri=42 0 0
devpts /dev/pts devpts mode=0620,gid=5 0 0
proc /proc proc defaults 0 0
usbdevfs /proc/bus/usb usbdevfs noauto 0 0
[/SIZE][/SIZE]

Ist doch eigentlich richtig oder?
greetz

Huschi · Feb 11, 2006

Auf einem Suse 9.2 bekomme ich:

Code:

Filename                                Type            Size    Used    Priority
/dev/sda2                               partition       2048276 141928  -1
h

und in der fstab steht:

Code:

/dev/sda2       none            swap    sw

"man fstab" schreib zum zweiten Eintrag:
The second field, (fs_file), describes the mount point for the filesystem. For swap partitions, this field should be specified as 'none'."

Bei Dir steht aber "swap" und als Priority=42.
Evtl. sind das die Parameter, die die Fehler machen.
Es sollte aber evtl. in der messages (zur Bootzeit) eine Mitteilung stehen.

huschi

Dauernder Serverabsturz

mbanse

Registered User

mbanse

Registered User

Rocko

Registered User

Thorsten

SSF Facilitymanagement

mbanse

Registered User

Huschi

Moderator

mbanse

Registered User

Huschi

Moderator

We value your privacy